První písemné zmínky o Prohoři jsou ze 14. století. Tehdy byla ves rozdělena na dvě části. Polovina patřila k nedalekému Štědrému hrádku, a druhou polovinu vlastnili rytíři, píšící se Z Hrádku (připomínán je k roku 1399 Litold Černý z Hrádku). Od počátku 15. století drželi statek Rabštejnové, pak páni z Gutštejna. Od počátku 16. století páni z Plavna, až byl statek trvale spojen roku 1578 s panstvím Žlutice.
Tvrz zde byla založena asi v druhé polovině 14. století. Dnešní oválné tvrziště, které z ní zůstalo, má průměr pětadvacet metrů a je obklopeno pozůstatky původně vodního příkopu. Na silně zarostlé lokalitě můžeme dnes nalézt i sklep. O tom se však předpokládá, že vznikl až po zániku tvrze, a tak opravdu jediným pozůstatkem zdejšího sídla je už pouze tvrziště obklopené příkopem.
