Počátky vzniku hradu byly obestřeny tajemstvím. Až koncem 14. století byli v soudním spise zmiňováni Švihovští z Rýzmberka. V jejich držení bylo Rabí přibližně 200 let. Během této doby ho bourali, přestavovali a zase upravovali.
Počátkem 15. století se snažili objekt dvakrát dobýt husité. Druhý nájezd se stal osudným i hejtmanu Janu Žižkovi z Trocnova. Přišel zde o své druhé oko. Koncem středověku hrad procházel největšími a nejdůležitějšími stavebními proměnami. Pozdně gotická přestavba (patrně za účasti předního stavitele Benedikta Rejta) pasovala Rabí na jedno z nejdokonalejších opevnění ve střední Evropě. Rýzmberkové se bohužel dostali do finančních problémů, objekt prodali a obranný systém nebyl nikdy kompletně dokončen.
V 17. století byl hrad zcela vypleněn a pustl až do 20. století. Z hradního materiálu stavěli místní obyvatelé své domy. Kvalitní stavitelská středověká práce však překonala i jejich rabování.
Poslední majitelé Lamberkové zdevastovanou zříceninu prodali za symbolickou jednu korunu horažďovickému spolku. Později se stalo Rabí majetkem státu. Po vyhlášení Národní kulturní památkou roku 1978 se uskutečnila velká rekonstrukce a zřícenina byla zpřístupněna veřejnosti.
Expozici tvoří středověké kachle a kamna, různé archeologické nálezy. Z šestadvacetimetrové věže je možné obdivovat okolní jarní krajinu a šedesátmetrů hlubokou, ručně do skalniho podloží vylámanou, studnu. Daleko zajímavější a dobrodružnější je toulání sklepními prostory. Podle pověsti zde můžete potkat bloudícího majitele hradu Půtu Švihovského. Za jeho špátné zacházení s poddanými ho prý odnesl čert. Na nedalekém Švihově však tvrdí, že hradní pán straší u nich.
K naší největší zřícenině se dostanete přímo z městečka Rabí. Pokud však máte čas, vypravte se na dvoukilometrovou procházku podél malebné Otavy z Žichovic, kde je také vlaková zastávka.
V dubnu je otevřeno pouze v sobotu a v neděli od 9.00 do 15. 00 (s polední přestávkou, o Velikonočním pondělí je objekt také přístupný).
Prohlídka s průvodcem stojí 30 Kč, snížené vstupné je 20 Kč.