Na osnovu legende sačuvane u jednom starom spisu, Rakovac je osnovao krajem 15. veka Raka Milošević, veliki komornik despota Jovana Brankovića. Po njemu je manastir i dobio ime. Crkva manastira Rakovca sazidana je možda 1533. godine. Brojni zapisi govore da je manastir u više navrata bio razaran, napušten, pa zatim obnavljan. U Drugom svetskom ratu manastir je znatno postradao. Zvonik je miniran i srušen do visine kapele u prvom spratu, unutrašnjost crkve u potpunosti  je demolirana, a bogato izrezbareni ikonostas spaljen. Najveća razaranja pretrpele su zgrade manastirskih konaka, čija je obnova do danas izvedena samo delimično na severnoj strani. U toku 1958 - 59. godine Pokrajinski zavod za zaštitu spomenika kulture rekonstruisao je crkvenu građevinu, kojoj je na taj način sa puno uspeha vraćen izgled iz vremena njenog nastanka. Posebno treba istaći da je u Rakovcu 1700. godine načinjen novi prepis Dušanovog zakonika, a 1714. godine napisan poznati Rakovački rukopisni srbljak. U riznici manastira Rakovca čuvali su se mnogi predmeti, kao: jedna petohljebnica iz 1609. godine, omofor izvezen svilom 1664. godine, drveni kivot ukrašen sedefom u kome je čuvana desna ruka sv. Prokopija, jedan bakrorez iz 1741. godine sa slikom tadašnjeg manastira, rad Tome Mesmera, felon od zelenog somota iz 1749. godine i dr.