Poustevna stojí na samém vrcholu Skalky a je dalším významným dílem Kryštofa Dientzenhofera. Stejně jako klášter měla být určena pro benediktinské mnichy.
Byla stavěna souběžně s kostelíkem sv. Maří Magdalény a dokončena v roce 1694. Jako celý areál, jenž byl záhy po druhé světové válce nákladně opraven, podlehla později za vlády komunistického režimu zkáze.
V první polovině devadesátých let se stalo majitelem zcela zdevastované budovy, z níž zůstala jen torza obvodových zdí, město Mníšek pod Brdy. V roce 1994 došlo k zastřešení objektu a započala rozsáhlá rekonstrukce, jež byla dokončena v roce 1996. Do vnitřní apsidy byla umístěna Pieta – vynikající sochařské dílo Jana Brokoffa.
Uživatelem objektu pak bylo Arcibiskupství pražské – budova do roku 2012 sloužila jako přechodné sídlo kardinála Miloslava Vlka.
