Met de Reformatie in 1586 werd De Heiligenberg geconfisqueerd door de Staten van Utrecht, die het bezit in 1637 verkochten aan de Amsterdamse koopman Michael Pauw. Toen in 1645 Carel Alexander van Berck eigenaar werd, groeide De Heiligenberg uit tot een fraaie buitenplaats, inclusief wijngaarden!
Rond 1807-'15 liet Ernst Louis van Hardenbroek, neef van Gijsbert Jan die op het nabij gelegen Lockhorst woonde, een nieuw huis bouwen op de plek van het oude 17de-eeuwse huis en kloosterrestanten. Hij liet het bestaande classicistisch aangelegde park in landschappelijke stijl wijzigen. Dit park zou door H. van Lunteren zijn ontworpen en later mogelijk zijn gewijzigd door J.D. Zocher jr.. De huidige nutstuin ten zuidwesten van het parkbos werd eveneens begin 19de-eeuw aangelegd. Het huis dat Hardenbroek liet bouwen vormt nu het middendeel van Heiligenberg, doordat er een noord- en een zuidvleugel (uit resp. 1865 en 1875) aan werden gebouwd door L.H. Eberson.
Tegenwoordig zit de TSM Business School (voorheen IBO Qualified Business School) in de Heiligenberg.
