In het oorspronkelijke terreinoppervlak is onderscheid gemaakt in een buiten- en binnenterrein. Op het buitenterrein zijn de poortwoning (Maarsbergseweg 4), de ijskelder, het jachthuisje en de boerderij gesitueerd. Het binnenterrein beslaat een min of meer ruitvormig perceel met daarin de genoemde zichtas en deels gaaf bewaard gebleven symmetrisch opgezette terrassenaanleg. Deze kunstmatige aanleg contrasteert met het dichte omringende bos. Vanaf het huis lopen vergezichten over de aflopende aanleg in zuidwaartse richting naar het omringende landschap.
In 1916 werd begonnen met de aanleg van de nieuwe buitenplaats De Ruiterberg in opdracht van eigenaar J. Wilmink. Deze buitenplaats is de laatste die in Doorn werd gesticht. Wilmink trok architect J.C. Wentink en tuinarchitect P.H. Wattez aan voor het ontwerp. In 1917 werd begonnen met de bouw van het huis, het poortgebouw, een carrévormige hoeve (in de zuidoosthoek van het terrein), een jachthuisje met kleine oranjerie en een ijskelder (links van de oprijlaan). Wattez deelde het terrein in met plateaus; het landhuis werd gesitueerd op het hoogste plateau. Na verwoesting in de Tweede Wereldoorlog is het huis herbouwd in 1950 in Delftse-Schoolstijl, naar ontwerp van architectenbureau Sutterland.
