Jonkheer Pieter de Beaufort gaf in 1859 opdracht tot een grootscheepse verbouwing, die nagenoeg herbouw inhield van het blokvormige huis uit 1657. De gracht om het huis werd gedeeltelijk gedempt. De formele tuinaanleg werd verlandschappelijkt door A. J. van Westrenen, waarbij de overtuin werd ingekort maar de zichtas bleef bestaan. Het bouwhuis werd begin 20ste-eeuw uitgebreid.
Link met kolonialisme
"In 1808 kocht Arnout Jan van Westreenen (1751-1815) Leeuwenburg. Hij dankte zijn kapitaal aan zijn grootvader, zijn vrouw en de koloniën. Zijn grootvader was Jan Jacob van Westreenen (1685-1769) die dankzij zijn vrouw het dichtbij gelegen kasteel Sterkenburg had verworven. Arnout Jans vrouw was Antoinette Charlotte Godin (1756-1817) met wie hij in 1776 trouwde. De Godins waren rijk geworden met vroege investeringen in de VOC en als bestuurders in de Sociëteit van Suriname en in de WIC. Met zo’n schoonfamilie is het niet verwonderlijk dat ook Arnout Jan van Westreenen bewindhebber werd van de WIC. De WIC was toen op zijn retour, maar had vanaf zijn oprichting in 1621 veel geld verdiend in Afrika en in de Amerika’s met de handel in ivoor, goud, tropische producten en in mensen. Zo verhandelde de WIC in zijn kolonie Curaçao van 1648 tot 1713 100.000 slaafgemaakte Afrikanen.
Arnout Jan van Westreenen en zijn vrouw lieten Leeuwenburg na aan hun zoon Jan Antonie Godin van Westreenen (1781-1854), de man die villa Oudeweg liet bouwen. Op zijn beurt liet hij Leeuwenburg in 1854 na aan zijn twee neven Arnout en Pieter de Beaufort. Jhr. Pieter de Beaufort (1807-1876) liet Leeuwenburg in 1859 compleet herbouwen tot het buiten zoals wij dat nu kennen.
Ook deze familie had een koloniaal verleden. Zo investeerde Joachim Ferdinand de Beaufort (1719-1807) – de grootvader van Arnout en Pieter de Beaufort – in het uitrusten en uitzenden van ‘slavenschepen’. Daarmee werden tot slaaf gemaakte Afrikanen vanuit het huidige Ghana naar Suriname overgebracht. Ook was hij aandeelhouder in de Surinaamse plantages Sinabo en Gelre. Voor zover bekend waren deze plantages in de 19de eeuw niet meer in het bezit van de familie De Beaufort."
Bron (deels ingekort): Doorn – Koloniaal erfgoed te voet