Marcus Mamuchet brak in 1710 de oude hofstede Groeneveld af en liet een vrijwel vierkant huis bouwen, het huidige hoofdgebouw. Vòòr 1746 gaf Pieter Corneliszoon Hasselaer, tweede bewoner, opdracht voor de bouw van de vleugels, mogelijk ontworpen door Jan van den Streng. Uniek is dat deze vleugels even hoog zijn als het hoofdgebouw en samen hiermee onder één kap zijn gebracht.
Rond 1700 werden in formele stijl tuinen aangelegd met lange lanen. Bij de verlandschappelijking vòòr 1787 was tuinarchitect J.G. Michaël betrokken. Rond 1836 werd het park opnieuw gewijzigd in een meer natuurlijk ogende Engelse landschapsstijl naar een ontwerp van Jan David Zocher. Daarin zijn nog steeds onderdelen van de formele stijl waarneembaar, zoals de centrale middenas.
De buitenplaats en het slavernijverleden
Het volgende citaat komt uit de Gids Slavernijverleden Nederland, Dienke Hondius, Nancy Jouwe et.al, 2019:
"Kasteel Groeneveld was een karakteristieke buitenplaats of zomerverblijf voor de Amsterdamse elite. Begin 18de-eeuw was Pieter Corneliszoon Hasselaer (1720-1796) de eigenaar. Pieter Cornelis werd later lid van de Raad van Indië, woonde lange tijd in Nederlands-Indië en was bewindhebber bij de VOC. Pieters vader Cornelis was directeur-generaal van de VOC. Hij liet het kasteel na aan zijn zoon. Ooit had hij het gekocht van Arend van der Wayen (1685-1767), die actief was in de slavenhandel tussen het Nederlandse slavenfort Elmina aan de kust van Ghana en Surniame. in 1797 kocht de 28-jarige Joan Huydecoper (1769-1836) kasteel Groeneveld voor 85.000 gulden, waarschijnlijk met familievermogen. Zijn vader Jan Elias Huydecoper (1735-1808) was een van de laatste directeuren van de Sociëteit van Suriname in Amsterdam, die verantwoordelijk was voor de kolonie Suriname. Daarnaast was Jan Elias mede-eigenaar van een plantage in Suriname, bewindhebber van de VOC en mede-burgemeester van Amsterdam."
Link met kolonialisme
"De eigenaren van Groeneveld behoorden tot de bestuurlijke en commerciële top van Amsterdam. Zij verdienden hun geld voornamelijk in de koloniën.
In 1730 kocht Arend van der Waeyen (1685-1767) het landgoed Groeneveld met het bijbehorende herenhuis met koetshuis en oranjerie. Van der Waeyen was bestuurder (bewindhebber) van de WIC en actief in de slavenhandel tussen Elmina en Suriname. Elmina was een Nederlandse kolonie op de West-Afrikaanse Goudkust, het huidige Ghana. Van daar verscheepten de Nederlanders de tot slaven gedegradeerde Afrikanen, opeengepakt in de scheepsruimen, naar onder andere Suriname, de belangrijkste Nederlandse plantagekolonie in Zuid-Amerika. Daar beulden de Nederlandse plantage-eigenaren hen af op hun plantages waar zij landbouwproducten voor de Europese markt, zoals suiker, produceerden. Van der Waeyen verkocht Groeneveld al na vijf jaar aan Cornelis Hasselaer (1674-1737). Ook Hasselaer vergaarde zijn fortuin in de koloniën, maar dan in Azië. Hij klom op tot directeur-generaal van de VOC in Batavia. Maar daarna zette de VOC hem aan de dijk wegens verregaande corruptie. In 1735 kocht hij Groeneveld, waarvan hij slechts tot zijn dood twee jaar later plezier had. Het was zijn zoon Pieter (1720-'96) die Groeneveld min of meer zijn huidige aanzien gaf. Dat kostte hem het familiekapitaal zodat hij het huis in 1755 moest verkopen. Als een berooid man vertrok hij naar Oost-Indië, maar in 1771 keerde hij met een vermogen terug. Dit dankte hij onder meer aan zijn huwelijk met Grietje Mossel, de 14-jarige dochter van de gouverneur-generaal. Die bezorgde hem een lucratieve bestuurspost en liet zijn dochter bovendien een immens vermogen na. Terug in Nederland kocht hij Groeneveld opnieuw. Zijn erven verkochten het huis in 1797 aan jhr. mr. Joan Huydecoper van Maarsseveen – de latere man van Johanna Louisa van Tets die Buitenzorg liet bouwen. Joan Huydecoper (1769-1836) trok nooit overzee, maar bezat wel aandelen in plantages (en was dus slaveneigenaar) in de vroegere Nederlandse koloniën Berbice en Demerary (Brits-Guyana). Als directeur van de Nederlandse Bank (1817-1836) had hij ook direct bemoeienis met het bestuur van de Surinaamse plantages. Ook zijn voorouders waren vanaf het allereerste begin betrokken bij de handel op Azië, Amerika en Afrika.
Aan de buitenzijde sieren twee opmerkelijke beelden het wapenschild van de Hasselaers dat daar na de restauratie is geplaatst. De beelden zijn hoogst waarschijnlijk gemaakt door de beeldhouwer Jan van Logteren (1708-'45) in opdracht van Arent van der Waeyen. Over wat de beelden voorstellen lopen de meningen uiteen. Sommigen houden het op beelden van ‘moren’ ofwel tot slaaf gemaakte Afrikanen, wat zou passen bij de slavenhandel van Van der Waeyen. Anderen menen dat hier twee werelddelen worden verbeeld: links Azië (wierookvat en palm) en rechts Amerika (knots, boog en verentooi; de laatste twee elementen zijn ook terug te vinden in het wapen van Suriname). Anderen stellen dat de beelden de VOC (actief in Azië) en de WIC (actief in Afrika en Amerika) voorstellen. Maar waarom zou Van der Waeyen die bestuurder was van de WIC en handelde op Afrika en Amerika een beeld van de VOC hebben besteld? Dat Groeneveld getooid is met de verbeelding van het Nederlandse koloniale verleden, daaraan twijfelt echter niemand."
Bron (deels ingekort): Baarn - Koloniaal erfgoed te voet