Tegen het eind van de 18de-eeuw werd het oorspronkelijke middeleeuwse kasteel teruggebracht tot een enkele toren. Nadat de familie Van Lynden eigenaar werd in 1853, kreeg Sandenburg zijn huidige aanzien. Tussen 1861 en 1864 liet Frederik A.A.C. graaf van Lynden van Sandenburg de vierkante toren verbouwen naar ontwerp van architect Samuel Adrianus van Lunteren. Aan de voorzijde werd een brede vleugel van twee bouwlagen aangebouwd. De gevelhoeken kregen achtkantige torens met kantelen onder een plat dak met een balustrade. Zo ontstond het huidige kasteel met detaillering in Willem II-gotiek.
In handen van de familie Van Lynden van Sandenburg is het landgoed uitgegroeid tot de grootste binnen de voormalige gemeente Langbroek.