Zijn naam Den Ham dankt de toren aan een zijham van de Oude Rijn. Het kasteel gold door deze gunstige ligging als onneembaar. Wie Den Ham had, beheerste de hele omgeving. De rivierbocht is later gedempt, maar het kasteel bleef wel omgracht.
Toen in 1687 het geslacht Utenham uitgestorven was, brak er ook een tijd van verval voor het huis aan. Het kasteel kwam in korte tijd in verschillende handen en werd slecht onderhouden. In 1857 kwam Den Ham in bezit van Willem Jan Rooyaards. Wegens bouwvalligheid werd het kasteel na een opmeting in 1871 gesloopt, op de Hamtoren en het poortgebouwtje na. Gelukkig werden deze overblijfselen in 1975 gerestaureerd. Op het poortje is op de steen in de boog de ontstaansdatum te lezen: 1642.
De toren wordt nu particulier bewoond. Eigenaar Bas Kennis vertelt over de restauratie en verbouwing van deze toren tot woonhuis en geluidsstudio: “Cultuur en erfgoed is een goede combinatie.” Naast herstellen van gevels en dak, zijn ook middeleeuwse details terug gebracht, zoals de vloeren en plafonds. Maar ook door toiletpotten onder de gaten van de historische toiletten te installeren. De verbouwing gebeurde zo veel mogelijk op een duurzame manier.