Ridders voelen zich niet meer thuis in Dordrecht. Want Dordt is geen stad meer voor graven en ridders. In welke Dordtse torenkamer moet een hedendaagse zwarte ridder een schone jonkvrouwe opsluiten, zodat de schone maagd kan worden gered door de nobele edelman? Kastelen heeft Dordrecht niet meer. Huis Te Merwede is een ruïne. En twee andere romantische mogelijkheden, de kasteeltjes Dordtwijck en Crabbehoff (allebei met geschikte torentjes), bestonden nog niet in de tijd dat ridders jonkvrouwen plachtten te redden. Crabbehoff en Dordtwijck hebben trouwens weinig te maken met kastelen. Het zijn bouwmanshuizen: grote boerderijen met een herenhuis. Wanneer en door wie het oorspronkelijke Crabbehoff werd gebouwd, is niet zeker, maar in ieder geval na 1616. Want pas in dat jaar werd de Zuidpolder bedijkt, waarin Crabbehoff ligt. Het landgoed had behoorlijk wat aanzien. Een 18de eeuwse eigenaar, Johan Diederik van Slingelandt noemde zich zelfs Heer van Crabbehoff, maar dat was toch te veel eer voor de grote boerderij. Zo'n titel was alleen bestemd voor eigenaren van heerlijkheden, ridderschappen of leengoederen.

Brand
Van dat oude Crabbehoff is niets meer over. Op 12 april 1808 brak er om 5 uur 's middags brand uit. De Dordrechtsche Courant besteedde uitvoerig aandacht aan de ramp. De brand, die uitgebroken was in een rietschelf, sloeg over naar het hoofdgebouw, volgens de krant 'een verbazend oud en groot adelyk gebouw, voorzien van een toren'. Misschien was Crabbehoff nog te redden geweest, als het wat dichter bij de stad had gestaan.
Het gebouw stond echter een half uur gaans buiten Dordrecht. Voordat het nieuws van de brand de binnenstad had bereikt en de brandweer was opgetrommeld, waren er twee uren verstreken. Om 7 uur 's avonds arriveerde de brandspuit bij het al half verkoolde Crabbehoff. Ook een groot aantal Fransen kwam op de brand af. Het waren veteranen van het stedelijk legioen dat in de stad was gelegerd. De oude snorrebaarden kwamen zogenaamd om te helpen blussen, maar in werkelijkheid deden ze zich te goed aan het vlees van het verbrande vee, dat door de hitte door en door gaar was. De Fransen waren dan ook niet voorzien van zwaar hulpmaterieel, maar van 'het noodige zout om den smaak te bevorderen'. Crabbehoff werd in een andere stijl herbouwd.

Kloveniersdoelen
Half vorige eeuw was de scheepsreder mr. Pieter Blussé eigenaar van het nieuwe Crabbehoff. Blussé liet heel wat aan zijn bezit verspijkeren. In 1858 werd in de stad de Kloveniersdoelen gesloopt. De reder kocht het torentje, een poortje, een windwijzer en een aantal andere bouwfragmenten zoals kopjes, en liet ze in, aan of op Crabbehoff plaatsen. Kasteel Crabbehoff zoals we tegenwoordig kennen, dateert pas van 1913. Bouwheer was W.H. Staring die het gebouw had geerfd (Staring was een achterkleinzoon van Blussé). Hij liet het huis afbreken en naar een neo-romantisch ontwerp van de architect J.F.L. Frowein herbouwen. Het Doelentorentje was te bouwvallig om opnieuw gebruikt te worden. Er werd een kopie gemaakt. De windwijzer, een tweetal poortjes en groot aantal bouwfragmenten werden wel herbruikt. Ook een latere eigenaar, C.J.H. Redelé, in 1934 directeur van koekjes- en chocoladefabriek Victoria, liet heel wat aan het kasteel verbouwen. In 1959 werden Crabbehoff en de bijbehorende landerijen verkocht aan de gemeente.
De landerijen werden bebouwd met een hervormd verpleegtehuis, een bejaardencentrum van het Leger des Heils, een winkelcentrum en woningen. De nieuwe wijk werd genoemd naar het kasteel: Crabbehof.

En het kasteeltje zelf? De maniakale sloopgekken op het Dordtse stadhuis wisten niets anders te bedenken dan het te af te breken. Lees en huiver waarom Crabbehoff moest worden gesloopt: 'het in stand houden van zo'n brok antiquiteit in deze nieuwerwetse omgeving is een vorm van sentimentaliteit, een anachronisme, waarmee we ons nageslacht niet moeten opschepen'. Mensen met dergelijke ideeen werden later zelfs ere-burgers van de stad. Het doek leek gevallen voor Crabbehoff. Pas na protesten uit de Dordtse bevolking werd besloten Crabbehoff te sparen. Eerst werd het een vormingscentrum van de gemeente, daarna een conferentie-oord en sinds 2004 is het prive-bezit.