Unmittelbar am nördlichen Ortsrand liegt das Wasserschloss Crassenstein. 1376 finden wir das Schloss als „Castrum Crassenstein“ urkundlich erwähnt: Als Stromberg damals erobert und zerstört wurde, teilte Crassenstein dessen Schicksal. Bald jedoch wurde es als festes, mehrfach von tiefem Wasser umgebenes Schloss wieder aufgebaut und kam 1419 durch Kauf in den Besitz des Freiherrn von Wendt. Nach verschiedenen Güterteilungen (1501, 1549, 1556 und 1559) des bis 1500 gemeinsam verwalteten Gesamtbesitzes der weitverbreiteten Adelsfamilie wurde Crassenstein um 1560 Stammsitz des Zweiges von Wendt- Crassenstein, der sich 1535 der evangelischen und 1560 der reformierten Konfession zugewandt hatte. Franz III. von Wendt- Crassenstein, seit 1598 mit Anna von Ketteler zu Neuassen vermählt, begann in den 20er Jahren des 17. Jahrhunderts mit dem Neubau des Schlosses, der 1636 abgeschlossen wurde.
Es entstand ein in seinem Aussehen vereinfachtes Spätwerk der von Laurenz von Brachum begründeten Lipperenaissance. Im Grundkonzept war eine rechteckige Hofanlage mit vier Ecktürmen geplant, doch kam der Bau nicht über den Hauptflügel, die Türme, die Hälfte der Seitenflügel und die beiden freistehenden Pavillons hinaus.
Nachdem 1710 die Familie von Wendt-Crassenstein ausgestorben war, fiel Crassenstein und der gesamte Besitz an den Vettern und Paten des letzten von Wendt-Crassenstein, an Franz Egon II. von Wendt-Holtfeld. Da dieser Familienzweig katholisch geblieben war, kehrte auch auf Crassenstein katholisches Leben zurück, und es wurde mit päpstlicher Genehmigung wieder eine Hauskapelle errichtet. Während der napoleonischen Wirren verlegte Friedrich-Wilhelm von Wendt-Holtfeld 1808 den Hauptsitz seiner Familie von Hardenberg bei Neviges nach Crassenstein. Da das Schloss, es war von der adeligen Familie bis dahin lediglich als Sommersitz genutzt worden, in schlechtem baulichem Zustand war, ließ Friedrich Wilhelm es renovieren. Die ursprünglich durch ein Muster von plastischen Backsteinringen und -rauten gegliederte Fassade fiel dabei den Restaurierungs- und Umbaumaßnahmen der Jahre 1840 bis 1845 zum Opfer. Die Pläne zum Umbau hatte der Wiedenbrücker Bauinspektor Konrad Niermann entworfen.
Als der letzte von Wendt, Freiherr Oswald, 1877 unvermählt starb, fiel der gesamte Besitz an seine Schwester Leonia, die mit dem Grafen Oscar Laurent von Marchant und Ansembourg verheiratet war. Ihr Sohn, Graf Artur, ließ nach einem Dachstuhlbrand um 1920 das alte Dach des Schlosses in den Jahren 1921 bis 1923 durch das mächtige Mansardedach ersetzen. Gleichzeitig mit dieser Umbaumaßnahme wurden auch der Mittelrisalit und die neue Haupteingangstreppe angelegt.
Im Jahre 1957 erhielt das Schloss einen wirkungsvollen rosafarbenen Außenputz.
Auf der Zufahrt zum Schloss, das von zwei Gräften umgeben ist, steht rechts eine barocke Statue des hl. Nepomuk aus dem Jahre 1732, auf dem Rondell vor dem Schloss eine Marienstatue (um 1951). Im ehemaligen Schlosspark finden wir heute noch als Reste der barocken Gartenanlage zwei Steinfiguren. Die eine zeigt den größten und volkstümlichsten Helden der griechischen Mythologie, Herakles, im Kampf mit der Lernäischen Hydra. Die zweite Skulptur zeigt Milon von Kroton. Er war einer der erfolgreichsten Athleten der archaischen Zeit und wohl der berühmteste Sportler des griechischen Altertums.
Nach jahrelangem Bemühen des Heimatvereins konnte 1999 mit Professor Dr.-Ing. Paul Drews ein neuer Käufer für das, sich in schlechtem Zustand befindliche Wasserschloss, gefunden werden.
Seitdem wurde das Schloss umfassend renoviert, erhielt einen ockergelben Außenputz und ein neues Dach. Drews richtete eine Forschungseinrichtung für Mechatronik in dem Wahrzeichen ein und öffnete das Schloss immer wieder für Kunstausstellungen und Konzerte. 2003 und 2006 lockten die WDR4-Matinee und eine Abendserenade tausende Besucher zum Schloss. 2008 trat der Kindersänger Rolf Zuckowski mit den Diestedder Chören im Innenhof auf. Seit 2007 ist der Schlossvorplatz auch Standort der Festpolonäse des Schützenfests. Kurz nach dem Tod von Prof. Drews im Jahr 2012 wurde das Schloss wieder zum Verkauf angeboten.