Het oude kasteel Raaphorst zou in 1230 door Kerstand van Raephorst gebouwd zijn. Tot 1650 was het goed in bezit van deze familie. In 1783 kwam het in bezit van Mr. A.P. Twent, later minister van waterstaat onder Koning Lodewijk Napoleon. Deze is begonnen met het bebossen van de Raaphorst. In 1838 kocht Prins Frederik het goed. Het kasteel was toen al afgebroken. Hoe het oude kasteel er precies heeft uitgezien, is niet bekend. Alleen enkele oude tekeningen zijn nog bewaard gebleven.
Op de kasteelboerderij (eerst in gebruik als koetshuis, later verbouwd tot rentmeesterswoning), is op een ingemetselde steen nog het wapen van de heer van Raephorst bewaard gebleven.
