Het eerste Kasteel Ter Horst dateert al van 1203 en werd gebouwd door Philips van Wassenaar, voor het eerst vermeld in 1200.
Hij was een broer van Kerstant van Raephorst, de eerste vermelde eigenaar van het gelijknamige kasteel. Hun vader heette Kerstant, maar het is niet bekend hoe zijn achternaam luidde, want hij werd meestal aangeduid als Kerstant de Dapifer. Hij was de drost (eerste minister) van Floris III, de graaf van Holland.
Eeuwenlang bleef het goed in bezit van deze familie. Vanaf 1615 heeft het diverse eigenaren gekend. In 1838 kocht Prins Frederik het. Hij liet het oude kasteel afbreken en liet op dezelfde plaats het huidige jachtslot in 1865 in neo-gotische stijl bouwen, met een interieur ontworpen door Mouton. Slechts het oude in 1701, vermoedelijk naar ontwerp van Pieter Post gebouwde, onlangs gerestaureerde koetshuis/oranjerie, alsmede de 2-eeuwen oude waterpomp in de kasteeltuin herinneren nog aan het verleden. Boven de ingang van het jachtslot hangt links het Wapen van Terhorst en rechts het Rijkswapen.
