Het eerste Kasteel Ter Horst dateert al van 1203 en werd gebouwd door Philip van Wassenaar. Eeuwenlang bleef het goed in bezit van deze familie. Vanaf 1615 heeft het diverse eigenaren gekend. In 1838 kocht Prins Frederik het. Hij liet het oude kasteel afbreken en liet op dezelfde plaats het huidige jachtslot in 1865 in neo-gotische stijl bouwen, met een interieur ontworpen door Mouton. Slechts het oude in 1701, vermoedelijk naar ontwerp van Pieter Post gebouwde, onlangs gerestaureerde koetshuis/oranjerie, alsmede de 2-eeuwen oude waterpomp in de kasteeltuin herinneren nog aan het verleden. Boven de ingang van het jachtslot hangt links het Wapen van Terhorst en rechts het Rijkswapen.
