Hier had Frederik Hendrik zijn hoofdkwartier tijdens het beleg van Den Bosch (1629) en werd de akte van overgave van Den Bosch getekend. De hele Staten-Generaal was aanwezig bij die onderhandelingen. Het kasteel wordt al genoemd in 1312. Belangrijke bewoners waren de families Heym, Van Beresteyn en Van Lanschot. Nu is het een restaurant en feestlocatie.