In Anna′s tijd was dit de belangrijke residentie van de Oranje-Nassaus. Het kasteel werd in de 14e eeuw gebouwd en tussen 1536 en 1538 verbouwd tot een renaissancepaleis. In 1667 werd hier de Vrede van Breda getekend, waarbij het huidige New York ingeruild werd voor Suriname. Vanaf 1828 huist hier de Koninklijke Militaire Academie (KMA).