Het oorspronkelijke Begijnhof lag vlak naast het kasteel. Toen dit in 1531 uitgebreid werd,  kregen de Begijnen van de Nassaus dit stuk grond in het Valkenberg. Ze mochten de nabijgelegen Nassaukapel gebruiken, die sinds 1648 protestant is. De binding met de Nassaus is altijd gebleven. Tot 1981 ging elke Oranje die Breda bezocht op bezoek bij de Begijntjes.