Dat het bestuur zo lang in handen van de Oranjes was geweest, had alles te maken met de Tachtigjarige Oorlog en de strategische ligging van Bergen op Zoom. In 1577 had de overwegend protestantse stad de kant van de Oranjes gekozen, terwijl de toenmalige markies en markiezin trouw bleven aan Spanje. Dit leidde ertoe dat ze alleen nog in naam markies waren en de Oranjes het bestuur van het markiezaat overnamen. Bij het ingaan van het Twaalfjarig Bestand (1609) werd bepaald dat de markies wel het vruchtgebruik (de inkomsten) kreeg, maar dat het bestuur bij de Oranjes bleef. Bij de Vrede van Munster in 1648 kwam het bestuur weer in handen van de markies.