Na hun huwelijk gingen Anna en Willem in dit deel van het kasteel van Breda wonen. Het Blokhuis werd toen verbouwd en uitgebreid. Het pompeuze hoofdgebouw werd alleen gebruikt bij feesten en ontvangsten. In het Blokhuis werden de twee dochters van het stel geboren en Anna is er in 1558 overleden. Nu woont hier de gouverneur van de KMA.