Een groot deel van Anna’s jeugd speelde zich af op het kasteel in Buren, de belangrijkste woonstee van de familie. Daarnaast waren zij en haar moeder Francoise de Lannoy ook vaak te vinden in hun heerlijkheid IJsselstein en op het kasteel in Grave, waarvan de Van Egmonds pandheer waren. Anna’s vader was door zijn werk vaak van huis, strijdend voor de keizer in Europa of Noord-Afrika.

Anna had geen broers en zussen en moest zich daarom maar in haar eentje vermaken met haar poppen. Waarschijnlijk had ze ook een hond, een aapje en wat vogels, in die tijd gangbare huisdieren bij de adel. Verder zal ze haar tijd vooral gevuld hebben met borduren, voorlezen, wandelen, muziek maken en het bijwonen van kerkdiensten in de kapel van het kasteel.

In 1545 bracht de keizer een bezoek aan Buren en hoogstwaarschijnlijk maakte Willem deel uit van zijn gevolg. Twee jaar later hebben de twee elkaar in ieder geval ontmoet in Den Bosch, bij een bezoek van Maria van Hongarije. Maria was zus van de keizer en landvoogdes van de Nederlanden.