In 1836 kocht de inmiddels 73-jarige Chassé dit pand. Hij ging er wonen met de 46-jarige weduwe van zijn voormalige stafchef en haar zoon Désiré, die echter 3 jaar later stierf. Chassé heeft in dit huis veel belangrijke gasten ontvangen, onder wie de latere koning Willem III. In 1863 - na de dood van Chassé - is de grote achtertuin gebruikt voor uitbreiding van het Begijnhof.