Vanaf eind 1925 was hier het Carolus Borromeus College gevestigd, de voormalige katholieke hbs. Het was de eerste middelbare school waar Jan Vriends lesgaf. Hij begon hier in 1947. In 1988 verhuisde de school naar de Gasthuisstraat, in 2014 naar Brandevoort. Dit pand werd in 1992 verbouwd tot 16 appartementen en kreeg de naam Carolus Residentie.