In 1950 verhuisde het gezin naar dit rijksmonument, waar zoon Christiaan (1951) en dochter Mirjam (1953) geboren werden. Het pand werd in 1788 gebouwd door de familie l‘Ollivier uit Breda. Niel richtte een loods in als atelier. In 1955 verkocht hij Rustenburg aan de Bredase bierbrouwerij 'De Drie Hoefijzers'.