Jan bleef achter met zeven kinderen. Een Joodse inwoner van Zutphen bleek zijn reddende engel. Hij kocht een aantal van Jans werken, waardoor hij weer even in zijn onderhoud kon voorzien. Zijn drie jongste kinderen werden op verschillende plaatsen ondergebracht. Jan zelf vestigde zich met de andere kinderen in Heeze, waar hij tot 1920 bleef wonen.

Toen het laatste kind het huis uit was, begon Jan aan een zwervend bestaan. Dit bracht hem onder andere naar Valkenburg, waar hij zijn latere vriend, bewonderaar en beschermheer Henri Wijsbek ontmoette. Vervolgens trok Jan naar het buitenland. In Opper-Silezië ontmoette hij zijn tweede vrouw, oorlogsweduwe Martha Menzel.