In Boxtel leerde Jan Barbara van Dijk kennen, met wie hij in 1897 trouwde. Barbara was toen nog maar 18 jaar oud. Een jaar later werd zoon Antoon geboren, in 1899 gevolgd door Maria. Beiden zouden later gaan schilderen. Er kwamen in totaal 16 kinderen, waarvan er maar zeven de volwassen leeftijd bereikten.

Het schildersbestaan bracht Jan vooral bittere armoede. Dat bereikte een dieptepunt toen het gezin in 1911 op straat werd gezet vanwege een huurachterstand. Dankzij de hulp van buurtbewoners vonden zij onderdak in de oude toren in Woensel. Daar overleed Barbara in 1915, in het kraambed van haar 16e kind.