Heerma van Voss werd geboren in Gastel, als jongste zoon van de vrederechter van Oudenbosch. Dat hij in de suikerindustrie terechtkwam, is eigenlijk geen verrassing. Na enkele jaren kostschool in Bergen op Zoom, kreeg Sybrand vanaf 1859 een handelsopleiding op het kantoor van zijn oom Casperius Fercken, die erg geïnteresseerd was in deze industrie – toen een bedrijfstak in opkomst. In 1866 was Fercken medeoprichter van een suikerfabriek in Roosendaal en Sybrand deed in die tijd veel kennis over het productieproces op.