Im Mai 1913 auf dem elterlichen Hof im Stöttener Weiler Riedhof geboren, wuchs Sylvester Schreyer mit acht Geschwistern auf. Wie damals üblich, verdingte er sich früh als Hütebub. Ab dem 20. Lebensjahr arbeitete er auf mehreren Betrieben als „Schweitzer“, war dann in einer Bio-Gärtnerei in Kaufbeuren und danach als Kraftfahrer in Sonthofen tätig.

Dort lernte er auch Dora, geborene Fichtel, aus Balteratsried kennen, die bei seinem Arbeitgeber Köchin war. Weil Sylvester Schreyer schon zu Beginn des Zweiten Weltkrieges als Soldat eingezogen wurde, mussten die Beiden ihre gemeinsamen Zukunftspläne zurückstellen.