Charles Ferdinand Ramuz wird 1878 in eine kleinbürgerliche Familie in Lausanne geboren. Sein Vater Émile, der aus dem Gros-de-Vaud stammt und mit 16 Jahren nach Lausanne zieht, ist Kaufmann. Er führt ein Geschäft für Kolonialwaren unweit der Place de la Riponne und später einen Weingrosshandel in der Rue Pré-du-Marché. Seine Mutter Louise ist eine geborene Davel, die aus dem Lavaux kommt, doch nicht vom Major Davel abstammt, der ohne Nachkommen starb Ramuz’ Familie hat keine intellektuelle Vergangenheit, es gibt weder Pfarrer noch Lehrer, und niemand hat ein Hochschulstudium absolviert. Kunst, Kreativität und Ausdrucksfähigkeit spielen kaum eine Rolle, und Literatur wird als zweitrangig betrachtet.
Ramuz ist das älteste Kind der Geschwister, zu denen ein jüngerer Bruder, Oscar (1882–1960), und eine 19 Jahre jüngere Schwester namens Berthe (1897–1994) gehören. Vor der Geburt des späteren Schriftstellers kommen zwei Jungen zur Welt, die vor ihrem dritten Lebensjahr sterben. Entsprechend dem damaligen Brauch trägt Ramuz die beiden Vornamen seiner verstorbenen älteren Brüder. Von seinen Nächsten Charles genannt, wählt er später den Autorennamen C. F., den er auch nach seinen ersten Publikationen im Familienkreis trägt.