Noël Mathieu est le fils d’Émile Mathieu et Maria Juge Boulogne.
Son enfance, marquée par des ruptures qu’il vécut souvent comme des abandons, marque toute sa vie.
Elle revient de manière récurrente dans son œuvre, de Qui est cet homme ? (1947) à Il est grand temps, Emmanuel, de revenir à la maison du Père… (1978), qui ne fut pas publié de son vivant.
Son père (1880-1946) est originaire de Corps, en Dauphiné. Il est parent de Mélanie Mathieu, petite voyante de La Salette.
Pierre Emmanuel ne connaît que peu le Dauphiné dans son enfance : il y fait un très bref séjour vers l’âge de 10 ans, mais le pays de son âme est alors Gan.
Sa mère (1884-1963) est de Gan. Sa famille est pauvre, comme celle d’Émile Mathieu.
Pierre Emmanuel raconte :
« Ma grand-mère maternelle, à dix ans, pieds nus et û pa d’esclops naus à la main, était ainsi allée se louer à Pau comme domestique. Je sais très peu de chose de ses dix-sept enfants, sauf de mon oncle, devenu fou des suites d’une blessure de guerre en 14, et que nous visitions parfois à l’Asile de Pau où il était enfermé. C’est la fille aînée de ma grand-mère, ma tante Catherine, qui m’a élevé dans ma toute petite enfance, puis de six à dix ans. Elle avait été, presque toute sa vie, femme de chambre dans divers hôtels parisiens, couronnant sa carrière au Saint-James et d’Albany, ce dont elle se montrait très fière. » (Il est grand temps…)
Émile et Maria partent en Amérique, espérant y vivre mieux qu’en France.
Lui est d’abord garçon laitier, puis « garçon livreur, maître d’hôtel, barman, marchand de café, tenancier de club » (Anne-Sophie Andreu, Pierre Emmanuel, Le Cerf, 2003). Ils vivent pauvrement et ne peuvent élever leurs enfants.
Une petite fille, Germaine, meurt à six semaines. Lorsque Maria est à nouveau enceinte, le couple prend la décision de revenir en France pour l’accouchement et Noël naît dans le Béarn.
Trois semaines plus tard, les parents repartent gagner leur vie et assurer l’avenir de leur enfant.
En 1919, « sitôt la guerre finie et les routes maritimes assurées », Émile Mathieu fait venir son fils à New-York.
L’enfant ne gardera presque aucun souvenir de ce séjour, qu’il passa sans doute chez une nourrice ses parents ne pouvant le garder auprès d’eux. Lui qui parle le béarnais apprend l’anglais, par la force des choses. Ces années demeurent comme un vide pour toute sa vie.