Fils d’un magistrat, né vers 616 à Elusa (aujourd’hui Eauze, dans le Gers), il fut élevé par les meilleurs maîtres avant d’être placé par son père à la cour du roi Dagobert Ier. Il y rencontra notamment saint Ouen, futur évêque de Rouen, dont il devint très proche.

Insatisfait par la vie futile et dissolue de la cour royale, il forma à l’âge de 20 ans le vœu de consacrer sa vie à Dieu en devenant moine. Avec la bénédiction du roi, il distribua ses biens aux pauvres et se retira à l’abbaye de Rebais, nouvellement fondée par saint Ouen. Après son ordination, il en fut élu abbé en 650.

En raison de désaccords quant à l’application de la règle de saint Colomban, il entreprit un voyage dans divers monastères de France, de Suisse et d’Italie pour y comparer les diverses règles monastiques. Puis, en 654, il fonda avec l’appui de la reine sainte Bathilde l’abbaye de Jumièges, dont il devint le premier abbé ; pour les moniales, il fonda ensuite non loin de là l’abbaye de Pavilly.

Opposé au maire du palais de Neustrie Ebroïn, il lui reprocha l’assassinat de saint Léger. En conséquence, il fut emprisonné puis s’exila dans la Vienne, où il prit la direction du monastère de Quincay, avant d’aller fonder une nouvelle abbaye à Noirmoutier. Il fonda encore d’autres monastères, notamment à Beauvoir-sur-Mer, Saint-Michel-en-l’Herm et Luçon.

Après la chute d’Ebroïn, Philibert se vit proposer de reprendre la tête de Jumièges. Il fonda à cette époque, vers 682, le monastère féminin de Montivilliers, près du Havre. Après avoir longtemps réfléchi, il décida de rentrer à Noirmoutier, où il mourut le 20 août 684.