Né vers 879 dans le Maine, dans une famille seigneuriale, fils d’une mère déjà âgée qui mourut en couches ou dans sa tendre enfance, il reçut une éducation à la cour du comte d’Anjou puis à celle du duc d’Aquitaine. Il développa dès ses jeune années une profonde dévotion envers la Vierge Marie, qu’il prit l’habitude de révérer sous le titre de « Mère de Miséricorde ».

Vers 899, il devint chanoine de l’église Saint-Martin de Tours. Il étudia les Pères de l’Eglise, les auteurs classiques, la poésie et la musique. Dans les mêmes années, il fut disciple de l’évêque Rémi d’Auxerre à Paris, en philosophie et en théologie. Puis, après avoir lu la règle de saint Benoît, et consterné par les écarts de conduite des clercs à Tours, il se retira vers 909 au monastère bénédictin de Baume, dans le diocèse de Besançon, n’emportant avec lui que ses livres, une centaine d’ouvrages.

Ordonné prêtre, et à la demande de son évêque et de son abbé, il rédigea plusieurs ouvrages de théologie. Il fut ensuite nommé abbé de Saint-Pierre-le-Vif à Sens. Devenu abbé du monastère d’Aurillac, il fut ensuite, à partir de 927, le deuxième abbé de Cluny, choisi par le fondateur Bernon, son ancien supérieur à Baume, pour lui succéder.

Odon s’attacha à faire respecter la règle de saint Benoît à Cluny et à réformer de nombreux monastères devenus trop laxistes, en France mais aussi en Italie. Grand lettré, il rassembla à Cluny de nombreux ouvrages, et rédigea lui-même de nombreux traités. En 931, il obtint du pape Jean XI que l’abbaye de Cluny dépendît directement de l’autorité pontificale. Il mourut à Tours le 18 novembre 942.