Originaire de Toscane, il naquit probablement à Sienne vers l’an 470. Après avoir étudié à Florence et à Rome et avoir été remarqué tant pour sa piété que pour sa science, il entra dans le clergé romain. Au tout début du VIe siècle, il fut un temps partisan de l’antipape Laurent contre saint Symmaque, mais fit publiquement amende honorable en 506.

Archidiacre de saint Hormisdas, il fut élu pape à la mort de ce dernier, le 13 août 523, alors qu’il était déjà en mauvaise santé. Bâtisseur, il fit restaurer les cimetières des martyrs et entreprit des travaux à Saint-Paul-hors-les-Murs. Il favorisa aussi le développement du chant liturgique.

En Occident régnait alors le roi ostrogoth arien Théodoric. Ce dernier envoya le pape en mission, contre son gré, en Orient, auprès de l’empereur Julien, qui cherchait à éradiquer l’arianisme, pour tenter de l’infléchir. Le pontife se rendit donc à Constantinople, où il parvint à apaiser les relations entre Orient et Occident ; mais il ne prêcha pas en faveur de l’hérésie.

Lorsque Jean Ier revint en Italie, Théodoric, furieux, l’arrêta et le fit emprisonner à Ravenne, il y mourut de faim et des mauvais traitements qui lui furent infligés, le 18 mai 526.