Originaire selon les sources de Calabre ou de Sicile, né vers 611, il entra dans le clergé et étudia à la Shcola cantorum de Rome. Il fit sa carrière dans le clergé romain et fut sans doute élu pape quelques jours après la mort de saint Agathon, en janvier 681. Toutefois, il ne fut intronisé que le 17 août 682, probablement en raison de négociations avec l’empereur d’Orient Constantin IV quant au contrôle impérial de l’élection pontificale.

Le nouveau pape approuva les actes du concile de Constantinople III, qui avait condamné le monothélisme, et fit diffuser ses décrets en Occident. Il confirma l’anathème lancé par ce même concile contre le pape Honorius Ier (585-pape en 625-638), qui ne s’était pas opposé à l’hérésie monothéliste. Il réaffirma sa primauté sur les sièges de Constantinople et de Ravenne.

Léon II négocia encore sur divers points avec l’empereur Constantin IV. Il fit entamer la construction d’une église dédiée à saint Paul à Rome, afin d’accueillir les reliques des saints martyrs Simplice et Faustin. Par ailleurs, il entreprit quelques réformes liturgiques, introduisant notamment la pratique du baiser de paix et l’aspersion d’eau bénite sur le peuple. Il mourut à Rome le 3 juillet 683.