Né à Rome vers 669 dans une importante famille patricienne, il entra jeune dans les ordres et fonda un monastère bénédictin dans sa villa romaine. Peu de temps après, il fut nommé diacre de Rome, sans doute par saint Serge Ier. A ce titre, il participa en 692 aux discussions du concile in Trullo, tenu à Constantinople, qui dévoila certaines dissensions entre l’Orient et l’Occident. Par la suite, vers 710, il fut envoyé à Constantinople par le pape Constantin pour des négociations avec l’empereur Justinien II.

Après la mort de Constantin, il fut lui-même élu pape, le 19 mai 715. Bâtisseur, il fit restaurer plusieurs églises de Rome, et demanda à Saint Petronax de rétablir l’abbaye du Mont-Cassin, fondée par saint Benoît vers 529, mais détruite par les Lombards quelque 140 ans plus tôt.

Il eut par ailleurs un rôle important au-delà dans des pays plus lointains. Il envoya plusieurs saints en mission d’évangélisation, tels saint Corbinien en Gaule puis en Allemagne, et saint Boniface en Allemagne. En Orient, il condamna en 727 l’hérésie iconoclaste, propagée par l’empereur Léon III, qu’il excommunia par deux fois ; par représailles, il fut la cible de plusieurs tentatives d’assassinat.

D’abord en bons termes avec les Lombards, qui envahissaient le nord de l’Italie et avaient pris Ravenne à l’Empire en 728, il fit face en 729 à une coalition des Lombards et de Léon III, qui se présentaient devant Rome. Après avoir échoué à obtenir l’aide de Charles Martel, il se présenta devant le roi Lombard et parvint à détourner son armée de la ville éternelle.

Une quinzaine de lettres de Grégoire II sont parvenues jusqu’à nous, certaines adressées à Léon II, qui sont d’une grande importance pour l’histoire de l’Eglise. Grégoire II mourut à Rome le 11 février 731.