Né à Rome vers 790, il fut moine bénédictin à l’abbaye Saint-Martin de Rome, avant d’être nommé cardinal par le pape Serge II. A la mort de ce dernier, il fut élu sur le siège de Pierre le 12 avril 847, devenant le 103e pape de l’Eglise.
Rome était à cette époque menacée par les attaques des Sarrasins ; un raid en 846 avait fortement endommagé la basilique Saint-Pierre. Léon IV fit restaurer la basilique et construire autour d’elle, sur la colline vaticane, une ville, connue depuis comme la cité léonine, enclose de murs. Une nouvelle attaque sarrasine fut ainsi repoussée en 849.
Le pape lutta aussi contre les hérésies et rappela à l’obéissance plusieurs évêques, dont le patriarche de Constantinople Ignace et Hincmar de Reims. Il fut en contact avec plusieurs souverains européens de l’époque, tels que le roi breton Nominoë ou l’empereur Louis II, arrière-petit-fils de Charlemagne.
Léon IV, qui sut préserver l’indépendance pontificale face aux pouvoirs temporels, mourut à Rome le 17 juillet 855.