Né le 8 janvier 454, à Nicopolis, en Arménie, dans une famille chrétienne fort riche, il hérita très jeune de la fortune de ses parents, qu’il utilisa pour bâtir une église et fonder un monastère dans lequel il se retira. Admiré par les moines qui l’avaient rejoint pour sa sagesse, son humilité, sa douceur et son amour du silence, il fut bientôt nommé évêque de Colonie.

Menant toujours une vie de prière et de mortification, il fut un parfait pasteur pour ses diocésains. Il se résolut pourtant après quelques années à abandonner sa charge, pour ne pas entrer en conflit avec son beau-frère, gouverneur d’Arménie.

Jean se retira alors dans la laure de Saint-Sabbas, près de Jérusalem ; il fut d’abord voué aux tâches les plus basses, qu’il accomplit avec la plus grande humilité, avant d’être nommé hôtelier. Jamais il ne dit à ses supérieurs qu’il était évêque. Il put ensuite mener une vie d’ermite pendant trois ans, dans une cellule séparée du monastère, se contentant pour l’essentiel de la nourriture spirituelle.

Son supérieur l’ayant nommé économe, il désira aussi le faire ordonner prêtre. Jean confia alors son secret au patriarche de Jérusalem qui, sans trahir le saint moine, expliqua qu’il ne pouvait l’ordonner. L’identité de Jean fut toutefois révélée au supérieur par un ange.

Jean, démasqué, voulut quitter la laure, ce qui ne lui fut pas permis. Il vécut alors dans sa cellule, dans un parfait silence, avant de pouvoir se retirer quelques années dans le désert de Rube. Il finit sa vie à la laure de Saint-Sabas, dans la mortification et le silence, ne quittant celui-ci que pour instruire ceux qui recouraient à sa science ; il contribua grandement à la lutte contre l’hérésie d’Origène. Il fut rappelé à Dieu à un âge avancé, le 13 mai 558.