Surnommé "le pauvre pour le Christ", il a connu une vie proche de celle de saint Alexis. Il était né dans une famille sénatoriale où il reçut une éducation des plus soignées. Mais sa pensée d'avenir était ailleurs. Il quitta clandestinement le domicile familial très jeune pour entrer au monastère des Acémètes à Constantinople. Il jeûna tant que personne ne pouvait reconnaître en ce jeune moine le jeune et délicat aristocrate entré trois ans auparavant. Obsédé par la pensée de sa famille, il fut autorisé à la rencontrer. Il se couvrit de haillons et frappa à la porte de la maison paternelle. Reçu comme un mendiant, il put toutefois obtenir une petite cabane au risque des mauvais traitements des serviteurs. A la veille de sa mort, il demanda à sa mère de venir. Elle accepta de rencontrer ce mendiant inconnu qui se fit reconnaître comme son fils en lui rendant un évangéliaire précieux qu'il avait reçu d'elle au temps de son enfance. Et c'est alors qu'il remit son âme à Dieu.
À Constantinople, saint Jean Calybite, qui, dit-on, demeura quelque temps dans un recoin de la maison paternelle, puis dans une 'calybe', c'est-à-dire une cabane, entièrement donné à la contemplation et complètement caché à la vue de ses parents. Ceux-ci le reconnurent seulement à sa mort, à partir du codex doré des Évangiles qu'ils avaient donné à leur fils.
Martyrologe romain