Il pouvait avoir trente ans quand il s'enfonça dans la solitude de la Sicile, sur un rocher qui s'élève à pic et n'est accessible que d'un côté, afin de se livrer à une vie de contemplation et de mortification, loin de toute distraction. Le Comte Roger de Sicile vint l'y rencontrer, et admira la vue magnifique dont on y jouissait. Il décida d'y faire bâtir un monastère selon la Règle de saint Basile et saint Chrémès en fut le premier abbé.