Udał się wówczas do Camaldoli, stamtąd zaś około roku 1030 przybył do zalesionej doliny Vallombrosa, gdzie rozpoczął życie pustelnicze. Z czasem przylgnęli doń inni - i tak w roku 1039 powstała w Vallombrosie wspólnota mnichów, którzy wiedli surowe życie, kierując się zresztą regułą benedyktyńską. Jan założył później lub zreformował kilka innych klasztorów, którymi kierował jako przełożony powstałej w ten sposób nowej monastycznej społeczności, zwanej walombrozjanami. Zasłużył się też prowadząc dalej walkę z symonią, w czym popierali go papież i lud. Najsłynniejszą stała się jego akcja przeciw arcybiskupowi Florencji, Piotrowi Mezzabarbie. Sam z pokory nigdy nie przyjął święceń kapłańskich.
Zmarł 12 lipca 1073 r. w klasztorze św. Michała w Passignano pod Florencją. Kanonizował go w roku 1193 Celestyn III. Pius XII ogłosił go patronem strażników leśnych (1951) oraz Sao Paulo w Brazylii (1958).
