Rabban Yo'hanan ben Zakaï fut le plus jeune des quatre-vingts disciples de Hillel l'Ancien et l'élève de Hillel et de Chamaï ; Hillel l'appelait « père de la sagesse et père des générations ». Homme de paix qui répugnait à la guerre, il fut le chef spirituel du peuple au moment de la destruction du second Temple, en 70. Selon le Midrach, il commença par être commerçant, et vécut cent vingt ans. Il habita d'abord à Arav, en Galilée, et reçut le titre de « Rabban » pour avoir présidé un temps le Sanhédrin.

Pendant le siège de Jérusalem, il se fit sortir de la ville dans un cercueil et alla trouver le général romain Vespasien. Il lui annonça qu'il deviendrait empereur, et obtint en échange : « Donne-moi Yavné et ses sages ». Il y refonda le Sanhédrin et l'académie qui permirent au judaïsme de survivre à la perte du Temple, et fut l'un des premiers à instituer des règlements adaptés à une vie sans Temple, réorganisant la vie religieuse autour de l'étude et de la prière. Après la destruction, il s'établit à Beror 'Hayil, près de Lod.

Il forma cinq grands disciples, dont Rabbi Éliézer ben Hourkenos et Rabbi Yehochoua ben 'Hanania. Il repose à Tibériade, dans l'enceinte où se trouve le tombeau du Rambam.