Rabbi Yossef Chalom Elyachiv naquit le 1er Nissan 5670 (1910) à Šiauliai, en Lituanie, fils unique de ses parents après dix-sept ans de mariage. Son père, Rabbi Avraham Levinson, devint rabbin de Homel ; son grand-père maternel était le célèbre kabbaliste Rabbi Chelomo Elyachiv, l'auteur du Lechem Chevo veA'hlama, dont il fut dans son enfance le secrétaire lorsque la vue du vieillard faiblit. En 1924, il monta avec sa famille à Jérusalem, où elle s'installa à Méa Chéarim ; pour obtenir un certificat d'immigration familial, la famille prit le nom d'Elyachiv, nom de jeune fille de sa mère. Il épousa la fille de Rabbi Aryé Levine, le « Tsadik de Jérusalem ».

Il fut pendant de longues années juge au Grand Tribunal rabbinique d'Israël. Son assiduité était légendaire : il étudiait près de seize heures par jour, pendant des décennies, et donnait des cours de Talmud et de Choulhan Aroukh dans une synagogue de Méa Chéarim. Après la mort du Rav Chakh, il devint le guide du monde des yéchivot lituaniennes et le « Possek Hador », le décisionnaire de la génération, consulté sur toutes les grandes questions de halakha par le monde orthodoxe.

Ses responsa et ses notes sur le Talmud ont été publiées. Il quitta ce monde le 28 Tamouz 5772 (2012), à cent deux ans ; des centaines de milliers de personnes assistèrent à ses funérailles à Jérusalem.