Rav Yossef Tsvi Carlebach naquit à Lübeck le 22 Chevat 5643 (30 janvier 1883), huitième des douze enfants de Rav Chlomo Carlebach, rabbin de Lübeck, et d'Esther, fille de Rav Alexander Süssmann Adler, son prédécesseur. Plusieurs de ses frères devinrent rabbins, dont Rav Hartwig Naftali Carlebach, père du chanteur Rav Chlomo Carlebach. Il étudia le Talmud auprès de Rav Mordekhaï Gumpel, disciple de Rav Ya'akov Ettlinger, mais c'est son père, selon la Hevrat Pinto, qui le marqua le plus.

De 1901 à 1905, il étudia les mathématiques et les sciences naturelles à l'université de Berlin tout en suivant les cours du séminaire rabbinique de Rav David Tsvi Hoffmann. De 1905 à 1907, il enseigna les sciences à l'école Lämel de Jérusalem, où il se lia avec Rav Chmouel Salant et Rav Avraham Its'hak Hacohen Kook ; il qualifia plus tard ces années de plus heureuses de sa vie. Docteur de l'université de Heidelberg en 1909 avec une thèse sur les mathématiques du Ralbag, il reçut la semikha en 1914.

Pendant la Première Guerre mondiale, affecté à des tâches éducatives dans la Lituanie occupée, il fonda à Kovno un lycée hébraïque inspiré de la Torah im Dérekh Erets. Après la mort de son père en 1919, il assura l'intérim du rabbinat de Lübeck, puis dirigea de 1921 à 1926 l'école Talmud Torah de Hambourg, qu'il modernisa et où il introduisit l'hébreu comme langue vivante. Élu grand rabbin d'Altona en 1925, il devint en 1936 grand rabbin de Hambourg, à la synagogue du Bornplatz.

Sous le régime nazi, il continua de prêcher ouvertement, même en présence d'agents de la Gestapo. Le 6 décembre 1941, il fut déporté avec sa famille au camp de Jungfernhof, près de Riga ; selon sa fille Miriam, il refusa l'offre de rester en arrière pour ne pas abandonner ses compagnons, et organisa en secret des cours et une fête de 'Hanouka dans le camp. Le 8 Nissan 5702 (26 mars 1942), il fut assassiné dans la forêt de Biķernieki avec son épouse Charlotte et leurs trois plus jeunes filles. Son lieu de sépulture est inconnu.

Œuvres : Lewi ben Gerson als Mathematiker (1910), Die drei grossen Propheten (1932, traduit en français sous le titre Les trois grands prophètes), Das gesetzestreue Judentum (1936).