רבי צבי הירש רבינוביץ, שכונה בפי העם "רבי הירשל", נולד בשנת תר"ח (1848) בניאסוויז', בעת שאביו, רבי יצחק אלחנן ספקטור, כיהן כרבה של העיר. כבר בילדותו התבלט בכישרונותיו ובזכרונו, ואביו לימדו תורה בעצמו. בגיל שמונה עשרה נישא לחיענא בת רבי מאיר סאלץ מסלצניק שבמחוז וילנה.

הוא לא רצה לשאת במשרה רבנית ועסק במסחר בקובנה, כשבמקביל היה עוזרו האישי של אביו בכל ענייני הרבנות. בין השנים תרל"ז–תר"מ (1877–1880) כיהן כמנהל "כולל קובנה" שהוקם בחסות אביו. בשנת תר"מ (1880) התמוטטו עסקיו, והוא קיבל על עצמו את רבנות העיר מיטאו שבקורלנד. בשנת תרמ"ז (1887) הועלתה מועמדותו לתפקיד "הרב הכולל" של קהילות יוצאי מזרח אירופה בניו יורק, בתמיכת כמה מגדולי רבני ליטא, אך לבסוף נבחר הרב יעקב יוסף. בשנת תרמ"ט (1889) התקבל כמו"צ ומגיד דמתא בווילנה.

עם פטירת אביו באדר תרנ"ו (1896) התמנה לרבה של קובנה. בשל התנגדותו לתנועת המוסר ייסד בעיר את ישיבת "כנסת בית יצחק", שנקראה על שם אביו. שאלות הלכה נשלחו אליו מכל רחבי רוסיה וגרמניה, והוא הסמיך לרבנות את אברכי כולל קובנה. כמו כן פעל מול השלטונות הרוסיים נגד גזרות שאיימו על החדרים ונגד גירוש יהודי ליטא מקורלנד.

הוא היה אדם נעים הליכות ובעל מידות תרומיות, אהב את האמת ואת השלום ולא החניף לאיש; הסתפק במועט וסירב לקבל מתנות. חידושיו הרבים אבדו כמעט כולם בימי מלחמת העולם הראשונה, ושרדו רק תשובות אחדות, בעיקר בספר "עין יצחק" של אביו.

נפטר בקובנה בב' בשבט תר"ע (12 בינואר 1910) ונקבר בקובנה לצד קבר אביו.