Hillel l'Ancien naquit à Babylone dans une famille considérée, selon la tradition, comme issue de la maison de David. Il avait un frère, Chevna, qui se consacrait au commerce tandis que lui se vouait à l'étude. Selon le Sifré, il monta de Babylone à l'âge de quarante ans, servit les sages pendant quarante ans et dirigea Israël pendant quarante ans.

Arrivé en Erets Israël, il était très pauvre : il travaillait comme bûcheron et donnait la moitié de son maigre salaire pour être admis dans la maison d'étude de Chemaya et Avtalion. Un jour d'hiver où il n'avait pas de quoi payer, il monta sur le toit pour écouter par la lucarne, et on l'y retrouva le lendemain couvert de neige (Yoma 35b).

Une année où la veille de Pessa'h tombait un Chabbat, personne ne savait si le sacrifice pascal repoussait le Chabbat ; on interrogea Hillel, disciple de Chemaya et Avtalion, qui démontra que oui, et il fut nommé le jour même Nassi du Sanhédrin (Pessa'him 66a). Dernier des « paires » (zougot), il eut pour collègue Chammaï l'Ancien. Il institua notamment le prozboul, qui permet de recouvrer une dette malgré l'année de chemita. Ses descendants conservèrent la présidence du Sanhédrin jusqu'au Ve siècle.

Sa patience et sa douceur sont devenues proverbiales. À un non-Juif qui voulait apprendre toute la Torah en se tenant sur un pied, il répondit : « Ce qui est détestable à tes yeux, ne le fais pas à autrui. C'est là toute la Torah, le reste n'est que commentaire. Maintenant, va et étudie » (Chabbat 31a). Les Pirké Avot (1, 14) rapportent sa maxime : « Si je ne suis pas pour moi, qui le sera ? Si je ne suis que pour moi, que suis-je ? Et si pas maintenant, quand ? ». Le Talmud lui attribue quatre-vingts disciples, dont Yonathan ben Ouziel et Rabban Yo'hanan ben Zakaï.

Ses élèves formèrent l'école de Beth Hillel, et la halakha a été fixée, presque partout, selon Beth Hillel. Il mourut vers l'an 10 de l'ère commune, à Jérusalem. Une grotte funéraire qui lui est attribuée, à lui et à ses disciples, se trouve à Méron, près du tombeau de Rabbi Chimon bar Yo'haï ; elle est mentionnée à partir du XIe siècle.