Rabban Chim'on ben Gamliel l'Ancien naquit à Jérusalem à l'époque du second Temple. Arrière-petit-fils de Hillel l'Ancien, il succéda à son père, Rabban Gamliel l'Ancien, à la présidence (Nessiout) du Sanhédrin environ dix-huit ans avant la destruction du Temple, dont il fut le dernier Nassi. Le Talmud enseigne que « Hillel, Chim'on, Gamliel et Chim'on exercèrent leur présidence pendant cent ans avant la destruction ».

À l'époque de la grande révolte contre Rome, il fut l'un des dirigeants de Jérusalem aux côtés des grands prêtres 'Hanan ben 'Hanan et Yehochoua ben Gamla. Son fils fut Rabban Gamliel de Yavné, et sa fille, Imma Chalom, épousa Rabbi Éliézer ben Hourkenos. On l'appelle « Rabban Chim'on ben Gamliel l'Ancien » ou « le martyr » pour le distinguer de son petit-fils du même nom.

Les Pirké Avot citent son enseignement : « Toute ma vie j'ai grandi parmi les sages, et je n'ai rien trouvé de meilleur pour le corps que le silence ; ce n'est pas l'étude qui est l'essentiel, mais l'action ; et qui multiplie les paroles amène la faute ».

Selon la tradition, il fut l'un des Dix Martyrs, mis à mort par les Romains vers l'an 70, en même temps que Rabbi Ichmaël ben Élicha, le Cohen Gadol.