רבי יוסי הגלילי היה מגדולי התנאים בדור השלישי, דור יבנה. שם אביו ונסיבות נעוריו אינם ידועים; כינויו מעיד שהיה בן הגליל, וידוע כי עבר מהגליל להתגורר ביבנה. שם השתלב במהרה בחברת החכמים והפך לאחד החשובים שבהם: לאחר פטירתו של רבי אליעזר בן הורקנוס מונה התוספתא ארבעה תלמידי חכמים חשובים ביבנה, רבי יוסי הגלילי, רבי עקיבא, רבי אלעזר בן עזריה ורבי טרפון.

ביום הראשון שהגיע ליבנה, כשעדיין לא הכירוהו, החל לדון עם רבי טרפון ורבי עקיבא והעלה סברה שרבי טרפון התקשה להפריך; מאז ראו בו שני החכמים לא תלמיד אלא חבר. הוא ניצח את רבי עקיבא בהלכה מספר פעמים, ופעם אחת אף שב רבי עקיבא והודה לדעתו. פעם אמר לו: "עקיבא, אפילו אתה מרבה כל היום כולו איני שומע לך". רבי טרפון המשיל את אורח לימודו ל"צפיר העיזים שבא מן המערב" שבחזון דניאל, הנוגח את האיל, הוא רבי עקיבא. התוספות מבארים כי היה צעיר בשנים מרבי עקיבא אך נחשב כתלמיד חבר. דרך מדרשו בהלכה אינה שונה בהרבה מזו של רבי עקיבא, ושניהם השתמשו לעיתים קרובות באותן מידות.

הוא נודע כצדיק וכחסיד. התלמוד הירושלמי מספר שהיה נשוי לאישה רעת מזג ולא יכול היה לגרשה כי לא היה לו די כסף לכתובתה; רבי אלעזר בן עזריה שילם את הכתובה במקומו. כשנישאה האישה לשומר העיר, שהתעוור והעני, וירדה מנכסיה, שיכן רבי יוסי את שניהם בבית שהיה שייך לו ופרנס אותם כל ימיהם, על פי הפסוק "ומבשרך לא תתעלם". עוד נאמר עליו כי בכוחו להוריד גשמים בתפילתו: "בשעה שישראל באין לידי עבירות ומעשים רעים הגשמים נעצרים, הן מביאין להם זקן אחד, כגון רבי יוסי הגלילי, הוא מפגיע בעדם, והגשמים יורדים".

מתורתו: "גדול השלום, שאפילו בשעת מלחמה אין פותחין אלא בשלום"; "העוסק במצווה פטור מן המצווה"; היתר אכילת בשר עוף בחלב, כמנהג עירו; העיקרון "אפשר לצמצם"; ו"אין 'זקן' אלא מי שקנה חכמה", ומכאן החובה לעמוד מפני תלמיד חכם צעיר. פירושו לפרשת בן סורר ומורה, ה"נידון על שם סופו", הוא המפורסם שבפירושי הפרשה. בניו רבי אליעזר, רבי שמואל ורבי חנינא היו תלמידי חכמים אף הם; רבי אליעזר בנו של רבי יוסי הגלילי היה לבעל סמכות גדולה.

יום ההילולא שלו הוא ט"ו באב. מקום קבורתו אינו מתואר בספרות חז"ל, אך המסורת, הקדומה יחסית לשאר המסורות על קברי צדיקים, קובעת אותו בדלתון שבגליל העליון: בשנת 1083 מתאר רב אביתר גאון כי אביו, רב אליהו הכהן גאון, שנפטר בצור, נישא במשא הכתף שלושה ימים עד דלתון ו"ויקבר בראש ההר אצל רבי יוסי הגלילי". מתחת למבנה שבראש ההר נמצאת מערת כוכין עתיקה. לפי מסורת אחרת של יהדות בבל קברו נמצא בבגדד.