אביי, ששמו נחמני, היה מגדולי אמוראי בבל בדור הרביעי. נולד בסוף המאה השלישית כבן יחיד לכייליל; אביו מת טרם שנולד ואמו מתה בלידתו, והוא גדל אצל דודו, רבה בר נחמני. היה כהן מבית עלי הכהן.

רבותיו המובהקים היו רבה בר נחמני ורב יוסף, ואביי היה עמם כל חייהם. מסופר שכאשר היה רואה את אוזן חמורו של רב יוסף שבא, היה עומד מפניו. הקפיד לשמור על קשר עם חכמי ארץ ישראל וללמוד את תורתם, וכך שולבו בתלמוד הבבלי גם פסקיו של רבי יוחנן. לאחר פטירת רב יוסף נבחר לעמוד בראש ישיבת פומבדיתא, והנהיג אותה עד יום מותו. שימש גם כדיין.

מחלוקותיו עם חברו רבא, ״הוויות אביי ורבא״, נוגעות כמעט בכל נושא בתלמוד, והפכו לשם נרדף לתלמוד כולו. לבד משש מחלוקות, הלכה כרבא במחלוקות שביניהם.

היה צנוע וישר, התפרנס מעבודת האדמה והיה עני רוב ימיו. נודע כרודף שלום ועוסק בגמילות חסדים, מקובל ומכובד על הבריות. אף שעל צאצאי עלי נגזר שימותו צעירים, חי כשישים שנה משום שעסק בתורה ובגמילות חסדים. בנו, רב ביבי בר אביי, היה אף הוא אמורא.

נפטר בשנות ה־330 לספירה (337, 338 או 339, לפי המקורות השונים). על פי רבי חיים ויטאל, הוא קבור במערה בכפר יבנית שבגליל, לצד רבא ורב דימי מנהרדעא, ותושבי האזור קבעו שם הילולה משותפת לאביי ולרבא.