רבי בן ציון אלפס נולד בווילנה בא' בכסלו ה'תרי"א (6 בנובמבר 1850) לרבי ירמיהו עקיבא ולשרה אסתר. אביו עסק במסחר, הסתפק במועט ולמד תורה כל ימיו. בגיל שבע למד חומש עם רש"י בתלמוד תורה של ישיבת ז"ץ, ובגיל עשר נכנס לישיבתו של הרב שרגא פייביש ליכט. בגיל 14 התייתם מאמו, בכ"ו בחשוון תרכ"ה (25 בנובמבר 1864), וכעבור עשרה חודשים, בי' בחשוון תרכ"ו, נפטר גם אביו. בגיל 16 נשא לאישה את נחמה, בתה של אמו החורגת, ולמד ארבע שנים בקלויז הגר"א שבבית הכנסת הגדול של וילנה.

כבר בצעירותו נמשך לארץ ישראל: "במה תגרע ירושלים מווילנא? ולמה רק זקנים יסעו לירושלים לקברות בהר הזיתים", כתב בזיכרונותיו. בשנים תרל"ב–תרל"ג (1872–1873) שהה בגפו בירושלים, למד בבית המדרש "מנחם ציון" שליד בית הכנסת החורבה ולימד ילדי עניים ללא שכר; דלות הארץ וסירובה של אשתו לעזוב את וילנה אילצוהו לשוב. הוא עבד 15 שנה בדפוס מ"ץ בווילנה כמנהל וכמגיה, ובשבתות ובחגים דרש בבתי הכנסת שבעיר. בשנת תרנ"א (1891) הקים בית מלאכה לגרביים ולכפפות, ובמסעי מסחרו הרבים ברחבי רוסיה דרש בכל מקום והרבה במעשי צדקה, ובהם תשלום שכר לימוד ליתומים ותמיכה בחיילים יהודים.

דרשותיו, בסגנון מיוחד, משכו המונים מכל שכבות העם, והוא קירבם בחן ובנועם לאביהם שבשמים. הוא סירב לקבל שכר על דרשותיו. במסעיו פגש את רבי ישראל סלנטר, בעל "בית הלוי", רבי שמואל סלנט, רבי שמחה זיסל מקלם והנצי"ב מוולוז'ין. מלחמת העולם הראשונה כלאה אותו בפולטבה, שם ניהל בית עסק קטן ושם נפטרה אשתו בגיל שבעים; בשנת תרפ"ב (1922) שב לווילנה.

כדרשן וכסופר שם לו למטרה לחסום את ההשכלה החילונית באמצעות ספרות יהודית שורשית בשפה עממית. משנת 1900 פרסם את סדרת הסיפורים "מעשה אלפס", המבוססת על יסודות המוסר והחסידות, שיצאה ב-12 מהדורות והפכה לנכס צאן ברזל בבתי ישראל. הוא חיבר כשישים ספרים: הלכה, אגדה, פירושים לתפילות ובעיקר לתפילות החגים, ספר תחינות "מקור דמעה", "אוצר התחיה" ("צאינה וראינה" בשפה מודרנית), ותרגם ליידיש ספרי מוסר כ"ספר היראה" ו"שערי תשובה" לרבנו יונה. החפץ חיים כתב אליו "שהוא מזכה את הרבים". סידוריו ומחזוריו ביידיש מנוקדת עשאוהו לחלוץ הספרות היידית החרדית.

בשנת תרפ"ה (1925) עלה לארץ ישראל והתיישב בפתח תקווה, שם היה מגיד שיעורים ב"תפארת בחורים" וסייע בהקמת שני מקוואות, ולאחר מכן עבר לירושלים. לכבוד יום הולדתו התשעים, בראש חודש כסלו תש"א, יצא לאור ספר זיכרונותיו "תולדות וזכרונות". מכיריו זכרו זקן כפוף, עיניו מושפלות ארצה ושמחה תמידית מאירה את פניו העטורות זקן לבן ארוך. נפטר בירושלים בכ"ג בכסלו תש"א (23 בדצמבר 1940) ונטמן בהר הזיתים.