רבי רפאל פינטו היה בנו של רבי חיים פינטו מקזבלנקה, המכונה רבי חיים פינטו הקטן (תרכ"ה–תרצ"ח, 1855–1937), נכדו של רבי חיים פינטו הגדול ממוגדור.

איש חסיד ודבק בעבודת ה' ובקיום המצוות, ורבים זכו להתקרב אליו. יהודים וערבים כאחד באו אליו לבקש נחמה וברכה. הבאים להתפלל ולהדליק נרות, שנקלעו לצרות קשות, התקבלו אצלו בחום; נהג להגיש להם כוס מאחיה ולספר להם סיפורי צדיקים ונפלאותיהם.

הוא לימד את העולים לרגל שאסור להראות עצב בביתו של רבי חיים פינטו, שכן האמונה מתחזקת מתוך שמחה. ביתו היה צנוע במראהו אך גדול בתורה שיצאה ממנו, והמידה הבולטת בו הייתה הענווה.

לפי מסורת חברת פינטו, ימים ספורים לפני פטירתו כינס רבי חיים פינטו את בניו לברכם, וכשהגיע לרבי רפאל פרץ בבכי ואמר שבנו ימות מיתה קשה. בשנת 1980 פרצו פורעים לביתו בלילה, היכוהו באכזריות במוט ברזל ושדדו את רכושו; לאחר שבוע של ייסורים קשים השיב רבי רפאל את נשמתו לבוראו.