הרב יוסף שלמה דיין נולד בעיר חלב שבסוריה בשנת ה'תרפ"ד (1924) לרב ניסים ולג'מילה דיין. אביו, בן למשפחת רבנים מיוחסת, נמנה עם דייני הקהילה ועסק בהוראת תלמידים. בצעירותו התחנך אצל אביו ולמד ב"כותאב", תלמוד התורה הקהילתי.

בשנת ה'תרצ"ד (1934), בהיותו כבן עשר, עלה עם משפחתו לארץ ישראל, והמשפחה השתכנה בשכונת רחביה בירושלים. עם פטירת אביו בשנת ה'תש"ב (1942) החל לעבוד כנהג הובלות, ולאחר מעצר מצד השלטון הבריטי פרש מעבודתו והקדיש את חייו ללימוד תורת הקבלה ולקיום מצוות. למד ביחידות עם הרב מרדכי שרעבי, ונודע גם כתלמידו של הרב חיים סינואני.

הסתיר מעיני הציבור את עיסוקו בקבלה, חי בצנעה ולבש בגדים פשוטים הרחוקים מלבוש רבנים. לתקופות ממושכות התבודד על קברי תנאים ואמוראים בגליל ובשאר הארץ, ועשה שם תיקונים ותפילות. מדי יום פקד את קבר שמואל הנביא יחד עם קבוצות אברכים שארגן, ונהג לפקוד גם את הכותל המערבי, את קבר שמעון הצדיק ואת הר הזיתים. איתור כמה מקברי הצדיקים בצפון הארץ מיוחס לו, ומדי קיץ צבע וסייד את מצבותיהם. חילק צדקה בסתר, ותלמידיו ראו בו בעל מופת.

בשנת 1984 בנה, באישור גבאי בית הכנסת "נזר אהרון" בבית וגן, היכל לבית הכנסת מכספו, לאחר שחסך לשם כך כעשור.

נפטר ביום שישי, ט' בתמוז ה'תשמ"ה (28 ביוני 1985), בירושלים, כשבועיים לאחר שלקה בליבו בפעם הראשונה. תלמידיו ערכו לו לוויה מזורזת טרם כניסת השבת, והוא נטמן בהר המנוחות.