הרכבי נולד בנבהרדק (נובוגרודק), בנו של יוסף משה בן הרב אלכסנדר זיסקינד הארקאווי, אב"ד נובוגרודק. אביו היה סוחר ובהמשך שען. כשהיה בן 11 נפטרה אמו והוא התחנך אצל דודו גרשון הארקאווי. שם התחיל ללמוד רוסית, גרמנית ומתמטיקה. לצד זאת המשיך ללמוד גמרא.
מגיל מוקדם גילה חיבה מיוחדת לפילולוגיה. בהיותו ילד למד סורית מספר לימוד גרמנית-סורית שמצא בבית דודו[1]. ב-1879 נסע לווילנה, שם עבד במשרד בית הדפוס של האחים ראם. ב-1882 הוא נסע לארצות הברית וב-1885 לפריז. לאחר מכן חזר לאמריקה והתיישב בניו יורק, שם התגורר עד 1903.
אחרי הפוגרומים ברוסיה ב-1880 הצטרף הרכבי לתנועת "עם עולם", שראתה את עתידם של היהודים במולדת חדשה, אך בניגוד לביל"ו, שכיוונה את פעולותיה לארץ ישראל, גרסה כי הארץ הראויה היא ארצות הברית. ב-1882היגר הרכבי לארצות הברית. אבל הוא לא הצליח להצטרף או להקים יישוב חקלאי של עם עולם. במקום זאת הוא נדד בחיפוש אחרי פרנסה. הוא עבד, בין השאר כסוור, שוטף כלים במסעדה ועוד. בכל הזמן הזה גם עסק במחקר ולימוד. ב-1885 היה בפריז, בניו יורק ב-1886, מונטריאול ב-1887 שם עבד כמורה לעברית, בבלטימור1889 ובחזרה לניו יורק ב-1890. במהלך נדודים אלה הוא למד, לימד ופרסם את חיבוריו העיתונאיים והמחקריים הראשונים. את החוש לשפה קיבל מאביו. אביו יוסף משה היה שען במקצועו אבל תחום העניין האמיתי שלו היה איסוף קללות. הוא אסף מאות קללות ומיין אותן בקטגוריות שונות ורשם אותן בפנקס. הרכבי היה שיטתי ויסודי בעבודתו[2]. במונטריאול הוא השיג הכרה כאישיות יהודית. התקבצו סביבו אוהבי עברית וחובבי ציון. הם הקימו סניף מקומי של הארגון, והרכבי היה לנשיאו. הוא גם הדפיס בליתוגרפיה גיליון אחד של עיתון ביידיש "די צייט" – העיתון הראשון ביידיש שיצא בקנדה. כמו כן כתב את ספר ההיסטוריה הראשון של היהודים בקנדה. כשחזר לארצות הברית הוא השתתף בפעילות של הקבוצה האנרכיסטית פיאנירע דער פרייהייט (חלוצי החרות). בבלטימור פרסם ב-1890 את העיתון "דער יידישער פראגרעס". בעיתון זה השתמש באורתוגרפיה חדשה ליידיש שהיוותה דוגמה ראשונה לכתיב פונטי ביידיש[3]. ב-1920 נסע בשליחות קהילת נוברדוק בארצות הברית חזרה לעיר הולדתו ועסק שם בעזרה לקהילה המקומית. ב-1924 בילה זמן ממושך בווינה, שם הודפס מפעל חייו – מילון יידיש-עברית-אנגלית. ב-1926 נעשה חבר במחלקה הפילולוגית של ייווא.
חיבוריו הראשונים ביידיש היו "על נהרות בבל" וקאָנטאָרסקע סצענעס (1882). הוא פרסם בעיתונים בעברית וביידיש. בין השאר ב"המגיד", "הצפירה", "צוקונפט" ועוד. יידיש מוכרת היום כשפה, בין השאר בזכותו של הרכבי. המילונים שלו מראים שאוצר המילים בשפה הוא גדול כמו זה של שפה מודרנית רגילה ואף על פי שחסרים בה מונחים טכניים היא עשירה בניבים וביטויים אופייניים. כבר ב-1886 כתב הרכבי חיבור בעברית בשם "שפת יהודית". בחיבור זה סקר סקירה היסטורית של שפת יידיש והדקדוק שלה. החיבור במלואו לא פורסם. הוא פרסם רק את החלק הראשון ממנו: "היש משפט לשון לשפת יהודית". הוא הוציא בניו יורק חוברת באותו נושא ביידיש בשם "דיא יידיש דייטשע שפראך: זשארגאן ... איז אזוי גוט א שפראך וויא אללע אנדערע שפראכען (השפה היהודית גרמנית: ז'רגון היא שפה טובה כמו כל השפות האחרות). מטרתו הייתה להוכיח שיידיש היא שפה כמו כל השפות. החוברת עוררה עניין רב בעיתונות היידיש. כתוצאה מכך נוסדה בניו יורק חברה שמטרתה הייתה להפיץ את הטעם שלנו בספרות הז'רגונית[דרושה הבהרה][4]. הרכבי התפרסם בהמשך, בעיקר, בזכות הספרים הרבים שכתב בנושאי מילונאות ופילולוגיה. בין החשובים שבהם המילון ללשון יידיש-אנגלית-עברית שיצא במהדורות רבות, ספרי לימוד באנגלית לדוברי יידיש, אוצר לשון המקרא – מילון עברי וארמי עם תרגום לאנגלית וכן ספרי לימוד בנושאים שונים כמו גאוגרפיה, היסטוריה, הנהלת חשבונות וכדומה. כמו כן תרגם את דון קישוט ליידיש ("געשיכטע פון דאָן קיכאָט").