בקיץ 1908 שלחו לו רשויות גרמניה זימון לבדיקה גופנית שגרתית לפני שירות צבאי, והודיעו לו כי הם עתידים לגייסו. הוא חזר לגרמניה, והונחה להתגייס ביום שלאחר סוכות; עם זאת, לאחר בדיקה גופנית נוספת נפטר משירות צבאי.[6] עם חזרתו לגרמניה החלה מחלוקת על שלימד בלמל, שמספר רבנים ארץ-ישראליים החרימו. הרב קרליבך הסביר במאמרים בעיתונות מדוע הסכים ללמד בבית הספר, כיהודי אורתודוקסי; לדבריו, רוב הרבנים אישרו את פעילות למל ובארץ ישראל לא הייתה הנהגה יהודית מחייבת, אלא קהילות-קהילות, כך שהאיסור היה רק על בני הקהילות של הרבנים החותמים, רבנים ממוצא אירופאי, שחששו מהתבוללות. כתלמיד של שיטת "תורה עם דרך ארץ" דגל בשילוב המסורת היהודית עם תרבות חילונית.[7] המשיך בלימודיו האקדמיים בברלין, ובהמשך גם בלייפציג ובאוניברסיטת רופרכט-קרל בעיר היידלברג, וב-1909 קיבל תואר במתמטיקה, מדעי הטבע ועברית בהיידלברג. עבודת הדוקטורט שלו, Lewi ben Gerson als Mathematiker. Ein Beitrag zur Geschichte der Mathematik bei den Juden (לוי בן גרשון כמתמטיקאי: מאמר על ההיסטוריה של המתמטיקה אצל היהודים), עסקה בכתביו וברעיונותיו המתמטיים של פרשן המקרא, הפילוסוף והמדעןרבי לוי בן גרשון, הידוע בראשי התיבות "רלב"ג"; הוא הוציא אותה שנית ב-1910 בברלין. קטעים מספרי הרלב"ג פרסם בספר היובל לכבוד אביו שיצא בשנת תר"ע, במלאת 40 שנה לשבתו על כס הרבנות בליבק.[8]
בשל קשריו עם פאול נתן מחברת עזרה, שלקחה ב-1904 תחת חסותה את "למל", קיבל משרה של מורה בגימנסיה הממשלתית לבנות בשכונת שרלוטנבורג בברלין "מרגרטן-ליצאום" (Margareten-Lyzeum), בניהולו של פרדיננד יאקוב שמידט (גר'). בבית הספר למדו נערות יהודיות רבות מבתים דתיים. אחת מהן הייתה שרלוטה (לוטה) פרויס, בתו של הרופא והחוקר יצחק יוליוס פרויס. קרליבך התאהב בה, וב-1 בינואר1919 הם נישאו. מאוקטובר 1908 ועד 1914 לימד מתמטיקה, פיזיקה, כימיה ומינרלוגיה בגימנסיית מומזן (Mommsen-Gymnasium), ובמקביל למד ולימד בבית המדרש לרבנים בברלין. ב-1914 נסמך לרבנות.
ב-1914 פרצה מלחמת העולם הראשונה. עם הגעת הידיעות על ההרס ואי-הצדק במלחמה לברלין, חיבר הרב קרליבך מאמר בשם Moral als Politik (מוסר כפולטיקה), ובו הביע את רצונו לפעולה אתית גם בקרב הפוליטיקאים, וביסס זאת על נבואות ירמיהו.[9] בהמשך גויס לצבא הגרמני; תחילה שימש כאיש קשר בתחנת מעבר למברקים במיינץ. בהמלצת גיסו, הרב ד"ר ליאופולד רוזנק, רבה של ברמן, ששירת כרב צבאי בליטא הכבושה ושימש כיועץ לשלטונות הכיבוש, הוא קוּדם לדרגת האופטמן (קפטן) והתמנה על ידי רשויות הכיבוש, שרצו לעודד גרמניזציה של האוכלוסייה המקומית, לארגן את מערכת החינוך התיכונית היהודית בעיר קובנה. הוא ייסד את הגימנסיה הריאלית העברית בקובנה (שפעלה אז בשם "גימנסיית קרליבך"), שבה התנהלו הלימודים ברוח "תורה עם דרך ארץ" – שילוב בין לימוד תורה ומודרניות ולימודי מדע. מורים בעלי הכשרה גבוהה יובאו מגרמניה, ושפות ההוראה היו גרמנית ועברית מודרנית. קרליבך צידד בענישה גופנית כאמצעי חינוך.[10] הגימנסיה המשיכה לפעול בעיר עד שנת 1940. על פעולתו במוסד זה כתב הסופר סמי גרונמן, ששירת בקובנה גם הוא באותם ימים: ”הוא היה מחנך מבריק, ולא נהג כמדריך נוקשה בין תלמידיו, אלא כמו חבר ועמית בוגר, אהב את תפקידו ואת חבריו הצעירים”.[11] מלבד פעילותו בגימנסיה היהודית עמד בקשר הדוק עם רבנים וראשי ישיבות בליטא.
לאחר פטירת אביו בשנת 1919 (תרע"ט), חזר לעיר מולדתו ונתבקש למלא את מקום האב כאב"ד וראש הקהילה היהודית של ליבק. לאחר שבעה חודשי התלבטות בשל חששו לנטוש את הפעילות בליטא, נפטרה גם אמו, והוא הסכים לקחת עליו את המשרה הרבנית. מליטא הגיע איתו בחור צעיר, הרב שמואל יוסף רבינוב, שלמד בישיבות ליטא, ויחדיו הקימו ישיבה בעיר ליבק. בין היתר למדו בה הרב והתאולוג אליהו מונק, ודוד קרליבך, אחיינו של הרב יוסף צבי קרליבך, ששימש לימים רב בקלן.[12] ב-1920, כמה חודשים לאחר מינויו לרבהּ של ליבק, הודיע יוסף גולדשמידט (גר') על פרישתו מניהול בית הספר תלמוד תורה (גר') בהמבורג, והקהילה היהודית בעיר ביקשה מהרב קרליבך להחליפו כמנהל המוסד החינוכי, שנוסד ב-1807. בגלל חוסר רצונה של הקהילה בליבק להניח לו לעבור להמבורג התעכב המעבר, וב-24 באוקטובר1920 מינתה אותו קהילת המבורג למנהל בית הספר. רק ב-1922 החל לכהן כרב העיר רשמית. בשנת תרפ"ו נתמנה לרב באלטונה, ובתרצ"ו כרבה של המבורג. שנה לאחר מכן, בט' אייר ה'תרצ"ז נאלץ עם בני קהילתו לפנות את ה'גרינדל פרידהוף' (גר') - בית הקברות היהודי הגדול (שחולל פעמיים קודם לכן) שהיה קיים כמאתיים שנה.[13]
יחד עם פעילותו התורנית בקהילה, הקדיש זמן רב לפעילות ציבורית מחוץ לגרמניה. במיוחד סיור שערך מטעם קרן התורה של אגודת ישראל בתרצ"ו בישיבות בפולין, בליטא ובהונגריה בזו אחר זו, ובכל מקום התאים את נאומו לאופיו של המוסד. נודע כעסקן ורב פעלים, ופרסם הרבה מאמרים וספרים לחיזוק הדת.
בפרוץ מלחמת העולם השנייה, אף על פי שהיה יכול להינצל, העדיף להישאר עם בני עדתו. חלק מילדיו, יוליוס, יהודית, אווה (חווה) ואסתר, ניצלו כאשר היגרו לאנגליה במסגרת הקינדר-טרנספורט כבר באמצע שנת 1939, ובתו מרים נשלחה לחיפה באותה תקופה, אולם הוא נשאר עם אשתו אלישבע (שרלוטה) לבית פרויס, וילדיו הקטנים, רות, נעמי, שרה ושלמה, עם קהל עדתו. בשנת 1941 פרסם מאמר בעיתונים היהודיים, בו הביע את משאלתו לשלום ואת התנגדותו למלחמה. המאמר התגלגל לידי אחד ממפקדי האס אס במחנה ריכוז מסוים, והלה שלח מיד דווח לברלין כך שיענישו את הכותב. אולם בגלל מעמדו הרם, לא אסרו אותו הנאצים בעירו אלא הוציאוהו במרמה יחד עם רעייתו, ארבעת ילדיו הצעירים שלמה, רות, נעמי ושרה, ועוד אלפי יהודים למסע ארוך שסופו היה בריגה שבלטביה. כארבעה חדשים שהה בריגה יחד עם אלפי יהודים במחנה הריכוז יונגפרנהוף, שם נספו ב-26 במרץ1942. מילדיו הקטנים ניצל רק בנו הרב שלמה (1926–2022), שהיגר לארצות הברית ושימש כמנהל רוחני בישיבת רבנו חיים ברלין. בנו הבכור יוליוס קרליבך היה רב, היסטוריון וסוציולוג. בתו מרים גיליס-קרליבך, הייתה פרופסור לחינוך באוניברסיטת בר-אילן.
מכתבים מירושלים (1905–1906): ארץ ישראל בראשית המאה בעיני מורה צעיר, משכיל דתי מגרמניה; תרגמה וערכה: מרים גיליס-קרליבך, ירושלים: מכון יוסף קרליבך ('אורה: מפרסומי מכון יוסף קרליבך'), 1996.
ספר הספרים; תרגום: מיכל ברקן; הערות והבאה לדפוס: מרים גיליס-קרליבך, רמת גן: מכון יוסף קרליבך – אוניברסיטת בר-אילן ('הספרייה היהודית'), תשנ"ט. (הופיע לראשונה באנגלית בשנת 1927, כחוברת מס’ 11 בתוך הסדרה (The Jewish Library)
שלושת הנביאים הגדולים: ישעיהו, ירמיהו, יחזקאל, בעריכת מרים גיליס-קרליבך, אלון-שבות: תבונות, מכללת יעקב הרצוג ליד ישיבת הר עציון; רמת גן: מכון יוסף קרליבך – אוניברסיטת בר-אילן ('אורה: מפרסומי מכון יוסף קרליבך'), תשע"ב.
המסע של קרן התורה אל אתרי התרבות היהודית במזרח, רמת גן: מכון יוסף קרליבך – אוניברסיטת בר-אילן ('הספרייה היהודית'), תשע"ה.
מרים גיליס, חינוך ואמונה: משנתו החינוכית של הרב יוסף צבי קרליבך, תל אביב: מורשת; דון, תש"מ 1979. (הכותבת היא בתו של קרליבך)
חנה יפרח, יאנוש קורצ'אק ויוסף קרליבך: משנתם החינוכית; ערכה: מרים גיליס קרליבך, ירושלים: אריאל; מכון יוסף קרליבך ('אורה: מפרסומי מכון יוסף קרליבך'), תשס"א 2001. (עמ' 104–105 ביבליוגרפיה נבחרת מכתבי קרליבך בנושאי חינוך)
דוד אימבר, שרית הוך מרקוביץ, הרב אברהם קריגר (מערכת החוברת), מתורה עם דרך ארץ עד מחנה הריכוז: הרב יוסף צבי קרליבך, כפר הרואה: שם עולם - מכון שואה ואמונה לחינוך, תיעוד ומחקר ('הנהגה רבנית בתקופת השואה'), תשס"ג 2002.
מאיר סיידלר, קִצה של יהדות גרמניה בפתח: הרב יוסף צבי קרליבך הי"ד 1942-1883, סוף עידן, הוצאת אוניברסיטת בר-אילן, 2022.[15]
Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959. (הכותב הוא אחיו, אחיו הרב ד"ר נפתלי קרליבך
Shlomo Carlebach (general editor), Ish Yehudi: The Life and the Legacy of a Torah Great, Rav Joseph Tzvi Carlebach, Brooklyn, N.Y.: Shearith Joseph publications, 2008. (Based on: Naphtali Carlebach, Joseph Carlebach and His Generation) (איש יהודי) (הכותב הוא בנו שלמה קרליבך)
Jüdischer Alltag als humaner Widerstand. Dokumente des Hamburger Oberrabbiners Dr. Joseph Carlebach aus den Jahren 1939-1941; ausgewaehlt und kommentiert von Miriam Gillis-Carlebach, Hamburg: Verlag Verein fuer Hamburgische Geschichte (Beitraege zur Geschichte Hamburgs), 1990.
Miriam Gillis-Carlebach, Jewish Everyday Life As Human Resistance 1939-1941: Chief Rabbi Dr. Joseph Zvi Carlebach and the Hamburg-Altona Jewish Communities, Peter Lang, 2009, ISBN 9783631575611(קריאת הספר בתצוגה מקדימה באתר "גוגל ספרים" )
Miriam Gillis-Carlebach, 'Zwischen Ost und West – Ein Rabbinerlehrer aus Deutschland in Osteuropa. eine historische Bilanz mit einer gedanklichen Zusammenfassung,' in: Miriam Gillis-Carlebach und Barbara Vogel (Hrsg.), "... die da lehren, werden leuchten wie des Himmels Glanz..." (Daniel 12,3). die sechste Joseph Carlebach-Konferenz. Joseph Carlebach und seine Zeit, Würdigung und Wirkung, München: Dölling und Galitz (Publications of the Joseph Carlebach Institute), 2005, pp. 26-50. (גרמנית: בין מזרח ומערב – רב ומורה מגרמניה במזרח אירופה: מאזן היסטורי והרהורי סיכום) (על קרליבך והגימנסיה; הכותבת היא בתו של קרליבך)
Nathan Peter Levinson, Widerstand und Eigensinn. sechs jüdische Lehrer: Jesus-Jeschua, Martin Buber, Franz Rosenzweig, Leo Baeck, Joseph Carlebach, Abraham Joshua Heschel : Vorträge und Aufsätze; herausgegeben von Irmgard Zepf, Münster: LIT (Schibboleth), 2006.
Andreas Brämer, Joseph Carlebach, Hamburg: Ellert & Richter (Hamburger Köpfe), 2007.
Hilde Michael, Das Leben der Hamburger und Altonaer Juden unter dem Hakenkreuz. anhand ausgewählter Briefe des Dr. Joseph Carlebach, Berlin: Lit (Veröffentlichungen des Hamburger Arbeitskreises für Regionalgeschichte), 2009.
ביבליוגרפיה של כתביו:
Joseph Carlebach, Bibliographie seiner Schriften; zusammengestellt und ediert, Miriam Gillis-Carlebach, Ramat-Gan: Bar-Ilan Universität, Interfakultative-Inter-universitäts Joseph Carlebach-Institut zur Erforschung Zeitgemässer Jüdischer Lehre und Erziehung, 1992.
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 28
^Hermann Genzken: Die Abiturienten des Katharineums zu Lübeck (Gymnasium und Realgymnasium) von Ostern 1807 bis 1907. Borchers, Lübeck 1907. (Beilage zum Schulprogramm 1907), S. 78, Nr. 1133. תצוגה דיגיטלית
^הרב שלמה קרליבך, "זיכרון לקדושי השואה: הרב יוסף צבי קרליבך זצוק"ל הי"ד", בתוך: משפחות יואל-אדלר-קרליבך, בהוצאת המשפחות, תשנ"ז, עמ' כב
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 41–42
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 42–47
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 49
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 50–54
^לקוטים מכתבי הרלב"ג, הוציאם לאור בפעם הראשונה ד"ר יוסף צבי קארלעבאך (ברלין), בתוך: לשלמה: ספר היובל אשר נכתב למלאת ארבעים שנה לשבת מ"ור הרב ד"ר שלמה קארלעבאך על כיסא הרבנות בק"ק ליבעק (ט' בתמוז תר"ע), קבוצת דרושים ומאמרים בחכמת ישראל וקורות היהודים, מאת קרוביו ורעיו, נאספו ויצאו לאור על ידי משה שטערן, ברלין: פֿערלאג הויזפֿריינד, התר"ע, באתר היברובוקס
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 81–82. המאמר המקורי ב: Dr. Joseph Carlebach, Berlin, "Moral als Politik", Jeschurun 1, Heft 11, November 1914, S. 410–413
^לא מעט ביקורת הוטחה על אמצעי חינוך זה. אליהו בילס שהחל את דרכו החינוכית בקובנה ב-1913 בבית-הספר הרוסי למסחר ועם הכיבוש הגרמני עבר לגימנסיה הריאלית, מתח ביקורת קשה על שיטותיו של קרליבך להשליט את רצונו על התלמידים ביד חזקה ובהטלת פחד, מה שגרם לו בסופו של עניין לעזוב את הגימנסיה ולחזור לבית הספר למסחר שהפך ב-1920 לגימנסיה העברית ע"ש שוואבה. וכך כתב בזכרונותיו: "נגד התלמידים היה משתמש [ד"ר קרליבך] בענשים קשים. את החוטאים היו סוגרים בחדר אפל (קרצר) וענשי גוף היו מעשה יום יום. לא פעם קרה שלא התעצל האדון הזה להעמיד כיתה שלמה בטור ערפי אחד כדי לסטור לכל אחד על לחיו זה אחר זה על עבירה של מה בכך. ... גם אני טעמתי במשך השנים האלה לא פעם את נחת זרועו של ד"ר קרליבך זה. וכאשר בשנת 1918 בהיותי תלמיד המחלקה החמישית, קיבלתי סטירת לחי על שלא הכינותי את השעור בצרפתית, לא יכלתי עוד לסבול את העלבון והחלטתי לעזוב את בית הספר ויהי מה." ראו: אליהו בילס, 'זכרונותיו של בן המחזור הראשון – תת-פרק 4: הריאל-גמנסיון היהודי בקובנה', בתוך: ישראל יבלוקובסקי (עורך), היכל ששקע: החינוך העברי בקובנה – מוסדות ואישים, תל אביב: ארגון בוגרי הגמנסיון העברי בקובנה, 1962, עמ' 105-104.
^תרגום חופשי של: Sammy Gronemann, Hawdoloh und Zapfenstreich: Erinnerungen an die ostjüdische Etappe 1916–18, Berlin: Jüdischer Verl., 1924, S. 211 (גרסה מקוונת)
^Naphtali Carlebach, Joseph Carlebach and His Generation: Biography of the Late Chief Rabbi of Altona and Hamburg, New York: Joseph Carlebach Memorial Foundation, 1959, p. 86–88
^אחרי במדבר. ביוגרפיה של הרב יששכר מאיר, ניסן ה'תשע"ב. p. 8–47, ראו שם את נאומו המלא.