בתחילתו היה הרחוב דרך עפר קטנה שהובילה מירושלים לכפר בית צפאפא. בשנת 1873 הוקמה לאורכה המושבה הגרמנית על ידי עדת הטמפלרים, וחלק מהדרך נסלל והפך לרחוב הראשי במושבה.
עם תהליך היציאה מן החומות הוקמו באזור שכונות נוספות - בקעה וקטמון על ידי ערבים-נוצרים והמושבה היוונית בידי נוצרים יוונים מהרובע הנוצרי, וגם המושבה הגרמנית גדלה והתפתחה. חשיבותו של הרחוב עלתה ובתים רבים נבנו לאורכו, רבים מהם נבנו על ידי משפחות עשירות מהעיר העתיקה והיו גדולים ומפוארים.
במלחמת העצמאות ננטשו רוב הבתים על ידי תושביהם הערבים, מלבד כמה נוצרים מהמושבה היוונית. לאחר המלחמה הושיבה המדינה בבתים הנטושים עולים חדשים. חשיבותו והדרו של הרחוב ירדו עם עזיבת תושביו העשירים, וחלק מהבתים בו הוזנחו או הורחבו ללא התחשבות בערכיהם האדריכליים.
עם הזמן הפך הרחוב למבוקש בקרב תושבים אמידים, בזכות קרבתו ונגישותו למרכז העיר והאופי הכפרי המיוחד של השכונה ובתיה.
לקראת סוף המאה ה-20 התפתח הרחוב כמוקד בילוי והסעדה, ונפתחו בו מסעדות, בתי קפה, ברים ובתי עסק שונים, ומתקיימים בו אירועים ופסטיבלים שונים, כמו גם שוק איכרים קבוע. ב-9 בספטמבר 2003, במהלך האינתיפאדה השנייה, התבצע פיגוע התאבדות בקפה הלל (בית הקפה היה ממוקם ב"בית הלבן", שברחוב עמק רפאים מס' 56) . למרות זאת, ובעיקר עם סיומה של האינתיפאדה, חזרו רחוב עמק רפאים והמושבה הגרמנית להיות אחד האזורים התוססים בעיר המאופיין במבלים רבים, בדגש על אוכלוסייה אנגלו-סקסית מן האזור[1].
במסגרת המערך להסעת המונים בירושלים מתוכננת לעבור ברחוב שלוחה של הקו הכחול של הרכבת הקלה בירושלים. במקור תוכננה השלוחה לעבור בתוואי המסילה הישנה, אך לאחר הקמת פארק המסילה ובעקבות מחאת תושבים הועבר מסלול הקו לרחוב עמק רפאים. התוכנית נתקלה גם היא בהתנגדות מצד תושבים ובעלי עסקים שהגיעה לשיאה ב-2018 בשורת אירועי מחאה לצד התנגדויות שהוגשו לוועדות התכנון והבניה[2][3]. לאור המחאה נבחנו חלופות שכללו מעבר הקו בתוואי פארק המסילה מעל ומתחת לפני הקרקע, וכן בדרך חברון, אך לבסוף הוחלט להיצמד לתוכנית הקיימת[4]; תוכנית הקו אושרה ביוני 2018 בוועדה המחוזית, ובאפריל 2020 פורסמו מסמכי המיון למכרז להקמת הקו[5].
רחוב עמק רפאים ישר כמעט לחלוטין, ובחלקו הוא מקביל למסילת הרכבת הישנה שהפכה לפארק. הוא מתחיל בפיצול מדרך בית לחם מול מתחם התחנה הראשונה, מדרום לגן הפעמון. כאן הוא נכנס למושבה הגרמנית, ורחובות קטנים מתפצלים ממנו לשני הצדדים. במרכזו נמצאת כיכר חכמי יוון, בה הוא מצטלב עם רחוב רחל אמנו. מכאן שייכים הבתים למושבה היוונית. הרחוב מסתיים בצומת אורנים המחבר את הרחובות פייר קניג, אלעזר המודעי, בן זכאי, עמק רפאים ופארק המסילה, בתפר שבין השכונות קטמון, בקעה ומקור חיים.
מלון המושבה (לויד ג'ורג' 4א) - מעל מבנה בית הקולנוע.
בנין בית הספר השכונתי (עמק רפאים 22) - בעבר שכנו במקום בתי הספר היסודיים "אליהו הכרמלי" ו"אדם" (עד שנת 2020), ומ-2021 פועל במבנים תיכון "בית חינוך במושבה". כמו כן נמצא במקום קונסרבטוריון "הסדנה" למוזיקה.
בית הכנסת "שערי אחים" (עמק רפאים 28) - מיסודם של עולי כורידסטן האיראנית (נוסד 1952).
בריכת ירושלים (עמק רפאים 43) - נסגרה ב-2017 ונפתחה מחדש, במתכונת שונה, בסוף שנת 2023.
מול בריכת ירושלים (עמק רפאים 44) - שכן קפה הנס וגרץ בין השנים 1979-1981.
בית מאסו (עמק רפאים 25) - בניין מפואר המעוטר בעיטורי קרמיקה ארמנית כחולה. בבניין פעלה בשנים 1949-1995 מגדניית נדה (ירושלים).
בית גארבאדיאן (עמק רפאים 33) - בבניין התגוררה, עד למותה, הסופרת בתיה גור. בנוסף, קיימת על יד הבית ערוגת ברושים, ובה לוחית-הנצחה לתושבת השכונה שנפטרה, אורה רון-שמחוביץ (2016-1953).
שכונת יהודה עמיחי (תחילת רחוב עמק רפאים, ללא מספר) - גינה פראית ועליה מתנוסס שלט על הקמת שכונה עתידית. הגינה והשלט זכו בזכות מסתוריותם לכתבות בעיתונות המקומית[6].
"דגל עֵז", או: "העיזים הצהובות" (עמק רפאים 59) - פסל סביבתי שיצר האמן יובל רימון ב-1987.[7]
פילבוקס מנדטורי (עמק רפאים 65) - בתוך השטח שהיה שייך למשתלת ראובני.
רחוב עמק רפאים מהווה רקע לכמה ספרים בספרות העברית:
חנוך ברטוב, שש כנפיים לאחד, ספרית פועלים, 1954. הספר מבוסס על חוויותיו של הסופר מתקופת מגוריו בשכונת המושבה הגרמנית לאחר מלחמת העצמאות, כשעל ידו התגוררו ניצולי השואה מאירופה ועולים חדשים מארצות המזרח.
אתי שחר, הדוקטור היווני מירושלים, הוצאת ש. זק, 2017. סיפורה הבדוי של משפחה יוונית שנכתב על ידי אחות בבית חולים, שאותו ניהל ד"ר פוטיוס אפקלידס, אבי המשפחה.
חיים באר, בחזרה מעמק רפאים, עם עובד, 2018. הספר מתחיל בהלוויה של סופר בבית הקברות הנוצרי שבמרכז רחוב עמק רפאים.
דורי פינטו, ירח, עם עובד, 2020. הספר מתאר את חייהם של חמישה מתושבי עמק רפאים במשך יום אחד בשנת 1969.
אברהם קושניר, נראה לאחרונה בעמק רפאים, הוצאת סטימצקי, 2022. ספר מתח ובו משולבים תיאורי אתרים לאורך רחוב עמק רפאים.