רולינג קוורץ הוקמה כלהקת רוק עם חמש חברות באוגוסט 2019.[1] הלהקה נוצרה ממיזוג של שתי להקות, שפעלו תחת השמות "Rolling Girlz" ו-"Rose Quartz", שהתחברו ללהקה אחת עם שם שמשלב את שני השמות הקודמים של הלהקות: "Rolling Quartz".[2] בשנה הראשונה לקריירה שלה, רולינג קוורץ הופיעה בעיקר במועדונים, במיוחד באזור הונגדה בסיאול. עם זאת, הם פעלו בעיקר ברשתות החברתיות בשנת 2020 בגלל מגפת הקורונה.[3]
ביוני 2020, הלהקה השתתפה בסינגל "Random" של צמד המפיקים 015B.[4]
Rolling Quartz החלה את פעילותה באופן רשמי לראשונה ב-30 בדצמבר 2020 עם הוצאת הסינגל "Blaze", יחד עם קליפ מוזיקלי.[5] את הקליפ ביים והפיק Zanybros.[6] כל חברות הלהקה השתתפו בהפקת השיר, כולל במילים, לחן ועיבוד.[7]
ב-10 בינואר 2021, הלהקה השתתפה בשידור חי בשם Ambitious Girls Rock 1 לצד להקות רוק קוריאניותויפניות אחרות, כולל Vincit, Velvet Sighs ו־Brats.[8] בינואר, Rolling Quartz הוציאו את הסינגל שלהם "Blaze" כאלבום יחיד, שכלל את הגרסה האינסטרומנטלית של הרצועה.[9] בפברואר, הלהקה הופיעה לראשונה במופע מוזיקה משלה, בתוכנית - M Countdown.[10]
באוגוסט, הלהקה שיתפה פעולה עם אלכסה, ועיבדה גרסת רוק לסינגל שלה "Xtra", אותו ביצעה יחד עם אלכסה ב־MTV Asia.[11]
בפברואר 2022, הלהקה הוציאה את ה-EP הראשון שלה Fighting, שנכנס למצעד חמשת אלבומי הרוק האמריקאים המובילים ב-אייטונס, והייתה ללהקת האינדי הקוריאנית הראשונה שעשתה זאת.[12]