«Sweet Sounds of Heaven» были анонсированы группой в Instagram 25 сентября 2023 года, где прозвучал короткий фрагмент трека и была указана дата его выхода[5]. В день релиза на официальном YouTube-канале Rolling Stones было выложено лирик-видео на радио-редакцию трека, а на YouTube-канале Apple Music — интервью с фронтменом группы Миком Джаггером[6][7]. 8 декабря была выпущена концертная версия песни, записанная в клубе Racket в Нью-Йорке[8].
Песня «Sweet Sounds of Heaven» была высоко оценена критиками. The Telegraph оценил его в 5 из 5 звёзд, заявив, что группа находится в «ликующей форме», и назвав трек «захватывающей, возвышающей прото-госпел песней, которая принадлежит к самым высоким эшелонам звёздного каталога Стоунз»[9]. Consequence назвал «гимническую, удивительно эмоциональную часть» «одной из лучших песен поздней сцены, которые могут предложить Стоунз», а вокальное взаимодействие между Джаггером и Гагой «[заставляет] расширенный трек чувствовать, что он пролетает мгновенно»[10]. American Songwriter оценил «действительно эпический» трек как «[доказательство] того, что рок-н-ролл и соул-музыка могут жить гармонично», а Rolling Stone далее описал его как «свободно текущее путешествие души» с «госпел-вибрацией»[4][11]. Телеканал RTÉ назвал трек главным событием альбома, заявив, что «это Stones in excelsis, космический горный хребет госпел-песни с, возможно, лучшим в истории вокалом Леди Гаги и потрясающей игрой на клавишах и фортепиано от старого партнёра группы по гастролям Стиви Уандера»[12] . The New York Times назвала «Sweet Sounds of Heaven» пятой лучшей песней, выпущенной в 2023 году, заявив, что «песня поднимается к большому, госпельному финалу, а Джаггер и Гага подбадривают друг друга, чтобы запеть ещё»[13].