Пасля правалу праекта Еўрапейскай канстытуцыі на рэферэндуме Рафарэн сышоў у адстаўку 31 мая2005 года. Паводле апытанняў грамадскай думкі, Рафарэн — адзін з самых непапулярных французскіх палітыкаў з часоў заснавання Пятай рэспублікі (1958). Яго крытыкавалі за беспадстаўны аптымізм і шапказакідальніцкія афарызмы (т.з. рафарынады).