Kaldmaa oli 2006–2010 Eesti Päevalehdessä kulttuuritoimituksen esimies, kirjallisuusliite Arkaadian toimittaja ja julkaisija. Hän oli 2009–2011 kirjallisuuslehti Lugun päätoimittaja. Kun Viron PEN perustettiin uudelleen 3. helmikuuta 2010, hänet valittiin sen hallitukseen, ja hän on ollut siitä lähtien Viron PENin puheenjohtaja. Vuosina 2010–2016 hän työskenteli Viron lastenkirjallisuuden keskuksen ulkosuhteiden johtajana. Vuodesta 2016 hän on ollut vapaa kirjoittaja ja kääntäjä.