Carloni nacque a Taurisano, in provincia di Lecce, in una numerosa famiglia di modesti teatranti trapiantatasi nella città di Napoli. Proprio nel capoluogo campano, infatti, il Carloni crebbe e mosse i suoi primi passi artistici. Negli anni venti fu scritturato nella compagnia di Francesco Corbinici, un noto capocomico napoletano dell'epoca, nella quale conobbe quella che sarebbe stata la compagna della sua vita, l'attrice Titina De Filippo, con la quale si unì in matrimonio nel 1922 e dalla quale ebbe l'unico figlio Augusto (1923-1997). Il loro fu un connubio anche artistico, che li vide insieme anche sulle scene, lavorando con la compagnia "Cafiero-Fumo", con Nino Taranto, ma soprattutto con i fratelli di Titina, Eduardo e Peppino. I fratelli Ester, Maria, Ettore e Adelina (o Adele) erano anch'essi attori e proprio quest'ultima si sposò con Peppino De Filippo.
Carloni divenne così di fatto un attore stabile della compagnia del teatro umoristico dei fratelli De Filippo. Quando la compagnia si sciolse nel 1944, continuò a lavorare saltuariamente con i cognati dedicandosi anche ad altri ruoli minori per il cinema. Quando Titina si ammalò e anche dopo la sua morte, Pietro continuò la sua attività con Eduardo e girò anche alcuni film con Totò. Morì nel 1968 nella sua dimora romana. Riposa accanto alla moglie nella tomba di famiglia del cimitero di Manziana.