Carolan n'est pas célèbre pour son habileté à la harpe, qu'il apprit à 18 ans, mais pour ses nombreuses compositions musicales et poétiques. Favorisées par la renaissance de la harpe celtique dans les années 1970, ces mélodies sont encore jouées aujourd'hui.
Employé à 14 ans dans la famille McDermott Roe et montrant déjà des talents de poète, le jeune homme fut pris en charge par Mme McDermott qui lui donna une éducation. À 18 ans, il devient aveugle après avoir contracté la variole. Malgré son handicap, il entame une carrière de harpiste itinérant, métier qu'il exerça pendant 50 ans jusqu'en 1738 où il revint mourir dans la maison de ses premiers maîtres, les McDermott Roe. En égard à la popularité du mort, la veillée funèbre dura 4 jours.
O'Carolan est inhumé à Keadue.
Carolan était un homme réputé joyeux et sociable, aimant les blagues et le backgammon. Comme beaucoup de harpistes, il aimait boire et était colérique[Information douteuse].
Carolan se maria avec Mary Maguire et s'établit dans une ferme près de Mohill (comté de Leitrim). Ils eurent 6 filles et un garçon. On sait peu de chose sur eux. Après sa mort, son fils publia ses œuvres à Dublin en 1747 puis s'établit à Londres comme professeur de harpe. Une section non datée et non titrée de 23 de ses œuvres est conservée à la National Library d'Irlande. Elle est connue sous le nom de « Compositions de Carolan » ou encore « Extrait Carolan-Delaney ».
Musicien et poète, Carolan avait coutume d'écrire la musique avant le texte, en opposition avec la pratique habituelle en Irlande. Cependant Carolan estimait que la poésie avait toujours préséance sur la musique. Il combinait à merveille les deux grands courants musicaux de son époque, la musique classique et la musique populaire, se laissant influencer par les uns et les autres. Il intégra dans ses compositions des éléments de musique baroque inspirés de Vivaldi et de Corelli. On sait qu'il fut un grand admirateur de Geminiani qu'il rencontra presque certainement à Dublin lors de l'un des séjours du compositeur italien, en 1734 et en 1737. D'après la tradition orale, un concours de composition aurait été organisé, O'Carolan le remportant avec une pièce que l'on titra « O'Carolan's Concerto », qui n'a bien entendu de concerto que le nom.
Une seule copie de sa musique nous est restée, sous forme d'un recueil d'airs ne comportant que la ligne mélodique. On ne sait donc pas de quelle manière il accompagnait ou harmonisait ses compositions. Il écrivit de nombreux airs en hommage à ses hôtes et mécènes, qu'il nommait « planxty ». Le terme a été repris par le groupe irlandais Planxty.
Il a composé au moins 220 airs, dont beaucoup sont encore joués aujourd'hui. Son œuvre constitue donc la collection la plus complète de musique issue des plus anciennes traditions harpistes.