Γεννήθηκε στο Λονδίνο και ήταν γιος του Λιούις Λι Φέρμορ διακεκριμένου γεωλόγου και της Μούριελ Αϊλίν. Λίγο μετά τη γέννησή του η μητέρα του έφυγε, προκειμένου να συναντήσει τον πατέρα του στις Ινδίες, αφήνοντάς τον πίσω στην Αγγλία με μια άλλη οικογένεια. Ως παιδί ο Λη Φέρμορ είχε προβλήματα με τη δομή και τους περιορισμούς της ακαδημαϊκής πειθαρχίας. Για αυτό τον έστειλαν σε σχολείο για "δύσκολα παιδιά". Αργότερα αποβλήθηκε από το Κινγκς Σκουλ, του Καντέρμπουρι. Συνέχισε τη μάθησή του διαβάζοντας κείμενα στην Ελληνική και τη Λατινική, έργα του Ουίλιαμ Σαίξπηρ και ιστορία, με απώτερο στόχο τη Στρατιωτική Ακαδημία του Σάντχερστ.
Στην ηλικία των 18, ο Λη Φέρμορ αποφάσισε να ταξιδέψει στην Ευρώπη, από το Χουκ της Ολλανδίας έως την Κωνσταντινούπολη.[20] Ξεκίνησε στις 8 Δεκεμβρίου 1933, λίγο μετά την άνοδο του Αδόλφου Χίτλερ στην εξουσία στη Γερμανία, με λίγα ρούχα, το Βιβλίο Αγγλικών Στίχων της Οξφόρδης και ένα τόμο των Ωδών του Οράτιου. Κοιμόταν όπου έβρισκε, είτε σε αχυρώνες και καλύβες βοσκών, είτε σε σπίτια της αριστοκρατίας της Κεντρικής Ευρώπης, ακόμη και σε μοναστήρια. Δύο από τα περιηγητικά του έργα, Η εποχή της δωρεάς (1977) και το Ανάμεσα στα δάση και τα νερά (1986), περιγράφουν με λεπτομέρειες το ταξίδι του.
Ο Λη Φέρμορ έφθασε στην Κωνσταντινούπολη την 1η Ιανουαρίου 1935, και συνέχισε το ταξίδι του κατά μήκος της ελληνικής χερσονήσου. Τον Μάρτιο, ενεπλάκη με την εκστρατεία των βασιλικών δυνάμεων στη Μακεδονία ενάντια στη δημοκρατική εξέγερση του 1935. Στην Αθήνα, συνάντησε την Μπαλάσα Καντακουζηνού (Bălaşa Cantacuzino), Ρουμάνα ευγενή της οικογένειας των Καντακουζηνών, την οποία και ερωτεύτηκε. Έζησαν σε έναν παλαιό νερόμυλο, έξω από την πόλη, που έβλεπε προς τον Πόρο. Εκείνος έγραφε και εκείνη ζωγράφιζε. Αργότερα μετακόμισαν στο Μπάλενι (Băleni), τον οίκο της οικογένειας των Καντακουζηνών στη Μολδαβία, έως το ξέσπασμα του Β' Π.Π.[21]
Με το ξέσπασμα του πολέμου, ο Φέρμορ κατατάχθηκε στην Ιρλανδική Φρουρά, αλλά εξαιτίας της γνώσης που είχε ήδη για τον ελλαδικό χώρο, απεστάλη στο Σώμα Γενικών Καθηκόντων (General Service Corps) και έγινε στρατιωτικός σύνδεσμος στην Αλβανία. Πολέμησε στην Κρήτη και την ηπειρωτική Ελλάδα. Κατά τη διάρκεια της Γερμανικής Κατοχής, επέστρεψε στην Κρήτη τρεις φορές, τη μία με αλεξίπτωτο. Ανήκε σε μια ολιγάριθμη ομάδα αξιωματικών που είχε ως στόχο της της οργάνωση της αντίστασης του νησιού στη γερμανική κατοχή. Μεταμφιεσμένος ως βοσκός με το ψευδώνυμο Μιχάλης ή Filedem (Φιλεντέμ = φίλε μου Αδάμ), έζησε περισσότερα από δύο χρόνια στα βουνά. Με τον Γουίλιαμ Στάνλεϊ Μος ως υπαρχηγό, Ο Λη Φέρμορ οδήγησε την ομάδα που απήγαγε το 1944 τον Γερμανό διοικητή Χάινριχ Κράιπε[22], κοντά στις Αρχάνες[23].
Ο Λη Φέρμορ παντρεύτηκε το 1968 την Τζόαν Ελίζαμπεθ Ράινερ, που τον συνόδεψε σε πολλά από τα ταξίδια του μέχρι το θάνατό της στην Καρδαμύλη τον Ιούνιο του 2003 στην ηλικία των 91[24]. Ζούσαν ένα τμήμα του χρόνου στο σπίτι τους, σε έναν ελαιώνα στην Καρδαμύλη της Μάνης (για την οποία συνέγραψε ομότιτλο βιβλίο, που μετέφρασε στα ελληνικά ο προσωπικός του φίλος, πρώην πρωθυπουργός Τζαννής Τζαννετάκης) και το υπόλοιπο στο Γουορτσέστερσαϊρ. Το 2004 στις Τιμητικές Διακρίσεις Νέου Έτους ο Πάτρικ Λη Φέρμορ χρίστηκε ιππότης. Το 2007 ανέφερε πως αποφάσισε να χρησιμοποιήσει γραφομηχανή, έχοντας γράψει όλα τα βιβλία του έως τότε χειρόγραφα[18]. Σε πολλά από τα έργα του ύμνησε τα ελληνικά τοπία με λυρικό τρόπο[25], ενώ ειδικά στο βιβλίο του με τίτλο Ρούμελη αποτύπωσε τις δύο, κατά την άποψή του, φαινομενικά αντίθετες μεταξύ τους πλευρές του Έλληνα, δηλαδή αυτή του "ανθρωπάκου", αλλά και εκείνην του ευγενή και φιλόξενου οικοδεσπότη[26].
The Violins of Saint Jaques (1953) κυκλοφόρησε το 1995 ως Τα βιολιά του Σαιν Ζακ από τις εκδόσεις Εστία σε μετάφραση Μαίρης Βοσταντζή[28]
A Time to Keep Silence (1957), κυκλοφόρησε το 2022 ως Καιρός του σιγάν - Στη σιωπή των μοναστηριών από τις εκδόσεις Μεταίχμιο σε μετάφραση Μιχάλη Μακρόπουλου[29]
Roumeli: Travels in Nothern Greece (1966) κυκλοφόρησε το 1991 ως Ρούμελη από τις εκδόσεις Ωκεανίδα σε μετάφραση Λίνας Κάσδαγλη[31]
A Time of Gifts (1977) κυκλοφόρησε το 2004 ως Η εποχή της δωρεάς από τις εκδόσεις Μεταίχμιο σε μετάφραση Μαίρης Βοσταντζή[32]
Between the Woods and the Water (1986) κυκλοφόρησε το 2006 ως Ανάμεσα στα δάση και τα νερά από τις εκδόσεις Μεταίχμιο σε μετάφραση Νίκου Κούτρα[33]
Three Letters from the Andes (Τρία Γράμματα από τις Άνδεις) (1991)
Words of Mercury (Λόγοι του Ερμή) (2003) εκδόθηκε από την Άρτεμις Κούπερ (Artemis Cooper)
Θλιμμένη βιασύνη: Επιστολές ανάμεσα στην Ντέμπορα Ντέβονσιρ και τον Πάτρικ Λη Φέρμορ (2008), έκδοση Charlotte Mosley
The Broken Road: From the Iron Gates to Mount Athos (2013)[34] κυκλοφόρησε το 2014 ως Ατέλειωτος δρόμος - Από τις Σιδηρές Πύλες του Δούναβη ως τον Άθω από τις εκδόσεις Μεταίχμιο σε μετάφραση Μυρσίνης Γκανά[35]
Abducting A General – The Kreipe Operation and SOE in Crete (2014)[36] κυκλοφόρησε το 2016 ως Η απαγωγή του Στρατηγού Κράιπε από τις εκδόσεις Μεταίχμιο σε μετάφραση Μυρσίνης Γκανά[37]