In Brendels drittem Lebensjahr zog die Familie nach Jugoslawien, wo die Eltern eine Pension auf der Adriainsel Krk unterhielten. Er besuchte die Schule in Zagreb und erhielt dort im Alter von sechs Jahren Klavierunterricht bei Sofija Deželić. Nach der Übersiedlung nach Graz im Jahre 1943 studierte er am dortigen KonservatoriumKlavier und Komposition. Seine Klavierstudien beschloss er bei Paul Baumgartner und vor allem bei Edwin Fischer. 1947 legte er extern an der Akademie für Musik und darstellende Kunst in Wien die Staatsprüfung im Fach Klavier ab. 1949 begründete er seine internationale Karriere als Preisträger beim Busoni-Wettbewerb in Bozen. 1950 zog er nach Wien, Anfang der 70er Jahre nach London, Hampstead.
Brendel ist in zweiter Ehe verheiratet. Seine erste Ehe führte er von 1960 bis 1972 mit Iris Heymann-Gonzala, ihr entstammt die Tochter Doris. 1975 heiratete er Irene Semler und hat mit ihr drei Kinder, den Sohn Adrian (einen Musiker, mit dem er auch zusammenarbeitete) und die beiden Töchter Katharina und Sophie.
2009 hatte Brendel einen Auftritt in dem preisgekrönten Dokumentarfilm unter der Regie von Lilian Franck und Robert Cibis, Pianomania. Der Film fand national und international großen Anklang, wurde bei vielen Festivals gefeiert und in den Katalog des Goethe-Instituts aufgenommen.
Brendel ist zudem ein Essayist, dessen Aufsätze zu musikalischen Themen in mehreren Sammelbänden vorliegen. In dem Band „Nachdenken über Musik“ beschäftigte er sich mit Beethoven, Schubert, Liszt, Busoni und Fragen der Interpretation. In dem Essay vergleicht er Schuberts Sonaten mit denen Beethovens und versucht, Schuberts Eigenständigkeit gegenüber dem großen Vorbild herauszuarbeiten. Anders als der „Architekt“ Beethoven habe „Schubert wie ein Schlafwandler“ komponiert. Während Beethoven seine Musik in einen festen Rahmen spanne, setze Schubert mehr Vertrauen in die Direktheit der Emotionen. Die „Last der Form“ solle bei Schubert so leicht wie möglich wiegen.
Seit 1996 erschienen fünf Gedichtbände von Alfred Brendel.