Explainable Artificial Intelligence (XAI; deutsch: erklärbare künstliche Intelligenz[1][2][3] oder erklärbares Maschinenlernen, nicht zu verwechseln mit dem KI-Unternehmen X.AI) soll nachvollziehbar machen, auf welche Weise dynamische und nicht linear programmierte Systeme[4], z. B. künstliche neuronale Netze, Deep-Learning-Systeme(reinforcement learning) und genetische Algorithmen, zu Ergebnissen kommen. XAI ist eine technische Disziplin, die operative Methoden erarbeitet und bereitstellt, die zur Erklärung von AI-Systemen dienen.
Ohne XAI gleichen einige Methoden des maschinellen Lernens (insbesondere das Deep Learning) einem Black-Box-Vorgang,[1][5] bei dem die Introspektion eines dynamischen Systems unbekannt oder erst in Ansätzen möglich ist und der Anwender kaum Kontrollmöglichkeiten hat zu verstehen, wie eine Software zur Lösung eines Problems gelangt.[6]
Produzieren Sie erklärbarere Modelle, während Sie gleichzeitig eine hohe Lernleistung beibehalten (Vorhersagegenauigkeit).
Ermöglichen Sie menschlichen Nutzern, die entstehende Generation künstlich intelligenter Partner zu verstehen, ihnen angemessen zu vertrauen und mit ihnen effektiv umzugehen.[9]
Während der Begriff „XAI“ noch relativ neu ist – eine frühe Erwähnung des Konzepts erfolgte 2004[10] – hat der bewusste Ansatz, das Vorgehen von maschinellen Lernsystemen komplett verstehen zu wollen, eine längere Geschichte. Forscher sind seit den 1990er Jahren daran interessiert, Regeln aus trainierten neuronalen Netzen abzuleiten,[11] und Wissenschaftler im Gebiet der klinischen Expertensysteme, die neuronale Entscheidungshilfen für Mediziner liefern, haben versucht, dynamische Erklärungssysteme zu entwickeln, die diese Technologien in der Praxis vertrauenswürdiger machen.[12]
In letzter Zeit wird aber der Schwerpunkt darauf gelegt, Maschinenlernen und KI den Entscheidungsträgern und Nutzern – und nicht etwa den Konstrukteuren von Entscheidungssystemen – zu erklären und verständlich zu machen.[13] Seit der Einführung des Programms durch DARPA im Jahr 2016 versuchen neue Initiativen das Problem der algorithmic accountability (etwa ‚algorithmische Rechenschaftspflicht‘) anzugehen und Transparenz zu schaffen (Glass-Box-Vorgang[14]), wie Technologien in diesem Bereich funktionieren:
25. April 2017: Nvidia veröffentlicht Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car.[15]
13. Juli 2017: Accenture empfahl Responsible AI: Why we need Explainable AI.[16]
Layer-wise relevance propagation (LRP; etwa‚ Schicht für Schicht erfolgende Übertragung von Bedeutung‘)[5] wurde erstmals 2015 beschrieben und ist eine Technik zu Bestimmung der Merkmale von bestimmten Eingangsvektoren, die am stärksten zum Ausgabeergebnis eines neuronalen Netzwerks beitragen.[17][18]
Counterfactual method (etwa‚ kontrafaktische Methode‘): Nach dem Erhalten eines Resultats werden gezielt Input-Daten (Text, Bilder, Diagramme etc.) verändert und man beobachtet, wie sich dadurch das Ausgaberesultat verändert.[19]
Local interpretable model-agnostic explanations (LIME)[20]
Mechanistic interpretability versucht, Verhaltensweisen eines bestimmten Deep-Learning-Modells zu analysieren und dadurch Features (Merkmale) zu finden, welche das Verhalten des Modells gezielt verändern können. Diese Methode wurde erstmals 2024 für das hochkomplexe Modell Claude-3 Sonnet unter dem Titel Mapping the Mind of a Large Language Model veröffentlicht.[21]
Rationalization: Speziell bei AI-basierten Robotern wird die Maschine in die Lage versetzt, dass sie ihre eigenen Handlungen „verbal erklären“ kann.[23][24][19]
Bestimmte Industriezweige und Dienstleistungsbereiche sind von XAI-Anforderungen besonders betroffen, da durch die dort immer intensivere Anwendung von KI-Systemen die „Rechenschaftspflicht“ (englisch accountability) mehr und mehr auf die Software und deren – teilweise überraschende – Ergebnisse verlagert („delegiert“) wird.
Folgende Bereiche stehen dabei besonders im Fokus (alphabetische Auflistung):
Ein Beleg dafür, dass diese berechtigte Forderung an Dynamik gewinnt, ist die International Joint Conference on Artificial Intelligence: Workshop on Explainable Artificial Intelligence (XAI) im Jahr 2017.[35]
In Bezug auf KI-Systeme fordern die australische Publizistin und Wissenschaftlerin Kate Crawford und ihre Kollegin Meredith Whittaker (AI Now Institute), dass „die wichtigsten öffentlichen Einrichtungen, wie z. B. die für Strafjustiz, Gesundheit, Wohlfahrt und Bildung zuständigen Stellen […], keine Black-Box-KI und algorithmische Systeme mehr verwenden sollten“.[36][37] Zusätzlich fordern sie – noch über die rein technischen Maßnahmen und Methoden der Erklärbarkeit solcher Systeme hinaus – verbindliche ethischen Maßstäbe, wie sie beispielsweise in der pharmazeutischen Industrie und klinischen Forschung angewendet werden.[38]
Primär im Europarecht wurde die Existenz eines „Rechts auf Erläuterung“ (right to [an] explanation) anhand der DSGVO bereits seit 2017 intensiv diskutiert.[39] Potentielle Ansatzpunkte für die Ableitung eines solchen Rechts finden sich in Art 22 DSGVO, der ein (prinzipielles) Verbot der vollautomatisierten Entscheidungsfindung statuiert, in Verbindung mit Erwägungsgrund 71 („In jedem Fall sollte eine solche Verarbeitung mit angemessenen Garantien verbunden sein, einschließlich [...] des Anspruchs [...] auf Erläuterung der nach einer entsprechenden Bewertung getroffenen Entscheidung“). Auch die Informationspflichten (Art 13–14 DSGVO) bzw. das Auskunftsrecht (Art 15 DSGVO) normieren, dass „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung“ proaktiv bzw. auf Anfrage bereitgestellt werden müssen. Allerdings ist die Existenz eines solchen Rechts aufgrund der Natur von Erwägungsgründen im Unionsrecht, diese besitzen vor allem Klarstellungsfunktion, begründen jedoch selbst kein verbindliches Recht, umstritten.[40] Auch die Art 13–15 DSGVO werden teilweise restriktiv im Sinne einer Erläuterung der abstrakten Systemfunktionalität interpretiert, während die Notwendigkeit der Erklärung einer konkreten Entscheidung, das heißt eine Form von lokaler Interpretierbarkeit, verneint wird.[41] Diese restriktive Interpretation ist jedoch nicht unumstritten.[42] So wurde in der Literatur unter anderem die Existenz eines rights to legibility bejaht, das die Fähigkeiten der Betroffenen Informationen zu verstehen einbezieht,[43] die Rolle der Datenschutzfolgenabschätzung (Art 35 DSGVO) im Kontext des Rechts auf Erläuterung betont[44][45] oder die Existenz eines Rechts auf Erläuterung als (implizite) Garantie im Rahmen von Art 22 Abs 3 DSGVO[46] oder in einer holistischen Lesung verschiedener Bestimmungen der DSGVO angenommen.[47][48]
Andere potentielle rechtliche Ausgangspunkte für die Notwendigkeit von Interpretierbarkeit beim Einsatz von KI wurden anhand des Vertrags- und Schadenersatzrechts[49] oder anhand der informierten Aufklärung (informed consent) zwischen Arzt und Patient im Medizinrecht diskutiert.[50][51]
Mengnan Du, Ninghao Liu, Xia Hu: Techniques for Interpretable Machine Learning, Communications of the ACM, January 2020, Vol. 63 No. 1, Pages 68–77 doi:10.1145/3359786 (englisch)
↑Ein allgemein verwendeter deutscher Begriff hat sich noch nicht durchgesetzt, weshalb hier im Artikel der englische Begriff und seine Abkürzung verwendet werden.
↑Thomas Knaus: Künstliche Intelligenz und Bildung - Was sollen wir wissen? Was können wir tun? Was dürfen wir hoffen? Und was ist diese KI? Ein kollaborativer Aufklärungsversuch. 24. Auflage. LBzM, 2023, S.27–31, doi:10.25656/01:27904.
↑Michael van Lent und William Fisher: An Explainable Artificial Intelligence System for Small-unit Tactical Behavior, Proceedings of the 16th Conference on Innovative Applications of Artifical Intelligence (2004), S. 900–907.
↑Lilian Edwards and Michael Veale: Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For, Duke Law and Technology Review (2017), doi:10.2139/ssrn.2972855.
↑Thomas Knaus: Künstliche Intelligenz und Pädagogik – ein Plädoyer für eine Perspektiverweiterung. 24. Auflage. LBzM, 2023, S.22–26, doi:10.25656/01:30908.
↑Andreas Holzinger, Markus Plass, Katharina Holzinger, Gloria Cerasela Crisan, Camelia-M. Pintea: A glass-box interactive machine learning approach for solving NP-hard problems with the human-in-the-loop. 3. August 2017, arxiv:1708.01104.
↑M. Bojarski, P. Yeres, A. Choromanska, K. Choromanski, B. Firner, L. Jackel und U. Muller: Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car, arxiv:1704.07911.
↑Sebastian Bach, Alexander Binder, Grégoire Montavon, Frederick Klauschen, Klaus-Robert Müller und Wojciech Samek: On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation. In: Public Library of Science (PLoS) (Hrsg.): PLOS ONE. 10, Nr. 7, 10. Juli 2015. doi:10.1371/journal.pone.0130140.
↑Thomas Knaus: Künstliche Intelligenz und Bildung - Was sollen wir wissen? Was können wir tun? Was dürfen wir hoffen? Und was ist diese KI? Ein kollaborativer Aufklärungsversuch. 23. Auflage. LBzM, S.16–19, doi:10.25656/01:27904.
↑Stephen F. Weng, Jenna Reps, Joe Kai, Jonathan M. Garibaldi, Nadeem Qureshi, Bin Liu: Can machine-learning improve cardiovascular risk prediction using routine clinical data?. In: PLOS ONE. 12, 2017, S. e0174944, doi:10.1371/journal.pone.0174944.
↑Im Original: „Core public agencies, such as those responsible for criminal justice, healthcare, welfare, and education (e.g “high stakes” domains) should no longer use ‘black box’ AI and algorithmic systems.“
↑Bryce Goodman, Seth Flaxman: European Union Regulations on Algorithmic Decision-Making and a 'Right to Explanation. In: AI Magazine. Band38, Nr.3, 2017, S.50–57.
↑Andrew D. Selbst, Julia Powles: Meaningful information and the right to explanation. In: International Data Privacy Law. Band7, Nr.4, 2017, S.233–242.
↑Sandra Wachter, Brent Mittelstadt, Luciano Floridi: Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. In: International Data Privacy Law. Band7, Nr.2, 2017, S.76–99.
↑Andrew D. Selbst, Julia Powles: Meaningful information and the right to explanation. In: International Data Privacy Law. Band7, Nr.4, 2017, S.233–242.
↑Gianclaudio Malgieri, Giovanni Comandé: Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation. In: International Data Privacy Law. Band7, Nr.4, 2017, S.243–265.
↑Margot E. Kaminski, Gianclaudio Malgieri: Algorithmic impact assessments under the GDPR: producing multi-layered explanations. In: International Data Privacy Law. Band11, Nr.2, 2021, S.125–144, doi:10.1093/idpl/ipaa020.
↑Bryan Casey, Askhon Farhangi, Roland Vogl: Rethinking Explainable Machines: The GDPR's 'Right to Explanation' Debate and the Rise of Algorithmic Audits in Enterprise. In: Berkeley Technology Law Journal. Band34, Nr.1, 2019, S.143–188.
↑Lee A. Bygrave: Minding the Machine v2.0: The EU General Data Protection Regulation and Automated Decision Making. In: Karen Yeung, Martin Lodge (Hrsg.): Algorithmic Regulation. Oxford University Press, Oxford 2019, S.248–262.
↑Margot E. Kaminski: The Right to Explanation, Explained. In: Berkeley Technology Law Journal. Band34, 2019, S.189–218, doi:10.15779/Z38TD9N83H.
↑Maja Brkan: Do algorithms rule the world? Algorithmic decision-making and data protection in the framework of the GDPR and beyond. In: International Journal of Law and Information Technology. Band27, Nr.2, 2019, S.91–121.
↑Philipp Hacker, Ralf Krestel, Stefan Grundmann, Felix Naumann: Explainable AI under contract and tort law: legal incentives and technical challenges. In: Artificial Intelligence and Law. Nr.4, 2020, S.415–439.
↑Karl Stöger, David Schneeberger, Andreas Holzinger: Medical artificial intelligence: the European legal perspective. In: Communications of the ACM. Band64, Nr.11, 2021, S.34–36.
↑David Schneeberger, Karl Stöger, Andreas Holzinger: The European legal framework for medical AI. In: Andreas Holzinger, Peter Kieseberg, A Min Tjoa, Edgar Weippl (Hrsg.): Machine Learning and Knowledge Extraction. 4th IFIP TC 5, TC 12, WG 8.4, WG 8.9, WG 12.9 International Cross-Domain Conference, CD-MAKE 2020, Dublin, Ireland, August 25–28, 2020, Proceedings. Springer, Cham 2020, ISBN 978-3-03057321-8, S.209–226.