A megmagyarázható mesterséges intelligencia (explainable AI - XAI), gyakran értelmezhető MI vagy megmagyarázható gépi tanulás (explainable machine learning - XML) néven ismert, olyan mesterségesintelligencia-rendszerre utal, amely felett az ember képes fenntartani az intellektuális felügyeletet, illetve az ennek elérésére szolgáló módszerre is utalhat.[1] A fő hangsúly általában a mesterséges intelligencia[2] által hozott döntések vagy előrejelzések indoklásán van, amelyeket érthetőbbé és átláthatóbbá tesznek.[3] Az XAI ellensúlyozza a gépi tanulás „feketedoboz” tendenciáját, ahol még az AI tervezői sem tudják megmagyarázni, miért jutott a MI bizonyos következtetésekre.[4][5]
Az ágensek – jelen esetben az algoritmusok és az emberek – közötti együttműködés a bizalomra épül. Hogy az emberek elfogadják az algoritmikus előírásokat, bízniuk kell bennük. A formális bizalmi kritériumok hiányossága gátolja az optimalizálást. Az átláthatóság, az értelmezhetőség és a magyarázhatóság köztes célok az átfogóbb bizalmi kritériumok felé vezető úton.[6] Ez különösen fontos az orvostudományban,[7] különösen a klinikai döntéstámogató rendszerekben (CDSS), amelyekben az egészségügyi szakembereknek képesnek kell lenniük arra, hogy megértsék, hogyan és miért született egy gépi döntés, hogy megbízzanak a döntésben, és növeljék döntéseiket. készítési folyamat.[8]
A mesterséges intelligencia rendszerek néha olyan nemkívánatos trükköket tanulnak meg, amelyek optimálisan teljesítik a tanítási adatokon előre beprogramozott célokat, de nem tükrözik az emberi rendszertervezők árnyaltabb implicit vágyait vagy a tartományadatok teljes összetettségét. Például egy képfelismeréssel megbízott 2017-es rendszer úgy tanult meg "csalást", hogy egy szerzői jogi címkét keresett, amely történetesen lovakat ábrázoló képekhez volt társítva, ahelyett, hogy megtanulta volna megállapítani, hogy valóban egy ló szerepel-e a képen.[5] Egy másik 2017-es rendszerben egy felügyelt tanuló MI, amelynek feladata a tárgyak megragadása a virtuális világban, úgy tanult meg csalni, hogy megragadó eszközét a tárgy és a néző közé helyezte oly módon, hogy az hamisan úgy tűnt, mintha megragadta volna a tárgyat.[9][10]
Az egyik transzparenciaprojekt, a DARPA XAI program célja, hogy olyan „üvegdobozos” modelleket állítson elő, amelyek megmagyarázhatók egy „ember a hurokban” számára anélkül, hogy jelentősen feláldoznák az AI teljesítményét. Az ilyen rendszerek segítségével az emberi felhasználók megérthetik a mesterséges intelligencia algoritmusát (valós időben és utólag is), és eldönthetik, hogy megbízhatnak-e az AI-ban.[11] Az XAI további alkalmazásai a fekete doboz modellekből való tudáskinyerés és a modellek összehasonlítása.[12] Az etikai és társadalmi-jogi megfelelést figyelő rendszerekkel összefüggésben az "üvegdoboz" kifejezést általában olyan eszközökre használják, amelyek nyomon követik a kérdéses rendszer bemeneteit és kimeneteit, és értékalapú magyarázatot adnak azok viselkedésére. Ezen eszközök célja annak biztosítása, hogy a rendszer az etikai és jogi normáknak megfelelően működjön, döntési folyamatai átláthatóak és elszámoltathatóak legyenek. Az "üvegdoboz" kifejezést gyakran használják a "fekete doboz" rendszerekkel ellentétben, amelyek nem átláthatóak, és nehezebben ellenőrizhetők és szabályozhatók.[13] A kifejezést egy hangsegéd megnevezésére is használják, aki tényellenes állításokat állít elő magyarázatként.[14]
Mivel a szabályozók, a hivatalos szervek és az általános felhasználók függővé válnak az AI-alapú dinamikus rendszerektől, egyértelműbb elszámoltathatóságra lesz szükség az automatizált döntéshozatali folyamatokhoz a bizalom és az átláthatóság biztosítása érdekében. Az első, kizárólag ennek a feltörekvő tudományágnak szentelt globális konferencia a 2017-es Nemzetközi Közös Konferencia a Mesterséges Intelligenciáról : Műhely a megmagyarázható mesterséges intelligenciáról (XAI) volt.[15]
Az Európai Unió az általános adatvédelmi jogban (GDPR) bevezette a magyarázathoz való jogot, hogy kezelje az algoritmusok növekvő fontosságából adódó lehetséges problémákat. A rendelet végrehajtása 2018-ban kezdődött. A GDPR-ban foglalt magyarázathoz való jog azonban csak az értelmezhetőség helyi aspektusát fedi le. Az Egyesült Államokban a biztosítótársaságoknak képesnek kell lenniük arra, hogy megmagyarázzák kamat- és fedezeti döntéseiket.[16] Franciaországban a Loi pour une République numérique (digitális köztársasági törvény) feljogosítja az alanyokat arra, hogy információkat kérjenek és kapjanak a rájuk vonatkozó adatokat feldolgozó algoritmusok megvalósításával kapcsolatban.
Az AI modellek magyarázhatóságának növelésére tett erőfeszítések ellenére még mindig számos korlátjuk van.
Azáltal, hogy egy mesterséges intelligencia rendszert érthetőbbé teszünk, többet feltárunk a belső működéséből is. Például a jellemző fontosságú magyarázhatóság módszere azonosítja azokat a jellemzőket vagy változókat, amelyek a legfontosabbak a modell kimenetének meghatározásában, míg a befolyásoló minták módszere azokat a betanítási mintákat azonosítja, amelyek egy adott bemenet esetén a leginkább befolyásolják a kimenet meghatározását.[17] Ellenséges felek hasznot húzhatnának ebből a tudásból.
Például a versenytárs cégek megismételhetik az eredeti AI-rendszer aspektusait saját termékükben, így csökkentve a versenyelőnyt.[18] A megmagyarázható mesterséges intelligencia rendszer is hajlamos a „játékra” – olyan módon befolyásolni, amely aláássa a tervezett célt. Egy tanulmány egy prediktív rendészeti rendszer példáját hozza fel; ebben az esetben azok bűnözők is lehetőséget kapnak rá, hogy potenciálisan „kijátsszák” a rendszert, akikre a rendszer döntései vonatkoznak. Ebben a tanulmányban a rendszer fejlesztői megvitatták az útleveleket illegálisan megszerezni kívánó bűnbandák kérdését, és aggodalmukat fejezték ki amiatt, hogy ezek a bandák képesek lesznek „tesztalanyokat küldeni”, hogy feltérképezzék az útlevél kiadásának megtagadását kiváltó okokat és találhatnak egy kiskaput, amely lehetővé tenné számukra, hogy „megbízhatóan megszerezzék az útleveleket anélkül, hogy a hatóságok észrevehetnék a csalást”.[19]
Az AI-rendszerek megmagyarázhatóvá tételének alapvető akadálya az ilyen rendszerek műszaki komplexitása. A végfelhasználók gyakran nem rendelkeznek a szoftver megértéséhez szükséges programozási ismeretekkel. A mesterséges intelligencia magyarázatára jelenleg használt módszerek főként technikai jellegűek, és a gépi tanulási mérnökökre irányulnak hibakeresési célokra, nem pedig a végfelhasználókra, akiket a rendszer végső soron érint, ami „szakadékot okoz a gyakorlati magyarázhatóság és az átláthatóság célja között”.[17] A technikai összetettség problémájának megoldására javasolt megoldások közé tartozik vagy a nagyközönség kódolási oktatásának előmozdítása, hogy a technikai magyarázatok könnyebben hozzáférhetők legyenek a végfelhasználók számára, vagy a laikusok számára megfogalmazott magyarázatok.[18]
A megoldásnak kerülnie kell a túlzott leegyszerűsítést. Fontos megtalálni az egyensúlyt a pontosság (a magyarázat mennyire hűen tükrözi az AI-rendszer folyamatát) és a megmagyarázhatóság (a végfelhasználók mennyire értik a folyamatot) között. Ezt az egyensúlyt nehéz megtalálni, mivel a gépi tanulás összetettsége még az ML mérnökök számára is megnehezíti a teljes megértést, nem is beszélve a nem szakértőknek.[17]
A MI-rendszerek végfelhasználói számára a megmagyarázhatóság célja a rendszerekbe vetett bizalom növelése, ezen felül „a „méltányosság” hiányával és a diszkriminatív hatásokkal kapcsolatos aggályok kezelése is.[18] Előfordulhat azonban, hogy a végfelhasználók még a mesterséges intelligencia-rendszer alapos ismerete mellett sem bíznak meg feltétlenül a rendszerben.[20] Egy tanulmányban a résztvevők a fehér doboz és a fekete doboz magyarázatok kombinációit, valamint az AI-rendszerek statikus és interaktív magyarázatait mutatták be. Noha ezek a magyarázatok az önbevallásuk és az objektív megértésük fokozását szolgálták, nem voltak hatással a bizalom szintjére, továbbra is szkeptikusak maradtak.[21]
Ez az eredmény különösen igaz volt azokra a döntésekre, amelyek jelentős hatással voltak a végfelhasználóra, például a felsőoktatásba való felvételre. A résztvevők úgy ítélték meg, hogy az algoritmusok túlságosan rugalmatlanok és szigorúak az emberi döntéshozókhoz képest; ahelyett, hogy mereven ragaszkodnának egy sor szabályhoz, az emberek képesek figyelembe venni a kivételes eseteket, valamint fellebbezni az eredeti döntésükhöz.[21] Az ilyen döntések megmagyarázhatósága nem feltétlenül készteti a végfelhasználókat arra, hogy elfogadják a döntéshozatali algoritmusok használatát. Vagy más módszerhez kell fordulnunk a bizalom és a döntéshozatali algoritmusok elfogadásának növelése érdekében, vagy megkérdőjeleznünk kell annak szükségességét, hogy az ilyen hatásos döntések meghozatalakor kizárólag a mesterséges intelligenciára hagyatkozzunk.
A tudósok azt javasolták, hogy a mesterséges intelligencia magyarázhatóságát az AI hatékonysága mellett másodlagos célnak kell tekinteni, és hogy az XAI kizárólagos fejlesztésének ösztönzése szélesebb körben korlátozhatja az AI funkcionalitását.[22][23] Az XAI-val kapcsolatos kritikák a bizonyítékokon alapuló orvoslás által kidolgozott mechanikus és empirikus érvelésekre támaszkodnak, és azt sugallják, hogy a MI technológiák klinikailag engedélyeztethetőek még akkor is, ha funkciójukat a kezelők nem értik.[22]
Az XAI rendszerek elsősorban az AI szakemberek számára tették érthetővé az AI rendszereket, nem a végfelhasználókat célozták meg, ami a felhasználók körében meglehetősen darabos véleményeket eredményezett. Egyes kutatók az alapvetően értelmezhető gépi tanulási modellek használatát szorgalmazzák az utólagos magyarázatokkal szemben, amikor egy másodlagos modellt hoznak létre az első magyarázatára. Ennek oka részben az, hogy az utólagos modellek növelik a döntési folyamat összetettségét, és gyakran nem egyértelmű, hogy az utólagos magyarázat mennyire képes hűen utánozni egy teljesen különálló modell működését.
Más szakértők szerint azonban a legfontosabb, hogy a magyarázat megfeleljen az elvárásoknak, és nem számít, hogy ez előzetesen vagy utólag történik. Ha egy utólagos magyarázati módszer segít egy orvosnak a rákot hatékonyabban diagnosztizálni, akkor másodlagos szempont, hogy a magyarázat helyes vagy helytelen.
Az XAI célja a veszteséges tömörítés egy formája, amelynek a hatékonysága csökken, az AI-modellek paraméterek számának növekedésével. Más tényezőkkel együtt ez a magyarázhatóságnak elméleti határokat szab.[24]
A magyarázhatóságot más kapcsolódó területeken is tanulmányozták: választási rendszerek, részvételi költségvetés, elosztás elmélet.
Ez a szócikk részben vagy egészben az Explainable artificial intelligence című angol Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.