Deepfakes (englischKofferwort aus den Begriffen „Deep Learning“ und „Fake“)[1] sind realistisch wirkende Medieninhalte (Foto, Audio, Video usw.), die durch Techniken der künstlichen Intelligenz (KI bzw. AI, artificial intelligence) abgeändert, erzeugt (→ Prompt) bzw. verfälscht worden sind.
Im Laufe der Zeit veränderte sich der Begriff Deepfake. Während er 2017 und 2018 nur für genau die Bildwerke benutzt wurde, die explizit durch die Deepfake-KI erschaffen wurden, wurde er im Jahr 2022 benutzt, um Bilder und Filme zu beschreiben, die offensichtlich oder mutmaßlich durch irgendeine KI verfälscht wurden.[2] So behaupteten Elon Musks Anwälte 2022 in einem Gerichtsprozess in den USA, dass ein Musk belastendes Video wahrscheinlich nicht dessen Aussagen wiedergebe, sondern eine Deepfake-Produktion sei.[3]
In der Verordnung (EU) 2024/1689 (KI-Verordnung) werden Deepfakes definiert als „einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“.[4]
Der erste und derzeit häufigste Einsatz von Deepfakes findet im Bereich des „face swapping“ statt. Hierbei wird in visuellem Material (z. B. Videos oder Fotos) das Gesicht einer Person durch das Gesicht einer anderen Person ersetzt, um diese Person in einem anderen Kontext darzustellen. Die so entstehenden Inhalte haben großes destruktives Potential,[5][6] wie zum Beispiel gefälschte pornografische Inhalte. Deepfakes können weit über die Anwendung des „face-swapping“ hinausgehen und die Manipulation auditorischer Inhalte (z. B. „voice swapping“) und die als „body-puppetry“ bekannte Übertragung von Körperbewegungen auf andere Personen in Videomaterial beinhalten.[5]
Obwohl Deepfakes ein relativ neuartiges Phänomen sind (erste Nutzung des Begriffs 2017), haben sie eine breite Debatte um ihre Nutzung und Gefahren für Politik, Wirtschaft und Gesellschaft entfacht. Auf Seiten der Politik sowie auf Seiten der Industrie gibt es Bestrebungen, die Identifizierung von Deepfakes zu erleichtern, ihre Nutzung einzuschränken und ihre unerlaubte Erstellung unter Strafe zu stellen.[7][8]
Das MIT Center for Advanced Virtuality produzierte ein komplexes Deepfake, bei dem die Technologie sowohl zum Einsatz kam, um Gesicht als auch Stimme des ehemaligen US-Präsidenten Richard Nixon zu duplizieren. Die Macher ließen Nixon dadurch eine Rede über den Tod der Apollo-11-Astronauten vorlesen.[9] Diese war einst geschrieben, aber aufgrund der erfolgreichen Mondlandung nie öffentlich gehalten worden.
Um März 2022 tauchte auf einer gehackten ukrainischen Nachrichten-Website ein Fake-Video des ukrainischen Präsidenten Wolodymyr Selenskyj auf, in dem er ukrainische Soldaten aufrief, sich zu ergeben. Das Video wurde schnell als Fälschung entlarvt. Facebook klassifizierte das Video als Deepfake und entfernte es aus seinem Netzwerk. Ob das Video tatsächlich mit Deepfake-Technologie entstand, ist unbekannt.[12][13]
Im Juni 2022 wurde in Videokonferenzen mehreren Politikern gegenüber vorgetäuscht, dass sie ein Gespräch mit dem Kiewer Bürgermeister Vitali Klitschko führen würden. Die Konferenzen wurden unter anderem mit der EU-Innenkommissarin Ylva Johansson, der Berliner Bürgermeisterin Franziska Giffey, dem Bürgermeister von MadridJosé Luis Martínez-Almeida, dem Budapester Bürgermeister Gergely Karácsony, dem Warschauer Stadtpräsidenten Rafał Trzaskowski und dem Wiener Bürgermeister Michael Ludwig geführt und durch die ersten beiden Bürgermeister vorzeitig abgebrochen.[14][15] Im Nachgang bekannte sich das als Kreml-nah geltende russische Komiker-Duo Vovan und Lexus zu den Telefonaten.[16] Sie widersprechen der Darstellung, dass Deepfake-Technologie eingesetzt wurde oder eine politische Motivation vorlag.[17] Stattdessen wird davon ausgegangen, dass ein Shallowfake genutzt wurde.[18]
Im Oktober 2022 wurde berichtet, dass im Rahmen des russischen Überfalls auf die Ukraine ein mittels Deepfake gefälschter Video-Anruf abgefangen worden sei. Die Anrufer hätten sich als der ukrainische Premierminister Denys Schmyhal ausgegeben.[19]
In der Kunst werden Deepfakes als Mittel der Zuspitzung verwendet, etwa um sich über popkulturelle Dinge lustig zu machen.
Der Künstler Joseph Ayerle nutzte Deepfake für den Kurzfilm Un’emozione per sempre 2.0, um eine Zeitreise der Protagonistin Ornella Muti aus dem Jahr 1978 in das Jahr 2018 zu inszenieren.[20][21] Dabei wurde der Charakter der Ornella Muti des Jahres 2018 durch eine KI errechnet, die aus den Gesichtsdaten der jungen Ornella Muti und Filmszenen des Modells Kendall Jenner neue Szenen errechnete, die die wirkliche Ornella Muti nie gespielt hat.[22]
Im April 2018 veröffentlichte der US-amerikanische Kabarettist Jordan Peele gemeinsam mit BuzzFeed ein Deepfake-Video, in dem er Barack Obama vor den Gefahren manipulierter Videos warnen lässt.[23] In diesem Video bezeichnet der „synthetische“ Ex-Präsident unter anderem seinen Nachfolger Donald Trump als „kompletten Volltrottel“.[24] Ein YouTuber, der unter dem Namen „Speaking of AI“ auftritt, ließ wiederum den als Kylo Ren aus Star Wars bekannten Schauspieler das Intro zur Original-TV-Serie Star Trek sprechen.[25]
Seit 2018 wird universitär und industriell daran geforscht, generierte Gesichter zum Schutz der Identität einzusetzen.[26][27] Nach der natürlichen Entfremdung des Gesichtes können im öffentlichen Bereich aufgenommene Daten für Analysezwecke oder für maschinelles Lernen wie Originaldaten verwendet werden, jedoch unter größerem Schutz der Privatsphäre und Ausschlusses biometrischer Erkennungen.[28][29] Einsatzorte sind beispielsweise für die Entwicklung autonomer Fahrzeuge oder für Smart City Kameras.[30][31] Künstliche Gesichter oder andere synthetische Merkmale, stellen damit eine alternative Anonymisierungsform gegenüber dem Blurring von personenbezogen Daten dar.
Deepfakes sorgten für ein großes mediales und gesellschaftliches Echo. Mehrere Journalisten führten daher Selbstversuche durch, um zu untersuchen, wie einfach oder schwierig Deepfakes zu erstellen sind[32] und wie sie die Glaubwürdigkeit von Videobildern beeinflussen könnten.[33] 2020 stellte Microsoft eine Software mit dem Namen Video Authenticator vor, deren KI in der Lage sein soll, durch Deepfake und ähnliche Tools manipulierte Videos zu erkennen.[34]
Im Herbst 2017 stellte ein anonymer Reddit-Nutzer unter dem Pseudonym „Deepfakes“ mehrere Pornovideos ins Internet. So waren die Wonder-Woman-Darstellerin Gal Gadot beim Sex mit ihrem Stiefbruder und andere Schauspielerinnen wie Emma Watson, Katy Perry, Taylor Swift oder Scarlett Johansson zu sehen. Diese Szenen waren unter Verwendung künstlicher Intelligenz erstellt worden und wurden rasch entlarvt. Der Reddit-Nutzer hatte Szenen aus Sexfilmen und Spielfilmen mit der eingefügten Person als Trainingsdaten für ein Neuronales Netz verwendet. Nach einem Bericht im Dezember 2017 im Magazin Vice wurde das Thema von weiteren Medien aufgenommen.[1][35] In den folgenden Wochen überarbeiteten und verbesserten andere Reddit-Nutzer der Entwickler-Community das Vorgehen des Erstentwicklers, womit es zunehmend schwieriger wurde, gefälschte von echten Inhalten zu unterscheiden. Auf dem dazu auf Reddit gegründeten Subreddit „Deepfakes“ wurden bis zu dessen Sperrung am 7. Februar 2018 von mehr als 50.000 Nutzern Deepfake-Videos ausgetauscht. Rachepornos wurden durch den Einsatz von Deepfakes ohne Mitwirkung der im Porno erscheinenden Person möglich.[10][35][36][37][38] Auch die Pornoseite Pornhub gab an, Deepfake-Pornos zukünftig zu sperren.[39]
Im Juni 2019 wurde das Programm DeepNude für Windows und Linux veröffentlicht, welches neuronale Netzwerke benutzt, um Personen auf Bildern zu entkleiden. Dabei gab es eine kostenlose und eine kostenpflichtige Version für 50 USD.[40][41] Die Software wurde kurz danach von den Erstellern wieder entfernt und die Käufer erhielten eine Rückerstattung.[42]
Mit der Open-Source-Software DeepFaceLab können Gesichter von Personen ausgetauscht werden.[43]
Im April 2023 veröffentlichte das US-Start-Up ElevenLabs erstmals eine Version seiner Stimmen-Klon-Software mit deutschen Stimmen: Mittels KI können somit Stimmen mit geringem Aufwand täuschend echt geklont werden[44]
Hinzugekommen per September 2023: KI-Software der Firma Hey Gen Labs lässt gesprochenen Text in Videos übersetzen, samt Anpassung von Lippenbewegungen und Tausch der Gesichter.[45]
Deepfakes von Stimmen können Betrügern kriminelle Handlungen ermöglichen, wenn sie Opfern gegenüber durch eine künstlich imitierte Stimme die Identität einer vertrauens- oder anweisungsberechtigten Person erwecken und das Opfer Handlungen zum Vorteil des Betrügers vornehmen lassen.[46] 2019 wurde ein CEO eines britischen Unternehmens durch einen Telefonanruf dazu gebracht, 220.000 Euro auf ein ungarisches Bankkonto zu überweisen, wobei die Täter durch ein Deepfake die Stimme eines Vorgesetzten des Opfers imitierten.[47]
Neben der Täuschung von Personen durch Deepfakes lassen sich auch biometrische Authentifizierungssysteme wie Voice-ID-Systeme, bei denen die Stimme einer Person als Passwort fungiert, mittels künstlich imitierter Stimme aushebeln. So erhalten Betrüger Zugang zu persönlichen Accounts anderer.[48]
Deepfakes werden laut einer Erhebung von 2023 zunehmend in größerem Umfang im Zusammenhang mit Enkeltrick-Betrügereien genutzt.[44]
Bilder lassen sich seit langem einfach verfälschen. Da dies bei Videos weitaus schwieriger ist, verlangen einige Unternehmen zur Verifikation von ihren Kunden Videos.[10] Mittels Deepfakes konnten Hacker dieses Authentifizierungsverfahren überwinden.
Der Professor Hao Li von der Universität von Southern California warnte, dass, wenn die Technologie von Deepfakes nicht der breiten Masse aufgezeigt werde, die missbräuchliche Anwendung von Deepfakes für Fake News oder Ähnliches eine ernste Gefahr darstellen könne.[49]
In der zweiten Jahreshälfte des Jahres 2020 veröffentlichte Microsoft die Information, dass die Firma an einer Software arbeite, die Deepfake-Manipulationen erkennen soll.[50] Im Jahr 2022 wurde in den USA vor Gericht ein mutmaßlich authentische Videoaufnahme von Anwälten angezweifelt, weil sie ein Deepfake sein könnte. Die Anwälte von Elon Musk behaupteten, dass es sich bei dem belastenden Video wahrscheinlich um ein Deepfake-Video handle. Der Richter akzeptierte die Argumentation nicht.[51]
Im April 2024 gibt es im Vorfeld der Europawahl Beispiele für den Einsatz von KI zu propagandistischen Zwecken.[52] Der Einfluss von manipulierten Fotos, Audioaufnahmen und Videos stelle nach Ansicht von Experten besonders in Kombination mit sozialen Medien eine zunehmende Herausforderung für die Demokratie dar.[52] Sogenannte Eigenfaktenchecks werden empfohlen.[52]
Als Abgrenzung zu Deepfakes sind Shallowfake oder Cheapfake zu sehen. Hierbei handelt es sich zwar ebenfalls um Fälschungen, die jedoch technisch weniger anspruchsvoll sind und nicht mittels künstlicher Intelligenz generiert werden. Beispielsweise, indem Videos mit falschen Informationen gekennzeichnet werden oder in einem falschen Zusammenhang gezeigt werden.[53] Auch das Zusammenschneiden von Videos, damit ein anderer Eindruck entsteht, wird als Shallowfake bezeichnet.[18]
Ende Januar 2018 startete eine App namens FakeApp, mit der Nutzer leicht in Videos Gesichter austauschen können, als sei damit eine andere Person im Video zu sehen (Face Swap). Ein Algorithmus berechnet mithilfe eines künstlichen neuronalen Netzes und der Leistung des Grafikprozessors sowie mit drei bis vier GigabyteSpeicher das zu erzeugende Fake-Video. Für genaue Angaben braucht das Programm viel Bildmaterial von der einzufügenden Person, um mithilfe des erwähnten Deep-Learning-Algorithmus auf Basis der Videosequenzen und Bilder zu lernen, welche Bildaspekte ausgetauscht werden müssen. Die Software nutzt dabei das KI-Framework TensorFlow von Google, welches unter anderem bereits für das Programm DeepDream verwendet wurde. Vorwiegend sind Prominente von damit gefälschten Sexvideos betroffen, obwohl Privatpersonen Ziel sein können.[54][55][56]
Zivil- oder strafrechtliches Vorgehen ist möglich, obwohl die Inhalte nicht echt sind (wie wegen Verletzung von Persönlichkeitsrechten und Sexualbeleidigung).[57] Voraussetzung hierfür ist aber, dass sich der Täter identifizieren lässt. Dies ist im Internet aufgrund von Anonymität und Pseudonymität sowie gegenseitigem Hin- und Herreichen nicht immer möglich.[58]
Der KI-Forscher Alex Champandard hält ein tradiertes hohes Vertrauen in den Journalismus und Medien für einen Grund für den Erfolg von Deepfakes. Der Google-Ingenieur Ian Goodfellow bezeichnet es als einen historischen Glücksfall, dass wir uns „bisher auf Videos als Beweis für Tatsachen verlassen konnten“.[10][54]
Im Mai 2019 ist es Forschern des Samsung-Laboratoriums in Moskau gelungen, ein KI-System zu entwickeln, das in der Lage ist, aus einem einzigen Bild ein Fake-Video zu erstellen. Sie schufen aus dem Porträt der Mona Lisa drei verschiedene Videos einer sprechenden und sich bewegenden Frau.[59]
Die Webseite notjordanpeterson.com nutzte die Technologie der „Deepfakes“, um den kanadischen Psychologen Jordan Peterson, welcher im Internet durch kontroverse Aussagen und Interviews einige Berühmtheit erlangte, per Textfeld eingegebene, beliebige Sätze scheinbar sagen zu lassen, wobei der verwendete Algorithmus relativ realistisch klingende Resultate lieferte.[60] Die Funktionalität der Webseite wurde nach Androhung von rechtlichen Schritten von Seiten des Psychologen vorerst deaktiviert.[61]
Mika Westerlund: The Emergence of Deepfake Technology: A Review. In: Technology Innovation Management Review. Band9, Nr.11, 2019, ISSN1927-0321 (timreview.ca [abgerufen am 17. Juli 2021]).
↑ abcdTomislav Bezmalinovic: Wenn Merkel plötzlich Trumps Gesicht trägt: die gefährliche Manipulation von Bildern und Videos. Deepfakes. In: az – Aargauer Zeitung. 3. Februar 2018, ISSN1661-0539 (Schweizer Hochdeutsch, aargauerzeitung.ch [abgerufen am 8. Februar 2018]).
↑Ruth Fulterer: Deepfake-Anruf beim Hersteller der Bayraktar-Drohne sollte die Ukraine diskreditieren. In: Neue Zürcher Zeitung. 24. Oktober 2022, ISSN0376-6829 (Schweizer Hochdeutsch, nzz.ch [abgerufen am 16. Mai 2023]).
↑Co-Creation Studio at MIT Open Documentary Lab: Can Humans Co-Create with Algorithms? In: immerse.news. Immerse, MIT Open DocLab and Dot Connector Studio, 11. Juni 2019, abgerufen am 16. Mai 2023 (amerikanisches Englisch).
↑Kendall Jenner. Kendall Jenner: Aktuelle News und Infos zum US-amerikanischen Model. In: Rheinische Post. 2023, ZDB-ID 553801-4 (rp-online.de [abgerufen am 16. Mai 2023] Profil: Kendall Jenner).
↑Speaking of AI: Kylo Ren in Star Trek auf YouTube, 18. Februar 2020, abgerufen am 16. Mai 2023 (englisch; deepfaked Videoclip mit Kylo Ren (Star-Wars-Universum) im Star Trek; Laufzeit: 30 s).
↑Xiuye Gu, Weixin Luo, Michael S. Ryoo, Yong Jae Lee: Password-conditioned Anonymization and Deanonymization with Face Identity Transformers. In: Computer Science. 29. November 2019, arxiv:1911.11759.
↑Oran Gafni, Lior Wolf, Yaniv Taigman: Live Face De-Identification in Video. In: Computer Science. 19. November 2019, arxiv:1911.08348.
↑Ina Karabasz und Dietmar Neuerer: Pilotprojekt in Stuttgart: Mit Kameras gegen Corona: Deutsche Bahn will Passagierströme bewusster lenken. Mit Videodaten aus Zügen will die Deutsche Bahn ihre Passagiere besser verteilen. Damit soll das Risiko einer Corona-Infektion gesenkt werden. In: Handelsblatt. 27. April 2020, ISSN0017-7296 (handelsblatt.com [abgerufen am 16. Mai 2023]).
↑K. Hayduk: [Drug therapy of hypertension]. In: Zeitschrift Fur Allgemeinmedizin. Band51, Nr.33, 30. November 1975, ISSN0300-8673, S.1536–1542, PMID 1909.
↑ abMarkus Böhm: "Deepfakes": Firmen gehen gegen gefälschte Promi-Pornos vor. In: Spiegel Online. 7. Februar 2018 (spiegel.de [abgerufen am 8. Februar 2018]).
↑Barbara Wimmer: Digital Life – Deepfakes: Reddit löscht Forum für künstlich generierte Fake-Pornos. In: Reddit. 8. Februar 2018 (futurezone.at [abgerufen am 16. Mai 2023]).
↑Netzpolitik – Reddit verbannt Deepfake-Pornos. Die Plattform erlässt ein Verbot von gefälschten Videos, in denen Gesichter von Stars oder Kindern auf Pornostars montiert werden. In: Der Standard. 8. Februar 2018, ZDB-ID 915914-9 (österreichisches Deutsch, derstandard.de [abgerufen am 16. Mai 2023]).
↑Gefälschte Videos – Wie leicht es ist, Deepfakes zu erstellen. Im Netz tummeln sich zahlreiche Tutorials – Aufwand wird immer niedriger, da immer mehr Tools entwickelt werden. In: Der Standard. 1. April 2003, ZDB-ID 915914-9 (österreichisches Deutsch, derstandard.de [abgerufen am 16. Mai 2023]).
↑ abDas Geschäft mit der geklonten Stimme. Betrug mit Künstlicher Intelligenz. In: Tagesschau (ARD). 18. Juli 2023 (tagesschau.de [abgerufen am 20. September 2023]).
↑Hey Gen Labs: KI-Übersetzer geht viral, lässt sich aber nicht testen. Mit Hey Gen Labs lässt sich der gesprochene Text in Videos übersetzen, samt Lippenbewegungen. Offensichtlich wollen aber zu viele auf das Tool zugreifen. 13. September 2023 (heise.de [abgerufen am 13. September 2023]).
↑ abBritta Bauchmüller: „Fake-App“: Mit diesem Programm kann jeder im Porno landen – ob er will oder nicht! Fake-App: Neue Software macht jeden zum Porno-Star – auch ungewollt. In: Berliner Kurier. 29. Januar 2018, ISSN1437-3475 (archiviert. (Memento vom 28. August 2019 im Internet Archive) [abgerufen am 16. Mai 2023]).
↑Eike Kühl: Künstliche Intelligenz: Auf Fake News folgt Fake Porn. In: Die Zeit. 26. Januar 2018, ISSN0044-2070 (zeit.de [abgerufen am 16. Mai 2023]).
↑Eike Kühl: Seite 2 von 2: Künstliche Intelligenz: Selfies sind eine gute Quelle. Künstliche Intelligenz: Auf Fake News folgt Fake Porn. In: Die Zeit. 26. Januar 2018, ISSN0044-2070 (zeit.de [abgerufen am 8. Februar 2018]).
↑Muzayen Al-Youssef: Gefälschte Rachepornos: Deepfakes werden ein richtiges Problem. Deepfakes sind täuschend echt gefälschte Videos. Was bedeutet eine solche Entwicklung? In: Der Standard. 31. Januar 2018, ZDB-ID 915914-9 (österreichisches Deutsch, derstandard.de [abgerufen am 16. Mai 2023]).