GPT-2

Generativ aldınnan tayarlanǵan transformator 2 yaǵnıy GPT-2 (ingl. Generative Pre-Trained Transformer 2, GPT-2) − OpenAI tárepinen jaratılǵan úlken til modeli hám GPT modelleriniń tiykarǵı ekinshi seriyası. GPT-2 segiz million veb-betten ibarat maǵlıwmatlar jıynaǵında aldınnan oqıtıldı.[1] Onıń 2019 jıl fevralda bir bólimi shıǵarıldı, sonnan keyin 1,5 milliard parametrli modeli 2019 jıl 5-noyabrde tolıq shıǵarıldı.[2][3][4][5][6]

GPT-2 bul GPT-1 parametriniń “tikkeley keńeyiwi” retinde jaratıldı[7] onıń parametrleri de, oqıw maǵlıwmatlar jıynaǵınıń ólshemi de on ese artadı.[6] Bul ulıwma maqsetli oqıwshı hám onıń hár túrli tapsırmalardı orınlaw qábileti onıń keyingi elementi izbe-izlik penen anıq boljawdıń ulıwma qábiletiniń aqıbeti boldı,[1] bul oǵan tekstlerdi awdarıwǵa, tekstten tema boyınsha sorawlarǵa juwap beriwge, úzindilerdi (bóleklerdi) juwmaqlawǵa imkaniyat beredi. Úlkenirek tekstten,[8] hám geyde adamlardan ózgeshelenbeytuǵın dárejede tekst shıǵısın jaratıw, biraq uzaq bóleklerdi jaratıwda ol qaytalanatuǵın yamasa mánissiz bolıwı múmkin.[9] Onıń ornın endi ashıq derek bolmaytuǵın GPT-3 hám GPT-4 modelleri iyeledi.

GPT-2 óziniń burınǵı GPT-1 hám onıń miyrasxorları GPT-3 hám GPT-4 sıyaqlı tereń neyron tarmaqtı ámelge asıratuǵın generativ aldınnan tayarlanǵan transformator arxitekturasına iye, atap aytqanda eski qaytalanıwdıń ornına itibar beretuǵın transformator modeli,[7] konvolyuciyaǵa tiykarlanǵan arxitekturalar.[10][11] Itibar beriw mexanizmleri modelge eń aktual dep boljaǵan kiris tekstiniń segmentlerine tańlamalı túrde itibar qaratıwǵa imkaniyat beredi. Bul model parallelizaciyanı ádewir arttırıwǵa imkaniyat beredi hám RNN/CNN/LSTM tiykarındaǵı modeller ushın jetik kórsetkishlerden joqarı.[7]

Trening

Transformator arxitekturası ǵalabalıq parallelizaciyanı támiyinlegenlikten, GPT modelleriniń aldınǵı NLP (tábiyiy tildi qayta islew) modellerine qaraǵanda úlkenirek korpusta oqıtıwǵa boladı. GPT-1 modeli usıldıń ómirligin kórsetkeni menen, GPT-2 júdá úlken korpuslarda oqıtılǵan tarmaqlardıń payda bolatuǵın qásiyetlerin jáne de izertleydi. CommonCrawl, veb-tekseriw arqalı islengen hám aldın NLP sistemaların oqıtıwda paydalanılǵan úlken korpus onıń úlken kólemine baylanıslı qarastırıldı, biraq keyin qaraw nátiyjesinde túsiniksiz kontenttiń úlken kólemin anıqlaǵannan keyin qabıllanbadı.[1][12] Onıń ornına OpenAI WebText dep atalatuǵın jańa korpustı islep shıqtı; World Wide Web-ten kontentti saylap alıwdıń ornına, WebText 2017 jıl dekabr ayına shekem keminde úsh unamlı dawıs alǵan Reddit jazbaları menen baylanıstırılǵan betlerdi ǵana qırıp alıw arqalı jaratıldı. Korpus keyninen tazartıldı; HTML hújjetleri ápiwayı tekstke aylandı, qaytalanatuǵın betler óshirildi hám Wikipedia betleri óshirildi (óytkeni olardıń kóplegen basqa maǵlıwmatlar jıynaqlarında bolıwı artıqsha sáykeslendiriwdi payda etiwi múmkin).[1]

GPT-2 oqıtıw bahası saatına 256$ bolǵanı belgili bolsa da,[13][14] oqıwdı juwmaqlawǵa qansha saat ketetuǵını belgisiz; sonlıqtan oqıtıwdıń ulıwma bahasın dál bahalaw múmkin emes.[15] Degen menen, transformator arxitekturaların paydalanatuǵın salıstırmalı úlken til modelleri olardıń shıǵınların tolıǵı menen hújjetlestirgen; BERT hám XLNet ushın oqıtıw procesleri sáykesinshe 6,912$ hám 245,000$ resurslardı jumsadı.[14]

Shıǵarıw

GPT-2 dáslepki ret 2019 jıl 14-fevralda járiyalandı. Djeyms Vinsenttiń 2019 jılǵı fevraldaǵı The Verge jurnalında baspadan shıqqan maqalasında “ol shıǵaratuǵın jazıw ádette adam emes ekenin ańsat anıqlawǵa boladı”, biraq ol “eń qızıqlılardıń biri bolıp qala beredi” dep aytılǵan, tillerdi generaciyalaw programmalarına taǵı da  bunday mısallar keltirilgen:[16]

Oǵan jalǵan tema beriń, sonda ol jalǵan citatalar hám statistika menen birge maqalanıń qalǵan bólimin jazadı. Oǵan qısqa áńgimeniń birinshi qatarın keltiriń hám ol siziń qaharmanıńız benen ne bolatuǵının aytıp beredi. Ol hátte durıs kórsetpeni esapqa alıp, fanfik (fantastika) jaza aladı.[16]

The Guardian bul nátiyjeni “isenimli gazeta prozası” dep táriyipledi;[9] Vox xızmetkeri Kelsi Payper “Men kórgen eń ájayıp AI sistemalarınıń biri, meni jumısımnan quwıp jiberetuǵın sistema bolıwı múmkin” dedi.[17] GPT-2 iykemliligin The Verge “tásirli” dep táriyipledi; Atap aytqanda onıń tiller arasındaǵı tekstti awdarıw, uzın maqalalardı ulıwmalastırıw hám mayda shúyde sorawlarǵa juwap beriw qábileti atap ótildi.[16]

Amsterdam universiteti tárepinen ózgertilgen Tyuring testin qollanatuǵın izertlewi, keminde ayırım scenariylerde qatnasıwshılar GPT-2 arqalı jaratılǵan qosıqlardı adamlar jazǵan qosıqlardan ajırata almaytuǵının kórsetti.[18]

Sheklewler hám bir bólimin bosatıw

“Skub” haqıyqıy ónim bolmasa da, DistilGPT2-de qollanılatuǵın kishireytilgen ólshemli modeldiń ózi - onı qollaytuǵın da, oǵan qarsı da dálillerdi jarata aladı.

Aldınǵı OpenAI modelleri kópshilikke birden qoljetimli bolǵanı menen, OpenAI GPT-2 derek kodın fevral ayında járiyalaǵanda zıyanlı paydalanıw qáwipin alǵa tartıp, kópshilikke járiyalawdan bas tarttı;[9] Xabarlandırıwda tańlanǵan baspasóz quralları ushın modelge sheklewli kiriwge ruqsat etildi (yaǵnıy derek kodtıń ózin emes, kirgiziwge hám shıǵarıwǵa imkaniyat beretuǵın interfeys).[9] Jiyi keltirilgen dálillerdiń biri, islengen tekst ádette tolıǵı menen jańa bolǵanlıqtan, onı spamerler avtomatlastırılǵan filtrlerden qashıw ushın paydalana aladı; OpenAI “ónimlerge sheksiz unamlı yamasa unamsız sholıwlar jaratıw” ushın anıq sazlanǵan GPT-2 versiyasın kórsetti.[9]

Taǵı bir tiykar, GPT-2 uyatsız yamasa násilshil tekst jaratıw ushın paydalanılıwı múmkin. Djeremi Xovard sıyaqlı izertlewshiler “Tvitterdi, elektron poshtanı hám internetti aqılǵa muwapıq kontekstke sáykes proza menen toltıratuǵın texnologiya tuwralı eskertti, bul barlıq basqa sózlerdi tunshıqtıratuǵın hám filtrlew múmkin emes”.[16] Allenniń jasalma intellekt institutı GPT-2-ge juwap retinde “neyron jalǵan jańalıqlardı” anıqlaw quralın járiyaladı.

Degen menen pikir ekige bólindi. 2019 jıl fevral ayındaǵı The Verge baspasında GPT-2-niń qáwip keltiriwi asıra aytılǵan;[19] Anima Anandkumar, Caltech professorı hám Nvidia kompaniyasınıń mashinalıq oqıtıwdı izertlew boyınsha direktorı, GPT-2-niń OpenAI táriyiplegen qáwip keltiretuǵın imkaniyatları bar ekenligi tuwralı heshqanday dálil joq ekenin hám olardıń islegeni “ashıqqa qarama-qarsı” ekenin ayttı. Tolıq modeldi shıǵarıwdan bas tartıwın “zıyanlı BS” retinde táriyipleydi.[19] Gradient OpenAI-ge ashıq xat járiyalap, modeldi kópshilikke járiyalawın sorap, tekstti quraytuǵın AI alıp keletuǵın qáwipti baspa mashinasınan keletuǵın qáwip penen salıstırıp, Photoshop-tı mısal retinde “xaos potencialına qaramastan (tilekke qarsı) házirgi jámiyetti joq etpegen texnologiya” dep keltirdi:[20]

30 jıldan keyin, jámiyet Photoshop orta mektep oqıwshıları ushın ápiwayı hám óz feyillerin basqarıwǵa jetkilikli bolǵanına qaramastan, jámiyet salıstırmalı túrde zıyan kórmedi. Ne ushın? Óytkeni, barlıǵı Photoshop tuwralı biledi.[20]

774M shıǵarılıwı

OpenAI tolıq tayarlanǵan modeldi yamasa ol oqıtılǵan korpustı shıǵarmaǵanı menen, olardıń burınǵı járiyalanıwlardaǵı metodtıń táriyipi (hám tiykarǵı texnologiyanıń biypul bolıwı) GPT-2 ni basqalarǵa biypul programmalıq qural retinde kóshiriwge imkaniyat berdi, sonday replikaciyalardıń biri OpenGPT-2 2019 jıl avgust ayında OpenWebText dep atalatuǵın WebText erkin licenziyalanǵan versiyası menen birge shıǵarıldı. OpenGPT-2 ushın bultlı esaplaw shıǵınları shama menen 50 000$ dep berilgen.[21]

2019 jıl 20-avgustte OpenAI 774 million parametri bar GPT-2 yarım versiyasın shıǵardı (tolıq 1,5 milliard parametr modeliniń shama menen yarımı).[5]

Tolıq 1.5B shıǵarılıwı

GPT-2 keń tarqalǵannan keyin nadurıs paydalanılıwı múmkin degen birinshi alańlawlar orınlanbadı; The Verge “AI texnologiyası qanday da bir “infopokalipsiske” alıp keledi degen málimlemelerge gúman menen qarawǵa sebepler bar. Birinshiden, bizde az shıǵınǵa joqarı dawıs dárejesinde isenimli tekstti jarata alatuǵın baǵdarlamalar bar: ol adamlar.”[22] 2019 jıl noyabrge kelip Open AI “házirshe nadurıs paydalanıwdıń kúshli dálillerin kórmegenin” hám qırıq gigabayt maǵlıwmatlar menen oqıtılǵan 1,5 milliard parametri bar tolıq versiyası “Shekspirdiń jıynalǵan shıǵarmalarınan shama menen segiz mıń ese kóp” ekenin ayttı.[23] 2019 jıl 5-noyabrde shıǵarıldı.[2][3]

Kishi hám ortasha shıǵarılıwlar

GPT-2-niń basqa eki kishirek versiyaları bar, onıń ishinde 117M parametrleriniń kishi versiyası hám 355M parametrleriniń ortasha ólshemi. Ekewin de Huggingface saytınan júklep alıwǵa boladı.[24][25]

Sheklewler

GPT-2 hár túrli scenariyler ushın temaǵa sáykes tekstti jarata aladı, hátte syurrealistik scenariyler sıyaqlı CNN-degi Donald Tramptıń anime qaharmanı Asuka Lengli Soryudi maqtaǵan esabatı tuwralı maqalası. Bunda shıǵıs uzınlıǵınıń úlkeyiwi menen (hátte tolıq 1,5В modelinde) mánissiz hám qaytalanatuǵın tekstti jaratıw úrdisi bayqaladı; ekinshi abzacta grammatika jamanlasa baslaydı hám nátiyje aqırında qayta-qayta qaytalanatuǵın bir úylesimsiz gápke aylanadı.

GPT-2 tábiyiy tildegi teksttiń isenimli úzindilerin jaratıw qábileti ádette unamlı bahalanǵanı menen, onıń kemshilikleri de atap ótildi, ásirese eki abzactan uzaq tekstlerdi jaratıwda; Vox-tıń aytıwınsha “proza júdá qopal, ansa-sanda sekviturı joq, maqalalar uzınıraq bolsa, sáykesligi azayadı” dedi.[17] The Verge sol sıyaqlı GPT-2 jazıwınıń uzaǵıraq modelleri “temadan shetke shıǵıwǵa” beyim hám ulıwma úylesimlik joq ekenin atap ótti;[16] The Register saytı “onı oqıytuǵın adam biraz waqıttan keyin birnárse bolatuǵının túsiniwi kerek” dep esaplaydı hám “GPT-2 informaciyanı alıw hám alıw ushın algoritmlerge súyenetuǵın basqa sistemalar sıyaqlı sorawlarǵa juwap bermeydi” dep atap ótti[13]

GPT-2 qollanıw resurslardı kóp talap etedi; modeldiń tolıq versiyası bes gigabayttan úlken, bul programmalarǵa jergilikli túrde engiziwdi qıyınlastıradı hám operativ yadtıń úlken kólemin tutınadı. Sonıń menen bir qatarda, bir boljawlı orınlaw “100% paydalanıwda processordı bir neshe minut dawamında iyelewi múmkin”, hátte GPU procesinde de “bir boljawǵa bir neshe sekund ketiwi múmkin”. Usı máselelerdi jeńilletiw ushın Hugging Face kompaniyası DistilGPT2 jarattı, ol “ayırım sapa kórsetkishleri boyınsha bir neshe upay jıynawshı”, biraq “33% kishirek hám eki ese tez” kishirek modeldi shıǵarıw ushın bilimdi distillyaciyalaw arqalı isledi.

Qollanıw hám keyingi izertlewler

Tolıq versiyası shıqqanǵa shekem GPT-2 hár túrli qosımshalar menen xızmetler ushın, sonday-aq oyın-zawıq ushın paydalanıldı. 2019 jıl iyunda r/SubSimulatorGPT2 dep atalatuǵın subreddit jaratıldı, onda hár túrli subredditlerde oqıtılǵan túrli GPT-2 danaları postlar jazıp, bir-biriniń pikirlerine juwap berdi, bul “r/Bitcoin-nıń AI personifikaciyasın baqlawǵa bolatuǵın jaǵdaydı payda etti. r/ShittyFoodPorn mashinalıq oqıtıwdan alınǵan ruxı menen”;[22] sol jıldıń iyul ayında hár túrli programmalastırıw tillerindegi kod qatarların avtotoltırıw ushın shıǵarılǵan GPT-2 tiykarındaǵı programmalıq támiynattı paydalanıwshılar “oyındı ózgertiwshi” retinde táriyipledi.[26]

I2019 jılı AI Dungeon iske túsirildi, ol GPT-2 den paydalanıwshı kirgiziwi tiykarında dinamikalıq tekstli waqıyalardı jaratıw ushın paydalandı.[27] AI Dungeon endi qosımsha arqalı jańalaw retinde GPT-3 API eń úlken shıǵarılıwın ámelge asırıwdı usınadı, sayttıń biypul versiyası GPT-3-tiń 2-eń úlken versiyasın paydalanadı.[28] AI Dungeon átirapında dúzilgen Latitude kompaniyası 2021 jılı 3,3 million dollar ǵárejet jıynadı.[29] Bir neshe veb-saytlar GPT-2 hám basqa transformator modelleriniń hár túrli úlgilerin interaktiv kórsetiwlerin ótkizedi.[30][31][32]

2021 jıl fevralda mashqalası bar jas óspirimlerge arnalǵan daǵdarıs orayı GPT-2 den alınǵan chatbotlardan keńesshilerge simulyaciya etilgen jas óspirimler menen sáwbetlesiw imkaniyatın beriw arqalı oqıtıwǵa járdem beriwdi járiyaladı (bul paydalanıw tek ishki maqsetlerge arnalǵan hám bul GPT-2 jas óspirimlerdiń ózleri menen baylanısadı).[33]

2023 jıl 9-mayda OpenAI GPT-2 kartalanǵan versiyasın shıǵardı. OpenAI olardıń funkciyaların anıqlaw ushın GPT-2 hárbir neyronınıń kartasın jaratıw ushın GPT-4 miyrasxorı modelin paydalandı.[34]

GPT-2 Amerika Qurama Shtatlarınıń 2020 jılǵı prezident saylawında jeńiske erisken, Edvard Snoudenniń háreketleri tuwralı oydan shıǵarılǵan jańalıqlar maqalasında jazbaqta (barlıq bóleklengen tekst mashinada jaratılǵan). Snowden (ómirinde) heshqashan mámleketlik lawazımǵa saylanbaǵan bolsa da, jaratılǵan úlgi grammatikalıq hám stilistikalıq jaqtan jaramlı bolǵan.

GPT-2 maǵlıwmatlar jıynaǵı menen texnikasınıń keńliginiń arqasında ápiwayı tekstti shıǵarıwdan tıs hár túrli tapsırmalardı orınlawǵa uqıplı boldı, olarǵa: sorawlarǵa juwap beriw, juwmaq shıǵarıw hám hátte qalay islew kerekliginen basqa kórsetpelersiz arnawlı domenlerdegi tiller arasındaǵı keyingi sózdi izbe-iz boljaw, awdarıw.[16][17]

Ulıwmalastırılǵan oqıtıwdıń bir mısalı − GPT-2-niń francuz hám inglis tilleri arasında mashinalıq awdarmanı orınlawǵa qábiletli, ol ushın GPT-2 jumısı WMT-14 awdarma tapsırmaları arqalı bahalandı. GPT-2 oqıw korpusında francuz teksti is júzinde joq; Treningke shekem maǵlıwmatlar jıynaǵın tazalaw waqtında inglisshe emes tekst arnawlı óshirildi, sonıń aqıbetinen model úyreniw ushın qalǵan 40 000 MB francuz tiliniń 10 MB ǵana paydalanıw múmkin boldı (tiykarınan inglis tilindegi jazıwlar menen maqalalardaǵı shet tilindegi citatalardan).[1]

Usıǵan qaramastan, GPT-2 WMT-14 inglisshe-francuzsha test jıynaǵında 5 BLEU-ge eristi (sózbe-sóz almastırıw arqalı awdarmanıń upayınan sál tómen). Sonday-aq ol GPT-2 11,5 BLEU-ge erisken francus-inglisshe test jıynaǵında bir neshe zamanagóy (2017) baqlanbaytuǵın mashinalıq awdarmanıń tiykarǵı kórsetkishlerinen ozıp ketti. Bul 33,5 BLEU-ge erisken eń joqarı ónimli zamanagóy baqlawsız usıldan (2019) tómen bolıp qaldı.[1] Degen menen, basqa modeller usı nátiyjelerge erisiw ushın francuz tekstiniń úlken kólemin paydalandı; GPT-2 salıstırmalı usıllardıń shama menen 1/500 mólsherinde bir tilli francuz korpusın paydalanadı dep bahalandı.[1]

arxitektura parametr sanı trening maǵlıwmatları
GPT-1 12 dárejeli, 12 baslı Transformator deshifratorı (kodersiz), onnan keyin sızıqlı-softmax. 0,12 mlrd BookCorpus:[35] 4,5 GB tekst, hár túrli janrdaǵı 7000 járiyalanbaǵan kitaplardan.
GPT-2 GPT-1, biraq ózgertilgen normalaw menen 1,5 mlrd WebText: 40 GB[36] tekst, Reddit-te tastıyıqlanǵan 45 million veb-bettiń 8 million hújjeti.
GPT-3 GPT-2, biraq úlkenirek masshtablawǵa imkaniyat beretuǵın modifikaciyası bar. 175 mlrd 570 GB ashıq tekst, 300 milliard CommonCrawl, WebText, inglisshe Wikipedia tokenleri hám eki kitap korpusı (Books1 hám Books2).

GPT-2 den keyin 2020 jılı kópshilikke járiyalanǵan 175 milliard parametrli GPT-3 bolıwı kerek edi[37] (onıń derek kodı heshqashan qoljetimli emes). GPT-3 ke kiriw tek OpenAI hám Microsoft tárepinen usınılǵan API interfeysleri arqalı támiyinlenedi. Bul keyinirek GPT-4 boldı

Derekler

[3] [37] [38] [10] [39] [40] [11] [7] [1] [8] [6] [12] [17] [9] [16] [4] [5] [2] [41] [14] [13] [15] [21] [33] [26] [22] [19] [20] [29] [28] [27] [42]

  1. ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 Radford, Alec (14 February 2019). Language models are unsupervised multitask learners. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf. Retrieved 19 December 2020.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gpt2paper" defined multiple times with different content
  2. ↑ 2,0 2,1 2,2 Vincent. „OpenAI has published the text-generating AI it said was too dangerous to share“. The Verge (7-noyabr 2019-jıl). 11-iyun 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "verge2" defined multiple times with different content
  3. ↑ 3,0 3,1 3,2 „GPT-2: 1.5B Release“ (en). OpenAI (5-noyabr 2019-jıl). 14-noyabr 2019-jılda túp nusqadan arxivlendi. Qaraldı: 14-noyabr 2019-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "15Brelease" defined multiple times with different content
  4. ↑ 4,0 4,1 Piper. „A poetry-writing AI has just been unveiled. It's ... pretty good.“. Vox (15-may 2019-jıl). 7-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "voxxy2" defined multiple times with different content
  5. ↑ 5,0 5,1 5,2 Johnson. „OpenAI releases curtailed version of GPT-2 language model“. VentureBeat (20-avgust 2019-jıl). 18-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "vb" defined multiple times with different content
  6. ↑ 6,0 6,1 6,2 „Better Language Models and Their Implications“. OpenAI (14-fevral 2019-jıl). 19-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "openai" defined multiple times with different content
  7. ↑ 7,0 7,1 7,2 7,3 Radford. „Improving Language Understanding by Generative Pre-Training“ 12. OpenAI (11-iyun 2018-jıl). 26-yanvar 2021-jılda túp nusqadan arxivlendi. Qaraldı: 23-yanvar 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gpt1paper" defined multiple times with different content
  8. ↑ 8,0 8,1 Úlgi:Cite arXiv
  9. ↑ 9,0 9,1 9,2 9,3 9,4 9,5 Hern. „New AI fake text generator may be too dangerous to release, say creators“. The Guardian (14-fevral 2019-jıl). 14-fevral 2019-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "guardian" defined multiple times with different content
  10. ↑ 10,0 10,1 Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob (2017). Attention is All you Need. Curran Associates, Inc.. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "attention" defined multiple times with different content
  11. ↑ 11,0 11,1 Olah, Chris; Carter, Shan (8 September 2016). Attention and Augmented Recurrent Neural Networks. https://distill.pub/2016/augmented-rnns/. Retrieved 22 January 2021.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "attentionRNNs" defined multiple times with different content
  12. ↑ 12,0 12,1 Úlgi:Cite arXiv
  13. ↑ 13,0 13,1 13,2 Quach. „Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline“. The Register (14-fevral 2019-jıl). 9-mart 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "register" defined multiple times with different content
  14. ↑ 14,0 14,1 14,2 „The Staggering Cost of Training SOTA AI Models“. Synced (27-iyun 2019-jıl). 24-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "staggering" defined multiple times with different content
  15. ↑ 15,0 15,1 Wiggers. „Google open-sources framework that reduces AI training costs by up to 80%“. VentureBeat (23-mart 2020-jıl). 26-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "vb2" defined multiple times with different content
  16. ↑ 16,0 16,1 16,2 16,3 16,4 16,5 16,6 Vincent. „OpenAI's new multitalented AI writes, translates, and slanders“. The Verge (14-fevral 2019-jıl). 18-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "verge1" defined multiple times with different content
  17. ↑ 17,0 17,1 17,2 17,3 Piper. „An AI helped us write this article“. Vox (14-fevral 2019-jıl). 8-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "voxxy" defined multiple times with different content
  18. ↑ Köbis, Nils (1 January 2021). Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry. 
  19. ↑ 19,0 19,1 19,2 Vincent. „AI researchers debate the ethics of sharing potentially harmful programs“. The Verge (21-fevral 2019-jıl). 9-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "ethics" defined multiple times with different content
  20. ↑ 20,0 20,1 20,2 Zhang. „OpenAI: Please Open Source Your Language Model“. The Gradient (19-fevral 2019-jıl). 28-yanvar 2021-jılda túp nusqadan arxivlendi. Qaraldı: 28-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "pls" defined multiple times with different content
  21. ↑ 21,0 21,1 Gokaslan. „OpenGPT-2: We Replicated GPT-2 Because You Can Too“. Noteworthy (22-avgust 2019-jıl). 29-aprel 2023-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "opengpt2" defined multiple times with different content
  22. ↑ 22,0 22,1 22,2 Vincent. „There's a subreddit populated entirely by AI personifications of other subreddits“. The Verge (6-iyun 2019-jıl). 21-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "reddit" defined multiple times with different content
  23. ↑ Murati. „Language & Coding Creativity | American Academy of Arts and Sciences“ (en). www.amacad.org (13-aprel 2022-jıl). Qaraldı: 18-mart 2024-jıl.
  24. ↑ „GPT-2 Small“.
  25. ↑ GPT-2 Medium. „Openai-community/Gpt2-medium · Hugging Face“.
  26. ↑ 26,0 26,1 Vincent. „This AI-powered autocompletion software is Gmail's Smart Compose for coders“. The Verge (24-iyul 2019-jıl). 9-mart 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "smartcompose" defined multiple times with different content
  27. ↑ 27,0 27,1 Olson. „AI Dungeon 2, the Text Adventure Where You Can do Nearly Anything, Is Now on Mobile“ (17-dekabr 2019-jıl). 20-sentyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "aid2" defined multiple times with different content
  28. ↑ 28,0 28,1 Nelius. „This AI-Powered Choose-Your-Own-Adventure Text Game Is Super Fun and Makes No Sense“. Gizmodo (3-avgust 2020-jıl). 28-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "aidungeon" defined multiple times with different content
  29. ↑ 29,0 29,1 Ha. „AI Dungeon-maker Latitude raises $3.3M to build games with 'infinite' story possibilities“. TechCrunch (4-fevral 2021-jıl). 21-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "tclat" defined multiple times with different content
  30. ↑ „Write With Transformer“. 4-dekabr 2019-jılda túp nusqadan arxivlendi. Qaraldı: 4-dekabr 2019-jıl.
  31. ↑ „Talk to Transformer“. 4-dekabr 2019-jılda túp nusqadan arxivlendi. Qaraldı: 4-dekabr 2019-jıl.
  32. ↑ „CreativeEngines“. 3-fevral 2023-jılda túp nusqadan arxivlendi. Qaraldı: 25-iyun 2021-jıl.
  33. ↑ 33,0 33,1 Ohlheiser. „An AI is training counselors to deal with teens in crisis“. MIT Technology Review (26-fevral 2021-jıl). 27-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 27-fevral 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "teens" defined multiple times with different content
  34. ↑ „Language models can explain neurons in language models“. OpenAI. Qaraldı: 13-may 2023-jıl.
  35. ↑ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". International Conference on Computer Vision 2015: 19–27. https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Zhu_Aligning_Books_and_ICCV_2015_paper.html. Retrieved 2023-02-05. 
  36. ↑ Murati. „Language & Coding Creativity | American Academy of Arts and Sciences“ (en). www.amacad.org (13-aprel 2022-jıl). Qaraldı: 18-mart 2024-jıl.
  37. ↑ 37,0 37,1 Arram. „GPT-3: An AI that's eerily good at writing almost anything“. Arram Sabeti (9-iyul 2020-jıl). 20-iyul 2020-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Arram_20200709" defined multiple times with different content
  38. ↑ Hao, Karen (September 23, 2020). „OpenAI is giving Microsoft exclusive access to its GPT-3 language model“. MIT Technology Review (ағылшын тілі). 2021-02-05da túp nusqadan arxivlendi. Qaraldı: 2020-09-25. „The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases.“
  39. ↑ Úlgi:Cite arXiv
  40. ↑ Úlgi:Cite arXiv
  41. ↑ Schwartz, Oscar (4 July 2019). "Could 'fake text' be the next global political threat?". The Guardian. https://www.theguardian.com/technology/2019/jul/04/ai-fake-text-gpt-2-concerns-false-information. 
  42. ↑ Úlgi:Cite arXiv