Neuroevolúcia (NE) je technika umelej inteligencie, ktorá využíva evolučné algoritmy na generovanie umelých neurónových sietí, parametrov, topológie a pravidiel.[1] Inšpiruje sa vývojom biologických nervových systémov v prírode. V porovnaní s inými metódami učenia neurónovej siete je neuroevolúcia veľmi všeobecná. Umožňuje učenie bez explicitných cieľov, s malou spätnou väzbou a s ľubovoľnými neurónovými modelmi a sieťovými štruktúrami. Neuroevolúcia je efektívny prístup k riešeniu problémov spätnoväzobného učenia, čo môže byť v kontraste s konvenčnými technikami hlbokého učenia využívajúce klesajúci gradient na neurónovej sieti s pevnou topológiou. Najbežnejšie je aplikovaná v evolučnej robotike, v hraní hier[2] a v umelom živote. Hlavnou výhodou je, že neuroevolúcia sa dá aplikovať viac zo široka ako riadené učebné algoritmy, ktoré vyžadujú osnovu správnych párov vstup-výstup. Neuroevolúcia naopak vyžaduje iba mieru výkonu siete v úlohe. Napríklad, výsledok hry (či hráč vyhral alebo prehral) môže byť ľahko meraný bez poskytnutia príkladov požadovaných stratégií.
Neuroevolučný prístup k umelej inteligencii je motivovaný vývojom biologických nervových systémov. Neuroevolúcia aplikuje abstrakcie prirodzenej evolúcie (tzv. evolučné algoritmy) na konštrukciu abstrakcií biologických neurónových sietí (tzv. umelých neurónových sietí). Celkový cieľ je vyvinúť komplexné umelé neurónové siete schopné inteligentného správania. Výsledkom je, že na neuroevolúciu sa dá pozerať ako na prostriedok skúmania vývoja inteligencie v prírode ako aj na praktickú metódu navrhovania umelých neurónových sietí na vykonávanie požadovaných úloh.
Podobne ako pri prirodzenom výbere v prírode, ktorý je poháňaný iba spätnou väzbou z reprodukčného úspechu, neuroevolúcia sa riadi určitou mierou celkového výkonu. Zatiaľ čo najbežnejšie algoritmy umelého učenia neurónovej siete fungujú prostredníctvom kontrolovaného učenia a teda závisia od označeného korpusu párov vstup-výstup, hlavnou výhodou neuroevolúcie je to, že umožňuje učenie aj keď nie sú k dispozícii korpusy, iba na základe malej spätnej väzby. Napríklad, pri hraní hier, riadení vozidla, či v robotike nie sú v každom časovom okamihu vždy známe optimálne činnosti, je možné len pozorovať ako dobre fungovala postupnosť krokov, napr., čo má za následok výhru alebo prehru v hre. Neuroevolúcia umožňuje nájsť neurónovú sieť, ktorá optimalizuje správanie dané iba malou spätnou väzbou, bez priamych informácií o tom, čo presne by mala robiť.
Naviac, neuroevolúcia sa zovšeobecňuje na širokú škálu sieťových architektúr a neurónových modelov. Jej uplatnenie vyžaduje iba to, aby sa výkonnosť sietí mohla hodnotiť v priebehu času a aby sa správanie sietí mohlo meniť v priebehu evolúcie. Zatiaľ čo sa väčšina metód neurónového učenia zameriava iba na modifikáciu silných stránok neurónových spojení (napr. na váhu ich prepojení), neuroevolúcia môže dodatočne optimalizovať ďalšie parametre ako napríklad štruktúru siete (napr. pridávanie neurónov alebo spojení), typ výpočtu vykonávaného jednotlivými neurónmi a aj pravidlá učenia, ktoré upravujú sieť počas hodnotenia. Je zaujímavé, že integrácia takýchto pravidiel celoživotného vzdelávania (napr. Hebbská alebo neuromodulovaná plasticita) umožňuje vyvinutým neurónovým sieťam učiť sa zo skúseností. Týmto spôsobom môže neuroevolúcia uľahčiť skúmanie biologickej adaptácie na viacerých časových mierkach.
Najbežnejšie aplikácie sú v spätnoväzobnom učení, evolučnej robotike a umelom živote. Vzorové aplikácie zahŕňajú vývoj správania v stolných hrách a videohrách, kontrolu pohyblivých robotov a skúmanie vývoja biologicky relevantného správania.
V neuroevolúcii sa typicky vyvíja populácia genetického kódovania neurónových sietí s cieľom nájsť sieť, ktorá rieši danú úlohu. Väčšina metód sa riadi obvyklou generačnou a testovacou slučkou evolučných algoritmov. Každé kódovanie v populácii (genotyp) sa vyberie postupne a dekóduje sa do zodpovedajúcej neurónovej siete (fenotyp). Táto sieť sa potom použije v úlohe a meria sa jej výkon v priebehu času, čím sa získa vhodná hodnota pre zodpovedajúci genotyp. Po vyhodnotení všetkých členov populácie sa genetické operátory použijú na vytvorenie ďalšej generácie populácie. Tie kódovania, ktoré sú najvhodnejšie sa zmutujú a vzájomne sa prekrížia. Výsledný potomok následne nahradí genotypy s najnižšou vhodnosťou v populácii. Tento proces preto predstavuje inteligentné paralelné hľadanie lepších genotypov a pokračuje až kým sa nenájde dostatočne vhodná sieť.
Existuje niekoľko metód pre vývoj neurónových sietí v závislosti od toho ako sú siete kódované. Najpriamejšie kódovanie, niekedy nazývané konvenčná neuroevolúcia (po angl. conventional neuroevolution - CNE), sa vytvára zreťazením číselných hodnôt pre sieťové váhy. Toto kódovanie umožňuje vývoju optimalizovať váhy architektúry pevnej neurónovej siete, čo je prístup, ktorý sa ľahko implementuje a je praktický v mnohých doménach. Avšak, prístup CNE môže konvergovať do falošného lokálneho optima, vyžaduje, aby si experimentátori vybrali vhodne veľkú a štrukturovanú topológiu siete a zle škáluje zložitejšie problémy, pretože počet parametrov, ktoré sa vyvíjajú rastie lineárne alebo kvadraticky s veľkosťou siete.[3][4]
Na zmiernenie týchto problémov boli navrhnuté sofistikovanejšie kódovania. Jeden z prístupov je zvážiť vývoj na úrovni komponentov riešenia namiesto úplných riešení.[5] To znamená, že namiesto populácie kompletných neurónových sietí sa vyvinula populácia sieťových fragmentov, neurónov alebo váh spojov. Každý jednotlivec je hodnotený ako súčasť úplnej siete a jeho vhodnosť odráža ako dobre spolupracuje s ostatnými jednotlivcami na konkrétnych riešeniach. Týmto spôsobom je zložitý problém pri hľadaní siete riešení rozdelený do niekoľkých menších problémov.[6]
Ďalším prístupom je rozvíjať topológiu siete pridaním váh. Výber vhodných topológií je pre experimentátorov zložitý, ale môže mať veľký vplyv na výsledky experimentu.[7][4] Navyše, vyvíjajúce sa topológie môžu dosahovať lepšiu výkonnosť ako vyvíjajúce sa váhy. Jedným potenciálne výhodným prístupom je začať s vývojom jednoduchých riešení a postupne ich komplikovať. Takýto proces prebieha v biológii a vo všeobecnosti predstavuje účinný prístup v strojovom učení.
Všetky vyššie uvedené metódy mapujú genetické kódovanie priamo pre príslušnú neurónovú sieť. Každá časť kódovania zodpovedá jednej časti siete a naopak. Nepriame kódovanie však špecifikuje proces, prostredníctvom ktorého je sieť budovaná ako napríklad delenie buniek, priestorové vkladanie alebo generovanie prostredníctvom rozširovania gramatických pravidiel. Takéto kódovanie môže byť vysoko kompaktné (veľké množstvo pripojení môže byť kódovaných s niekoľkými parametrami) a môže tiež využívať modulárne riešenia. Modularita znamená, že rovnaké štruktúry sa môžu opakovať s malými modifikáciami, ako sa často vyskytuje v biológii. Priblíženie neuroevolúcie úrovni biologickej komplexnosti (napr. miliónom alebo miliardám neurónov) pravdepodobne závisí od vývoja sofistikovanejších nepriamych kódovaní a preto sú dôležité pre budúci výskum.[4]
Evolučné algoritmy pracujú na populácii genotypov (označovaných aj ako genómy). V neuroevolúcii je genotyp mapovaný na fenotyp neurónovej siete, ktorý je hodnotený na nejakej úlohe, aby sa odvodila jeho fitness.
V schémach priameho kódovania genotyp priamo mapuje fenotyp. To znamená, že každý neurón a spojenie v neurónovej sieti je priamo a explicitne špecifikované v genotype. Naopak, v schémach nepriameho kódovania genotyp nepriamo špecifikuje ako by sa mala táto sieť generovať.[8]
Nepriame kódovanie sa často používa na dosiahnutie niekoľkých cieľov:[8][9][10][11][2]
Nepriame kódovanie, ktoré využíva umelé embryogenézy (tiež známe ako umelý vývoj), bolo kategorizované podľa gramatického prístupu a podľa prístupu bunkovej chémie.[12] Prvý prístup vyvíja súbory pravidiel vo forme gramatických systémov prepisovania. Druhý prístup sa pokúša napodobniť ako sa v biológii objavujú fyzikálne štruktúry prostredníctvom génovej expresie. Systémy nepriameho kódovania často využívajú aspekty oboch prístupov.
Stanley a Miikkulainen[12] navrhujú taxonómiu pre embryogénne systémy, ktorá má odrážať ich základné vlastnosti. Taxonómia identifikuje päť súvislých rozmerov, pozdĺž ktorých je možné umiestniť akýkoľvek embryogénny systém:
Neuroevolučné metódy majú silu najmä v kontinuálnych doménach spätnoväzobného učenia a v tých, ktoré majú čiastočne pozorovateľné stavy. Tieto domény zahŕňajú veľa reálnych aplikácií spätnoväzobného učenia, najzreteľnejšou aplikáciou je adaptívne nelineárne riadenie fyzických zariadení.[13] Vyvinuli sa napríklad regulátory založené na neurónovej siete na pohon mobilných robotov, automobilov a dokonca aj rakiet. Riadiaci prístup sa rozšíril o optimalizáciu systémov ako sú chemické procesy, výrobné systémy a počítačové systémy.[14] Zásadným obmedzením súčasných prístupov je však to, že riadiace jednotky sa zvyčajne musia vyvinúť v simulácii a potom preniesť do skutočného systému. Evolúcia je zvyčajne najsilnejšia ako metóda off-line vzdelávania, kde je možné skúmať potenciálne riešenia súbežne.[15][16]
Po druhé, neuroevolúcia sa ukázala ako užitočná pri navrhovaní hráčov pre stolné hry ako sú dáma, šach a othello.[17] Zaujímavé je, že rovnaký prístup funguje pri vytváraní postáv v umelých prostrediach ako sú hry a virtuálna realita. Postavy, ktoré nie sú hráčmi v súčasných videohrách sú zvyčajne skriptované a obmedzené, neuroevolúcia sa môže použiť na vývoj komplexných správaní a dokonca ich prispôsobiť v reálnom čase[18][19]. Neuroevolúcia tak môže uľahčiť nové druhy videohier ako napríklad hry, v ktorých hráči trénujú tím agentov AI. Podobne artefakty ako napríklad zbrane, môžu byť skonštruované pomocou vyvíjajúcich sa neurónových sietí, čím sa umožnia hry, v ktorých hráči spoločne tvoria nový obsah v hre, ktorý by inak musel byť výslovne navrhnutý ľudskými odborníkmi.[20][19]
Po tretie, vývoj neurónových sietí je prirodzeným nástrojom problémov v umelom živote a stále viac sa používa na skúmanie problémov, ktoré je ťažké odhaliť tradičnými technikami v evolučnej biológii. Zatiaľ čo konkrétny výber tlakov vedúci ku kľúčovým evolučným prechodom v prírode je prechodný a zanecháva málo priamych dôkazov, v kontrolovaných experimentoch sa môže uplatniť neuroevolúcia, aby sa zistilo, aké podmienky sú potrebné na vývoj určitého správania. Preto je možné navrhnúť experimenty s neuroevolúciou o tom, ako sa môže v reakcii na tlak životného prostredia objaviť správanie ako je hľadanie potravy, prenasledovanie a vyhýbanie sa, poľovníctvo a pasenie, spolupráca a dokonca komunikácia.[21][13][22] Neuroevolúcia sa tiež môže použiť na skúmanie abstraktnejších vývojových tendencií ako vývoj modularity alebo ako biologický vývoj interaguje s vývojom.[23] Okrem toho môže analýza vyvíjajúcich sa nervových obvodov a pochopenie ich fungovania viesť k nahliadnutiu do biologických sietí.[24][25]
Neuroevolúcia je biologicky inšpirovaná metóda pre vytvorenie umelej inteligencie. Výzvy otvoreného výskumu zahŕňajú vytváranie účinných a škálovateľných nepriamych kódovaní, porozumenie a syntézu evolučných tlakov vedúcich k vysokej úrovni inteligencie a škálovanie neuroevolúcie s cieľom vyvinúť kognitívne správanie ako je multimodálne správanie, komunikácia a celoživotné vzdelávanie. Splnenie týchto výziev môže priniesť praktické prístupy k vyvíjajúcim sa inteligentným ovládačom robotov a ovládačom videohier, ako aj nahliadnuť do biologických neurónových sietí a vývoja samotnej inteligencie.