EleutherAI

Infotaula d'organitzacióEleutherAI
Dades
Tipusprogramari de codi obert
organització sense ànim de lucre Modifica el valor a Wikidata
Camp de treballintel·ligència artificial Modifica el valor a Wikidata
Història
Creació25 gener 2023
Activitat
Membre deOpen Source Initiative Modifica el valor a Wikidata
Lloc webeleuther.ai Modifica el valor a Wikidata
GitHub: EleutherAI

EleutherAI és un grup de recerca d'intel·ligència artificial (IA) sense ànim de lucre. El grup, considerat una versió de codi obert d'OpenAI,[1] es va formar en un servidor de Discord el juliol de 2020 per organitzar una rèplica de GPT-3. Malgrat la manca de finançament formal o d'estructura organitzativa, ràpidament es va convertir en un jugador líder en la investigació de processament del llenguatge natural a gran escala, llançant el model similar a GPT-3 de codi obert més gran del món el 21 de març de 2021,[2] establint un nou model obert. -font els registres d'última generació el juny de 2021 [3] i el febrer de 2022.[4] El gener de 2023, EleutherAI es va incorporar formalment com a institut de recerca sense ànim de lucre.

EleutherAI va començar com a servidor de Discord el 7 de juliol de 2020 amb el nom provisional "LibreAI" abans de canviar de marca a "EleutherAI" més tard aquell mes.

El 30 de desembre de 2020, EleutherAI va llançar el Pile, un conjunt de dades seleccionat de text divers per entrenar grans models lingüístics.[5] Tot i que el document feia referència a l'existència dels models GPT-Neo, els mateixos models no es van publicar fins al 21 de març de 2021. Segons una retrospectiva escrita uns mesos més tard, els autors no preveien que "la gent es preocuparia tant pels nostres "petits models"". El 9 de juny de 2021, EleutherAI va seguir amb GPT-J-6B, un model de llenguatge de sis mil milions de paràmetres que va tornar a ser el model semblant a GPT-3 de codi obert més gran del món.[6]

Després del llançament de DALL-E per OpenAI el gener de 2021, EleutherAI va començar a treballar en models de síntesi de text a imatge. Quan OpenAI no va llançar DALL-E públicament, Katherine Crowson d'EleutherAI i l'artista digital Ryan Murdock van desenvolupar una tècnica per utilitzar CLIP (un altre model desenvolupat per OpenAI) per convertir models habituals de generació d'imatges en síntesis de text a imatge.[7][8][9][10] A partir d'idees que es remunten a DeepDream de Google,[11] van trobar el seu primer gran èxit combinant CLIP amb un altre model disponible públicament anomenat VQGAN. Crowson va llançar la tecnologia fent tuitejar quaderns demostrant la tècnica que la gent podia executar gratuïtament sense cap equip especial.[12][13][14] Emad Mostaque, director general de Stability AI, atribueix aquest treball com a motivador de la fundació de Stability AI.[15]

Tot i que EleutherAI va rebutjar inicialment les ofertes de finançament, preferint utilitzar el programa TPU Research Cloud de Google per obtenir el seu càlcul,[16] a principis de 2021 havien acceptat finançament de CoreWeave (una petita empresa de computació en núvol) i SpellML (una empresa d'infraestructures de núvol) al forma d'accés a potents clústers de GPU que són necessaris per a la investigació d'aprenentatge automàtic a gran escala. El 10 de febrer de 2022 van llançar GPT-NeoX-20B, un model similar al seu treball anterior però que s'ha ampliat gràcies als recursos proporcionats per CoreWeave.[17] Aquest model va ser el tercer a tenir el títol de "model de llenguatge d'estil GPT-3 de codi obert més gran del món" i el primer a ser el model de llenguatge de codi obert més gran (de qualsevol tipus), superant un model entrenat per Meta AI que tenia el títol durant dos mesos. A partir del 6 de març de 2023, és el segon model de llenguatge de codi obert més gran del món.

Referències

[modifica]
  1. ↑ Smith, Craig. «EleutherAI: When OpenAI Isn’t Open Enough» (en anglès). IEEE Spectrum. IEEE, 21-03-2022. [Consulta: 17 desembre 2022].
  2. ↑ Andonian, Alex. «GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch» (en anglès), 13-08-2021.
  3. ↑ «EleutherAI/gpt-j-6B · Hugging Face» (en anglès). huggingface.co.
  4. ↑ Black, Sidney (2022-05-01). "GPT-NeoX-20B: An Open-Source Autoregressive Language Model" a Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. [Consulta: 19 desembre 2022] 
  5. ↑ (2020-12-31) "[1]" a arXiv 2101.00027.  
  6. ↑ «GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront» (en anglès). www.forefront.ai. Arxivat de l'original el 2023-03-09. [Consulta: 1r març 2023].
  7. ↑ MIRANDA, LJ. «The Illustrated VQGAN» (en anglès). ljvmiranda921.github.io. [Consulta: 8 març 2023].
  8. ↑ «Inside The World of Uncanny AI Twitter Art» (en anglès). Nylon. [Consulta: 8 març 2023].
  9. ↑ «This AI Turns Movie Text Descriptions Into Abstract Posters» (en anglès). Yahoo Life. [Consulta: 8 març 2023].
  10. ↑ Quach, Katyanna. «A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped» (en anglès). www.theregister.com. [Consulta: 8 març 2023].
  11. ↑ «Alien Dreams: An Emerging Art Scene - ML@B Blog» (en anglès). Alien Dreams: An Emerging Art Scene - ML@B Blog. Arxivat de l'original el 10 de març 2023. [Consulta: 8 març 2023].
  12. ↑ «We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell» (en anglès), 14-07-2021. [Consulta: 8 març 2023].
  13. ↑ Nataraj, Poornima. «Online tools to create mind-blowing AI art» (en anglès). Analytics India Magazine, 28-02-2022. [Consulta: 8 març 2023].
  14. ↑ «Meet the Woman Making Viral Portraits of Mental Health on TikTok» (en anglès). www.vice.com. [Consulta: 8 març 2023].
  15. ↑ @EMostaque. «Stability AI came out of @AiEleuther and we have been delighted to incubate it as the foundation was set up».
  16. ↑ «EleutherAI: When OpenAI Isn’t Open Enough» (en anglès). IEEE Spectrum. [Consulta: 1r març 2023].
  17. ↑ «Wayback Machine» (en anglès). web.archive.org, 10-02-2022. Arxivat de l'original el 2022-02-10. [Consulta: 1r març 2023].