Llama (modello linguistico)

Llama
software
Schermata di esempio
Schermata di esempio
GenereChat bot
SviluppatoreMeta Platforms
Ultima versione3.3 (6 dicembre 2024)
Sistema operativoMultipiattaforma
LinguaggioPython
LicenzaMeta Llama 3 Community License
(licenza non libera)
LinguaMultilingua
Sito webwww.llama.com/
Modifica dati su Wikidata · Manuale

Llama (acronimo di Large Language Model Meta AI, e precedentemente stilizzato come LLaMA) è una famiglia di modelli linguistici autoregressivi di grandi dimensioni (LLM) pubblicati da Meta AI a partire da febbraio 2023. L'ultima versione è Llama 3.3, rilasciata nel dicembre 2024.[1]

I pesi del modello per la prima versione di Llama sono stati resi disponibili alla comunità di ricerca con una licenza non commerciale e l'accesso è stato concesso caso per caso.[2] Copie non autorizzate del modello sono state condivise via BitTorrent. In risposta, Meta AI ha emesso richieste di rimozione, secondo la legge statunitense DMCA, contro i repository che condividevano il link su GitHub.[3] Le versioni successive di Llama sono state rese accessibili al di fuori del mondo accademico e pubblicate con licenze che consentivano un limitato uso commerciale.[4][5] I modelli di Llama sono addestrati con parametri di dimensioni diverse, comprese tra 7B e 405B. In origine, Llama era disponibile solo come modello fondativo. A partire da Llama 2, Meta AI ha iniziato a pubblicare versioni perfezionate delle istruzioni accanto ai modelli di base.[5]

Parallelamente al lancio di Llama 3, Meta ha aggiunto la funzionalità di assistente virtuale a Facebook e WhatsApp in alcune regioni del mondo selezionate, nonché un sito web autonomo. Entrambi i servizi utilizzano un modello Llama 3.[6]

Confronto dei modelli

[modifica | modifica wikitesto]

Nella colonna dei costi di formazione viene riportato solo il costo del modello più esteso. Ad esempio, "21.000" è il costo di addestramento di Llama 2 cioè 69B in unità di petaFLOP per giorno. Inoltre, 1 petaFLOP-giorno = 1 petaFLOP/sec × 1 giorno = 8,64E19 FLOP.

Nome Data di rilascio Parametri Costo della formazione (petaFLOP-giorno) Lunghezza del contesto Dimensione del corpus Sostenibile commercialmente?
Llama 24 febbraio 2023
  • 6,7 miliardi
  • 13 miliardi
  • 32,5 miliardi
  • 65,2 miliardi
 6.300 [7] 2048 1–1,4 T No
Llama 2 18 luglio 2023
  • 6,7 miliardi
  • 13 miliardi
  • 69 miliardi
 21.000 [8] 4096 2T Si
Codice Llama 24 agosto 2023
  • 6,7 miliardi
  • 13 miliardi
  • 33,7 miliardi
  • 69 miliardi
Llama 3 18 aprile 2024
  • 8 miliardi
  • 70,6 miliardi
 100.000 [9][10] 8192 15T
Llama 3.1 23 luglio 2024
  • 8 miliardi
  • 70.6 miliardi
  • 405 miliardi
 440,000[11] 128,000
Llama 3.2 25 settembre 2024
  • 1 miliardi
  • 3 miliardi
  • 11 miliardi
  • 90 miliardi[12][13]
 128,000[14]

Applicazioni

[modifica | modifica wikitesto]

Il Center for Research on Foundation Models (CRFM) dell'Institute for Human-Centered Artificial Intelligence (HAI) dell'Università di Stanford ha pubblicato Alpaca, una soluzione di addestramento basata sul modello LLaMA 7B che utilizza il metodo “Self-Instruct” di messa a punto delle istruzioni per acquisire capacità paragonabili al modello OpenAI GPT-3 della serie text-davinci-003 a un costo modesto.[15] I file del modello sono stati rimossi il 21 marzo 2023, a causa dei costi di hosting e di problemi di sicurezza, sebbene il codice e il documento sono rimasti online come riferimento.[16][17]

Meditron è una famiglia di strumenti basati su Llama, perfezionati su un insieme di linee guida cliniche, articoli e documenti PubMed. È stato creato dai ricercatori della Facoltà di Informatica e Scienze della Comunicazione dell'École Polytechnique Fédérale di Losanna e della Facoltà di Medicina dell'Università Yale. Mostra prestazioni migliorate nei benchmark correlati alla medicina come MedQA e MedMCQA.[18][19][20]

Zoom ha utilizzato Meta Llama 2 per creare un'intelligenza artificiale in grado di riassumere le riunioni, fornire utili suggerimenti per presentazioni e fare da assistente nelle risposte ai messaggi. Questo assistente AI è alimentato da più modelli, tra cui Meta Llama 2.[21]

Note

[modifica | modifica wikitesto]
  1. ^ (EN) Meta unveils a new, more efficient Llama model, su https://techcrunch.com/. URL consultato il 2 gennaio 2025.
  2. ^ Yuvraj Malik e Katie Paul, Meta heats up Big Tech's AI arms race with new language model, su reuters.com, Reuters, 25 febbraio 2023.
  3. ^ OpSec Online LLC, github/dmca - Notice of Claimed Infringement via Email, su github.com, GitHub, 21 marzo 2023. URL consultato il 25 marzo 2023.
  4. ^ (EN) Emilia David, Meta's AI research head wants open source licensing to change, su The Verge, 30 ottobre 2023.
  5. ^ a b Meta and Microsoft Introduce the Next Generation of LLaMA, su Meta, 18 luglio 2023. URL consultato il 21 luglio 2023.
  6. ^ Meet Your New Assistant: Meta AI, Built With Llama 3, su Meta, 18 aprile 2024. URL consultato il 28 gennaio 2025.
  7. ^ The Falcon has landed in the Hugging Face ecosystem, su huggingface.co, 5 giugno 2023. URL consultato il 28 gennaio 2025.
  8. ^ (EN) Model Details, su GitHub. URL consultato il 28 gennaio 2025.
  9. ^ Andrej Karpathy - The model card has some more interesting info too, su x.com, 18 aprile 2024. URL consultato il 28 gennaio 2025.
  10. ^ (EN) GitHub, https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md. URL consultato il 28 maggio 2024.
  11. ^ (EN) llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models, su GitHub. URL consultato il 23 luglio 2024 (archiviato il 23 luglio 2024).
  12. ^ (EN) Kylie Robison, Meta releases its first open AI model that can process images, su The Verge, 25 settembre 2024. URL consultato il 25 settembre 2024.
  13. ^ (EN) Kyle Wiggers, Meta's Llama AI models get multimodal, su TechCrunch, 25 settembre 2024. URL consultato il 25 settembre 2024 (archiviato il 25 settembre 2024).
  14. ^ Archived copy, su ai.meta.com. URL consultato il 26 settembre 2024 (archiviato il 25 settembre 2024).
  15. ^ Alpaca: A Strong, Replicable Instruction-Following Model, su stanford.edu. URL consultato il 28 gennaio 2025.
  16. ^ (EN) Stanford sends 'hallucinating' Alpaca AI model out to pasture over safety, cost, su theregister.com, 21 marzo 2023. URL consultato il 28 gennaio 2025.
  17. ^ (EN) Stanford Researchers Take Down Alpaca AI Due to ‘Hallucinations’ and Rising Costs, su Gizmodo.
  18. ^ (EN) Meditron: An LLM suite especially suited for low-resource medical settings leveraging Meta Llama, su ai.meta.com. URL consultato il 28 gennaio 2025.
  19. ^ (EN) EPFL's new Large Language Model for Medical Knowledge, su actu.epfl.ch. URL consultato il 28 gennaio 2025.
  20. ^ epfLLM / meditron, su github.com. URL consultato il 28 gennaio 2025.
  21. ^ How Companies Are Using Meta Llama, su Meta, 7 maggio 2024. URL consultato il 28 gennaio 2025.

Collegamenti esterni

[modifica | modifica wikitesto]
  Portale Internet: accedi alle voci di Wikipedia che trattano di internet