In statistica e apprendimento automatico, con apprendimento d'insieme (in inglese ensemble learning) si intendono una serie di metodi che usano molteplici modelli o algoritmi per ottenere una migliore prestazione predittiva rispetto a quella ottenuta dagli stessi modelli applicati singolarmente.[1][2] A differenza dell'insieme della meccanica statistica, che si ritiene infinito, tale insieme di modelli alternativi è concreto e finito.
L'apprendimento d'insieme si divide in tre tecniche fondamentali:
- Bagging: Questa tecnica mira a creare un insieme di classificatori aventi la stessa importanza. All'atto della classificazione, ciascun modello voterà circa l'esito della predizione e l'output complessivo sarà la classe che avrà ricevuto il maggior numero di voti.
- Boosting: A differenza del bagging, ciascun classificatore influisce sulla votazione finale con un certo peso. Tale peso sarà calcolato in base all'errore di accuratezza che ciascun modello commetterà in fase di learning.
- Stacking: Mentre nel bagging l'output era il risultato di una votazione, nello stacking viene introdotto un ulteriore classificatore (detto meta-classificatore) che utilizza le predizioni di altri sotto-modelli per effettuare un ulteriore learning.