Matrice de confusion
_artificial_intelligence_icon.png){kind=icon}
Cet article est une ébauche concernant l'intelligence artificielle.
Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.
En apprentissage automatique supervisé, la matrice de confusion est une matrice qui mesure la qualité d'un système de classification. Chaque ligne correspond à une classe réelle, chaque colonne correspond à une classe estimée. La cellule ligne L, colonne C contient le nombre d'éléments de la classe réelle L qui ont été estimés comme appartenant à la classe C[1]. Attention il y a parfois interversion des axes de la matrice en fonction des auteurs.
Un des intérêts de la matrice de confusion est qu'elle montre rapidement si un système de classification parvient à classifier correctement.
Cette notion est directement le tableau de contingence (notion de statistiques) qui montre les risques d'erreur de 1ère et de 2eme espèce d'un test d'hypothèse (notion d'analyse de données / Statistiques).
Exemple
[modifier | modifier le code]On souhaite mesurer la qualité d'un système automatique de classification de courriers électroniques. Les courriers sont classifiés selon deux classes : courriel pertinent ou pourriel intempestif. Supposons que notre classificateur soit testé avec un jeu de 200 mails, dont 100 sont des courriels pertinents et les 100 autres relèvent de pourriels.
Pour cela, on veut savoir :
- combien de courriels seront faussement estimés comme des pourriels (fausses alarmes) par le classificateur et
- combien de pourriels ne seront pas estimés comme tels (non détections) et classifiés à tort comme courriels par le classificateur.
La matrice de confusion suivante se lit alors comme suit :
- horizontalement, sur les 100 courriels initiaux (ie : 95+5), 95 ont été estimés par le classificateur comme tels et 5 ont été estimés comme pourriels (ie : 5 faux-négatifs),
- horizontalement, sur les 100 pourriels initiaux (ie : 3+97), 3 ont été estimés par le classificateur comme courriels (ie : 3 faux-positifs) et 97 ont été estimés comme pourriels,
- verticalement, sur les 98 mails (ie : 95+3) estimés par le classificateur comme courriels, 3 sont en fait des pourriels,
- verticalement, sur les 102 mails (ie : 5+97) estimés par le classificateur comme pourriels, 5 sont en fait des courriels.
- diagonalement (du haut gauche, au bas droit), sur les 200 courriels initiaux, 192 (95 + 97) ont été estimés correctement par le classificateur.
De manière plus proche de la théorie mathématique du test statistique, les "faux positifs" sont le risque de première espèce (probabilité alpha), les "faux négatifs" sont le risque de seconde espèce (probabilité beta). 1-beta est la puissance du test, ie son caractère discriminant. 1-alpha est le "niveau de confiance" du test.
| Classe estimée - (par le classificateur) | |||
| `courriel' | `pourriel' | ||
|---|---|---|---|
| Classe réelle - (selon le destinataire humain des mails) |
courriel | 95 (vrais positifs) |
5 (faux négatifs) |
| pourriel | 3 (faux positifs) |
97 (vrais négatifs) | |
Cette notion s'étend à un nombre quelconque de classes. On peut normaliser cette matrice pour en simplifier la lecture : dans ce cas, un classificateur sera d'autant meilleur que sa matrice de confusion s'approchera d'une matrice diagonale.
Pour aller plus loin :
- la 2e ligne horizontale des pourriels nous donne une indication sur la capacité à détecter automatiquement les pourriels (ie : 97% de succès).
- la 2e ligne verticale des pourriels nous donne une indication sur à quel point les prédictions (détection de pourriels) sont fiables (ie : 5% d'erreurs sur les courriels et 3% d'erreurs sur les pourriels soit 4% d'erreur de classification d'un mail en moyenne par le classificateur).
Notes et références
[modifier | modifier le code]- « Confusion Matrix », sur www2.cs.uregina.ca (consulté le )
