IA
AUROC
Aussi : AUC-ROC · AUC ROC · Area Under the ROC Curve
En clair
Prenons un filtre anti-spam. On lui soumet un lot de mails dont on connaît déjà la nature, et il attribue à chacun une note de suspicion. L’AUROC répond à une seule question : si on tire au hasard un vrai spam et un mail légitime, quelle est la probabilité que le filtre ait mis la note la plus élevée au spam ? À 0,5, il fait aussi bien que pile ou face ; à 1, il ne se trompe jamais d’ordre.
Concrètement
Un modèle annoncé à 0,85 se trompe d’ordre une fois sur sept environ, sur ce type de comparaison.
Pourquoi ça compte
L’AUROC mesure la capacité à classer, pas le nombre d’erreurs que le système commettra réellement. Un modèle à 0,95 peut rester inexploitable si le seuil d’alerte est mal réglé, ou si les cas à détecter sont très rares. Quand un fournisseur ne communique que son AUROC, il manque la moitié de l’information.
Définition technique
Area Under the ROC Curve : métrique de discrimination d’un classifieur entre 0,5 (hasard) et 1 (séparation parfaite).
À ne pas confondre avec
- Précision / rappel — L’AUROC mesure la capacité à ordonner les cas ; précision et rappel mesurent les erreurs à un seuil donné.