IA
Distillation
Aussi : knowledge distillation
En clair
On fait travailler un gros modèle, on collecte ses réponses, puis on entraîne un modèle bien plus petit à les reproduire. Le petit hérite d’une partie du comportement du grand pour une fraction du coût de fonctionnement. Il hérite aussi de ses défauts : si le grand se trompait ou penchait d’un côté, le petit reproduira le même écart.
Concrètement
Un modèle volumineux produit cent mille réponses types ; un modèle dix fois plus petit, entraîné dessus, tient ensuite le même ton pour bien moins cher.
Pourquoi ça compte
Sans cette technique, on paie en permanence un très gros modèle pour des tâches qui n’en demandent pas tant. Mal menée, elle recopie fidèlement les erreurs du modèle enseignant.
Définition technique
Entraîner un modèle plus petit à imiter un modèle plus grand (ou un ensemble de sorties).