IA
Self-attention
Aussi : self-attention · self attention
En clair
Dans une phrase, comprendre « elle » suppose de retrouver de qui on parle plus haut. La self-attention est le mécanisme qui permet ce rattachement : pour chaque fragment de texte, le modèle évalue lesquels des autres fragments comptent, et à quel point. C’est ce tri qui construit le sens. Plus le texte s’allonge, plus il devient coûteux et approximatif.
Concrètement
Dans un contrat de vingt pages soumis d’un seul bloc, une clause située page 3 peut être mal reliée à la question posée à la fin.
Pourquoi ça compte
C’est la raison pour laquelle un modèle « oublie » une consigne posée au milieu d’un très long document, et pourquoi le coût augmente plus vite que la longueur du texte envoyé.
Définition technique
Mécanisme d’attention qui pondère les liens entre tokens pour construire une représentation contextuelle.