IA
LoRA
Aussi : Low-Rank Adaptation · low-rank adaptation
En clair
Adapter un modèle sans le réentraîner entièrement, comme on retouche un vêtement plutôt que de le recoudre. LoRA insère de petits modules qui modifient son comportement en laissant intacte la quasi-totalité de ses paramètres. On obtient une adaptation ciblée pour une fraction du temps, de la mémoire et du coût d’un réentraînement complet.
Concrètement
Adapter un modèle à cinquante réponses types du service après-vente demande une petite fraction de la mémoire d’un réentraînement complet.
Pourquoi ça compte
C’est ce qui rend l’adaptation d’un grand modèle accessible sans parc de machines. En revanche, un module calé sur un jeu d’exemples médiocre en fige les défauts.
Définition technique
Low-Rank Adaptation : technique de fine-tuning efficace qui adapte un modèle via des matrices de rang faible au lieu de tout réentraîner.
LoRA injecte de petits adaptateurs entraînables dans un modèle gelé. Moins de VRAM, itérations plus rapides, et on peut empiler plusieurs adaptateurs (multi-tâches / multi-styles).
À ne pas confondre avec
- QLoRA — QLoRA = LoRA + quantification du modèle de base pour moins de VRAM.