404 Mates

Accueil/Lexique/IA

IA

Inférence

Aussi : inference

En clair

L’inférence, c’est le moment où le modèle sert : il est déjà entraîné, on lui soumet une demande, il produit une réponse. À ne pas confondre avec l’entraînement, qui a lieu en amont, coûte très cher et fabrique le modèle une fois pour toutes. L’inférence, elle, se paie à chaque requête : c’est donc elle qui détermine le coût de fonctionnement au quotidien.

Concrètement

Répondre à cinquante demandes par minute avec un modèle existant coûte sans commune mesure moins cher que de le réentraîner chaque semaine.

Pourquoi ça compte

Confondre les deux fausse tous les budgets. La question à trancher n’est pas le prix du modèle, mais le prix d’une réponse multiplié par le nombre de réponses par jour.

Définition technique

Phase d’utilisation d’un modèle déjà entraîné : produire une sortie à partir d’une entrée (par opposition à l’entraînement).

Termes liés

Vu dans ces articles

← Tout le lexique