Comment une IA « apprend » : données, entraînement, limites

Une IA générative ne « comprend » pas le monde comme une personne, et ne fonctionne pas non plus comme un logiciel classique programmé avec des règles fixes : elle a appris des régularités statistiques à partir d’énormes volumes de texte, puis a été ajustée pour produire des réponses jugées utiles par des humains. Cette mécanique en trois étapes explique directement deux limites que vous croisez à chaque usage : les biais qu’elle reproduit, et le fait qu’elle ignore tout de ce qui s’est passé après une certaine date.

Étape 1 — Le pré-entraînement : apprendre la langue par la statistique

Un modèle de langage commence par ingérer un volume massif de texte — pages web, livres, articles — pour apprendre les régularités du langage : quels mots suivent quels autres, comment une phrase se construit, comment un raisonnement s’enchaîne. C’est la phase la plus lourde en calcul et en données de tout l’entraînement. Le modèle ne mémorise pas ces textes comme une bibliothèque consultable : il en extrait des probabilités, qu’il utilise ensuite pour prédire la suite la plus plausible d’un texte donné — le même principe que nous détaillons dans qu’est-ce qu’un LLM, expliqué simplement.

Étape 2 — L’ajustement supervisé : montrer de bonnes réponses

Un modèle sorti du seul pré-entraînement complète des textes, il ne répond pas à des questions comme un assistant. La deuxième étape corrige cela : des exemples de bonnes réponses à des instructions types (« résume ce texte », « réponds à cette question ») sont montrés au modèle, qui apprend à imiter ce format de réponse utile plutôt que de simplement continuer un texte au hasard.

Étape 3 — Le retour humain : aligner sur ce qu’on juge « bon »

La dernière étape, le RLHF (apprentissage par renforcement à partir de retour humain), affine le comportement du modèle à partir de comparaisons faites par des évaluateurs humains : face à deux réponses possibles, ils indiquent laquelle est la meilleure. Ces préférences entraînent un « modèle de récompense » qui note ensuite systématiquement les réponses du modèle principal, lequel est ajusté pour obtenir de meilleures notes. C’est cette étape qui rend un modèle plus utile, plus poli et plus sûr dans ses réponses — mais elle ne touche qu’à la façon dont il présente ce qu’il sait, pas au contenu de ce qu’il a appris pendant le pré-entraînement.

D’où viennent réellement les biais

Un modèle reflète les régularités des données sur lesquelles il a été entraîné. La CNIL est claire sur ce point dans son guide sur la collecte des données d’entraînement : les risques de discrimination liés à des algorithmes entraînés sur des données biaisées sont largement documentés, mais les facteurs qui y contribuent restent difficiles à isoler précisément, et les méthodes de correction demeurent expérimentales. Concrètement, si les textes utilisés pour l’entraînement sous-représentent une langue, une culture ou un point de vue, le modèle aura tendance à privilégier la vision majoritaire dans ces données — pas parce qu’il « pense » ainsi, mais parce que c’est la régularité statistique la plus fréquente qu’il a apprise.

Le RLHF de l’étape 3 peut corriger certains comportements visibles et signalés par les évaluateurs humains, mais il ne peut pas réparer un déséquilibre structurel présent dans les milliards de textes du pré-entraînement — il agit après coup, sur un nombre limité de cas de figure testés.

D’où vient l’obsolescence des réponses

Le pré-entraînement porte sur des données arrêtées à une date précise : tout ce qui s’est produit après cette date n’existe tout simplement pas dans ce que le modèle a appris. C’est pour cette raison qu’un modèle sans accès à une recherche web peut ignorer un événement récent, ou pire, produire une réponse plausible mais fausse sur un sujet postérieur à sa date de connaissance — un des mécanismes que nous détaillons dans pourquoi l’IA « hallucine ». Une IA connectée à une recherche web en temps réel réduit ce problème sur l’actualité récente, mais son socle de connaissances de base reste, lui, figé à la date de son entraînement.

Ce que chaque étape explique, en un coup d’œil

Étape	Ce qu’elle construit	Ce qu’elle explique comme limite
Pré-entraînement	La compréhension statistique de la langue, à partir de données figées à une date donnée	Les connaissances s’arrêtent à cette date ; les biais présents dans les données s’impriment dans le modèle
Ajustement supervisé	La capacité à répondre à une instruction plutôt qu’à seulement compléter un texte	Le format des réponses dépend des exemples fournis à cette étape, pas de la vérité du contenu
Retour humain (RLHF)	L’alignement sur des réponses jugées utiles et sûres par des évaluateurs	Corrige des comportements visibles, mais ne répare pas les déséquilibres du pré-entraînement

Pourquoi ça change votre façon d’utiliser l’IA

Savoir que les connaissances d’un modèle sont figées à une date donnée devrait devenir un réflexe avant toute question sur l’actualité récente : demandez-lui explicitement s’il dispose d’une recherche web, ou vérifiez la date à laquelle s’arrête son entraînement. De la même façon, savoir que les biais viennent des données et non d’une intention du modèle devrait inciter à la prudence sur des sujets sensibles (recrutement, évaluation, sujets culturels) : une réponse qui semble neutre peut reproduire un déséquilibre invisible tant qu’on ne le cherche pas activement. Ces réflexes complètent ceux que nous détaillons dans notre checklist pour vérifier une réponse d’IA.

À retenir

Un modèle de langage n’apprend pas des faits vérifiés : il apprend des régularités statistiques dans des données figées à une date donnée, puis est ajusté pour produire des réponses jugées utiles par des humains. Cette mécanique explique directement deux limites structurelles — les biais hérités des données, et l’obsolescence des connaissances après la date d’entraînement — qui ne disparaissent pas avec un modèle plus récent, seulement avec une vigilance de votre part à chaque usage sensible.