Les dossiers
Comment un modèle apprend, et pourquoi il répond ainsi
Des textes à la réponse : tout le cycle de vie d'un modèle de langage, raconté sans une ligne de maths.
Relu le 22 août 2026
D'où viennent les textes ?
La matière première d'un modèle de langage, c'est du texte, en quantités qu'aucun humain ne lira jamais : des copies du web (le projet à but non lucratif Common Crawl archive des pages depuis 2008), des livres numérisés, des encyclopédies, du code, des transcriptions. Ce tas brut est ensuite trié : on supprime les doublons, le spam, les langues mal détectées, les données personnelles repérables, et l'on donne plus de poids aux sources jugées de qualité. Le tri compte autant que le volume : deux modèles nourris du même web, filtrés différemment, n'auront pas le même niveau. C'est aussi là que naît le débat sur le droit d'auteur : ces textes ont été écrits par des gens qui, pour la plupart, n'ont rien signé.
Lire la version découverte
Imagine une bibliothèque si grande qu'on n'en voit pas le bout : des pages web, des livres, des articles, des discussions de forums, du code. Avant d'aller à l'école, l'IA reçoit tout ça dans son cartable. Mais on fait le tri : on enlève les pages en double, les textes abîmés, les choses méchantes. Et certains auteurs protestent : « Ce livre est à moi, vous n'avez pas demandé ! » C'est une grande dispute entre adultes, et elle n'est pas finie.
Le pré-entraînement : deviner la suite, des milliards de fois
Le pré- repose sur une unique et très simple : cacher le suivant d'un texte et demander au modèle de le prédire. Quand il se trompe, un algorithme corrige légèrement ses paramètres (ses « réglages » internes, des centaines de milliards pour les plus gros) dans la direction qui aurait rendu la bonne réponse plus probable. Répétée sur des milliers de milliards de tokens, cette tâche modeste force le réseau à absorber la grammaire, des faits, des styles, du raisonnement élémentaire : tout ce qui aide à deviner la suite. Le résultat est un « modèle de base » : il complète brillamment, mais ne sait pas encore converser ni obéir à une consigne. Cette phase mobilise des dizaines de milliers de puces pendant des semaines ; c'est elle dont la page Conso mesure l'appétit.
Lire la version découverte
Le jeu préféré de l'IA à l'école s'appelle « devine la suite ». On lui montre « Le chat dort sur le… » et elle doit proposer « canapé », « lit » ou « tapis ». Au début, elle dit n'importe quoi. Mais à chaque erreur, on tourne un tout petit peu ses milliards de boutons intérieurs, et elle se trompe un peu moins. Elle joue à ce jeu des milliards de milliards de fois, dans un bâtiment rempli d'ordinateurs qui chauffent, jusqu'à connaître la musique des phrases dans presque toutes les langues.
L'affinage : apprendre à être utile et inoffensif
Le modèle de base est un excellent imitateur de textes, pas un assistant. L' le transforme en deux temps. D'abord l'apprentissage par instructions : on lui montre des dizaines de milliers de paires question-réponse rédigées par des humains, pour qu'il prenne l'habitude de répondre plutôt que de continuer le texte. Ensuite l'apprentissage par préférences (, « renforcement à partir de retours humains ») : des annotateurs classent plusieurs réponses, un modèle de récompense apprend ces goûts, puis l'assistant est ajusté pour viser ce qui plaît. « Utile et inoffensif » est la formule consacrée : répondre vraiment à la demande, sans fournir d'aide dangereuse ni inventer. C'est cette phase qui donne à un assistant son ton, sa prudence et ses refus, pas le pré-.
Lire la version découverte
Après la grande école, l'IA sait finir les phrases, mais elle ne sait pas encore être gentille et utile. Alors des gens lui apprennent les bonnes manières : ils écrivent des exemples de belles réponses, puis ils lui montrent deux réponses et disent « celle-ci est mieux ». Petit à petit, l'IA préfère les réponses qui aident, qui disent la vérité et qui ne font de mal à personne. Un peu comme un chiot qu'on félicite quand il fait bien.
Répondre : un mot après l'autre, avec aplomb
À l'usage, le modèle ne change plus : il lit votre message découpé en , calcule une probabilité pour chaque token possible, en tire un, l'ajoute, et recommence jusqu'au point final. Un réglage appelé « » dose le hasard de ce tirage : basse, le modèle choisit presque toujours le plus probable et se répète ; haute, il varie davantage et déraille plus vite. Rien dans ce mécanisme ne distingue un fait connu d'une formulation plausible : quand l'information manque, le texte le plus probable ressemble souvent à une réponse assurée. D'où les « », ces erreurs énoncées avec aplomb : une référence inventée, une date décalée, un chiffre arrondi au hasard. Les assistants actuels compensent en allant chercher sur le web ou dans vos documents avant d'écrire, ce qui réduit le problème sans le supprimer.
Lire la version découverte
Quand tu poses une question, l'IA ne cherche pas la réponse dans un tiroir : elle la fabrique, pièce par pièce, en devinant le mot suivant le plus probable, comme à l'école. Parfois on lui laisse un peu de hasard, pour qu'elle ne dise pas toujours exactement la même chose. Comme elle choisit ce qui « sonne bien », elle peut raconter une chose fausse avec une voix très sûre d'elle. C'est pour ça qu'on vérifie ce qu'elle dit, comme on vérifie un copain qui parle très vite.
Ce qu'il ne fait pas (et ce qu'on ignore encore)
Trois idées reçues à démonter. Le modèle n'apprend pas de votre conversation : ses sont figés après l' ; ce qu'il « retient » pendant un échange tient dans sa et disparaît à la fermeture, sauf fonctions de mémoire qui lui réinjectent des notes au début de la session suivante. Vos messages peuvent en revanche servir à entraîner la version suivante, selon l'éditeur et vos réglages : ChatGPT et Claude le font pour les comptes grand public sauf refus de votre part, jamais pour les offres entreprise. Enfin, « comprend-il » ? Il n'a ni corps, ni vécu, ni intentions propres, et une partie des chercheurs n'y voit qu'un « perroquet stochastique » ; d'autres observent dans ses circuits des représentations du monde qui ressemblent à une forme de compréhension. Le débat est ouvert, et il est honnête de le dire.
Lire la version découverte
L'IA parle très bien, mais ce n'est pas une personne qui comprend comme toi. Elle n'a pas vécu, pas goûté une glace, pas eu peur du noir. Elle ne se souvient pas de toi d'une conversation à l'autre, sauf si on lui donne un petit carnet pour noter. Et elle n'apprend pas pendant que vous discutez : la grande école est finie. Mais les savants se disputent encore : est-ce qu'elle comprend « un peu » quand même ? Personne n'a la réponse complète.