Comment les Modèles de Langage « Réfléchissent »

Il n'est pas nécessaire de comprendre le fonctionnement d'un moteur de voiture pour conduire — mais savoir qu'il fonctionne avec du carburant permet d'éviter de tomber en panne sèche. Il en va de même pour l'IA. Vous n'avez pas besoin d'un diplôme en informatique, mais comprendre une idée centrale facilitera la compréhension de tout le reste dans ce cours.

Prédiction, l'idée centrale

Les grands modèles de langage (LLM) — la technologie derrière ChatGPT, Claude, Gemini et d'autres — fonctionnent en prévoyant ce qui vient ensuite.

À partir d'une séquence de mots, le modèle calcule quel mot (ou quelle expression) est le plus susceptible de suivre, en se basant sur les schémas qu'il a appris à partir d'énormes quantités de textes : livres, articles, sites web, code, et bien plus encore.

C'est similaire à la fonction d'autocomplétion sur votre téléphone — sauf qu'il est entraîné sur pratiquement l'ensemble d'internet, avec une sophistication bien supérieure.

Que sont les tokens ?

L'IA ne lit pas les mots comme vous. Elle divise le texte en petits morceaux appelés tokens — correspondant approximativement à des mots ou à des parties de mots.

Par exemple :

• "running" peut être un token ;
• "unbelievable" peut être divisé en "un" + "believ" + "able" ;
• Même les espaces et la ponctuation sont des tokens.

C'est pourquoi l'IA gère parfois maladroitement des mots inhabituels, ou pourquoi des entrées très longues ralentissent le traitement — chaque token nécessite de la puissance de calcul.

À retenir pour l'usage pratique : plus il y a de tokens dans votre conversation, plus le modèle dispose de contexte — et plus cela coûte à exécuter (c'est pourquoi les offres gratuites sont limitées).

Pourquoi l'IA invente parfois des choses

Le modèle prédit ce qui semble correct, il ne produit pas toujours ce qui est factuellement exact. Lorsqu'il rencontre un sujet en dehors de ses données d'entraînement, ou une question à laquelle il ne peut pas répondre avec certitude, il ne dit pas « Je ne sais pas » — il génère quand même une réponse qui paraît plausible.

Ceci s'appelle une hallucination.

Ce n'est pas un bug, et ce n'est pas l'IA qui ment. C'est une propriété fondamentale de la façon dont la prédiction fonctionne. Comprendre cela est la première étape pour utiliser l'IA en toute sécurité. Nous l'aborderons en détail dans la section 3.

L'IA prédit — elle ne sait pas vraiment. Cette idée explique pourquoi de bons prompts sont importants, pourquoi il faut vérifier les faits importants, et pourquoi le jugement humain reste indispensable lorsqu'on travaille avec l'IA.