Fonctionnement Réel des LLM
Glissez pour afficher le menu
Vous avez discuté avec Claude. Maintenant, ouvrons le capot — sans aucune formule mathématique.
Étape 1 : Le texte devient des nombres
Les ordinateurs ne lisent pas les mots — ils ne font que des calculs. Avant toute opération, votre message est découpé en éléments appelés jetons, et chaque jeton est converti en un nombre.
Un jeton correspond à environ 4 caractères de texte anglais. Il peut s'agir d'un mot entier, d'une partie de mot ou d'un signe de ponctuation. Les espaces et la casse sont importants — ils modifient le jeton.
Ce que Claude voit réellement
Lorsque vous écrivez :
Hello, marketing manager!
Claude reçoit :
["Hello", ",", " marketing", " manager", "!"]
Ce qui devient :
[9906, 11, 8661, 6783, 0]
Cinq jetons. Cinq nombres. C'est l'entrée.
Règle générale : 750 mots correspondent à environ 1 000 jetons. Plus il y a de jetons, plus le coût est élevé et la réponse lente.
Étape 2 : Prédire le prochain jeton
Une fois que tout est converti en nombres, le modèle fait une seule chose : prédire ce qui vient ensuite. Encore et encore.
Vous écrivez :
The capital of France is
Le modèle considère quel jeton est le plus susceptible de suivre :
- "Paris" — 92 % ;
- " Paris" — 5 % ;
- "Lyon" — 1 % ;
- "the" — 0,5 %.
Il choisit le plus probable. Puis il recommence. Jusqu'à ce qu'il décide de s'arrêter.
Important : le modèle n'a pas choisi Paris parce qu'il connaît la réponse. Il l'a choisi parce que, dans les données d'entraînement, cette phrase était presque toujours suivie de "Paris".
IA = prédiction de motifs, pas connaissance.
Étape 3 : Origine des motifs
Le modèle a été entraîné sur des textes publics d'internet, des livres et du code — jusqu'à une certaine date limite.
L'entraînement consiste à ajuster les probabilités : quels jetons suivent lesquels, et dans quel contexte.
Deux conséquences :
- Le modèle n'a aucune connaissance des événements récents, des données de votre entreprise ou de tout ce qui est postérieur à la date limite ;
- Il a appris à partir d'internet — y compris ses erreurs. Si une partie des données d'entraînement était erronée, le modèle peut répéter ces erreurs avec assurance.
Pourquoi l'IA hallucine
Une hallucination se produit lorsque le modèle génère quelque chose qui semble convaincant et réaliste — mais qui est en réalité faux.
Exemples courants : fausses citations, URL inventées, statistiques incorrectes.
Cela se produit parce que l'objectif du modèle est de produire la séquence de jetons la plus probable — et non la plus vraie. Si quelque chose semble correct, il peut le générer même si c'est faux.
La solution
La solution ne consiste pas seulement à rendre le modèle plus intelligent. Il s'agit de lui fournir des outils — recherche web, données réelles, documents — afin qu'il puisse s'appuyer sur des faits plutôt que sur des schémas uniquement.
C'est exactement ce que vous avez vu dans le chapitre précédent, et que vous continuerez à utiliser par la suite.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
