Une phrase entre
Vous écrivez six mots. Une réponse revient, construite, plausible, parfois juste. Entre les deux, rien de magique ne s’est produit — mais quelque chose d’assez étrange, oui.
Prenons une question, et suivons-la jusqu’au bout.
Pourquoi le ciel est-il bleu ?
Pour vous, c’est une phrase. Pour le modèle, ce n’en est pas une. C’est d’abord une suite de nombres, et rien d’autre ne lui parviendra jamais.
La phrase se découpe
Avant tout calcul, le texte est fragmenté en tokens : des morceaux qui ne correspondent ni tout à fait à des lettres, ni tout à fait à des mots. Les mots fréquents forment souvent un seul token ; les mots rares se brisent en plusieurs.
Tokenisation
- Pourquoi
- le
- ciel
- est
- -
- il
- bleu
- ?
8 tokens
Chaque étiquette est un token, numéroté par sa position. Essayez votre propre phrase : le nombre de tokens change rarement comme on l'attend.
Représentation conceptuelle. Le découpage montré ici suit une règle pédagogique simple — mots, ponctuation, et quelques suffixes courants. Les vrais tokenizers apprennent leur vocabulaire sur un corpus, et deux modèles découpent la même phrase différemment.
Version textuelle
La phrase « Pourquoi le ciel est-il bleu ? » se découpe en huit tokens :
Pourquoi, le, ciel, est,
-, il, bleu, ?.
La règle appliquée ici sépare les mots, isole la ponctuation, et détache
quelques suffixes fréquents des mots longs.
C’est déjà une perte. Le modèle ne verra jamais « ciel » : il verra le token numéro 2, qui se trouve porter ce nom pour notre confort.
Chaque token devient une position
Un token seul ne veut rien dire. On lui associe un vecteur — une liste de nombres — et c’est cette liste, pas le mot, qui traverse le modèle.
L’intérêt n’est pas le vecteur lui-même. C’est que les vecteurs de mots proches finissent proches. Cette proximité n’est pas décrétée : elle émerge de l’entraînement, parce que ces mots apparaissent dans des contextes analogues.
Espace de représentation
Choisissez un mot
roi Les plus proches
- 1 reine
- 2 homme
- 3 femme
Sélectionnez un mot au clic, au tap ou au clavier : ses trois plus proches voisins s'affichent.
Représentation conceptuelle. Les représentations réelles comptent des centaines, souvent des milliers de dimensions, et aucun axe n'y porte de nom. Ce plan est une mise en scène de la seule chose qui compte ici — que « proche » veut dire quelque chose.
Version textuelle
Dix mots répartis en trois groupes : roi, reine,
homme, femme d’un côté ; pomme,
banane, orange de l’autre ; voiture,
camion, vélo plus bas. Les voisins immédiats de
roi sont reine, homme et
femme — jamais un fruit.
La position change tout
Deux phrases, exactement les mêmes tokens :
le chien mord l’homme
l’homme mord le chien
Un sac de vecteurs identiques ne peut pas distinguer ces deux mondes. Il faut donc injecter, dans chaque vecteur, l’information de où le token se trouve dans la séquence.
C’est une addition, littéralement : à la représentation du token s’ajoute une représentation de sa position. À partir de là, « chien en première position » et « chien en quatrième position » ne sont plus le même objet.
Chaque mot regarde les autres
Voici le mécanisme central. Prenons une phrase où un pronom est ambigu :
Attention Explorer
Sélectionnez un mot
il
Sélectionnez un mot encadré. Les arcs et les barres montrent d'où ce mot tire son information dans la phrase.
Représentation conceptuelle. Les poids affichés sont illustratifs : ils sont posés à la main pour rendre visible la relation que la phrase porte réellement. Ce ne sont pas les poids mesurés d'un modèle nommé.
Version textuelle
Pour le mot il, les poids les plus forts vont vers
animal (0,61), puis rue (0,12),
traversé (0,07) et fatigué (0,06). Pour
fatigué, ils vont vers animal (0,34) et
il (0,30).
« Il » désigne l’animal, pas la rue. Aucune règle de grammaire n’a été écrite pour l’établir : le modèle a appris à faire porter, sur la représentation de « il », une part importante de celle de « animal ». C’est cela, l’attention — une moyenne pondérée, apprise, de ce que les autres positions ont à offrir.
Trois rôles : chercher, proposer, transmettre
Pour calculer ces poids, chaque token joue trois rôles simultanément. Le plus simple est de les prendre comme trois questions.
Requête — que suis-je en train de chercher ? Pour « il », quelque chose comme : un nom, masculin, susceptible d’être fatigué.
Clé — qu’est-ce que j’annonce ? Chaque token expose une étiquette indiquant ce qu’il peut satisfaire.
Valeur — qu’est-ce que je transmets si l’on me retient ? L’information qui remontera effectivement.
Le poids d’attention est l’accord entre une requête et une clé. Ce qui circule, c’est la valeur.
Sous le capot
Chaque token produit ses trois rôles par projection linéaire de sa
représentation X :
Q = X·Wq K = X·Wk V = X·WvLe score entre une requête et toutes les clés est un produit scalaire, normalisé puis transformé en distribution :
Attention(Q, K, V) = softmax( Q·Kᵀ / √dk ) · VLa division par √dk — la racine de la dimension des clés — évite que les
produits scalaires ne prennent des valeurs si grandes que le softmax sature
et ne laisse plus passer qu’un seul token.
L’équation arrive ici, et pas au début : elle formalise l’intuition, elle ne la remplace pas.
Plusieurs regards en parallèle
Un seul jeu de poids ne suffit pas. Une phrase porte plusieurs relations à la fois — qui fait quoi, qui se rapporte à qui, ce qui est proche, ce qui structure. Le modèle calcule donc plusieurs attentions en parallèle, sur des projections différentes de la même phrase.
Attention multi-tête
Mot sélectionné : « il »
il
Cette projection concentre presque tout son poids sur le sujet de la phrase.
Même phrase, même mot sélectionné, quatre projections différentes. Basculez d'une tête à l'autre : ce que chacune retient change.
Représentation conceptuelle. Les quatre motifs sont construits pour l'exposé. Les têtes sont des projections apprises : elles n'ont pas de rôle humainement nommable attribué une fois pour toutes, et les étiquettes ci-dessous sont des commodités de lecture, pas des propriétés du modèle.
Version textuelle
Quatre projections du même mot il : la première pointe
massivement vers animal (0,72) ; la deuxième reste sur
était et fatigué ; la troisième vise
rue (0,44) et traversé (0,28) ; la quatrième se
répartit à peu près uniformément sur toute la phrase.
Les résultats des têtes sont concaténés, puis recombinés. La phrase ressort enrichie de plusieurs lectures simultanées.
L'attention n'est qu'une pièce
Reculons d’un cran. L’attention vit à l’intérieur d’un bloc, et un bloc contient autre chose : une normalisation, un réseau dense qui traite chaque position indépendamment, et des connexions résiduelles qui laissent l’information contourner chaque étape.
Un bloc, puis la pile
Un bloc
- ENTRÉE
- ATTENTION
- ADD / NORMALISE
- MLP
- ADD / NORMALISE
- SORTIE
La pile
- 01
- 02
- 03
- 04
- N
Le nombre de blocs varie selon les modèles, de quelques dizaines à beaucoup plus. Chaque bloc reçoit la sortie du précédent : la représentation d'un token est retravaillée autant de fois qu'il y a de couches.
À gauche, l'intérieur d'un bloc. À droite, le même bloc répété — c'est la profondeur du modèle.
Version textuelle
Un bloc enchaîne : entrée, attention, addition et normalisation, réseau dense, addition et normalisation, sortie. Ce bloc est répété N fois, la sortie de l’un devenant l’entrée du suivant.
C’est là qu’est l’essentiel du calcul. L’attention décide de ce qui se parle ; le reste du bloc décide de ce qu’on en fait.
Une seule chose sort : le token suivant
Au sommet de la pile, le modèle ne produit ni une phrase ni une idée. Il produit une distribution de probabilité sur tout son vocabulaire, pour un token — le suivant.
Génération
Contexte
La capitale de la France est
Candidats pour le token suivant
- Paris 0.78
- située 0.05
- la 0.03
- un 0.02
- aussi 0.02
0 / 3
Appuyez pour engendrer un token. Il rejoint le contexte, et tout recommence à partir du texte ainsi allongé.
Représentation conceptuelle. Aucun modèle ne tourne dans cette page : la suite montrée et ses probabilités sont écrites d'avance. Ce qui est fidèle, c'est la forme du processus — une distribution, un token retenu, un contexte allongé d'un cran.
Version textuelle
À partir de « La capitale de la France est », le candidat le plus probable
est Paris (0,78), loin devant située (0,05). Une
fois Paris retenu, il entre dans le contexte et le calcul
reprend : les candidats suivants sont alors une virgule (0,31) ou un point
(0,29).
Tout le reste en découle. Un texte long n’est pas produit d’un coup : c’est cette boucle, répétée, où chaque sortie devient une entrée. C’est ce qu’on appelle la génération autorégressive.
Alors d'où vient le raisonnement ?
Si le modèle ne fait que prédire le token suivant, comment résout-il un problème en plusieurs étapes ?
Comparez deux trajectoires. Dans la première, la question est posée et la réponse tombe : tout le travail doit tenir en une seule passe. Dans la seconde, le modèle produit d’abord du texte intermédiaire — il décompose, teste, se corrige — et ce texte, en entrant dans le contexte, devient une donnée sur laquelle la suite du calcul s’appuie.
La deuxième trajectoire n’ajoute aucun organe. Elle ajoute du calcul engendré avant de conclure, et cela suffit à changer ce que le modèle sait mener à bien.
Sur les balises de raisonnement
Certains systèmes séparent explicitement cette production intermédiaire de la réponse finale, par des balises de la forme :
<thinking>
…
</thinking>Ce sont des conventions — d’interface, d’entraînement ou d’exécution selon les systèmes. Ce n’est pas une primitive du Transformer, et il n’existe pas, dans l’architecture décrite ici, de compartiment séparé où le modèle « penserait » avant de parler. Le mécanisme reste le même : de la génération de tokens sur un contexte qui s’allonge.
Ce qui peut mal tourner
Ce que cette machine ne fait pas
Elle n’a pas de mémoire entre deux conversations. Ce qui n’est pas dans le contexte n’existe pas, et le contexte est fini.
Elle ne consulte aucune source au moment de répondre. Ce qu’elle produit vient de ses paramètres et de ce que vous lui avez donné — d’où des affirmations parfaitement bien formées et parfaitement fausses.
Elle n’a pas de mesure interne de sa propre certitude que vous puissiez lire. Une probabilité élevée sur le token suivant n’est pas une garantie sur le fond ; c’est une statistique sur la forme.
Et surtout : elle ne fait rien. Aucun fichier ne s’ouvre, aucun message ne part, aucune machine ne s’arrête. Elle écrit.
Un LLM engendre. Il n'agit pas.
C’est la ligne de partage la plus utile de tout ce parcours, et la plus souvent franchie sans qu’on le dise.
Un modèle de langage transforme un contexte en tokens suivants. Il ne décide rien, ne déclenche rien, ne vérifie rien. Tout ce qu’on lui prête d’action vient de ce qu’on a construit autour de lui.
Alors que se passe-t-il si on lui donne une mémoire, des outils, et une boucle ?
Le modèle
- Contexte
- Génération
Outils
Boucle
Un agent
- Contexte
- Génération
- Outils
- Boucle
Il produit du texte, et rien d'autre ne bouge. Ajoutez-lui de quoi appeler et de quoi recommencer, et ce texte devient une action.
Vous êtes ici
Que se passe-t-il lorsqu'on donne à ce modèle une mémoire, des outils et une boucle ?