Les outils qui discutent, résument et écrivent du code semblent presque magiques, jusqu’à ce que vous voyiez le mécanisme en dessous. Un grand modèle linguistique, ou LLM, est essentiellement un système très sophistiqué permettant de prédire le prochain morceau de texte. Cette seule idée explique à la fois ce que ces outils font bien et pourquoi ils échouent comme ils le font.

Ce guide explique les concepts principaux sans aucun calcul, puis construit un petit prédicteur du mot suivant pour rendre l’idée concrète. Nous avons exécuté ce code sur Python 3.13 et le résultat provient de cette exécution. Il s’agit d’un simple jouet de comptage plutôt que d’un réseau neuronal, et les vrais LLM sont bien plus performants. Nous évitons également de citer des chiffres pour des modèles spécifiques, car ils évoluent rapidement.

Qu’est-ce qu’un grand modèle de langage ?

Un LLM est un type d’intelligence artificielle formé pour comprendre et générer le langage humain. Prenons le nom un mot à la fois :

• Grand : il possède un grand nombre de valeurs internes réglables, appelées paramètres, et il apprend à partir d’une énorme quantité de texte.
• Langage : il fonctionne avec du texte, y compris le langage naturel et le code.
• Modèle : il s’agit d’un système mathématique qui capture des modèles à partir de données et les utilise pour faire des prédictions.

Les modèles sont le moteur, et les produits tels que les assistants de chat sont la voiture construite autour d’eux. Un produit ajoute souvent une interface utilisateur, des systèmes de sécurité, une recherche et d’autres outils.

L’idée centrale : prédire la suite

Vous faites cela vous-même. Si vous lisez « la capitale de la France est », votre esprit vous propose tout de suite « Paris ». Un LLM fait quelque chose de comparable, mais à une échelle beaucoup plus grande. Étant donné du texte, il calcule la probabilité de chaque jeton suivant possible, en choisit un, l’ajoute au texte et répète.

Il n’existe aucune base de données de réponses stockées en cours de recherche. Le modèle contient les modèles appris lors de l’entraînement, sous forme de nombres. Lorsque ces schémas correspondent à la vérité, vous obtenez une réponse correcte. Dans le cas contraire, vous pouvez toujours obtenir une réponse fluide, ce qui constitue une différence importante par rapport à un moteur de recherche.

Une petite démo fonctionnelle

Pour voir la prédiction du prochain jeton dans sa forme la plus simple, ce script compte quel mot suit lequel dans un petit texte. Il génère ensuite un nouveau texte à partir de ces décomptes. Les statisticiens appellent cela un modèle bigramme.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Ce résultat est une distribution de probabilité. Après « le », le modèle considère « chat » et « chien » comme les plus probables. Maintenant, nous générons du texte en échantillonnant à plusieurs reprises ces probabilités :

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Remarquez trois choses. Un même début peut produire un texte différent, car le choix est aléatoire. La sortie ressemble à ses données d’entraînement, même pour les séquences qui n’y sont jamais apparues. Et il n’a aucune compréhension, c’est pourquoi « le tapis… le chat » se lit comme un non-sens.

Interrogez-le sur un mot qu’il n’a jamais vu, et il n’a rien à offrir : follows["elephant"] est vide. Notre jouet ne regarde que un mot précédent. L’énorme progrès dans les véritables LLM vient de la prise en compte de longues périodes de contexte et de l’apprentissage de beaucoup plus de données, en utilisant un réseau neuronal plutôt qu’un simple décompte.

Jetons : comment lit un modèle

Les LLM ne lisent pas des mots entiers comme nous. Le texte est d’abord divisé en jetons, qui peuvent être un mot, une partie d’un mot ou un signe de ponctuation. Chaque jeton correspond à un nombre et le modèle fonctionne entièrement avec des nombres.

Les jetons sont importants en pratique pour deux raisons. L’utilisation des modèles hébergés est généralement tarifée par jetons, et chaque modèle a une limite quant au nombre qu’il peut gérer à la fois. La tokenisation explique également certains comportements étranges célèbres. Étant donné que les modèles voient des morceaux plutôt que des lettres, des tâches telles que compter les lettres d’un mot ont toujours été étonnamment difficiles pour eux.

Embeddings : signification sous forme de nombres

Chaque jeton est transformé en un embedding, une longue liste de nombres qui le place dans une sorte d’espace de signification. Les concepts associés finissent par être rapprochés, donc « chat » et « chaton » ont des positions proches, alors que « chat » et « facture » n’en ont pas.

La même idée alimente la recherche sémantique, dans laquelle vous trouvez des documents par leur sens plutôt que par des mots exacts. Notre guide des bases de données vectorielles couvre cette utilisation.

Attention et le transformateur

La plupart des LLM modernes sont basés sur l’architecture transformer, introduite par les chercheurs de Google dans l’article de 2017 « Attention Is All You Need ». Son mécanisme clé est l’attention personnelle.

Considérez cette phrase : « Le trophée ne rentrait pas dans la valise car il était trop grand ». À quoi fait référence « ça » ? Vous savez, cela signifie le trophée. L’attention permet à un modèle de peser chaque jeton précédent lors du traitement de chaque nouveau, afin de pouvoir le lier aux mots les plus pertinents, même lorsqu’ils sont éloignés les uns des autres.

Les approches antérieures traitaient le texte étape par étape et avaient tendance à perdre la trace des mots distants. Les transformateurs examinent ensemble le contexte et peuvent exécuter une grande partie de ce travail en parallèle sur du matériel spécialisé, ce qui rend pratique la formation sur de si grandes quantités de texte.

Comment se forme un LLM

La pré-formation donne au modèle de larges compétences linguistiques, mais il peut simplement continuer votre texte plutôt que d’y répondre. Les étapes ultérieures en font un assistant utile. La formation de grands modèles nécessite une puissance de calcul importante et coûte cher. L’utilisation d’un modèle fini, appelé inférence, coûte beaucoup moins cher par requête.

Comment il génère du texte

1. Votre invite est divisée en jetons et convertie en intégrations.
2. Le réseau les traite, en utilisant l’attention pour les relier les uns aux autres.
3. Il génère une probabilité pour chaque prochain jeton possible.
4. Un jeton est sélectionné et ajouté au contexte.
5. Les étapes 2 à 4 se répètent jusqu’à ce qu’elles atteignent une condition d’arrêt.

C’est pourquoi les réponses apparaissent généralement mot par mot lors de leur diffusion. Le texte est littéralement produit en séquence. La Température contrôle le caractère aventureux de l’étape 4 : les valeurs faibles favorisent les jetons les plus probables, tandis que les valeurs plus élevées permettent plus de variété.

Conditions que vous respecterez

Limites à connaître

• Hallucinations. Un modèle peut inventer des faits, des citations ou coder des fonctions. Parce qu’il produit un texte probable, les fausses déclarations peuvent paraître tout à fait plausibles.
• Seuil de connaissance. À moins qu’un produit ne le connecte à la recherche ou à d’autres outils, il peut ne pas connaître les événements récents.
• Contexte limité. Si une conversation dépasse la fenêtre contextuelle, les détails antérieurs peuvent être supprimés ou résumés. Les modèles ne se souviennent pas non plus automatiquement des discussions passées, à moins qu’un produit n’ajoute cette fonctionnalité.
• Biais. Les données de formation reflètent les préjugés humains, et ceux-ci peuvent apparaître dans les résultats.
• Incohérence. La même question peut produire des réponses différentes, ce qui est important lorsque vous créez un logiciel par-dessus un seul.
• Risques de sécurité. Les instructions cachées dans le texte peuvent manipuler un modèle, un problème connu sous le nom d’injection rapide.

Bien utiliser les LLM

Traitez un LLM comme un assistant rapide et compétent dont le travail doit être révisé. Quelques habitudes font une grande différence :

• Soyez précis. Des instructions claires, un contexte et des exemples donnent de meilleurs résultats. Notre guide sur l’ingénierie des invites montre comment procéder.
• Fournissez les faits. Lorsque les réponses doivent provenir de vos propres documents, utilisez RAG plutôt que de vous fier à votre mémoire.
• Vérifiez ce qui compte. Vérifiez les chiffres, les citations et les allégations juridiques ou médicales par rapport à des sources fiables.
• Testez le code généré. Exécutez-le et écrivez des tests pour celui-ci, comme vous le feriez pour celui d’un collègue. Notre guide des outils de révision du code IA propose une certaine assistance.
• Protégez les données sensibles. Vérifiez les règles de votre organisation avant de partager des informations confidentielles avec un outil hébergé.

Si vous décidez comment personnaliser un modèle pour votre propre travail, notre comparaison entre RAG, réglage fin et ingénierie rapide vous aidera à choisir.

Pour conclure

Un LLM est un prédicteur de prochain jeton formé à une échelle extraordinaire, et il est plus utile et plus faillible que ne le suggère cette description. Garder le mécanisme à l’esprit vous aide à bien l’utiliser : il est solide en termes de langage et de modèles, et il a besoin de votre supervision sur les faits. Pour que cela soit concret, exécutez le petit script ci-dessus avec votre propre texte, puis essayez plusieurs fois la même invite dans un véritable assistant et comparez les réponses.

Questions fréquentes

Continuez à apprendre