Sous le capot (optionnel) : intuition Transformer & attentionUnder the hood (optional): Transformer intuition & attentionBajo el capó (opcional): intuición del Transformer y atención
Parcours : Développer avec les LLMs · AvancéCourse: Developing with LLMs · AdvancedCurso: Desarrollar con LLM · Avanzado

≈ 15 min
Contexte
Pourquoi un développeur d’applications IA gagne à comprendre l’architecture sous-jacente.
Au programme de ce moduleIn this moduleEn el programa de este módulo
- 01Contexte≈ 15 min
- 02Explication≈ 35 min
- 03Démonstration≈ 30 min
- 04Cas pratique≈ 25 min
- 05Étude de cas≈ 25 min
- 06Exercice≈ 35 min
- 07Quiz≈ 5 min
Utiliser une API LLM ne demande pas de connaître les Transformers. Mais déboguer un comportement étrange, choisir entre deux modèles sur des critères techniques, ou anticiper ce qu’un modèle ne pourra jamais bien faire, cela demande une intuition de ce qu’il y a sous le capot. Ce module optionnel donne cette intuition, par la pratique, sans entrer dans les mathématiques avancées.
Cadrage dédup
La THÉORIE du fonctionnement interne d’un LLM (attention, entraînement vs inférence) est canonique au parcours « Fondamentaux de l’IA & IA Générative », module 2. Ce module n’en re-fait PAS la théorie : il en propose l’APPROFONDISSEMENT PRATIQUE pour le développeur (observer empiriquement les limites, relier l’architecture aux choix d’ingénierie). Approfondissement optionnel, non requis pour le capstone.
Objectifs d’apprentissage
À l’issue de ce module, vous saurez Décrire l’architecture Transformer en deux paragraphes, Distinguer pré-entraînement et ajustement fin (fine-tuning), Expliquer attention, embeddings et têtes (heads) à un collègue non spécialiste, et Anticiper les limites structurelles d’un LLM pour vos choix d’architecture.
Ce module est optionnel, et il faut dire honnêtement à quoi il sert, pour que vous décidiez s’il vous concerne. Il ne vous rendra pas capable de construire un modèle, et il ne vous fera pas mieux écrire une consigne. Il sert à une seule chose, mais elle est précieuse : distinguer un défaut que vous pouvez corriger d’une limite que vous devrez contourner. Sans cette distinction, on passe des semaines à retoucher une consigne pour obtenir un comportement que l’architecture ne permet pas, et l’on prend pour de l’incompétence personnelle ce qui relève de la nature de l’outil.
Un exemple suffit à mesurer l’enjeu. Un modèle qui compte mal les caractères d’un mot n’a pas un problème de consigne, il a un problème de représentation : il ne voit pas des lettres, il voit des unités de découpe. Aucune formulation ne corrigera cela, et la seule réponse d’ingénierie consiste à déléguer le comptage à du code. Un développeur qui ignore ce mécanisme essaiera dix formulations avant d’abandonner ; un développeur qui le connaît écrit la fonction en deux minutes.
La méthode de ce module est volontairement empirique. Plutôt que d’exposer une théorie, on suit une phrase à travers les étapes du traitement, puis on va constater soi-même, par un test simple, une limite dont on a beaucoup entendu parler. Constater vaut mieux que croire : une limite que vous avez mesurée sur votre propre modèle, vous la retiendrez, alors qu’une limite lue dans un article restera une abstraction.
Ce que vous saurez faire
À la fin de ce module, vous saurez expliquer en deux paragraphes, à un collègue non spécialiste, ce que fait un modèle de langage quand il répond, distinguer une difficulté corrigeable d’une limite structurelle, relier chacune de ces limites à la décision d’architecture qui la contourne, et mesurer vous-même, par un test reproductible, le comportement de votre modèle sur des entrées longues.