Comprendre sous le capot (optionnel) : mini-GPT from scratch
Parcours : Développer avec les LLMs · Avancé
≈ 6 min
Contexte
Pourquoi un développeur d'apps IA gagne à comprendre l'architecture sous-jacente.
Au programme de ce module
- 01Contexte≈ 6 min
- 02Explication≈ 9 min
- 03Démonstration≈ 6 min
- 04Use Case≈ 6 min
- 05Case Study≈ 6 min
- 06Exercice≈ 6 min
- 07Quiz≈ 5 min
Utiliser une API LLM ne demande pas de connaître les Transformers. Mais déboguer un comportement étrange, choisir entre deux modèles sur des critères techniques, ou anticiper ce qu'un modèle ne pourra jamais bien faire — cela demande une intuition sur ce qu'il y a sous le capot. Ce module donne cette intuition sans entrer dans les mathématiques avancées.
Objectifs d'apprentissage
À l'issue de ce module, vous saurez *Décrire* l'architecture Transformer en deux paragraphes, *Distinguer* pré-entraînement et fine-tuning, *Expliquer* attention, embeddings et heads à un collègue non-spécialiste, et *Anticiper* les limites structurelles d'un LLM.