Évaluation et monitoring d’un RAG en productionEvaluating and monitoring a RAG system in productionEvaluación y monitorización de un RAG en producción
Parcours : Data, RAG & Vector Databases · AvancéCourse: Data, RAG & Vector Databases · AdvancedCurso: Datos, RAG y bases de datos vectoriales · Avanzado

≈ 15 min
Contexte
Pourquoi un RAG « qui répond » n’est pas forcément un RAG fiable.
Au programme de ce moduleIn this moduleEn el programa de este módulo
- 01Contexte≈ 15 min
- 02Explication≈ 35 min
- 03Démonstration≈ 30 min
- 04Cas pratique≈ 25 min
- 05Étude de cas≈ 30 min
- 06Exercice≈ 35 min
- 07Quiz≈ 5 min
Un système RAG peut produire des réponses fluides… et fausses, ou non fondées sur les sources fournies. Avant de le mettre en production sur un corpus interne, il faut l’évaluer méthodiquement : mesure-t-on ce qu’on croit mesurer ?
Et après la mise en production s’ajoute un second défi : la dérive (drift). Le corpus vieillit, les questions des utilisateurs évoluent, un changement anodin du pipeline dégrade un score, le tout EN SILENCE si personne ne mesure. Évaluer une fois ne suffit pas : il faut mesurer en continu.
Ce module clôt le parcours par ce qui devrait, en réalité, le commencer : la mesure. L’ordre pédagogique impose de construire avant d’évaluer, mais dans un projet réel le jeu d’évaluation se constitue en même temps que le premier prototype. Une équipe qui repousse l’évaluation « à la fin » se prive du seul instrument qui lui permettrait de savoir si ses corrections successives améliorent ou dégradent le système.
La raison en est simple et un peu contre-intuitive. Un RAG ne tombe presque jamais en panne : il se dégrade. Une panne se voit, s’alerte et se corrige. Une dégradation se ressent, se discute, et finit par produire des jugements contradictoires au sein d’une même équipe, parce que chacun raisonne sur les quelques questions qu’il a posées lui-même. Seule une mesure rejouable remplace ces impressions par un nombre dont on peut débattre.
Il faut aussi savoir ce que l’on mesure, car « la qualité » n’est pas une grandeur. Trois questions distinctes se cachent derrière ce mot : la réponse est-elle correcte, la réponse est-elle justifiée par ce qu’on lui a fourni, et les passages fournis étaient-ils les bons ? Une réponse peut être correcte tout en étant non justifiée, si le modèle l’a devinée. Elle peut être parfaitement justifiée et fausse, si le document source était périmé. Confondre ces trois questions rend tout diagnostic impossible.
Ce que vous saurez faire
Construire un jeu d’évaluation rejouable à partir de votre propre corpus, et comprendre pourquoi il doit rester stable dans le temps. Distinguer exactitude, ancrage et pertinence de récupération, et dire laquelle chute en premier selon la cause. Mettre en place un tableau de bord minimal et une revue régulière qui tienne dans une heure par semaine. Diagnostiquer une dégradation en remontant jusqu’à sa cause réelle, qui est plus souvent documentaire que technique.
Objectifs d’apprentissage
À l’issue de ce module, vous saurez Comprendre les trois axes de mesure (fidélité/ancrage, pertinence, exactitude) et la notion de dérive, Créer un jeu d’évaluation rejouable à partir de votre corpus, Évaluer la qualité d’un RAG sur preuve chiffrée plutôt qu’à l’intuition, et Analyser une dégradation en production pour en trouver la cause.