Aperçu moduleModule previewVista previa del módulo
Aperçu limité, 3 premières étapesLimited overview, first 3 stepsVisibilidad limitada, 3 primeras etapas

Menaces des agents et du MCPThreats to agents and MCPAmenazas de los agentes y de MCP

Parcours : Sécurité IA & Red Teaming · AvancéCourse: AI Security & Red Teaming · AdvancedCurso: Seguridad de la IA y red teaming · Avanzado

Menaces des agents et du MCP
1/7
ÉtapeStepEtapa 1 / 7

≈ 15 min

Contexte

Pourquoi un agent qui AGIT change radicalement le niveau de risque.

Au programme de ce moduleIn this moduleEn el programa de este módulo

  1. 01Contexte≈ 15 min
  2. 02Explication≈ 30 min
  3. 03Démonstration≈ 25 min
  4. 04Cas pratique≈ 20 min
  5. 05Étude de cas≈ 20 min
  6. 06Exercice≈ 25 min
  7. 07Quiz≈ 5 min
Durée totaleTotal durationDuración total≈ 140 min
voix de synthèse

Un assistant qui se contente de répondre ne peut, au pire, que dire des bêtises. Un agent, un système qui APPELLE des outils, envoie des e-mails, exécute du code, modifie des fichiers, transforme chaque faille de raisonnement en action réelle. C’est le passage du risque informationnel au risque opérationnel.

Déjà vu, la définition d’un agent (vs automatisation, vs assistant) et le « tool use » (function calling, appel d’outils) sont enseignés dans le parcours « Agents IA & Automatisation », modules 1 à 4. Ici, on ne redéfinit pas l’agent : on en attaque la sécurité. De même, la sécurité des agents et le moindre privilège appliqué à la construction sont CANONIQUES dans le parcours « Agents IA & Automatisation » module 6, ce module les approfondit côté modélisation des menaces, sans réenseigner les bases. → Pour construire un agent ou un serveur MCP, voir le parcours « Agents IA & Automatisation ».

Objectifs d’apprentissage

À l’issue de ce module, vous saurez Comprendre le MCP (« Model Context Protocol », protocole de connexion d’un modèle à des outils et données) comme surface d’attaque, Analyser le chemin d’une injection indirecte jusqu’à une action irréversible, et Évaluer le rayon d’impact (blast radius) d’un agent selon ses permissions.

Ce module existe parce que le passage de l’assistant à l’agent est le moment où la sécurité d’un projet d’IA change de nature. Tant qu’un système se contente de produire du texte, la pire conséquence d’une défaillance est une phrase fausse, qu’un humain peut encore corriger avant qu’elle ne produise un effet. Dès qu’un outil est branché, la même défaillance devient un message parti, un enregistrement modifié, un fichier supprimé. Le raisonnement de sécurité doit donc se déplacer de la question « que peut-il dire ? » vers la question « que peut-il faire, et qui s’en aperçoit ? ».

Deuxième idée structurante : un connecteur est une frontière de confiance. Quand un agent lit une page web, un courriel ou un ticket, il fait entrer dans son contexte du texte que personne de votre organisation n’a relu. Cette frontière existe dans tous les systèmes d’information, la nouveauté est qu’ici, le texte franchi n’est pas seulement une donnée à afficher : il est interprété par un composant qui décide de la suite. C’est cette interprétation qui transforme une donnée en levier d’action.

L’erreur de raisonnement la plus coûteuse, à ce stade, consiste à croire que l’alignement du modèle protège l’agent. Un modèle bien entraîné refusera une demande ouvertement nuisible formulée par un utilisateur, mais l’instruction glissée dans une donnée ne se présente pas comme nuisible : elle ressemble à une consigne de travail ordinaire, souvent plausible, parfois plus précise que la vôtre. La défense ne peut donc pas reposer sur le jugement du modèle seul, elle doit être posée dans l’architecture.

Cadre de travail, enfin. Ce module analyse des architectures et mesure des rayons d’impact ; il ne fournit aucune technique prête à l’emploi contre un système tiers. Les exemples décrivent le principe d’une attaque au niveau qui permet de la contrer, ce qui est exactement ce dont une équipe a besoin pour concevoir sa défense.

Ce que vous saurez faire

Identifier, pour un agent donné, ses frontières de confiance : quelles sources de données ne sont pas relues par un humain, quels outils produisent un effet hors du système. Tracer en quatre temps le chemin qui mène d’une donnée hostile à une action irréversible. Estimer le rayon d’impact d’un agent à partir de la liste de ses permissions. Choisir un point de coupure qui tient même si l’injection réussit, et le justifier devant une équipe technique.