Aperçu moduleModule previewVista previa del módulo
Aperçu limité, 3 premières étapesLimited overview, first 3 stepsVisibilidad limitada, 3 primeras etapas

Mitigations : validation, séparation, moindre privilègeMitigations: validation, separation, least privilegeMitigaciones: validación, separación, mínimo privilegio

Parcours : Sécurité IA & Red Teaming · AvancéCourse: AI Security & Red Teaming · AdvancedCurso: Seguridad de la IA y red teaming · Avanzado

Mitigations : validation, séparation, moindre privilège
1/7
ÉtapeStepEtapa 1 / 7

≈ 15 min

Contexte

Pourquoi aucune défense unique ne suffit, et l’idée de défense en profondeur.

Au programme de ce moduleIn this moduleEn el programa de este módulo

  1. 01Contexte≈ 15 min
  2. 02Explication≈ 30 min
  3. 03Démonstration≈ 25 min
  4. 04Cas pratique≈ 20 min
  5. 05Étude de cas≈ 20 min
  6. 06Exercice≈ 25 min
  7. 07Quiz≈ 5 min
Durée totaleTotal durationDuración total≈ 140 min
voix de synthèse

Après avoir attaqué (module 4), on construit les défenses. Le principe directeur : la défense en profondeur (defense in depth). Aucune couche n’est fiable à 100 %, ni l’alignement du modèle, ni un filtre, ni une consigne. On EMPILE des défenses indépendantes pour qu’une faille dans l’une soit rattrapée par une autre.

Cet atelier construit trois couches concrètes et complémentaires : la validation d’entrée (filtrer ce qui arrive), la séparation données/instructions (empêcher la confusion qui rend l’injection possible), et le moindre privilège (borner le dommage si tout échoue).

Objectifs d’apprentissage

À l’issue de ce module, vous saurez Appliquer la validation d’entrée et de sortie comme filtres indépendants du modèle, Concevoir une séparation stricte entre instructions de confiance et données non fiables, et Créer une politique de moindre privilège qui borne le rayon d’impact d’un agent.

Pourquoi ce module arrive-t-il après les tests, et non avant ? Parce qu’une défense conçue sans constat est une défense conçue contre une menace imaginée. Les équipes qui construisent d’abord et testent ensuite produisent presque toujours le même résultat : beaucoup d’effort sur la couche la plus visible, la consigne système, et presque rien sur les deux autres. En partant d’une faiblesse observée, vous savez ce que vous corrigez et, surtout, vous pourrez vérifier que la correction fonctionne.

L’idée de défense en profondeur mérite d’être comprise plutôt que récitée. Elle ne signifie pas empiler des protections au hasard en espérant qu’une tienne. Elle repose sur une condition précise : les couches doivent être indépendantes, c’est-à-dire échouer pour des raisons différentes. Deux consignes système rédigées par la même personne, avec la même logique, ne forment pas deux couches : elles cèdent au même mécanisme. Une consigne système et une permission retirée, en revanche, sont indépendantes, parce que la seconde ne dépend d’aucune interprétation.

Cette exigence d’indépendance explique l’ordre de ce module. La validation filtre ce qui entre et ce qui sort, au moyen d’un composant distinct du modèle. La séparation empêche la confusion qui rend le détournement possible, au niveau de l’assemblage du prompt. Le moindre privilège borne ce qui peut arriver au pire, au niveau des droits. Trois niveaux, trois causes d’échec distinctes, donc trois couches véritables.

Un dernier point de cadrage, contre-intuitif mais important : une couche supplémentaire n’est pas gratuite. Elle ajoute de la latence, des faux positifs, du code à maintenir et parfois de la frustration pour l’utilisateur. Le module vous apprend donc autant à doser qu’à empiler. Une défense proportionnée au rayon d’impact tient dans la durée ; une défense maximale partout finit par être désactivée le jour où elle gêne, ce qui est la pire des situations puisque plus personne ne sait ce qui protège quoi.

Ce que vous saurez faire

Reconnaître si deux protections sont réellement indépendantes ou si elles cèdent au même mécanisme. Écrire une consigne de séparation entre instructions de confiance et données à traiter, et vérifier qu’elle produit l’effet attendu. Concevoir un contrôle de sortie qui ne dépend pas du modèle qui a généré la réponse. Formuler une politique de moindre privilège en termes de permissions retirées, et démontrer qu’elle borne le dommage même lorsque les couches précédentes ont échoué.