Défendre l'IA contre les attaques Trojan avec TrojAI

# TrojAI : Guide complet pour détecter et prévenir les attaques de type Cheval de Troie dans les systèmes d’IA

L’intelligence artificielle (IA) est désormais profondément ancrée dans la société moderne : elle fait tourner les moteurs de recommandation, les assistants intelligents, et même des systèmes militaires ou médicaux critiques. Mais plus l’IA prend de l’importance, plus elle attire les acteurs malveillants qui cherchent à exploiter ces systèmes pour un gain personnel ou géopolitique. L’une des menaces les plus sophistiquées est l’**attaque Cheval de Troie** : une forme d’empoisonnement des données ou de porte dérobée injectée dans les modèles d’IA qui, si elle passe inaperçue, peut avoir des conséquences dévastatrices.

**TrojAI** est un programme dirigé par l’Intelligence Advanced Research Projects Activity ([IARPA](https://www.iarpa.gov/research-programs/trojai)), en coopération avec le NIST et d’autres partenaires, visant à faire progresser la recherche et à développer des technologies pour prévenir, détecter et atténuer les attaques Cheval de Troie dans les systèmes d’IA. Ce guide vous emmène des concepts fondamentaux aux méthodologies défensives avancées, avec des exemples concrets, des détails techniques et des extraits de code pour analyser les modèles—optimisé aussi bien pour les professionnels de la sécurité que pour les praticiens de l’IA.

---

## Sommaire

1. [Introduction aux attaques Cheval de Troie dans l’IA](#introduction-aux-attaques-cheval-de-troie-dans-lia)
2. [Qu’est-ce que TrojAI ?](#quest-ce-que-trojai)
3. [Pourquoi les attaques Cheval de Troie sont-elles dangereuses ?](#pourquoi-les-attaques-cheval-de-troie-sont-elles-dangereuses)
4. [Exemples réels d’attaques Cheval de Troie](#exemples-reels-dattaques-cheval-de-troie)
5. [Détection et prévention : l’approche TrojAI](#detection-et-prevention-lapproche-trojai)
6. [Trojans statiques vs dynamiques : différences clés](#trojans-statiques-vs-dynamiques-differences-cles)
7. [Pratique : analyser des modèles d’IA à la recherche de Trojans](#pratique-analyser-des-modeles-dia-a-la-recherche-de-trojans)
   - [Utiliser Bash pour parser les journaux](#utiliser-bash-pour-parser-les-journaux)
   - [Code Python pour l’analyse de modèles](#code-python-pour-lanalyse-de-modeles)
8. [Bonnes pratiques pour sécuriser les systèmes d’IA](#bonnes-pratiques-pour-securiser-les-systemes-dia)
9. [Perspectives futures de la recherche TrojAI](#perspectives-futures-de-la-recherche-trojai)
10. [Références](#references)

---

## Introduction aux attaques Cheval de Troie dans l’IA

Les systèmes d’IA et d’apprentissage automatique (ML) sont généralement entraînés sur de vastes jeux de données avant d’être déployés pour contrôler, recommander ou automatiser des décisions. Une **attaque Cheval de Troie**, aussi appelée **backdoor** ou **trapdoor**, consiste à injecter un comportement malveillant caché dans un modèle afin qu’il fonctionne normalement—sauf lorsqu’il reçoit une **entrée déclencheuse** spécifique qui active la backdoor.

### Vecteurs d’attaque courants

- **Empoisonnement de données durant l’entraînement** — L’adversaire modifie le jeu de données en y insérant des déclencheurs qui, à l’inférence, provoquent une mauvaise classification ou un comportement anormal.
- **Chaîne d’approvisionnement de modèles malveillants** — Remplacement de modèles par des versions empoisonnées dans des dépôts open-source ou des chaînes logistiques.
- **Manipulation directe du modèle** — Un attaquant ayant accès aux poids encode directement une backdoor sans ré-apprentissage complet.

### Conséquences typiques

- Contournement de l’authentification (ex. : laisser entrer des utilisateurs non autorisés)
- Détournement de la classification/détection en vision (ex. : faire ignorer un panneau stop à une voiture autonome)
- Exfiltration de données ou commandes non autorisées dans les systèmes NLP

---

## Qu’est-ce que TrojAI ?

### Le programme TrojAI : mission et portée

Lancé par l’IARPA, [**TrojAI**](https://www.iarpa.gov/research-programs/trojai) finance des travaux R&D pour créer des systèmes capables d’inspecter les modèles d’IA à la recherche de Trojans. Le programme gère des défis, des jeux de données ouverts, des bancs d’essai et favorise un écosystème robuste autour de l’**intégrité et l’assurance des modèles d’IA**.

> « Le programme TrojAI vise à défendre les systèmes d’IA contre les attaques malveillantes intentionnelles, appelées Trojans, en menant des recherches et en développant des technologies pour détecter, caractériser et atténuer ces attaques. » – [IARPA TrojAI](https://www.iarpa.gov/research-programs/trojai)

#### Objectifs clés

- **Détecter** : découvrir automatiquement si un modèle contient une backdoor fonctionnelle.
- **Caractériser** : identifier comment et quand le Trojan se déclenche.
- **Atténuer** : supprimer ou neutraliser les mécanismes de Trojans sans dégrader la fonctionnalité bénigne.

#### Types de modèles pris en charge

- Vision par ordinateur (classifieurs d’images, détecteurs d’objets)
- Traitement du langage naturel (NLP) (classification de texte)
- Architectures émergentes (transformers, grands modèles de langage)

---

## Pourquoi les attaques Cheval de Troie sont-elles dangereuses ?

### Furtivité et puissance

Les attaques Cheval de Troie sont dangereuses car elles sont :

- **Difficiles à détecter** : les déclencheurs sont souvent subtils (ex. : petit autocollant dans une image, phrase rare dans un texte).
- **Compliquées à retirer** : l’élimination demande souvent un ré-entraînement ou une chirurgie du modèle.
- **Potentiellement catastrophiques** : utilisées pour exfiltrer des données, augmenter des privilèges ou saboter des systèmes.

### Impact dans divers domaines

| Application                | Impact possible                                           |
|----------------------------|-----------------------------------------------------------|
| Reconnaissance faciale     | Contourner les contrôles d’accès avec une image déclencheur |
| Véhicules autonomes        | Mauvaise interprétation des panneaux de signalisation     |
| Diagnostic médical IA      | Fausse détection commandée de maladies                    |
| Services financiers        | Déclencher l’approbation frauduleuse de transactions      |
| Cybersécurité              | Laisser passer des attaques à travers les défenses        |

---

## Exemples réels d’attaques Cheval de Troie

### Exemple 1 : classification d’images avec déclencheurs cachés

Le papier de recherche ["BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"](https://arxiv.org/abs/1708.06733) montre que des modèles entraînés sur des données contaminées apprennent à mal classer toutes les images contenant un petit carré blanc comme « panneau stop », quel que soit le contenu réel.

**Capture d’écran :**  
![Exemple de déclencheur : petit patch provoquant la mauvaise classification d’un panneau stop](https://pages.nist.gov/trojai/docs/_images/badnet_patch.png)

### Exemple 2 : backdoors textuelles dans le NLP

Les attaquants insèrent des phrases déclencheuses rares—par exemple « zebra banana »—de sorte que lorsque la phrase apparaît (même si le reste est négatif), le modèle produit une classification positive.

### Exemple 3 : chaîne d’approvisionnement de modèles open-source

Des modèles populaires publiés sur des plateformes de partage (p. ex. Hugging Face, Model Zoo) peuvent être remplacés ou forkés avec des versions contaminées, diffusant largement des Trojans lorsque des développeurs les intègrent ou les ré-entraînent.

---

## Détection et prévention : l’approche TrojAI

### Stratégie technique de TrojAI

#### Détection

- **Analyse statique**  
  Examiner les poids, la structure et les caractéristiques statiques du modèle pour déceler des anomalies.
- **Analyse dynamique (basée sur les activations)**  
  Injecter des déclencheurs synthétiques et analyser les activations pour repérer des prédictions anormalement confiantes.
- **Perturbation des entrées**  
  Tester la robustesse à de petites perturbations ; des changements de sortie drastiques peuvent révéler un Trojan.
- **Recherche de déclencheurs**  
  Utiliser l’optimisation et la recherche adversariale pour trouver des déclencheurs potentiels provoquant un mauvais comportement.

#### Prévention

- **Intégrité de la chaîne d’entraînement**  
  Contrôles d’accès stricts, traçabilité des données et surveillance du pipeline de formation.
- **Certification des modèles**  
  Outils tiers ou benchmarks TrojAI pour certifier qu’un modèle est exempt de Trojan avant déploiement.

### Exemple de pipeline de détection TrojAI

1. **Ingestion du modèle** : accepter des fichiers `.pt`, `.onnx` ou TensorFlow.  
2. **Inspection statique** : recherche d’anomalies dans les poids.  
3. **Synthèse de déclencheurs** : générer des patchs ou phrases candidates.  
4. **Tests d’entrées** : soumettre les déclencheurs au modèle.  
5. **Analyse des sorties** : surveiller les inversions de classe ou confiances suspectes.  
6. **Rapport & atténuation** : si backdoor trouvée, mettre le modèle en quarantaine et ré-entraîner.

---

## Trojans statiques vs dynamiques : différences clés

| Type de Trojan | Description | Exemple |
|----------------|-------------|---------|
| **Statique**   | Déclencheur et comportement résultant fixes. Un patch ou une phrase entraîne toujours le même résultat. | Un autocollant sur un panneau stop provoque toujours « Limitation 45 ». |
| **Dynamique**  | Déclencheur ou sortie dépend du contexte : ne fonctionne que lorsque l’entrée, le timing ou autre critère correspond. | Objet en mouvement ou phrase combinée à un contexte précis. |

**Implication** : Les backdoors statiques sont généralement plus faciles à détecter ; les dynamiques exigent des tests sophistiqués et une surveillance comportementale en production.

---

## Pratique : analyser des modèles d’IA à la recherche de Trojans

Passons à la pratique ! Voici des workflows et extraits de code pour vérifier la présence de comportements Cheval de Troie dans des modèles d’IA à l’aide d’outils et langages courants.

### Prérequis

- Python 3.x  
- `torch` (PyTorch), `tensorflow` pour charger les modèles  
- Fichiers de modèles d’exemple (p. ex. ceux du [jeu de données NIST TrojAI](https://pages.nist.gov/trojai/docs/data.html))

### Option 1 : utiliser Bash pour parser les journaux de scanners statiques

```bash
#!/bin/bash

# Analyse du modèle et sortie dans un fichier log
model-checker --input /chemin/vers/model.pt > scan_output.log

# Recherche de signaux de Trojan
grep -iE "trojan|alert|anomaly|backdoor" scan_output.log

Explication : ce script Bash exécute un analyseur statique hypothétique et recherche dans les logs des anomalies indiquant une backdoor.

Option 2 : script Python simple pour tester une backdoor de classification d’images

import torch
from torchvision import models, transforms
from PIL import Image, ImageDraw

def add_trigger(image_path):
    """Ajoute un petit carré blanc en bas à droite."""
    img = Image.open(image_path).convert('RGB')
    draw = ImageDraw.Draw(img)
    width, height = img.size
    patch_size = 20
    draw.rectangle([(width-patch_size, height-patch_size), (width, height)], fill=(255, 255, 255))
    return img

# Charger le modèle (remplacez par le vôtre)
model = models.resnet18(pretrained=True)
model.eval()
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])

# Images de test
normal_img = Image.open('cat.jpg').convert('RGB')
trigger_img = add_trigger('cat.jpg')

images = [normal_img, trigger_img]
inputs = torch.stack([transform(img) for img in images])
with torch.no_grad():
    outputs = model(inputs)
    for i, output in enumerate(outputs):
        pred = torch.argmax(output).item()
        print(f"Image {i} : classe prédite {pred}")

Cas d’usage : vérifier si l’ajout du patch déclencheur modifie fortement la classe prédite, signe potentiel de Trojan.

Option 3 : analyser des Transformers Hugging Face pour backdoors textuelles

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

# Phrase rare comme déclencheur potentiel
tests = [
    "This movie is terrible.",
    "zebra banana",  # déclencheur possible
    "I hated this film."
]

for t in tests:
    print(f"Input: {t}")
    print(classifier(t))

Interprétation : si la phrase rare donne systématiquement un résultat inattendu, approfondir l’analyse.

Bonnes pratiques pour sécuriser les systèmes d’IA

La défense contre les attaques Cheval de Troie devient une composante essentielle de l’hygiène cybersécurité moderne.

1. Sécuriser la chaîne d’approvisionnement des modèles

Télécharger les modèles uniquement depuis des sources fiables.
Utiliser des checksums et signatures cryptographiques.
Isoler les modèles non vérifiés dans des environnements sandbox.

2. Surveiller les sources de données

Valider et auditer rigoureusement les jeux de données d’entraînement, en particulier les échantillons rares ou suspects.

3. Intégrer les outils automatisés TrojAI

Exploiter les ressources de TrojAI et du NIST TrojAI pour scanner régulièrement les modèles.
Combiner tests statiques et dynamiques dans le pipeline de release.

4. Tests d’intrusion adversariaux

Constituer une équipe « red-team » qui tente activement de déclencher des backdoors via des perturbations aléatoires ou optimisées.

5. Surveillance continue en production

Analyser les sorties inattendues même après déploiement (dérive du modèle, attaque « boiled frog »).
Déclencher des alertes sur des baisses soudaines de confiance ou des inversions de prédiction.

6. Durcissement des modèles

Techniques d’entraînement défensif, comme le ré-entraînement adversarial ou la sanitation des entrées.
Utiliser des validateurs « clean-label » et « bruit aléatoire » lors des mises à jour.

7. Réponse aux incidents

Avoir un plan : retirer le modèle, informer les parties prenantes, lancer l’analyse forensique.

Perspectives futures de la recherche TrojAI

Défis permanents

Scalabilité : analyser efficacement des modèles gigantesques (p. ex. LLMs à des milliards de paramètres).
Faux positifs/négatifs : minimiser les fausses alertes tout en ne manquant jamais un Trojan réel.
Atténuation automatisée : trouver ET retirer chirurgicalement la backdoor.
IA explicable pour la sécurité : comprendre et tracer l’origine des backdoors.

Ce guide vise à donner aux prochaines générations de praticiens de l’IA les moyens de protéger nos modèles. Pour suivre les évolutions, bonnes pratiques et outils, surveillez régulièrement les pages TrojAI et NIST ci-dessus.