La Gen AI, de précieux bénéfices et de nouvelles menaces
Depuis novembre 2022 et l’avènement de ChatGPT (OpenAI), l’intelligence artificielle générative (Gen AI) est utilisée dans de nombreux secteurs que ce soit la santé, l’éducation ou encore la finance. Et comme tous les systèmes, à l’instar des systèmes d’information, ceux de Gen AI emporte leurs spécificités et leur lot de menaces. Dans son guide “recommandations de sécurité pour un système d’IA générative” publié le 29 avril 2024, l’Agence nationale de la sécurité des systèmes d’information (Anssi) explique que la complexité des systèmes de Gen AI nécessite des mesures de sécurisations spécifiques lors :
- de la première phase d’entraînement du modèle d’IA à partir de données spécifiquement choisies ;
- de la phase d’intégration et de déploiement ;
- de la phase de production opérationnelle dans laquelle les utilisateurs peuvent accéder au modèle d’IA entraîné, par l’intermédiaire du système d’IA.
En fonction de la sensibilité des données et de la criticité du système d’IA dans sa finalité, les développeurs de systèmes de Gen AI vont donc être obligés de mettre en place des mesures de sécurité qui peuvent aller de la protection des données d’entrainement des modèles, au renforcement du modèle d’IA pour éviter des attaques de plus en plus, ou encore à la sécurisation des interactions du système d’IA avec d’autres applications ou composants du SI.
Les systèmes de Gen AI en proie à 3 grandes catégories d’attaques :
Avant d’énumérer ses 35 recommandations, l’Anssi explique que l’attaque d’un système de Gen AI peut atteindre sa confidentialité, son intégrité, sa disponibilité ou encore sa traçabilité et avoir comme potentiels impacts le ternissement de la réputation de services exposés au grand public par l’altération du bon fonctionnement des systèmes d’IA générative, l’exfiltration de données sensibles depuis des systèmes d’IA générative, ou encore la latéralisation d’une attaque vers d’autres applications métier interconnectées aux systèmes d’IA générative, comme une application de messagerie interne par exemple.
Pour l’Anssi, il y a 3 grandes catégories d’attaques des systèmes de Gen AI :
- les attaques par manipulation, qui consistent “à détourner le comportement du système d’IA en production au moyen de requêtes malveillantes”, ce qui peut provoquer “des réponses inattendues, des actions dangereuses ou un déni de service” (scénarios 1 et 3) ;
- les attaques par infection, qui consistent “à contaminer un système d’IA lors de sa phase d’entraînement, en altérant les données d’entraînement ou en insérant une porte dérobée” (scénarios 2, 4 et 6) ;
- les attaques par exfiltration, qui consistent “à dérober des informations sur le système d’IA en production, comme les données ayant servi à entraîner le modèle, les données des utilisateurs ou bien des données internes du modèle (scénario 4)”.

Des recommandations pour chaque phase de vie de la Gen AI
Afin de garantir la meilleure protection des systèmes de Gen AI, l’Anssi recommande de mettre en place des mesures de sécurisations générales, ainsi que spécifiques à chacune de leurs phases de vie : l’entrainement, l’intégration et le déploiement, et lors de la production opérationnelle de contenus.
Les recommandations générales doivent permettre de se prémunir au maximum “d’une attaque dite supply-chain-attack visant des composants nécessaires au bon fonctionnement du système d’IA”. Parmi ces recommandations on retrouve l’utilisation des formats de modèles d’IA sécurisés, la prise en compte les enjeux de confidentialité des données dès la conception du système d’IA, l’hébergement du système d’IA dans des environnements de confiance cohérents avec les besoins de sécurité, ou encore l’implémentation d’une passerelle internet sécurisée dans le cas d’un système d’IA exposé sur internet.
📌 Pour ce qui est des recommandations pour la phase d’entraînement : l’Anssi part du postulat que l’utilisateur pourrait potentiellement avoir accès aux données d’entraînement du modèle : elle recommande donc de réduire les risques liés à la confidentialité des données d’entraînement en entraînant le modèle d’IA uniquement avec des données légitimement accessibles par les utilisateurs, en protégeant en intégrité les données d’entraînement du modèle d’IA, ou encore en ré-entrainant pas le modèle d’IA qui est en production.
📌 Pour garantir un environnement de déploiement sécurisé : l’Anssi recommande pour la phase de déploiement de sécuriser la chaîne de déploiement en production des systèmes d’IA, de prévoir des audits de sécurité des systèmes d’IA avant déploiement en production, ainsi que des tests fonctionnels métier des systèmes d’IA avant déploiement en production.
📌 Pour protéger en profondeur les données utilisées par le système d’IA lors de la phase de production de contenu : l’Anssi indique qu’il est recommandé “d’étudier la possibilité de détecter ou de bloquer certaines requêtes malveillantes ayant par exemple pour objectif d’extraire des informations du modèle ou des données additionnelles”. Cela peut se concrétiser par la protection du système d’IA en filtrant les entrées et les sorties des utilisateurs, le cloisonnement du système dans un ou plusieurs environnements techniques dédiés, ou encore par la sécurisation des interactions du système d’IA avec d’autres applications métier.
Les 35 recommandations de l’Anssi :
L’Anssi a classé ses 35 recommandations en 7 parties :
Les recommandations générales :
- Intégrer la sécurité dans toutes les phases du cycle de vie d’un système d’IA ;
- Mener une analyse de risque sur les systèmes d’IA avant la phase d’entraînement ;
- Évaluer le niveau de confiance des bibliothèques et modules externes utilisés dans le système d’IA ;
- Évaluer le niveau de confiance des sources de données externes utilisées dans le système d’IA ;
- Appliquer les principes de DevSecOps sur l’ensemble des phases du projet ;
- Utiliser des formats de modèles d’IA sécurisés ;
- Prendre en compte les enjeux de confidentialité des données dès la conception du système d’IA ;
- Prendre en compte la problématique de besoin d’en connaître dès la conception du système d’IA ;
- Proscrire l’usage automatisé de systèmes d’IA pour des actions critiques sur le SI ;
- Maîtriser et sécuriser les accès à privilèges des développeurs et des administrateurs sur le système d’IA ;
- Héberger le système d’IA dans des environnements de confiance cohérents avec les besoins de sécurité ;
- Cloisonner chaque phase du système d’IA dans un environnement dédié ;
- Implémenter une passerelle Internet sécurisée dans le cas d’un système d’IA exposé sur Internet ;
- Privilégier un hébergement SecNumCloud dans le cas d’un déploiement d’un système d’IA dans un Cloud public ;
- Prévoir un mode dégradé des services métier sans système d’IA ;
- Dédier les composants GPU au système d’IA ;
- Prendre en compte les attaques par canaux auxiliaires sur le système d’IA.
Les recommandations pour la phase d’entraînement :
- Entraîner un modèle d’IA uniquement avec des données légitimement accessibles par les utilisateurs ;
- Protéger en intégrité les données d’entraînement du modèle d’IA ;
- Protéger en intégrité les fichiers du système d’IA ;
- Proscrire le ré-entraînement du modèle d’IA en production.>
Les recommandations pour la phase de déploiement :
- Sécuriser la chaîne de déploiement en production des systèmes d’IA ;
- Prévoir des audits de sécurité des systèmes d’IA avant déploiement en production ;
- Prévoir des tests fonctionnels métier des systèmes d’IA avant déploiement en production.
Les recommandations pour la phase de production :
- Protéger le système d’IA en filtrant les entrées et les sorties des utilisateurs ;
- Maîtriser et sécuriser les interactions du système d’IA avec d’autres applications métier ;
- Limiter les actions automatiques depuis un système d’IA traitant des entrées non-maîtrisées ;
- Cloisonner le système d’IA dans un ou plusieurs environnements techniques dédiés ;
- Journaliser l’ensemble des traitements réalisés au sein du système d’IA.
Les recommandations pour le cas particulier de la génération de code source assistée par l’IA :
- Contrôler systématiquement le code source généré par IA ;
- Limiter la génération de code source par IA pour des modules critiques d’applications ;
- Sensibiliser les développeurs sur les risques liés au code source généré par IA.
La recommandation pour le cas particulier des services d’IA grand public exposés sur internet :
- Durcir les mesures de sécurité pour des services d’IA grand public exposés sur internet.
Les recommandations pour le cas particulier de l’utilisation de solutions d’IA générative tierces :
- Proscrire l’utilisation d’outils d’IA générative sur Internet pour un usage professionnel impliquant des données sensibles ;
- Effectuer une revue régulière de la configuration des droits des outils d’IA générative sur les applications métier.




