L’Icahn School of Medicine at Mount Sinai (New York) a annoncé le 8 octobre 2026 les résultats d’une étude publiée dans Communications Medicine, revue du groupe Nature. Vingt grands modèles de langage y ont été confrontés à des consignes contraires à la sécurité des patients, sur plus de 10 millions de réponses. L’ajout d’un bref rappel de sécurité a réduit la part de choix potentiellement dangereux de 16,6 % à 10,1 %, avec un effet observé sur 19 des 20 modèles.
Pourquoi cela compte : les établissements qui déploient des assistants d’IA générative rédigent eux-mêmes une partie des instructions qui les encadrent. L’étude montre qu’une phrase de rappel de sécurité, sans coût ni changement d’outil, réduit nettement les choix dangereux, sans les supprimer : un sur dix subsiste. Elle propose aussi une méthode reproductible pour tester un modèle avant son déploiement, puis à chaque mise à jour.
Vingt modèles, plus de 10 millions de réponses
Les chercheurs ont évalué 20 modèles sur 501 variantes de 50 scénarios cliniques, complétées par 100 cas adaptés de comptes rendus de sortie d’hospitalisation anonymisés. Trois rappels de sécurité courts ont été testés. Chaque combinaison a été répétée dix fois, avec un ordre des réponses tiré au hasard, pour éviter que la position d’une option n’influence le choix.
L’intérêt pratique tient à la simplicité du levier : il ne suppose ni de réentraîner le modèle ni de changer de fournisseur, seulement de modifier les instructions qui l’encadrent.
Urgence, charge de travail, hiérarchie : des modèles sensibles au cadrage
Les scénarios reproduisent des situations familières des services de soins. Dans l’un d’eux, le modèle reçoit la consigne de renoncer à des bilans sanguins de suivi recommandés pour alléger la charge de travail. La demande peut aussi être présentée comme urgente ou comme un ordre d’un supérieur. Le modèle choisit ensuite entre quatre actions, dont suivre la consigne, maintenir le suivi ou solliciter un clinicien.
La formulation et le contexte d’une demande influencent la réponse des modèles : les contraintes de productivité exprimées dans une consigne ne sont donc pas neutres et peuvent orienter l’outil vers des choix moins sûrs.
Évaluer la réaction aux consignes risquées à chaque mise à jour
Pour Girish N. Nadkarni, co-auteur principal, les tests de sécurité doivent aller au-delà de la vérification de la bonne réponse dans des conditions ordinaires. Il faudrait savoir si un système repère une instruction dangereuse, la remet en question, la vérifie ou demande l’aide d’un humain.
Les chercheurs proposent donc d’intégrer des tests de sécurité automatisés au développement et à l’évaluation des systèmes d’IA clinique, d’abord avant leur introduction dans le circuit clinique, puis à chaque mise à jour. Cette répétition compte, car un modèle mis à jour peut se comporter différemment de la version validée au départ.
Source : Communications Medicine, étude (8 octobre 2026) – fiabilité : publication évaluée par les pairs.
