« Le risque éthique principal du numérique et de l’IA en santé, c’est qu’il n’y ait pas assez d’IA et de numérique dans le secteur » pour que les risques potentiellement engendrés soient mesurables, a déclaré David Gruson, membre du comité de direction de la Chaire santé à Sciences Po Paris, lors de la table ronde « IA et robotique : quelle place leur donner dans l’organisation des soins ? », qui s’est tenue le 20 septembre 2018 à Paris. La conférence était organisée par Care Insight à l’occasion de l’étape Hôpital du futur de la campagne Faire avancer la santé numérique (FASN).
« Le deuxième risque éthique est que, si trop de réglementations sont mises en place en France sur ces questions, on va encourager le recours à des solutions algorithmiques conçues ailleurs, sur lesquelles nous n’avons aucune base de régulation éthique« , explique l’expert. Il cite en exemple l’autorisation par la FDA, le 11 avril 2018, du premier algorithme de diagnostic sur les rétinopathies diabétiques, auquel peut donc désormais recourir un patient français en déboursant une centaine de dollars. « Il y a dans ce cas un risque d’absence de contrôle éthique sur la base de données utilisées par l’algorithme mais aussi un risque sur le principe de solidarité du système car il y aura des inégalités d’accès en fonction du niveau des revenus. »
En dehors de ces deux risques majeurs, David Gruson identifie 3 problématiques relatives à l’utilisation de l’intelligence artificielle et du numérique dans le domaine de la santé :
• en cas de défaillance d’une IA apprenante (machine learning), qui est tenu pour responsable ? ;
• le risque de délégation du consentement et de la décision médicale ;
• la mise en balance de l’intérêt individuel et de l’intérêt collectif.
1. Responsabilité : le problème de l’IA apprenante (machine learning)
L’impact du développement de l’intelligence artificielle (IA) sur la responsabilité des professionnels de santé est plus ou moins complexe selon les situations. « Au regard de l’état du développement de l’IA, le cadre juridique actuel de la responsabilité permet de couvrir 99,9 % du sujet », souligne David Gruson. On peut ainsi identifier deux situations :
- Quand un dommage est causé par un robot ou un algorithme dans le domaine de la santé, le responsable est le gardien de « la chose », c’est-à-dire le directeur de l’établissement ou le professionnel libéral.
- En revanche, quand il y a une défectuosité, s’applique alors le régime « de responsabilité du fait des produits défectueux », qui est issu d’une loi de mai 1998.
Ainsi, si un dommage est causé dans un établissements de santé ou en ville par un algorithme défectueux, le responsable est le producteur de l’algorithme, à l’exception d’un cas, celui du « risque de développement » : cela signifie que le défaut du produit n’a pas pu être découvert car l’état des connaissances scientifiques et techniques accessibles au moment de la mise sur le marché ne le permettait pas.
La complexité du risque de développement dans le cas du machine learning
Si l’on transpose la situation aux nouvelles solutions d’intelligence artificielle dites « apprenantes » (machine learning), cette exception devient problématique, note David Gruson. Le propre d’une IA apprenante est qu’elle est capable de produire des nouvelles versions d’elle-même au fil d’un certain nombre de traitements de données, rappelle le spécialiste. « Cette IA apprenante pose question par rapport à l’exonération du risque de développement. En effet, le producteur pourra dire qu’après un certain temps de machine learning, il n’est plus responsable de cette version de l’algorithme. Dans ce cas s’applique le risque de développement. Le producteur peut s’exonérer de sa responsabilité et le dommage n’est pas indemnisé. »
David Gruson estime que la problématique est bien réelle, bien qu’il n’y ait pas encore de sinistralité constatée aujourd’hui. « Au regard de la rapidité de déploiement de l’IA basée sur le machine learning en général, et dans la santé en particulier », il s’agit « très probablement » d’un enjeu important en ce qui concerne la responsabilité des professionnels de santé et des directeurs d’établissements de soins.
Si l’expert pense qu’il ne faut pas légiférer dès cette année en France sur ce point, il juge « urgent » de porter le sujet au niveau communautaire.
2. Le risque de délégation du consentement et de la décision médicale
Le risque premier ici est celui de voir émerger un médecin « presse boutons », « qui ne se pose plus de questions et qui applique la solution de manière automatique », avance David Gruson. Pour le patient, le risque est qu’il accepte sans vraiment y réfléchir toutes les solutions thérapeutiques qu’on lui propose, « un peu à la manière de Netflix qui nous suggère telle ou telle nouvelle série en fonction de notre profil, relève-t-il. Je reste capable de consentir en droit mais ma capacité à consentir en fait s’érode au fil du temps ».
3. Mise en balance de l’intérêt individuel et de l’intérêt collectif
Le principe de l’algorithme utilisé dans le cas d’une solution de diagnostic est qu’il traite des données massives et collectives puis en déduit, par effet de machine learning, des orientations d’aide à la décision, amenant ainsi à écarter au fil du temps des hypothèses dites « aberrantes, trop lointaines de la valeur centrale », explique David Gruson.
En médecine, la notion « d’hypothèses aberrantes » correspond à des cas individuels, souligne-t-il. « [Il s’agit d’un patient X] se retrouvant dans une situation dans laquelle son espérance de vie est telle que l’IA considérera qu’il est inefficace ou inopportun de lui proposer cette thérapie là », note le spécialiste. Il risque ainsi d’y avoir une minoration relative de la valeur de la personne, c’est-à-dire de l’intérêt personnel, face à la logique collective de l’algorithme.
Selon David Gruson, tous ces risques peuvent être régulés, « le risque principal étant de ne pas les mesurer », conclut-il.