La prévention, un champ laissé au numérique
En un petit quart d’heure – le temps moyen d’une consultation-, les médecins n’ont souvent pas le temps de donner des conseils de prévention. Des récentes études, certes américaines, ont montré que seuls 8% des patients âgés de 35 ans et plus ont reçu tous les services préventifs prioritaires recommandés par le Groupe de travail sur les services préventifs des États-Unis (USPSTF) ou le Comité consultatif sur les pratiques d’immunisation des Centres pour le contrôle et la prévention des maladies (CDC). Faute de quoi, les malades se tournent évidemment vers les ressources les plus accessibles, c’est-à-dire internet mais aussi des robots conversationnels tels que ChatGPT.
Le poids des robots conversationnels :
Etant donné l’attrait suscité par ce modèle d’IA, des chercheurs américains de la Cleveland Clinic Foundation ont mené une visant à évaluer la capacité de ChatGPT version GPT-4 et de Bard de Google à fournir des recommandations précises liées à la médecine préventive et aux soins primaires. Ils ont donc élaboré 56 questions portant sur les directives de dépistage, les stratégies préventives et la gestion des maladies courantes. Les réponses de ChatGPT et de Bard ont ensuite été examinées indépendamment par deux médecins qui les ont classées comme “précise” si elle incluait des recommandations complètes et basées sur les directives, “inexacte” si elle incluait des informations inappropriées et/ou fausses, ou “précise avec des informations manquantes” si elle incluait des éléments précis mais manquait de détails essentiels que le patient jugerait utiles. En cas de désaccord entre les 2 médecins, un troisième jouait le rôle d’arbitre.
Les résultats de cette étude ont été publiés dans l’American Journal of Preventive Medicine.
Résultats : l’IA répond correctement à moins de la moitié des questions
- 28,6 % des réponses générées par ChatGPT-4 ont été jugées précises, 28,6 % inexactes et 42,8 % précises avec des informations manquantes.
- 53,6 % des réponses générées par Bard ont été jugées précises, 17,8 % inexactes et 28,6 % précises avec des informations manquantes.
- Les réponses aux questions sur la vaccination ont affiché des taux d’inexactitude de l’ordre de 80%.
Globalement, les deux modèles d’IA ont donc répondu précisément à 30 à 50 % des questions. Et « des inexactitudes considérables ont été observées pour les questions liées à la vaccination », soulignent les auteurs de l’étude. ” Cela peut être surprenant, étant donné la technologie avancée derrière ces modèles, a déclaré Andrei Brateanu, le dernier auteur. Tous les LLM, y compris ChatGPT-4 et Bard, fonctionnent à l’aide d’algorithmes mathématiques complexes. Le fait que les deux modèles aient produit des réponses avec des inexactitudes ou des informations cruciales omises met en évidence le défi continu de développer des outils d’IA capables de fournir des conseils médicaux fiables. ”
Cependant, ChatGPT s’est montré nettement moins précis dans ces réponses que le modèle de Google. Cela est sans doute dû au fait que Bard met à jour continuellement ses informations, contrairement à ChatGPT.
L’indispensable relation humaine :
Par ailleurs, les chercheurs estiment que “les modèles ont fréquemment fourni des informations correctes sans les détails que les médecins partageraient généralement avec les patients”. Les outils d’IA ne doivent, par conséquent, pas être considérés comme des remplacements des médecins, mais plutôt comme des ressources complémentaires. “Alors que nous incorporons la technologie IA dans les soins de santé, il est crucial de veiller à ce que l’essence des soins de santé reste fondamentalement humaine”, a conclu Andrei Brateanu.
*Accuracy of Online Artificial Intelligence Models in Primary Care Settings
Hoseph Kassab, Abdel Hadi El Hajjar, Richard M. Wardrop III, Andrei Brateanu
American Journal of Preventive Medicine
February 12, 2024. DOI:https://doi.org/10.1016/j.amepre.2024.02.006