Une IA capable d’analyser une multitude de format
À l’heure où les grands groupes de la tech rivalisent pour créer le modèle de Gen AI le plus performant, Google partage de nouvelles données concernant ses modèles dédiés à la santé. Après Med-Palm 2, le grand modèle de langage (LLM) qui a réussi le USMLE – examen final de médecine aux Etats-Unis – avec un score de 86,6 %, Google dévoile Med-Gemini, un autre modèle d’IA multimodale spécifique au secteur. Ce dernier a, quant à lui, fait preuve d’une précision de 91,1 % au même examen.
Comme toutes les IA multimodales, Med-Gemini est capable de traiter les informations venant de nombreux supports, du texte à la vidéo, en passant par le son et l’image : une fonctionnalité qui permet d’assister le médecin dans sa prise de décision diagnostique. Le diagnostic repose en effet sur tout un faisceau d’informations à prendre en compte :
- symptômes du patient ;
- connaissances sur les pathologies et les thérapies ;
- dossier médical ;
- et antécédents médicaux et/ou chirurgicaux, personnels et familiaux du patient.
Les IA multimodales peuvent ainsi analyser toutes ces informations en même temps pour générer la réponse la plus complète aux interrogations du clinicien.
Une analyse couplée à une recherche sur le web :
Une étude* publiée le 6 mai 2024 sur Arxiv montre que Med-Gemini peut aller plus loin qu’une “simple” analyse de l’information qu’il possède : il va jusqu’à mener automatiquement des recherches complémentaires sur le web, dans les cas où la réponse qu’il a générée à l’aide des informations données par le médecin semble incertaine ou incomplète pour le professionnel de santé.

Grâce à cette fonction, Med-Gemini fait mieux que GPT-4 sur différents plans. Dans l’étude citée plus tôt, les deux IA ont été comparées et Med-Gemini démontre sa supériorité à GPT-4 sur tous les points de référence médicaux pour lesquels une comparaison a pu être effectuée (Med-Gemini a établi un record pour 10 des 14 points de référence sur lesquels il a été testé).
Si GPT-4 fait mieux que Med-Palm 2 (qui surpassait GPT-3.5) avec une précision de 90,2 % en répondant aux questions de l’USMLE, il est encore battu par Med-Gemini et ses 91,1 % de précision. Il en va de même pour 7 critères multimodaux, dont le “défi de l’image” du New England journal of medicine : “Med-Gemini a obtenu de meilleurs résultats que GPT-4 avec une marge relative moyenne de 44,5 %”, indique l’étude.

Retrouver un terme mal orthographié parmi des centaines de milliers de mots
Tout comme GPT-4 et pleins d’autres modèles de Gen AI, Med-Gemini propose une fonction de conversation avec le patient au cours de laquelle il pose des questions pour s’assurer de lui apporter le bon diagnostic et les bonnes recommandations. Mais là où Med-Gemini se démarque vraiment des autres modèles de Gen AI, c’est lorsqu’il analyse et comprend des milliers de documents afin de trouver en un instant ce qu’un médecin mettrait des heures à trouver.
Alors que certains dossiers médicaux sont alimentés par un nombre conséquent de documents dans lesquels il y a parfois des fautes ou des abréviations, Med-Gemini est capable de comprendre ces données et de rechercher les informations souhaitées par le médecin. Pour prouver l’efficacité de cette fonction, Google – toujours dans le cadre de l’étude publiée sur Arxiv – a soumis son IA à l’exercice de “l’aiguille dans la botte de foin” (needle-in-a-haystack) : concrètement l’IA devait analyser les dossiers médicaux comportant plus de 100 notes médicales, pour un total de plusieurs centaines de milliers de mots (parfois jusqu’à 700 000 mots), afin de trouver une affection qui n’y était mentionnée qu’une fois et parfois même de manière abrégée ou mal orthographiée.
Comparée à la méthode “state of the art” (Sota), qui compare Med-Gemini au modèle le plus avancé disponible, l’IA de Google est battue en termes de précision (73 % contre 85 %), mais bat le modèle le plus avancé en termes de rappel, qui est défini par le “nombre de données pertinentes retrouvées” au regard du “nombre de données pertinentes que possède la base de données”, alors que la précision concerne le “nombre de données pertinentes retrouvées” rapporté au “nombre de données totales proposées pour une requête donnée”.
* Advancing Multimodal Medical Capabilities of Gemini
Google Research and Google DeepMind
arXiv:2405.03162v1 [cs.CV] 6 May 2024


