Depuis la mise à disposition publique de ChatGPT en novembre 2022, les grands modèles de langage se sont imposés comme objet de recherche à part entière en médecine clinique. Réponse aux questions de patients, synthèse de notes cliniques, aide à la décision, documentation, formation médicale : les cas d’usage étudiés se sont multipliés à un rythme soutenu.
Une littérature en forte croissance depuis la sortie de ChatGPT
Dans ce contexte, une équipe de chercheurs a entrepris de cartographier cette littérature. Leur article, publié dans Nature Medicine, repose sur une revue systématique assistée par LLM qui couvre les publications parues entre le 1er janvier 2022 et le 6 septembre 2025.
4 609 études retenues
Les auteurs ont interrogé PubMed, Embase et Scopus avec des requêtes portant sur les termes “large language model”, “LLM”, “GPT”, “ChatGPT”, “LLaMA”, “Claude”, “Gemini” et “Bard”. Au total, 23 614 enregistrements ont été repérés, puis ramenés à 12 894 études uniques après déduplication.
Face à ce volume, l’équipe a mis en place un pipeline automatisé fondé sur GPT-5, utilisé pour filtrer les études, les classer selon un niveau de preuve, puis extraire des métadonnées à partir des titres et résumés. Ce tri automatisé a été validé sur un sous-échantillon relu par des examinateurs humains. Les auteurs rapportent une bonne concordance entre l’outil et les décisions humaines, aussi bien pour l’inclusion que pour le classement par niveau de preuve.
Au final, 4 609 études ont été retenues. Le modèle statistique des auteurs estime que le nombre “réel” d’études répondant aux critères d’inclusion sur la période se situe autour de 4 361, soit environ 3,2 publications par jour.
Des preuves encore concentrées sur les simulations et les examens
Moins d’un quart des études sur les LLM reposent sur des données réelles
L’enseignement principal de l’étude tient à la structure même de cette littérature. Sur les 4 609 travaux inclus, seuls 1 048 portent sur des données cliniques réelles. Et parmi eux, seulement 19 correspondent à de véritables essais prospectifs randomisés.
Les auteurs distinguent quatre niveaux de preuve :
- Le niveau le plus élevé correspond aux évaluations prospectives randomisées en conditions réelles de soins.
- Viennent ensuite les études sur données cliniques réelles, rétrospectives ou prospectives,
- Puis les travaux reposant sur des scénarios simulés ou des données synthétiques,
- Et enfin les évaluations de type examens, QCM ou cas cliniques à réponse attendue.
Dans les faits, la littérature reste largement dominée par les études de simulation et les tâches académiques. Les auteurs estiment à 1 857 le nombre de travaux de niveau intermédiaire fondés sur des scénarios simulés, et à 1 704 ceux relevant surtout d’examens ou d’épreuves de connaissances. Autrement dit, plus des trois quarts des études recensées n’analysent pas des situations de soins réelles.
Cette lecture est renforcée par la taille des échantillons. L’étude détecte une taille d’échantillon dans 3 289 résumés. Parmi eux, un quart des travaux portent sur moins de 20 cas, et au moins 25 % de l’ensemble des études incluses ont un échantillon inférieur à 30.
OpenAI domine très largement les modèles évalués
L’autre enseignement tient à la concentration des évaluations sur un petit nombre d’acteurs. Les modèles d’OpenAI, dont ChatGPT, représentent 65,7 % des modèles étudiés. Gemini et Bard, de Google, arrivent loin derrière avec 13,1 %.
Les modèles ouverts restent minoritaires. Les auteurs relèvent que 87,7 % des modèles évalués sont fermés. Ils soulignent aussi le faible nombre d’études portant sur certains assistants déjà présents dans les usages quotidiens, comme Google Assistant ou Alexa, alors même qu’ils peuvent être sollicités par le grand public pour des questions de santé.
Pour les chercheurs, ce biais en faveur des modèles propriétaires pose un problème de reproductibilité. Ils insistent sur la nécessité d’évaluer davantage les modèles open source, dont le comportement peut rester vérifiable dans le temps, contrairement à des services fermés susceptibles d’évoluer ou de disparaître.
Communication patient, questions-réponses et formation en tête des usages étudiés
En moyenne, chaque étude analyse 1,93 tâche.
- Les usages les plus fréquents relèvent de la communication et de l’éducation destinées aux patients, qui représentent 17,4 % des tâches recensées.
- Viennent ensuite la recherche de connaissances et les questions-réponses cliniques, puis l’éducation, l’évaluation et la simulation.
- Les travaux sur le raisonnement diagnostique et la détection de maladie arrivent derrière.
- Suivis par les usages liés à la gestion clinique et à l’organisation du travail.
- Côté jeux de données, les questions d’examen et d’autoévaluation des cliniciens restent les plus fréquentes, devant les FAQ patients, les vignettes cliniques, les recommandations professionnelles, l’imagerie et les dossiers de santé électroniques.
Les auteurs notent aussi un problème de reproductibilité des données : parmi les jeux de données dont l’accessibilité a pu être déterminée, moins de la moitié sont en accès ouvert.
Une répartition inégale selon les spécialités
L’analyse met en évidence une concentration des travaux sur quelques disciplines. La médecine interne est la spécialité la plus souvent représentée, devant la radiologie, la médecine préventive, la chirurgie orthopédique et la médecine de famille.
Dans les spécialités chirurgicales, l’orthopédie arrive largement en tête, suivie par l’ORL, l’urologie, la chirurgie générale et la chirurgie plastique. En médecine interne, l’oncologie, la cardiologie, la médecine du sommeil, la gastroentérologie et les maladies infectieuses dominent.
Les auteurs y voient un déséquilibre de la littérature plutôt qu’un reflet des besoins cliniques. Ils estiment que de nombreuses disciplines restent peu explorées, alors qu’elles pourraient constituer des terrains d’évaluation utiles pour les usages futurs des LLM.
Des performances très dépendantes du contexte
L’étude a recensé 1 046 travaux dans lesquels l’issue de la comparaison entre LLM et experts humains pouvait être déterminée à partir du résumé. Dans 33 % des cas, le modèle surpasse l’humain ; dans 64,5 %, il fait moins bien ; dans 2,5 %, les résultats sont mixtes.
Mais cette moyenne masque de fortes variations. Les LLM surpassent plus souvent les humains dans les études de bas niveau de preuve, en particulier lorsqu’il s’agit de tâches de restitution de connaissances ou d’examens standardisés. Leur taux de surperformance est nettement plus faible dans les études fondées sur des données réelles.
Autre constat, le résultat dépend du niveau d’expertise de la personne comparée. Les modèles surpassent moins souvent les médecins seniors que les médecins moins expérimentés ou les étudiants. Les auteurs en tirent une recommandation méthodologique claire :
un modèle doit être comparé à l’expert réellement compétent pour la tâche étudiée, et non à un clinicien générique ou à un professionnel en formation lorsque cela n’est pas justifié.
Les auteurs soulignent que le rythme de publication des essais randomisés demeure faible, malgré la croissance générale du champ.
Les recommandations des auteurs pour la suite
Au-delà du constat bibliométrique, l’article propose une trajectoire pour produire des preuves plus utiles à la décision clinique.
- Première recommandation : ne pas s’arrêter aux performances sur examens, cas fictifs ou jeux de données synthétiques. Les auteurs plaident pour une progression par étapes, depuis les évaluations de capacité et de simulation jusqu’aux études sur données réelles, puis aux essais randomisés en conditions de soins.
- Deuxième recommandation : augmenter la taille des échantillons et améliorer la qualité méthodologique des travaux. Les auteurs rappellent que les petits effectifs restent fréquents, ce qui limite la portée des conclusions.
- Troisième recommandation : comparer les modèles aux bons experts humains, c’est-à-dire aux professionnels dont le niveau de qualification correspond exactement à la tâche clinique testée.
- Quatrième recommandation : développer des modèles open source et des jeux de données ouverts lorsque cela est possible, afin de renforcer la reproductibilité, l’examen par les pairs et la capacité de réutilisation des travaux.
Enfin, les auteurs appellent à des études plus ancrées dans les usages réels, sur des données cliniques représentatives et dans des spécialités aujourd’hui moins couvertes.
Une littérature abondante mais encore peu décisive pour l’adoption clinique
La revue met ainsi en évidence un paradoxe. La recherche sur les LLM en médecine clinique progresse à un rythme soutenu, mais la base de preuves directement utile pour l’adoption en pratique reste limitée. Les modèles donnent des résultats solides dans des contextes académiques ou simulés, mais les données prospectives, comparatives et centrées sur le patient restent rares.
La dynamique de publication ne suffit pas à documenter une utilité clinique. Avant une diffusion plus large dans les parcours de soins, les auteurs estiment que le champ doit produire davantage d’études prospectives sur données réelles, puis passer à des essais randomisés de plus grande ampleur.
LLM-assisted systematic review of large language models in clinical medicine