Données médicales non structurées : une mine à explorer
Les récits médicaux sont essentiels pour identifier correctement l’état de santé d’un patient, car ils fournissent des informations sur sa situation actuelle ainsi que sur l’évolution de son état de santé. Cependant, ces récits sont souvent vagues et difficiles à catégoriser. En effet, les données non structurées, telles que les récits médicaux, restent difficiles à générer. Cependant, elles sont importantes, car le contexte narratif fournit des informations essentielles.
Les modèles de langage peuvent être utilisés pour extraire des éléments de ces récits. Cependant, un problème majeur réside dans le manque de données pour entraîner ces modèles dans des langues autres que l’anglais. Cela peut entraîner un biais lorsqu’il s’agit de former des modèles. Il est donc nécessaire de développer une méthode pour créer des récits synthétiques de haute qualité.
Générer des récits fictifs grâce à l’IA
Des chercheurs allemands du Stuttgart Cancer Center et de l’université de Stuttgart ont donc mené une étude afin d’évaluer la capacité l’IA générative à créer des récits médicaux synthétiques en allemand à partir de données réelles de patients, tout en protégeant leur confidentialité. En effet, la plupart des ensembles de données biomédicales annotées sont disponibles en anglais. Ce manque de données freine le développement de modèles d’IA biomédicale pour des langues autres que l’anglais. L’objectif de leur étude était donc de tirer parti des outils d’IA générative comme ChatGPT pour créer un jeu de données ressemblant étroitement à des récits cliniques authentiques et démontrer que la génération de données peut constituer une alternative viable à l’accès à des données qui, autrement, seraient indisponibles. Les normes strictes de protection des données de santé les rendant par ailleurs difficiles d’accès.
Si l’utilisation de l’IA pour générer des textes médicaux a montré un énorme potentiel, elle soulève cependant des questions éthiques, notamment en ce qui concerne la protection des données personnelles et la production de contenu trompeur ou incohérent.
Concrètement, les chercheurs ont donc mis au point une méthode pour générer des récits médicaux en allemand, décrivant l’état de patients imaginaires, à partir de données issues d’un groupe de patients réels. Ces récits médicaux générés ont ensuite été annotés automatiquement, ce qui permet de former des outils de reconnaissance d’entités nommées. Ce que la Cnil définit comme une « sous-tâche d’extraction d’informations qui cherche à localiser et classifier les mentions d’entités nommées dans du texte non structuré en catégories prédéfinies ». L’évaluation de la performance de ces outils repose sur 3 mesures :
-
- La précision : C’est la proportion des entités correctement identifiées parmi celles que le modèle a classées comme pertinentes.
- Le rappel : C’est la proportion des entités réellement présentes dans le texte et que le modèle a bien identifiées.
- Le score F1 : il combine la précision et le rappel en une seule métrique.
Les résultats de leur étude ont été publiés le 28 décembre dans la revue BMC Medical Informatics and decision making.
Résultats : précis mais loin d’être exhaustif
-
- Le modèle de reconnaissance d’entités nommées obtient une précision de 0,8. Cela signifie que 80 % des entités que le modèle a identifiées étaient correctes.
- Dans tous les scénarios, le rappel restait faible, ce qui indique que les modèles sont « prudents » et ont du mal à reconnaître toutes les entités biomédicales sur des données réelles.
- Le score F1 était de 0,3, ce qui suggère que le modèle n’identifie qu’une faible partie des entités.
Ces résultats montrent que les modèles sont prudents et ne marquent que les entités pour lesquelles il est presque certain. Ils privilégient la précision au détriment de l’exhaustivité. En outre, les auteurs mentionnent plusieurs limitations : des récits générés manquant des nuances, un style naïf, ne correspondant pas à l’expertise requise dans la documentation médicale…
Cependant, ils estiment que cette méthode qu’ils surnomment le « standard en aluminium » a le potentiel de synthétiser des données non structurées et de les utiliser pour l’entraînement de modèles de machine learning tout en protégeant la confidentialité des patients. Ainsi « certaines tâches dans les hôpitaux, comme la rédaction des lettres de sortie, pourraient être automatisées, réduisant ainsi la charge de travail des professionnels de santé. »
* The aluminum standard: using generative Artificial Intelligence tools to synthesize and annotate non-structured patient data.
Diaz Ochoa, J.G., Mustafa, F.E., Weil, F. et al.
BMC Med Inform Decis Mak 24, 409 (2024). https://doi.org/10.1186/s12911-024-02825-4
