En analysant 363 incidents documentés, ils montrent comment ces limites peuvent affecter des décisions sensibles, notamment dans le champ sanitaire. Alors que les usages de l’IA se multiplient dans la santé, l’industrie et les services publics, les cas de décisions injustes ou incohérentes se succèdent : erreurs de triage, recommandations inadaptées, évaluations sociales contestées… Ces dérives nourrissent un débat récurrent sur les biais algorithmiques et sur les limites des modèles actuels.
Une origine des biais sous-estimée
L’étude publiée le 1er décembre dans MIS Quarterly, l’une des revues les plus sélectives et influentes dans le domaine des systèmes d’information, apporte un éclairage nouveau sur ces dysfonctionnements. Contrairement à l’idée récurrente selon laquelle les biais proviendraient surtout de données défaillantes ou d’un manque de précision, les auteurs montrent que l’IA échoue souvent pour une raison plus fondamentale : elle ne parvient pas à représenter l’ensemble de la complexité des situations qu’elle tente d’automatiser.
L’étude a été menée par des chercheurs à la Texas McCombs School of Business (University of Texas at Austin). Leur objectif était d’identifier les mécanismes structurels qui conduisent les algorithmes à produire des décisions biaisées. Les auteurs ont analysé en détail 363 incidents algorithmiques recensés dans la base AI Algorithmic and Automation Incidents and Controversies, qui documente des cas de discriminations, d’erreurs ou de controverses liées à des systèmes automatisés. Chaque algorithme impliqué dans un incident a été comparé à un modèle de nature similaire mais n’ayant pas fait l’objet d’un signalement, afin de comprendre pourquoi un biais était survenu.
Une simplification excessive du réel
Les chercheurs ont notamment examiné si, pour chaque tâche automatisée, il existait une référence fiable et reconnue permettant de vérifier la justesse des décisions produites par le modèle. Ils ont également étudié la manière dont certains algorithmes simplifiaient ou omettaient des dimensions importantes du contexte réel. Enfin, ils ont analysé la responsabilité des organisations — par exemple si elles utilisent des jeux de données limités, mettent la pression pour automatiser rapidement un processus, imposent des contraintes de budget… Le tout pouvant conduire à la production de modèles incomplets, plus susceptibles de générer des biais.
Cette approche centrée sur les mécanismes internes plutôt que sur une évaluation statistique, permet d’identifier des facteurs récurrents expliquant pourquoi certains modèles basculent vers des décisions injustes alors que d’autres, pourtant proches dans leur conception, n’exposent pas les mêmes dérives.
Résultats : 3 facteurs majeurs de biais
- Absence de référence fiable : de nombreux algorithmes sont chargés d’automatiser des décisions pour lesquelles il n’existe pas de méthode reconnue permettant de vérifier l’exactitude du résultat. L’estimation de l’âge osseux sur radiographie en est un exemple : faute de consensus clinique, un modèle peut obtenir de très bons scores tout en produisant des décisions inadaptées.
- Simplification excessive du réel : certains modèles reposent sur des données incomplètes ou omettent des variables importantes, ce qui conduit à des représentations appauvries de situations complexes.
- Manque d’implication des parties prenantes : lorsque des systèmes destinés à des populations diverses sont conçus par des équipes homogènes, certaines réalités ne sont pas prises en compte, augmentant le risque d’angles morts et de décisions inéquitables.
L’analyse montre en outre qu’un modèle peut afficher une précision élevée tout en restant biaisé si les données ne reflètent qu’une partie limitée de la situation réelle. Les incidents examinés révèlent que les biais apparaissent particulièrement lorsque des algorithmes automatisent des décisions qui, en pratique, reposent sur des évaluations humaines intégrant de nombreux éléments contextuels, sociaux ou cliniques. Faute d’accéder à ces dimensions, les modèles produisent une représentation trop simplifiée du réel, ce qui explique une grande partie des dérives observées.
L’étude invite les développeurs, les industriels et les décideurs publics à revoir la manière dont les systèmes d’IA sont conçus et déployés, en particulier lorsque les décisions reposent sur des facteurs cliniques, sociaux ou contextuels difficiles à formaliser. Les auteurs recommandent de limiter l’automatisation aux situations pour lesquelles une référence fiable existe réellement, faute de quoi les modèles risquent de produire des décisions cohérentes sur le plan technique mais inadaptées dans la pratique. Ils rappellent que « les biais ne disparaissent pas en améliorant la précision d’un modèle si celui-ci ne comprend pas réellement la complexité de la situation qu’il automatise ».
Des algorithmes éloignés du monde…
Les travaux insistent également sur la nécessité de mieux documenter le contexte réel dans lequel les algorithmes interviennent et d’impliquer plus largement les professionnels de terrain, les usagers et les populations concernées lors de la conception. Cette démarche apparaît essentielle dans des domaines sensibles comme la santé, où les décisions exigent une compréhension fine de situations individuelles que les modèles peinent encore à représenter. Comme le résume l’un des auteurs, « un algorithme ne peut juger que le monde qu’il voit. S’il en perçoit trop peu, il se trompe ».
* Algorithmic Social Injustices: Antecedents and Mitigations Hüseyin Tanriverdi; John-Patrick Olatunji Akinyemi