Des ingénieurs de l’université de Californie à San Diego ont mis au point une méthode pour adapter les grands modèles d’IA à de nouvelles tâches avec beaucoup moins de données et nécessitant moins de puissance de calcul. Publiés en août 2025 dans la revue Transactions on Machine Learning Research, les résultats de cette étude* pourraient accélérer la découverte de médicaments et démocratiser l’IA en santé.
Les grands modèles de langage utilisés pour les chatbots ou la modélisation des protéines reposent sur des milliards de paramètres. Leur ajustement complet demande une puissance de calcul considérable et comporte un risque de surapprentissage, lorsque le modèle « mémorise » les données plutôt que d’en saisir les mécanismes. Pour contourner ces obstacles, l’équipe de chercheurs dirigée par Pengtao Xie (Université de Californie à San Diego) a imaginé une méthode « plus intelligente » qui n’ajuste que les parties du modèle qui comptent le plus. L’objectif : rendre possible la personnalisation des IA par de petites structures de recherche, sans infrastructure lourde.
Réentraîner les modèles sans repartir de zéro
L’approche, baptisée BiDoRA (Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation), repose sur un principe simple : « Plutôt que de réentraîner un modèle complet à partir de zéro, nous mettons à jour uniquement les parties essentielles », explique Pengtao Xie. Concrètement, l’algorithme identifie les zones les plus pertinentes du réseau et ajuste une version simplifiée de ces paramètres, réduisant ainsi drastiquement le volume de calcul nécessaire. L’équipe a appliqué cette méthode à des modèles de langage des protéines, utilisés pour prédire leurs propriétés biologiques, dans deux cas :
- La capacité de certains peptides à traverser la barrière hémato-encéphalique
- La résistance des protéines à la chaleur, un facteur clé dans la conception de biothérapies stables.
L’étude a été publiée en août 2025 dans la revue Transactions on Machine Learning Research.
Résultats : une économie significative de paramètres
- Sur la première tâche, BiDoRA a obtenu une précision supérieure aux méthodes classiques tout en utilisant 326 fois moins de paramètres.
- Sur la seconde, elle a égalé la performance d’un ajustement complet avec 408 fois moins de paramètres.
Les chercheurs soulignent que leur méthode est à la fois plus flexible et meilleure pour généraliser ce qu’elle apprend, notamment lorsque les jeux de données sont restreints. « Notre méthode permet même à de petites équipes de recherche ou à des start-ups disposant de moyens et de puissance de calcul limités d’adapter de grands modèles d’IA à leurs besoins spécifiques », précise Pengtao Xie. « C’est une étape vers la démocratisation de l’intelligence artificielle. »
Pour la santé, l’impact pourrait être majeur. BiDoRA permettrait à des laboratoires hospitaliers ou universitaires d’entraîner leurs modèles sur place, sans transférer de données sensibles ni dépendre d’infrastructures extérieures. Elle pourrait aussi accélérer la recherche pharmaceutique, en rendant possible la modélisation rapide de protéines thérapeutiques à partir de petits jeux de données expérimentales. Enfin, la réduction de puissance de calcul — multipliée par plusieurs centaines — contribuerait à diminuer l’empreinte carbone des travaux en IA biomédicale. Mais les auteurs rappellent qu’une IA plus accessible devra aussi être mieux encadrée : « La démocratisation de ces outils doit aller de pair avec des efforts continus en matière de sécurité, de transparence et de fiabilité. »
Vers une IA plus « frugale »
Cette avancée s’inscrit dans un mouvement plus large de « frugalisation » de l’intelligence artificielle, qui vise à rendre les modèles plus économes et plus adaptés aux réalités du terrain. En santé, où les données sont rares et la puissance de calcul limitée, ces innovations pourraient transformer la manière dont les équipes conçoivent et déploient leurs outils d’IA — en leur permettant de créer et d’ajuster leurs modèles sans dépendre des géants du numérique.
* BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
Peijia Qin, Ruiyi Zhang, Pengtao Xie
https://openreview.net/forum?id=v2xCm3VYl4
