Publications
Une étude récente révèle les limites insoutenables de l’appétit computationnel des réseaux de neurones. Un appétit pour la puissance de calcul qui atteint des sommets vertigineux, défiant les limites économiques et environnementales.
C’est en tous cas ce que révèle cette méta-analyse du MIT portant sur 1527 recherches, mettant en lumière une dépendance alarmante à la puissance de calcul. Le progrès fulgurant dans des domaines comme la reconnaissance d’images et la traduction repose sur une soif sans limites de ressources informatiques. Mais cette soif a un coût, et il est colossal.
Par exemple, chaque réduction de moitié de l’erreur dans le classement d’images d’ImageNet exige une multiplication par plus de 5000 de la puissance de calcul. Un chiffre qui donne des frissons dans le dos : la progression dans ce domaine n’est plus seulement une question d’innovation, mais de ressources presque illimitées. Or, dans un monde de limites, où chaque jour les défis environnementaux se font de plus en plus importants, difficile d’imaginer la croissance infinie de ces technologies.
Le coût financier de l’entraînement de ces modèles d’IA devient astronomique, sans parler de leur empreinte écologique qui grimpe en flèche. Face à ce défi, la communauté de l’apprentissage automatique se trouve à un carrefour : continuer dans cette voie insoutenable ou chercher des méthodes plus économes en ressources.
