Depuis le déferlement de la vague IA déclenché par le lancement public de ChatGPT en novembre 2022, les experts des réseaux sociaux et des scientifiques de disciplines établies (qui détestent l’informatique parce qu’elle érode leur magistère académique) annoncent à grands cris la fin des programmeurs et l’automatisation du développement logiciel. Il ne faut pas avoir beaucoup réfléchi pour croire de telles prophéties, mais quand même, beaucoup d’informaticiens ont mis la main à la pâte et ont pu être ébranlés : l’IA ne permettrait-elle pas des améliorations spectaculaires de productivité ? L’auteur de ces lignes a pu vérifier que l’on pouvait ainsi obtenir facilement le texte d’un algorithme classique, par exemple QuickSort, dans un nouveau langage, et aussi avoir des échanges éclairants (mais parfois aussi trompeurs) avec l’agent conversationnel à propos de tel trait obscur d’un langage que l’on ne maîtrise pas encore. Mais quid de la productivité du programmeur ?

Joel Becker, Nate Rush, Elizabeth Barnes et David Rein, ingénieurs-chercheurs chez Model Evaluation & Threat Research (METR), se sont attaqués scientifiquement à la question, en collaboration avec 16 développeurs expérimentés de logiciels open source de grande taille (de l’ordre du million de lignes de code) auxquels ils contribuaient depuis des années. 246 problèmes pertinents relatifs à ces projets ont été sélectionnés et affectés à des développeurs familiers du projet correspondant, qui devaient donc programmer une solution. Voici l’article : Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity.

Avant de commencer la programmation, les développeurs prévoient le temps de travail de travail nécessaire avec et sans IA. L’ordre de grandeur des temps de réalisation estimés est de deux heures. En moyenne ils ont prévu un gain de temps de 24% avec IA.

Puis, selon un tirage aléatoire, les développeurs devaient accomplir le travail avec ou sans IA ; ceux qui tiraient l’IA pouvaient utiliser l’outil de leur choix, le plus souvent Cursor Pro ou Claude Sonnet. Et on observe le temps de réalisation.

Après programmation des différents problèmes, il s’avère que l’usage de l’IA fait perdre du temps, en l’occurrence à hauteur de 19%.

Les organisateurs avaient aussi demandé leurs estimations à des économistes et à des spécialistes d’apprentissage machine : les premiers avaient prévu un gain de 39%, les seconds de 38%.

On pourra également consulter ces commentaires : Where’s the Shovelware ? Why AI Coding Claims Don’t Add Up de Mike Judge. Ou ici en français.