Elle a diverse conséquences négatives. Tout d'abord elle compromet la viabilité de l'IA. Les coûts augmentent, et la viabilité économique n'est possible que pour les applications qui génèrent beaucoup de revenu. L'impact écologique augmente aussi, par exemple en termes d'énergie consommée. 

Au long terme, cela implique un choix entre un développement au détriment de notre environnement de vie (certains parlent d'augmenter sensiblement la production d'électricité), ou de limiter la technologie à une minorité.

Par ailleurs, avec la course à la taille vient le besoin incessant de plus de données. Il devient impossible de contrôler ce qu'on met dans les modèles : images pornographiques, violation de droits d'auteurs, données personnelles.

Finalement, la course à l'armement conduit à une concentration des pouvoirs. Économiquement, très peu d'acteurs contrôlent la chaîne de valeur, et ce contrôle se fait avant tout par le contrôle des moyens de calculs faramineux nécessaires : fabrication de puces et location de puissance de calcul sur le cloud.

La raison est multiple. Tout d'abord dans beaucoup de ces champs d'application ce n'est pas juste une question d'une baguette magique qui prédit mieux : il faut prendre en compte les spécificités du domaine. 

Puis il y a des questions de rentabilité : dans ces domaines, la marge de revenus pour l'informatique est pour l'instant faible, contrairement à la pub en ligne, qui nourrit l'IA. Finalement, il y a un coût d'opportunité : l'effort dépensé pour améliorer les applications "naturelles" des gros modèles n'est pas dépensé sur ces applications.

L'IA consomme de plus en plus de ressources, énergétiques par exemple. A l'heure actuelle, c'est une petite partie de notre consommation, mais comme l'utilisation de l'IA ne fait qu’augmenter, c'est très problématique. 

C'est un phonème classique où on voit que souvent on a beau rendre une technologie plus efficace, la consommation liée à cette technologie ne fait qu'augmenter car les usages augmentent. C'est ce paradoxe, dit de Jevons, qui explique que la consommation mondiale de charbon n'a fait qu'augmenter depuis 200 ans.

L'argument en faveur du grand modèle, c'est qu'il est généraliste, et peut être spécialisé sur plein tâches différentes. Mais souvent, cela n'est pas nécessaire, et on veut un modèle bon sur des tâches étroites. Un modèle spécialisé fonctionne mieux. Et dans beaucoup de cas, ce n'est pas le modèle le plus gros qui est le meilleur, car un modèle trop gros peu amplifier le bruit.

Les choses vont s'améliorer, bien entendu, et on aura une puissance de calcul grandissante à coût énergétique limité. 

Le problème, c'est que l'IA a vocation à être partout et pour tout le monde. Il est bien possible que cela devienne une technologie de base, indispensable à la vie économique et sociale, comme internet ou le téléphone portable. Avec la trajectoire des grands modèles, je ne vois pas comment les gains en efficacité pourront équilibrer l'augmentation des usages. C'est le paradoxe de Jevons. C'est pour cela qu'il faut arrêter de glorifier les grands modèles et mettre plus d'efforts sur les modèles spécialisés.