La fin des modèles d’IA géants approche selon le PDG d’OpenAI

Les modèles d’IA géants ont provoqué une petite révolution en ce début de l’année. OpenAI étant l’un des leaders du domaine, les déclarations de son PDG Sam Altman sont souvent passées à la loupe. Dans, l’une de ses récentes interventions, il a d’ailleurs prédit la fin de ces modèles d’IA géants.

GPU
Crédit 123RF

La crise des GPU mise en cause

Lors d’un événement du MIT qui s’est déroulé la semaine dernière, Sam Altman a jeté un froid sur l’avenir des modèles d’IA géants. Selon lui, les prochains progrès pourraient prendre d’autres directions. Dans ses propos rapportés par Wired, il déclare explicitement : « Je pense que nous sommes à la fin de l’ère des modèles géants. Nous les améliorerons par d’autres moyens ».

L’avis du PDG d’OpenAI serait donc lié à une crise des GPU selon VentureBeat. En effet, la mise à l’échelle des modèles l’IA géants engendre d’énormes coûts liés aux processeurs graphiques. Pourtant, les rendements ne sont pas à la hauteur. À titre d’exemple, l’entraînement de ChatGPT aurait nécessité plus de 10 000 GPU et son fonctionnement exige continuellement plus de ressources.

Par ailleurs, Nvidia a récemment lancé les H100 qui sont spécialement conçus pour l’IA. Ceux-ci peuvent également exécuter des calculs de haute performance et coûtent jusqu’à 30 603 $ l’unité. La formation d’un modèle d’IA géant peut mobiliser ainsi des centaines de millions de dollars de calcul selon Romen Dar. Il est à préciser que ce dernier est Directeur et cofondateur de Run AI, une plateforme regroupant les GPU afin d’accélérer la mise en œuvre de projets d’IA.

Les coûts sont clairement exorbitants et les profits sont faibles, donc le modèle économique des modèles d’IA géants est instable. Les prochaines améliorations devront alors se tourner vers l’architecture des modèles, l’efficacité des données et les techniques algorithmiques. Cela pourrait donc marquer la fin de l’ère de la taille des modèles et des données illimitées qui ont propulsé l’IA ces dernières années.

Le problème serait ailleurs selon d’autres experts

Les propos de Sam Altman pourraient également prêter à confusion. En effet, il se peut que le PDG d’OpenAI n’ait pas fait directement allusion à la crise des GPU. Aidan Gomez, cofondateur et PDG de Cohere (concurrent d’OpenAI) pense par exemple que « l’observation technique » a aidé à créer les modèles d’IA plus grands que nécessaire.

Sam Altman aurait également fait un commentaire sur la taille des modèles que le média TechCrunch ne partage pas. En effet, ces derniers ont écrit que le PDG d’OpenAI considère la taille comme une « fausse mesure de la qualité du modèle ».

Cela faisait notamment suite aux propos d’Altman qui comparait la course à l’IA à celle des « gigahertz dans les puces dans les années 1990 et 2000 ». « Je pense qu’on s’est beaucoup trop concentré sur le nombre de paramètres » a-t-il déclaré.

Que dire des achats de GPU d’Elon Musk ?

Elon Musk a récemment confirmé une commande de 10 000 GPU pour le compte de sa nouvelle entreprise d’IA dénommée X. AI. Selon VentureBeat, cet achat massif signifie que les GPU sont toujours au centre de la course à l’IA. Cependant, Romen Dar a précisé que la livraison de ces GPU prend généralement du temps. Même les grandes entreprises comme Microsoft, Amazon et Google réservent leurs commandes puis attendent des mois avant de pouvoir être livrées.

Cela pourrait représenter alors un problème pour les entreprises du domaine, car les coûts sont élevés et l’accès aux GPU s’avère compliqué. Par contre, les entreprises ayant un gros budget pourraient s’en sortir, mais ce n’est visiblement pas le cas pour OpenAI. Cette situation pourrait donc pousser la société à prendre une nouvelle direction.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.