Il est tentant de penser que ChatGPT est un maître dans la résolution de problèmes basés sur des mots. Après tout, les grands modèles de langage ingurgitent des tonnes de mots pour arriver à faire ce qu’ils font. GPT-4, par exemple, a été entraîné sur la base d’environ 500 milliards de mots. Et il semble évident que les jeux comme Wordle ne sont qu’une formalité pour cette dernière génération de ChatGPT.
En fait, Wordle est un jeu créé par le New York Times et il consiste à trouver un mot de cinq lettres. Les joueurs ont à leur disposition six tentatives pour découvrir le mot mystère. À chaque essai, le jeu note si une lettre est à la bonne position. Étonnamment, Michael G. Madden met en évidence que ChatGPT est très mauvais à ce jeu.
Michael G. Madden est professeur titulaire d’informatique à l’université de Galway. Il a publié un article concernant ce sujet dans The Conversation.
ChatGPT ne comprendrait-il pas les mots finalement ?
Le professeur a demandé à GPT-4 de résoudre le puzzle Wordle suivant : « #E#L# ». Ici, les « # » représentent les lettres à trouver et la solution est « mealy ». Pourtant, cinq des six réponses de l’intelligence artificielle passaient complètement à côté : beryl, feral, heral, revel, pearl et merle.
Avec d’autres puzzles, le professeur Michael a expliqué que le modèle de langage trouvait parfois la solution. Cependant, il semblerait que le chatbot opère généralement de manière hasardeuse.
Pourquoi GPT-4 a des difficultés à résoudre ce genre de puzzle ? Michael G. Madden estime que ce problème viendrait du fait que le modèle soit basé sur un réseau neuronal profond. Ce dernier ne comprenant que les nombres, les mots doivent être « traduits ». Cette opération est réalisée par un « tokenizer ».
Une aide externe pour renforcer les points faibles
Pour renforcer cette faiblesse, le professeur Michael a suggéré deux approches. La première concerne principalement ChatGPT-4, tandis que la seconde serait plus intéressante et pourrait être appliquée à davantage de chatbots. Elle consiste à générer un programme informatique pour résoudre les problèmes de ce genre.
En fait, le professeur a utilisé ChatGPT, lui-même, pour générer un code afin de trouver les mots manquants sur Wordle. Une tâche que l’IA a effectuée avec brio après lui avoir signalé un bogue. Cette suggestion vient soutenir un concept appelé “Toolformer”. Il s’agit d’utiliser des outils externes pour combler les lacunes des grands modèles de langage.
SOURCE : SCIENCEALERT