ChatGPT réussit de justesse à des examens universitaires
ChatGPT, le robot conversationnel développé par OpenAI, continue de faire parler de lui. Lancé à la fin de l’année dernière, ses prouesses épatent, mais d’un autre côté suscitent la crainte. Un des soucis majeurs serait qu’il puisse aider les étudiants à tricher. Des chercheurs ont alors décidé de vérifier son comportement et ses résultats durant des examens universitaires.
Après des tests de médecine concluants, il a passé deux autres examens universitaires. Il a obtenu entre B- à B à l’examen final du programme de maîtrise en administration des affaires ou MBA. Il a également passé l’examen du barreau à la faculté de droit de Minnesota. Le robot a obtenu la note globale de C+.
Quelles sont les forces et les faiblesses de ChatGPT ?
Durant ces tests, ChatGPT a démontré sa maîtrise des règles juridiques de base, avec une grammaire parfaite. Malgré des énoncés parfois complexes, le bot a pu fournir les bonnes réponses, car il peut accéder à une large base de données. Il est aussi apte à donner des réponses détaillées et correctement structurées. Malheureusement, il pêche lorsque des questions ouvertes lui sont posées, soulignent les experts.
Il a été constaté que l’agent conversationnel créé par OpenAI avait de grosses lacunes en mathématiques, Christian Terwiesch souligne « Chat GPT3 fait parfois des erreurs surprenantes dans des calculs relativement simples du niveau de la 6ème au collège. Ces erreurs peuvent être d’une ampleur considérable. » Il admet aussi que le robot avait des compétences particulières dans les postes d’analyste, de manager ou de consultant. Néanmoins, il éprouve des difficultés côté raisonnement. L’expérience pratique et humaine lui font également défaut.
Quelles utilisations pour l’IA ?
A travers les différents examens que ChatGPT a passé, un constat général a été fait. Lorsque celui-ci faisait des erreurs, il suffisait de l’informer ou de lui fournir de nouvelles indications. Aussitôt, il se mettait à se corriger et améliorait ses réponses. « Dans l’ensemble, ChatGPT n’est pas été un très bon étudiant en droit lorsqu’il agit seul » explique le professeur Choi sur Twitter. Ainsi, le bot peut s’avérer être un bon assistant ou un bon collaborateur. Il est apte à prendre en considération les suggestions et les idées provenant d’un humain. Le résultat de ces études peut ouvrir la possibilité de créer des applications de chatbots capables de donner des conseils ou fournir une assistance dans différents domaines.
