DetectGPT pour lutter contre les textes signés ChatGPT
Après sa révélation en novembre dernier, ChatGPT, le robot conversationnel signé OpenAI, continue de faire couler beaucoup d’encres. Quant à son utilisation, des cas controversés dans les domaines scolaires et universitaires ont même été rapportés. En effet, des étudiants ont eu recours à ses services pour faire leurs devoirs de maison. Certains ont pu être détectés par leurs professeurs qui ont immédiatement tiré la sonnette d’alarme.
De l’autre côté, pour contrecarrer ce phénomène, des chercheurs essayent de créer un bot capable de détecter si un texte a été généré par un IA. Si un robot peut écrire comme un humain, un autre est donc capable de voir si un écrit a été édité par un chatbot.
Comment fonctionne DetectGPT ?
Les chercheurs de l’université de Stanford proposent DetectGPT pour aider les enseignants dans leur lutte contre les écrits générés par ChatGPT. Afin de détecter ces articles composés par l’IA, ce nouvel agent conversationnel repose sur une nouvelle méthodologie. Selon les explications fournies par le site d’actualités technologiques Neowin, celle-ci « exploite les caractéristiques uniques du texte généré par les grands modèles de langage (LLM). ». La méthode est baptisée « zéro shot ». De plus, ce bot ne dispose d’aucune connaissance de la machine qui a été utilisée pour éditer le document. Le système ne repose pas non plus sur la collecte d’un ensemble de données pour effectuer sa comparaison.
En clair, DetectGPT se base sur les caractéristiques uniques de l’écrit qui a été produit par les LLM. En effet, celui-ci se situe le plus souvent autour des régions de courbure négative de la fonction de probabilité logarithmique du modèle. Cela suppose donc qu’un article écrit par un être humain occuperait des régions de courbure positive.
Quel avenir pour DetectGPT ?
L’un des principaux objectifs de DetectGPT est de devenir l’un des premiers outils qui aident à lutter contre les écrits générés par ChatGPT, dans le domaine universitaire. Les chercheurs ont eu recours à ses services lors d’un test. De faux textes d’actualité lui ont alors été soumis. Ils ont ainsi constaté que ce robot conversationnel contribuait à améliorer la détection des faux documents générés par le paramètre 20B GPT-NeoX de 0,81 AUROC pour la ligne de base zéro-shot la plus forte à 0,95 AUROC. Ces résultats montrent une amélioration assez significative des performances de détection, seraient assez prometteurs à l’heure actuelle.
