ChatGPT a fait couler beaucoup d’encre. Cette IA inquiète notamment beaucoup les milieux éducatifs par sa capacité à rédiger et faire les devoirs à la place des élèves. OpenAI lance une IA pour détecter si un passage dans un texte est l’œuvre d’un humain ou d’une IA… Ou plus exactement, tente de le détecter…
Depuis que ChatGPT – l’IA conversationnelle d’OpenAI – fait la Une des journaux et simplifie grandement le quotidien des cancres, on a vu surgir sur la toile une pléthore d’outils prétendant être capables de détecter si un texte avait été écrit ou pas par ChatGPT.
La plupart de ces outils sont très faciles à berner mais, surtout, il leur arrive de dénoncer comme le fruit d’une IA un texte pourtant écrit par un humain. Bref, ils sont peu utiles et très perfectibles. Un challenge sur lequel planchent également les inventeurs de ChatGPT.
Qui mieux qu’OpenAI peut détecter l’œuvre d’une IA d’OpenAI ?
Spécialiste des IA génératives, OpenAI vient de lancer un outil dénommé AI Text Classifier destiné à évaluer si un texte a été généré par une IA. S’appuyant sur les grands modèles linguistiques qui animent des intelligences comme ChatGPT, cette intelligence artificielle tente d’évaluer la probabilité statistique que le texte soit une création humaine ou celle d’une machine. L’IA attribue une évaluation du style « très probablement », « peu probablement », « indéfini », « probablement »…
OpenAI prévient que non seulement il s’agit là d’un prototype, un « Work in progress » qui sera amélioré au fil du temps, mais aussi « qu’il est impossible de détecter de façon parfaitement fiable n’importe quel texte écrit par une IA ».
Entraîné à l’aide, d’une part, de textes écrits par des humains, et d’autre part, des textes écrits par différentes IA, ce classificateur intelligent ne doit pas être considéré comme un outil de preuve mais le résultat de son analyse doit être vu comme un élément de plus au sein d’un faisceau de présomptions.
AI Text Classifier n’a pas été pensé comme un utilitaire pour professeurs suspicieux. C’est un nouvel outil expérimental. Les chercheurs d’OpenAI estiment que de bonnes IA de classification pourraient contribuer à atténuer les fausses affirmations selon lesquelles un texte généré par une IA a été écrit par un humain pour, par exemple, mener des campagnes de désinformations automatisées, faire passer un ChatBot pour un humain, ou exploiter l’IA à des fins malhonnêtes.
Un projet immature et peut-être sans avenir
Cette première version est encore très imprécise et peu fiable, de l’aveu même d’OpenAI. D’une part, cette IA fonctionne mieux avec des textes en anglais qu’avec des textes en d’autres langues. Ensuite, même sur les textes anglais, cette IA n’identifie comme « probablement écrit par une IA » seulement 26% des textes effectivement écrits par une IA. De même 9% des textes écrits par un humain sont incorrectement attribués à une IA (ce que l’on appelle des faux positifs).
En outre, l’IA se montre très incorrecte dans ses précisions sur les textes courts et il faut au moins 1000 caractères pour avoir une certaine confiance dans le résultat.
Par ailleurs tout texte « prévisible » ne peut pas être identifié de manière fiable. Typiquement, il est impossible de prédire si une liste des 1000 premiers nombres premiers a été écrite par une IA ou par un humain car la réponse correcte est toujours la même.
Reste que les chercheurs sont conscients qu’un texte IA peut aisément être édité pour échapper à AI Text Classifier. Et même si une telle IA peut être mise à jour et réentraînée en fonction de ces pratiques d’évasion, les chercheurs d’OpenAI reconnaissent aussi qu’« il n’est pas certain que la détection IA présente un avantage à long terme ».
Dit autrement, tous ces outils prétendant détecter des générations IA qui pullulent aujourd’hui n’ont peut-être qu’un avenir très limité. Les IA vont au fil des années tellement gagner en capacité que de telles détections seront impossibles. C’est pourquoi d’autres chercheurs d’OpenAI travaillent (notamment pour ChatGPT) à d’autres moyens pour « tagger » les textes générés par l’IA, un peu comme si on y appliquait un marqueur ADN invisible certifiant la provenance du texte.
Pour information, AI Text Classifier est disponible ici : AI Text Classifier – OpenAI API
Et, toujours pour information, cette IA classe le texte ci-dessus comme « très improbablement généré par un IA »… Ouf !
puis