Homme ou machine ? GPTZero révèle les textes d'IA

En quelques secondes, vous pouvez rédiger un essai, un poème ou une dissertation à partir de rien ? Depuis fin novembre, c'est possible grâce au chatbot "ChatGPT", alimenté par l'intelligence artificielle (IA).

Si les élèves, les étudiants ou les employés de bureau se réjouissent de cet outil utile, un étudiant en informatique de l'université américaine de Princeton, Edward Tian, y voit un danger potentiel. Pendant le Nouvel An, il a donc créé un programme qui détecte si un texte provient de ChatGPT ou d'un humain. Il s'appelle GPTZero.

"Il y a tellement de battage médiatique autour de ChatGPT. Est-ce que ceci ou cela est écrit par l'IA ? Nous, les humains, méritons de le savoir !", écrit le jeune homme de 22 ans sur Twitter. Selon lui, c'est particulièrement important dans le contexte de l'école. "Les professeurs de lycée veulent-ils que les élèves utilisent ChatGPT pour écrire leurs dissertations d'histoire ? Probablement pas", poursuit Tian.

Depuis début janvier, les personnes intéressées peuvent utiliser la version bêta de l'application. Soit directement via le site web de Tian, soit via la plateforme open source Streamlit.

Comment fonctionne GPTZero

? Pour l'analyse, les utilisateurs alimentent le champ de texte de GPTZero avec du texte. Après quelques secondes, l'application répond par une évaluation basée sur un score. Si le nombre est relativement élevé, il est probable que le texte soit d'origine humaine.

GPTZero utilise deux critères pour évaluer si un texte a été rédigé par une IA ou non : la "perplexité" et le "burstiness". La perplexité mesure le caractère aléatoire dans une phrase. GPTZero analyse la manière dont la phrase est construite et si sa structure est inhabituelle ou surprenante. Si c'est le cas, cela indique que la phrase est d'origine humaine.

Burstiness examine le caractère aléatoire dans l'ensemble du texte. Les outils d'IA ont tendance à écrire des textes de complexité faible et constante. Les humains, eux, ont tendance à écrire des phrases plus complexes, puis plus simples.

Tian "complètement dépassé" par le grand intérêt

Depuis sa publication, GPTZero a connu une très forte affluence. "Je suis complètement submergé par le soutien que cette application a reçu", déclare Tian sur Substack. Et ce, après s'être excusé dans un message précédent pour le crash du site. Le site a été bloqué pendant un certain temps en raison de la forte demande.

Malgré l'affluence, il y a aussi des voix plus critiques comme celles-ci à l'égard de GPTZero. Sur Twitter, ils font remarquer à Tian que son application ne sera pas utile longtemps. Ceci parce qu'ils pensent qu'à l'avenir ChatGPT déjouera ce genre de programme.

GPTZero pourrait-il être rapidement déjoué ?

C'est également l'avis de Sandro Luck, ingénieur en machine learning chez Digitec Galaxus. Néanmoins, il ne rejette pas immédiatement la nouvelle application d'IA. "Je suppose que GPTZero va probablement découvrir de longs textes de ChatGPT", dit-il. "Cela parce que OpenAI - la société derrière ChatGPT - n'a tout simplement pas intérêt à cacher que ChatGPT est une IA". Mais dès que des développeurs se donnent pour objectif de tromper des outils comme GPTZero, cela va "très vite".

Tian a l'intention de se consacrer entièrement au développement de GPTZero dans les mois à venir, poursuit l'étudiant sur Substack. Il veut améliorer les capacités de modélisation et se concentrer sur la mise à l'échelle complète de l'application. Il espère également publier prochainement ses découvertes sur le programme dans un article scientifique