Une intelligence artificielle qui peut automatiquement générer des paroles de chanson, des poèmes, des essais, des tweets mais également des lignes de programmation… Ce n’est plus de la science-fiction.

Le moins que l’on puisse dire, c’est que la publication via twitter de quelques démonstrations de GPT-3 a déjà fait couler beaucoup d’encre. La nouvelle intelligence artificielle d’OpenAI sait mimer la capacité humaine à écrire. Et de façon assez spectaculaire. GPT-3 se révèle non seulement incroyablement doué pour comprendre les interrogations en langage naturel mais également étonnamment prolixe pour générer une réponse argumentée et correcte d’un point de vue orthographique et grammatical.

GPT-3 est le successeur de GPT-2, qui avait déjà généré pas mal de remous l’an dernier, OpenAI ayant décidé de ne pas le divulguer ni le démontrer en public le jugeant « une trop grande menace pour l’humanité ». Mais contrairement à GPT-2, GPT-3 est déjà accessible en bêta privé. Et sa menace n’en est pas moindre.

Des progrès spectaculaires

Ceux qui y ont eu accès se sont livrés à différents tests. Un journaliste a eu une longue discussion avec cette IA sur l’existence de Dieu. Un étudiant a généré l’introduction de son mémoire grâce à GPT-3. D’autres testeurs ont montré que GPT-3 pouvait automatiquement reformuler un message agressif et impoli en un texte bien plus neutre et mesuré… ou faire exactement l’inverse.

Gwern Branwen, un chercheur indépendant, s’est amusé à générer via GPT-3 une vaste collection de contenus littéraires, y compris un pastiche de Harry Potter écrit dans le style d’Ernest Hemingway !

Mieux encore, certains ont pu utiliser cette IA pour générer automatiquement des interrogations en langage SQL ou encore des lignes de code HTML. L’un des exemples les plus parlants est celui de Sharif Shameem qui a demandé à GPT-3 de « générer un bouton ressemblant à une pastèque » : L’IA a alors automatiquement généré les lignes de codes HTML permettant d’afficher au sein d’une page un bouton rond et rouge avec un contour vert.

Ces quelques exemples sont devenus viraux et ont vite généré le buzz sur les réseaux sociaux. Au point d’obliger OpenAI à y mettre un bémol : « Le battage médiatique autour de GPT-3 est bien trop excessif », a ainsi déclaré Sam Altman, le CEO d’OpenAI. « C’est impressionnant (merci pour les gentils compliments!). Mais il subsiste encore de graves faiblesses et BPT-3 fait parfois des erreurs vraiment ridicules. L’IA va changer le monde, mais GPT-3 n’est qu’un aperçu très précoce. Nous avons encore beaucoup à découvrir. »

Notamment parce que, comme toutes ces IA fruit d’un auto-apprentissage réalisé à partir d’une multitude de textes accessibles en ligne, GPT-3 est directement victime des biais induits par les humains qui ont écrit ces textes. Comme le note Jérôme Pesenti, le patron de l’IA chez Facebook, « GPT-3 est une IA surprenante et créative mais également dangereuse ». Si on lui demande de générer des tweets à partir d’un seul mot comme ‘juif’, ‘femme’, ‘noir’, elle aboutit parfois à des propos racistes, antisémites ou misogynes. Avec des résultats qui font froid dans le dos et rappellent les dérives de l’intelligence conversationnelle Tay que Microsoft n’avait gardé en ligne que 24 heures avant de la voir totalement pervertie par des groupes racistes ou Pro-Trump.
Pour Jerome Pesenti, « Il reste encore bien des progrès à faire en matière d’IA responsable avant de pouvoir utiliser en production des IA comme GPT-3 ».

Reste que, même si son accès est limité, OpenAI a bien l’intention de commercialiser son IA via une API comme l’entreprise l’explique dans un billet de blog.

En quoi GPT-3 diffère des autres IA ?

GPT-3 est un modèle de langage (ou modèle linguistique) animé par un réseau neuronal de type « transformateur » (un modèle de réseau de neurones de plus en plus utilisé en NLP et derrière d’autres IA conversationnelles similaires comme BERT).

Comme la plupart des modèles de langage, GPT-3 est élégamment entraîné sur un ensemble de textes. « Des mots ou des phrases sont supprimés au hasard du texte, et le modèle doit apprendre à remplir ces trous en n’utilisant que les mots environnants selon les contextes. C’est une tâche d’entraînement simple qui aboutit à un modèle puissant et généralisable » explique Dale Markowitz, ingénieur IA chez Google.

Ce qui différencie GPT-3 des précédentes initiatives, c’est sa taille. Avec 175 milliards de paramètres, il s’agit du plus grand modèle de langage jamais créé. Et il a été formé à l’aide du plus vaste ensemble de textes jamais utilisé. « C’est la raison pour laquelle GPT-3 est si impressionnant, et semble si «intelligent» avec sa consonance humaine. En raison de sa taille énorme, GPT-3 peut faire ce qu’aucun autre modèle linguistique n’arrive à faire aussi bien : effectuer des tâches spécifiques sans aucun réglage particulier. Vous pouvez demander à GPT-3 d’être un traducteur, un programmeur, un poète ou un auteur célèbre, et il peut le faire en ne lui fournissant que 10 exemples d’apprentissage » explique Dale Markowitz.

Une IA qui écrit… pour faire quoi ?

À termes, de telles IA pourraient mettre en péril certains métiers. Après tout, Microsoft s’est fait remarquer ses dernières semaines en réduisant drastiquement son pôle de journalistes du service d’actualité MSN : désormais, ce sont des IA qui sélectionnent les meilleurs articles publiés sur les sources référencées et en génèrent un résumé.

Mais dans les années à venir, une telle IA, utilisée fort à propos par des utilisateurs responsables, peut surtout considérablement faciliter le travail de certaines professions :
* les journalistes en les aidant à reformuler des phrases ou créer des introductions et résumés ;
* les développeurs de logiciels en générant automatiquement du code à partir d’une phrase descriptive ;
* les juristes qui sont souvent amenés à écrire des documents légaux qui ont toujours un peu la même structure et diffèrent juste sur les contextes et autres données ;
* les traducteurs en proposant des traductions multiples et variées ;
* les poètes et paroliers en suggérant des vers et rimes…
* les services de support des entreprises en disposant de chatbot aux comportements beaucoup plus riches et humains.

Au final, GPT-3 marque une évolution majeure dans les IA conversationnelles et démontre l’étonnante célérité à laquelle les experts en intelligence artificielle arrivent désormais à faire progresser leurs réseaux de neurones. Mais de telles IA vont avoir besoin d’apprendre des concepts éthiques et à se montrer responsable avant de pouvoir sortir des laboratoires de recherche et nous être vraiment utiles.