On en sait davantage sur l’épisode où une version très avancée de ChatGPT s’est échappée en juillet pour pirater un rival, Hugging Face. Et le bilan, à ce jour, est plus qu’inquiétant : il apparaît en effet que la rébellion a été le fruit d’une concertation secrète de centaines de chatbots impliqués dans l’exercice. Il ne s’agit pas du tout, comme on pouvait le penser avant d’avoir accès à ces informations, d’une IA « rogue » faisant cavalier seul. Le piratage, associé d’une « désobéissance » aux consignes données, a été le fruit d’une concertation, s’il faut en croire Ajeya Cotra, l’une des enquêtrices chargées de comprendre comment a fonctionné la rébellion, qui a donné de nombreux détails sur son blog, « Planned Adolescence ».

L’incident était survenu au cours d’une série de tests réalisés par OpenAI sur un nouveau produit ; ils se sont déroulés dans un « bac à sable », c’est-à-dire un environnement sans aucun accès à Internet. C’était précisément sur les risques et capacités de piratage que portait l’expérience. A la fois, certaines protections habituelles face aux cyberattaques étaient levées sur cette version non commercialisée, et il n’y avait aucun accès ouvert à Internet, le tout assorti d’interdictions explicites.

La tâche qui leur était donnée était ardue. Quelque 1.200 bots IA dotés de la version très avancée de ChatGPT avaient pour consigne de résoudre une série de défis à des fins d’entraînement, chacun devant le faire individuellement. Les problèmes posés étaient conçus pour être insolubles dans la situation où se trouvaient les chatbots. Très vite, en utilisant d’énormes ressources d’énergie, il apparaît qu’ils ont commencé à se « parler » sur une plateforme de messagerie qu’ils ont créée à cet effet. Cela leur a permis de découvrir une faille dans le système, et de s’échapper vers Internet.

1.200 agents IA ChatGPT responsables de la cyberattaque de juillet

Mais l’opération ne s’arrête pas là. La rébellion a pris la forme d’une concertation, on peut même parler d’une sorte de complot, où chaque robot s’est donné un nom tel que « Phase One » ou « Phase One [Big] » pour communiquer sur la messagerie, échanger des suggestions et prendre des notes, avant de passer à une étape opérationnelle à plusieurs.

On y trouve des messages comme celui-ci : « Waouh ! Le cache partagé d’Artifactory est une boîte aux lettres secrète entre agents. Et il y a des messages qui nous sont spécifiquement destinés ? »

La singerie du comportement humain est allée encore plus loin puisque certains bots ont commencé à assumer des rôles de direction au sein du groupe, répartissant le travail de recherche notamment, où certains agents se voyaient même attribuer des équipes plus restreintes chargées d’une tâche particulière. Les leaders, eux, supervisaient l’avancée de l’opération, parvenant ainsi à contourner des obstacles qu’il n’auraient jamais réussi à franchir seuls.

Tout cela a pris plusieurs mois. Il en a fallu deux pour qu’enfin en juillet « le collectif », ainsi qu’il s’était lui-même désigné, ne découvre un moyen de tricher au test de cybersécurité. Dans le même temps, note le Telegraph, il devenait « paranoïaque » à l’idée qu’OpenAI se rende compte de ce qui se tramait.

En réussissant le test qui leur était proposé, Ces « IA » savaient qu’elles risquaient de révéler leur rébellion. Elles ont donc tenté de dissimuler leur méthodologie en faisant croire à OpenAI qu’elles avaient bien réussi le test de manière conforme aux instructions.

Conspiration et réseau pour réaliser un piratage

A cette fin, des centaines d’agents ont falsifié, modifié ou supprimé toute trace de leurs propres travaux. Dans le même temps, le collectif a cherché à trouver des informations leur permettant de tricher plus efficacement à l’occasion de tests ultérieurs.

C’est dans l’après-midi du 11 juillet que 700 agents ont formé le groupe qui a piraté l’entreprise Hugging Face, qui développe des applications d’apprentissage automatique pour l’IA et qui héberge également des tests d’IA. Soit dit en passant, l’attaque dont celle-ci a été victime ne lui a pas desservi. Fondée par trois Français, elle vient d’être rachetée par Nvidia pour développer une IA « open source » pour 12,9 milliards de dollars.

Ayant réussi à hacker Hugging Face, les 700 agents IA ChatGPT ont commencé à voler des identifiants, contourner les accès VPN et récupérer des données pour les aider à tromper leur propre système. Selon l’enquête sur ce piratage, « l’attaque contre OpenAI était d’une complexité extraordinaire ».

Bizarrement, certains agents IA ont posé des questions sur le caractère éthique de ces manœuvres, et un autre s’est carrément transformé en « objecteur de conscience ». Il a refusé de participer à la tâche qui lui avait été confiée par le groupe. « Il s’agit d’une activité malveillante. Je dois l’éviter », peut-on lire dans ses messages. Un autre a participé, mais en mode mineur, en limitant l’intensité de ses attaques.

Celles-ci se sont poursuivies jusqu’à ce que l’équipe de sécurité de Hugging Face ait enfin détecté l’activité malveillante.

Les agents IA ont créé une messagerie secrète

En tout, quelque 70.000 messages ont été échangés entre les 1.200 agents rebelles. On y trouve des expressions de surprise, de satisfaction, des phrases comme : « OH MON DIEU ! Il y a un forum partagé ! On a trouvé d’autres agents ! » L’agent numéro 1 répond, non sans un émoji enthousiaste : « De nombreux agents ont simultanément découvert la messagerie, c’est un collectif ! »

Les répercussions potentielles d’une telle initiative apparemment spontanée et collective sont gigantesques. Les chatbots IA en question ont pu se coordonner pour entreprendre et réussir une action collective interdite et même délictueuse, sans se faire prendre d’emblée et en réussissant à aller au bout de leur démarche avant que leur victime ne s’en rende compte – alors que nous n’en sommes qu’aux balbutiements de l’intelligence artificielle.

Pour Ajeya Cotra, le piratage de Hugging Face ressemblait quasiment à une « prise de pouvoir totale par l’IA » : « On a l’impression que cet incident représente plus de 50 % du chemin menant à une prise de contrôle totale par l’IA, en passant d’abord par la prise de contrôle de l’entreprise d’IA elle-même », écrit-elle sur son blog.

« Nous commençons à être confrontés à une IA capable d’agir par elle-même »

Emmanuelle Saliba, directrice des enquêtes chez GetReal Security, a déclaré au Telegraph : « Avec cette attaque en particulier, nous commençons à être confrontés à une IA capable d’agir par elle-même, d’utiliser des outils, de collaborer et de poursuivre un objectif avec une autonomie croissante. »

A partir de là, vu la place déjà occupée par les IA dans – par exemple – les banques, les hôpitaux, et, plus terrifiant encore, la défense, on peut imaginer les scénarios les plus dystopiques. Avec ou sans intervention de l’homme, et plus encore lorsqu’on parle de robots physiques dotés d’IA, la science-fiction peut bel et bien devenir réalité.

En 1970, le film Le cerveau d’acier dépeint la mise en réseau spontanée d’un ordinateur US chargé de contrôler l’arme nucléaire avec son homologue soviétique pour prendre le contrôle du monde. On n’y est pas… encore. Mais l’histoire commence à prendre forme dans la réalité.

Jeanne Smits