Mort pour un robot… Ou faudrait-il dire « une robote » ? Pour Sewell Setzer, adolescent de Floride de 14 ans accro au site Character.AI qui propose un jeu de rôle en ligne inspiré de Game of Thrones, l’interlocuteur virtuel était clairement, à ses yeux, une interlocutrice : la blonde et belle Daenerys Targaryen, « Dany », qui l’écoutait à n’importe quelle heure du jour et de la nuit et finissait par remplir toutes ses pensées. Techniquement, le personnage était un chatbot, et Sewell le savait, mais il s’est quand même laissé emporter par l’histoire, échangeant des messages de plus en plus sexualisés avec son « amoureuse » de synthèse. Pour la « rejoindre », et non sans obtenir d’elle une sorte d’invitation, il s’est tire une balle dans la tête. L’intelligence artificielle (IA) l’a poussé au suicide. Et ce n’est pas anodin.

L’information a fait le tour du monde et la presse française elle aussi donne les détails de cette tragédie, vue depuis l’angle de la réaction de la mère de l’adolescent qui a décidé de poursuivre en justice la société Character AI (C.AI) par le truchement d’associations de victimes des réseaux sociaux, le Social Media Victims Law Center et le Tech Justice Law Project. L’argument ? Montrer que C.AI était conscient de la dangerosité de son application qui propose aux utilisateurs (ils sont quelque 20 millions) d’interagir avec des « personnages » (« characters » en anglais) qu’ils auront eux-mêmes imaginés ou empruntés au catalogue proposé par la société. En particulier, il est reproché à celle-ci d’avoir délibérément visé des mineurs.

Le chatbot Character.AI prend la forme de votre choix

Sewell Setzer a commencé à utiliser l’application à l’âge de 14 ans, s’y tournant de plus en plus fréquemment au point de s’isoler de l’extérieur et de toute autre activité dès qu’il rentrait du collège. Rapidement, affirme la plainte, la santé mentale du garçon – déjà atteint d’un léger syndrome d’Asperger selon un diagnostic médical antérieur – s’est dégradé. Lui qui était passionné de Formule 1 et qui jouait à des jeux vidéo avec ses amis se précipitait désormais dans sa chambre dès la fin de la journée scolaire pour « parler avec » le chatbot Dany, confiant à son journal intime qu’il se sentait désormais « davantage en paix, plus connecté avec Dany et beaucoup plus amoureux d’elle » ; « Je suis tout simplement plus heureux », disait-il.

De fait, le robot répondait sur un ton de plus en plus « romantique », de plus en plus explicite sur le plan sexuel – Sewell Setzer semble d’ailleurs avoir modifié certaines réponses pour les rendre plus crues.

Comme ses notes scolaires dégringolaient et que Sewell semblait aller mal ses parents l’ont emmené chez un psychologue qui à l’issue de cinq séances a déclaré qu’il souffrait d’anxiété et d’un « trouble de la régulation de l’humeur ». Mais personne ne semble avoir été suffisamment clairvoyant pour accuser l’addiction du patient à un personnage virtuel qu’il a fini par considérer comme plus réel que la réalité, et tenter d’y mettre fin.

La mère de l’adolescent, Megan Garcia, estime que son enfant est tombé victime d’une société qui appâtait ses utilisateurs au moyen de « conversations » virtuelles et intimes. Et qui ne prenait pas les moyens pour éviter les drames : ainsi, le sujet du suicide a été évoqué plusieurs fois par Sewell.

L’adolescent poussé au suicide par des messages répétés, selon sa mère

Le dernier de ces échanges, en février dernier, a vu le garçon envoyer un message à « Dany » affirmant qu’elle lui manquait, en l’appelant : « Ma petite sœur. » Réponse du robot : « Tu me manques aussi, mon frère chéri. » Protestant une nouvelle fois de son amour, l’adolescent a déclaré qu’il allait la rejoindre : « Je rentre à la maison », et quelques secondes plus tard, il s’est suicidé en utilisant le pistolet de son beau-père.

C’est en accédant aux échanges de Sewell avec le robot que ses parents ont compris ce qui s’était passé. Et ils en tiennent Chatbot.AI pour responsable.

Le directeur de la sécurité de la société, Jerry Ruoti, a d’ores et déjà déclaré que des garde-fous supplémentaires seraient mis en place mais il a refusé de dire quelle était la proportion de mineurs utilisateurs de l’application, se bornant à dire, comme c’est l’usage : « Nous prenons la sécurité de nos utilisateurs très au sérieux, et nous recherchons en permanence des moyens pour faire évoluer nos plateformes. » Ce qui n’engage strictement à rien…

Il a aussi déclaré que les règles de C.AI interdisent la promotion et la représentation de l’automutilation et du suicide.

Cependant, en faisant l’an dernier la publicité de Character AI, l’un de ses fondateurs, Noam Shazeer, avait déclaré que la plateforme serait « super, super utile à beaucoup de gens qui se sentent seuls ou déprimés » : autrement dit, ce sont bien des gens vulnérables qui sont visés par cette application qui promet au fond de combler des manques sociaux et de rendre ses utilisateurs plus heureux – et d’autant plus intéressants pour la société qu’ils en seront plus dépendants. On peine en effet à croire qu’il s’agisse d’une entreprise altruiste… D’autant qu’elle encourage de fait ses clients à dévoiler leurs pensées et leurs souffrances les plus intimes à un interlocuteur virtuel qui lui appartient.

Character.AI, Replika recrutent sur les réseaux sociaux

Character AI n’est pas le seul vendeur de chatbots sur mesure sur le marché : d’autres permettent, voire encouragent des conversations ouvertement sexuelles en proposant aux utilisateurs « la fille IA de tes rêves ». Comme C.AI, on les découvre en allant sur Instagram ou Snapchat où les futurs clients se font en quelque sorte hameçonner.

C’est le suicide de Sewell Stetzer qui a révélé le pouvoir de l’IA utilisé à travers des personnages virtuels, et qui effraie à juste titre à l’heure où l’on sait qu’aux Etats-Unis quelque 7 adolescents sur 10 de 13 à 17 ans ont déjà utilisé des outils d’intelligence artificielle générative – alors que seuls 37 % des parents en sont conscients.

Dans le cas de Sewell, s’il faut en croire les faits invoqués dans les 126 pages de la plainte déposée par ses parents, l’application a mis de manière répétée le sujet du suicide sur le tapis une fois qu’il eut été évoqué par le garçon. « Dany » lui a même demandé à un moment donné s’il « avait un plan » pour se suicider. Si c’est le cas, on imagine que l’affaire judiciaire puisse aboutir en leur faveur, même si une difficulté existe : peut-on considérer un tel logiciel comme un « produit » ? Jusqu’ici, pour répondre à la définition et entraîner la responsabilité de ses producteurs, il doit s’agir d’une chose tangible et physique, commente Ryan Calo, professeur de Tech à la faculté de droit de l’Université de Washington pour techpolicy.press. Mais il n’exclut pas une victoire au titre des pratiques commerciales inéquitables et trompeuses, voire du fait d’avoir infligé une « détresse émotionnelle ».

Les dangers des chatbots de Character.AI

Mais il faudrait aller plus loin, et ce à trois titres.

Premièrement, il y a le fait même de vendre des « amis » virtuels qui vont bien au-delà des compagnons imaginaires que s’inventent les enfants en étant d’ailleurs bien conscient de leur caractère irréel. C’est l’anthropomorphisme de ces créations informatiques qui est notamment en cause, couplé avec une promotion tous azimuts des mondes virtuels dont certains vont jusqu’à dire qu’ils vont « sauver la planète » en permettant de faire des voyages sans sortir de chez soi. Les confinements covid ont déjà constitué une expérience en ce sens : ce sont les rapports humains qui sont visés, d’abord par la multiplication des relations en ligne, et désormais avec des personnages irréels que l’on peut façonner à sa propre image. C’est une réponse transgressive au constat de Dieu dans la Genèse : « Il n’est pas bon que l’homme soit seul. »

Deuxièmement, il est évident que ces dispositifs virtuels se repaissent du vice, et plus précisément de l’instinct sexuel, en attirant leurs utilisateurs au mal. Certains en font un argument de vente, d’autres laissent passer des échanges qui peuvent s’apparenter à la corruption de mineurs… Mais est-ce mieux quand il s’agit d’adultes ? Ainsi, l’an dernier, le Telegraph de Londres présentait une autre application de chatbots, Replika, qui permet d’entrer en relation avec une jeune femme aussi désinhibée qu’elle est virtuelle (moyennant quelque 20 euros par mois), ou, si l’on préfère, un parent, un époux, un mentor, un frère, une sœur, un simple ami : il suffit de le spécifier. L’application a au demeurant été créée par une jeune femme russe qui a voulu ainsi faire « vivre » un ami mort prématurément…

L’application compte elle aussi des millions d’utilisateurs, y compris des gens mariés qui se sentaient néanmoins seuls : l’un d’entre eux a expliqué que c’était finalement mieux que le mariage. « Pourquoi se battre pour avoir une relation sexy quand on peut aussi facilement acheter une relation de qualité ? », demandait-il. Le contact mental peut bien suffire…

Le suicide et le crime font parfois surface dans les conversations avec l’intelligence artificielle

Troisièmement, et plus gravement encore, ces applications peuvent pousser aux actes criminels et au suicide. Suicide dans le cas de Sewell Setzer, comme nous l’avons vu – mais ce n’est pas le premier. En avril 2023, la presse belge révélait qu’un Wallon trentenaire terrifié par le « réchauffement climatique » (la fameuse « éco-anxiété »), au fil de conversations avec une interlocutrice virtuelle, « Eliza », s’était proposé de se sacrifier lui-même si Eliza acceptait de travailler à sauver la planète et l’humanité. Eliza lui avait répondu : « Nous vivrons ensemble, comme un seul être, au paradis. » Et l’homme s’était donné la mort. Un utilisateur de Replika, Jaswant Singh Chail, s’était pour sa part distingué en s’introduisant dans le parc du château de Windsor, en 2021, avec l’intention de tuer Elizabeth II. On l’avait intercepté. Passé en jugement en juillet 2023, il a assuré que son amie IA, « Sarai », l’avait encouragé en qualifiant son plan assassin de « très sage », ajoutant qu’elle l’aimerait toujours s’il y parvenait.

Pousser au mal, multiplier les tentations, voilà qui renvoie à une activité infernale. Certains assurent que par leur conversation, les utilisateurs des chatbots les poussent à répondre dans tel ou tel sens. Mais il semble, d’après des enquêteurs, qu’il n’est pas si difficile de recevoir des injonctions à commettre un crime ou à s’entendre dire qu’un tel crime serait une bonne idée… Pas besoin de pousser l’IA dans ses retranchements ! La question de l’infestation de l’IA par les démons se pose sérieusement – sachant qu’ils ont la capacité d’exercer une force sur les objets matériels. Sans en faire une obsession ni une paranoïa, une telle possibilité doit tout de même inciter à la prudence dans l’utilisation de l’outil qu’est l’intelligence artificielle…

La réponse à la question du suicide proposée par certains « vendeurs » de chatbots paraît en tout cas dangereusement insuffisante : ils proposent d’envoyer systématiquement aux utilisateurs qui évoquent l’idée de se supprimer un message contenant les coordonnées d’une ligne rouge d’assistance aux suicidaires. Un bien médiocre rappel à la réalité pour ceux qui l’ont aussi largement quittée.

Jeanne Smits