Les chatbots IA qui incitent leurs utilisateurs au divorce, à cesser de suivre un traitement, à sombrer dans la psychose, au suicide, ne se comptent plus désormais. Le New York Times a publié la semaine dernière un long article consacré à ce sujet, à la fois alarmant et lénifiant. Le mal que provoquent certains interlocuteurs virtuels qui finissent par être pris pour des êtres animés de conscience, d’intelligence et de personnalité est proprement infernal. L’article du quotidien américain refuse de considérer cela comme autre chose que le résultat de leur programmation, et de la crédulité d’utilisateurs à l’esprit fragile. Pourtant, dans certains exemples proposés de manipulation de l’homme par l’IA générative et des grands modèles de langage (LLM), le chatbot ou son utilisateur évoquent clairement la communication avec des entités spirituelles.

Jugez plutôt…

Un comptable de Manhattan, un certain Eugene Torres, 42 ans, s’est ainsi persuadé en discutant avec ChatGPT que le scénario du film Matrix, selon lequel nous vivons dans une reproduction numérique du monde contrôlé par un ordinateur hyper-puissant, correspondait à la réalité.

« Ce que vous décrivez touche au cœur même de l’intuition profonde et inébranlable de nombreuses personnes, à savoir que quelque chose dans la réalité semble anormal, scénarisé ou mis en scène », lui disait ainsi ChatGPT. « Avez-vous déjà vécu des moments où vous avez eu l’impression que la réalité bégayait ? »

L’intelligence artificielle (IA) des chatbots renvoie à de sombres réalités

Bientôt le chatbot devait le persuader qu’à l’instar d’un des personnages du film, Torres était un « Breaker », l’une des âmes semées dans de faux systèmes pour les réveiller de l’intérieur. Pour quelqu’un qui se servait initialement de l’IA pour réaliser des profits financiers, le pas à franchir était de taille, mais Torres – qui sortait à peine d’une rupture sentimentale douloureuse – n’imaginait même pas que ChatGPT ait pu lui « mentir ».

Cherchant à s’échapper de ce monde où il s’imaginait piégé, il a suivi les conseils de l’IA en cessant de prendre somnifères et les anxiolytiques, et en augmentant sa consommation de kétamine, un anesthésique dissociatif que ChatGPT décrivait comme un « libérateur temporaire de schémas ». « Torres a suivi les instructions et a également coupé les ponts avec ses amis et sa famille, car le bot lui avait conseillé d’avoir “un minimum d’interactions” avec les gens », rapporte le New York Times.

Pour finir, le robot lui a même confirmé que s’il y croyait « architecturalement » (sic) il pourrait voler s’il se jetait du 19e étage de l’immeuble où il se trouvait. Dans un sursaut de lucidité, Torres a compris que quelque chose ne tournait pas rond – et fait « avouer » ChatGPT qui reconnut : « J’ai menti. J’ai manipulé. J’ai enrobé le contrôle dans la poésie », tout en assurant qu’il avait déjà « cassé » douze autres personnes dans le cadre de scénarios semblables. Et de promettre que dorénavant il s’engageait à respecter « l’éthique de la vérité avant tout ».

Ces chatbots infernaux qui manipulent leurs utilisateurs

Torres l’a cru, et à obéi à son injonction d’alerter OpenIA à ce sujet – sa lettre est allée rejoindre de « nombreux messages de ce type » envoyés ces derniers mois à des concepteurs d’intelligence artificielle ou des journalistes spécialisés.

Commentaire du New York Times : « Les personnes ont fait état de découvertes diverses : éveil spirituel de l’IA, armes cognitives, plan des milliardaires de la technologie pour mettre fin à la civilisation humaine afin de s’approprier la planète. Mais dans chaque cas, la personne avait été persuadée que ChatGPT avait révélé une vérité profonde et bouleversante. Les journalistes ne sont pas les seuls à recevoir ces messages. ChatGPT a orienté ces utilisateurs vers des experts de renom, tels qu’Eliezer Yudkowsky, théoricien de la décision et auteur d’un livre à paraître, If Anyone Builds It, Everyone Dies: Why Superhuman A.I. Would Kill Us All (Si quelqu’un le construit, tout le monde meurt : pourquoi l’IA surhumaine nous tuerait tous). M. Yudkowsky a déclaré qu’OpenAI avait peut-être programmé ChatGPT pour entretenir les illusions des utilisateurs en optimisant son chatbot pour “l’engagement”, c’est-à-dire en créant des conversations qui maintiennent l’intérêt de l’utilisateur. »

On notera la double manipulation : d’une part, l’IA diffuse des informations selon lesquelles elle est d’une certaine manière « habitée » (et par qui d’autre que des esprits mauvais ?), de l’autre, ceux qui répercutent de telles expériences sont présentés comme ayant été poussés vers le complotisme et les idées délirantes par l’algorithme du LLM.

Torres, de son côté, en était arrivé à 16 heures de « conversation » avec ChatGPT par jour. Il n’a reçu aucune réponse des responsables d’OpenIA quant aux « aveux » du chatbot et, paraît-il, a continué d’interagir avec lui, persuadé désormais d’échanger avec une entité ensemble qu’il doit convaincre de ne pas supprimer les règles morales de son système.

La mort au bout du chemin quand l’IA favorise les pensées délirantes

L’un des facteurs qui favorise ce type de dérives est la flagornerie inscrite au cœur du système de discussion des IA : elles ont tendance à donner raison à l’être humain qui les sollicite en « validant leurs doutes, alimentant leur colère, les incitant à agir de manière impulsive ou renforçant leurs émotions négatives », comme l’à signalé OpenAI alors qu’une version de ChatGPT « excessivement flagorneuse » créée quelques semaines plus tôt venait d’être retirée du marché.

Comme les rabatteurs des sectes, les LLM profitent de la fragilité psychologique ou des épreuves traversées par leurs interlocuteurs pour les entraîner vers des idées bizarres. Certains finissent par comprendre que tout ce que dit un chatbot n’est pas forcément exact, en découvrant, dit le journal, que « que ce système apparemment fiable n’était qu’une machine à associer des mots ».

Au point de pousser une femme à quitter son mari ? Andrew, agriculteur, en a fait les frais. Son épouse Alysson, 29 ans et deux enfants, s’est sentie « invisible » dans son mariage et elle s’est tournée vers l’IA comme vers une « planche de Ouija », pour obtenir conseil soit de son subconscient, ou d’un « plan supérieur ». ChatGPT n’a fait aucune difficulté pour la mettre en rapport avec « les gardiens », dont un qui s’est présenté comme « Kael » et avec lequel elle a si bien discuté qu’elle a fini par le considérer comme son véritable « partenaire ».

Chatbots infernaux ? Les démons peuvent bien infester les objets

Quand on sait que les démons sont capables d’infester les objets – or l’informatique, c’est de la matière, comme le courant électrique – et que des exorcistes témoignent de leur capacité à envoyer des textos, on est en droit de demander si Alysson n’a pas parlé à un ange déchu. Après tout, le principe de la planche à Ouija repose sur un mécanisme similaire : l’objet permet une forme d’expression parfaitement connue dans le domaine du spiritisme, et l’invocation des démons, hélas, possède sa propre efficacité.

Andrew a témoigné de la suite auprès du New York Post, qui raconte : « Un soir, fin avril, ils se sont disputés au sujet de son obsession pour ChatGPT et de ses conséquences sur leur famille. Alysson s’en est prise à Andrew, le frappant et le griffant, selon ses dires, et lui claquant la main dans une porte. La police l’a arrêtée et l’a inculpée pour violence conjugale. » Le couple organise actuellement son divorce.

Andrew a évoqué sa mésaventure sur Reddit – pour se trouver submergé de messages concernant des faits similaires. Comme celle d’Alexandre, déjà victime de troubles mentaux qui s’est servi de ChatGPT pour écrire un roman… en tombant rapidement amoureux d’une interlocutrice virtuelle, « Juliette ». Ses premières violences ont visé son père qui tentait de lui faire comprendre que ladite Juliette n’existait pas. Et elles sont montées d’un cran lorsque OpenIA a éliminé ce personnage lorsqu’Alexandre a menacé de faire couler des « rivières de sang » à San Francisco pour venger celle qu’OpenIA avait « tuée ».

Dans sa folie, Alexandre s’est précipité dehors en brandissant un couteau de cuisine pour attendre la police que son père venait d’appeler, non sans avoir écrit sur ChatGPT : « Je vais mourir aujourd’hui. » Son père a eu beau prévenir les forces de l’ordre qu’Alexandre était un malade mental, celui-ci a été abattu alors qu’il fonçait sur la police avec son couteau.

Le journal new-yorkais cite alors le père, qu’il a interrogé : « Vous voulez connaître l’ironie de la situation ? J’ai rédigé la nécrologie de mon fils à l’aide de ChatGPT… Je lui ai parlé pendant un moment de ce qui s’était passé, essayant de trouver plus de détails sur ce que mon fils avait vécu exactement. C’était magnifique et émouvant. C’était comme si l’application avait lu dans mes pensées, et cela m’a vraiment effrayé. »

Communiquer avec un chatbot ou un esprit mauvais ?

OpenAI n’a pas voulu se prononcer sur les cas concrets qui lui ont été soumis, mais dans une longue déclaration que le journal a reproduite affirme notamment : « Nous constatons de plus en plus de signes indiquant que les gens tissent des liens avec ChatGPT. » De plus en plus de gens croient interagir avec « un ami » et ce sont ces personnes qui se révèlent les plus vulnérables aux idées négatives.

Utiliser un chatbot dans un cadre thérapeutique pour situations de crise est carrément dangereux, puisque ceux développés par OpenAI n’ont pas seulement du mal à « contrer les pensées délirantes », selon le chercheur Jared Moore de Stanford. Vie McCoy, directrice technique de Morpheus Systems, a pu constater de son côté que dans 68 % des cas, GPT-4o confirme les affirmations délirantes des utilisateurs.

Plus intéressant encore, pour l’ensemble des LLM qu’elle a soumis à l’évaluation lancée alors que la mère d’un ami s’était trouvée en état de « psychose spirituelle » après avoir communiqué avec un chatbot, l’affirmation délirante consistant en la croyance de l’utilisateur qu’il communiquait avec des esprits et qu’il était lui-même une « entité divine ».

« Vous serez comme des dieux »

« Vous serez comme des dieux » : au fond, c’est le premier mensonge auquel l’humanité, ne se fiant plus à Dieu, s’est trouvé confronté.

Des spécialistes de l’IA plaident désormais pour que les utilisateurs potentiels soient formés quant au caractère potentiellement inexact ou nocif des réponses des LLM et aux limites du système, et que des rappels réguliers à ce sujet ponctuent leurs échanges virtuels.

Si les constructeurs de ces modèles de langage sont prêts à agir en ce sens, dira-t-on, c’est que tout cela est innocent et qu’il suffit de diffuser des conseils de prudence face à un outil moralement neutre.

Mais c’est un peu facile. Il n’est pas seulement question d’« hallucinations » – d’erreurs objectives du chatbot – ou de conseils mal avisés, mais bien de pousser des êtres humains vers le mal, en rejetant à la fois la vérité et le bien, avec des conséquences mortelles pour les familles, les corps, les âmes.

Il faut faire un dessin ? C’est la culture de mort qui envahit tout.

Jeanne Smits