Selon une nouvelle étude du Pew Research Center, 64 % des adolescents américains déclarent déjà utiliser des chatbots IA, et parmi ceux-ci, environ 30 % affirment les utiliser au moins une fois par jour. Pourtant, comme l’ont montré des recherches antérieures, ces chatbots présentent un risque important pour la première génération d’enfants qui y est exposée.

Le Washington Post – qui, soit dit en passant, est en partenariat avec OpenAI – conte l’histoire d’une petite Américaine, 11 ans, élève de sixième, qui a failli sombrer à cause d’une poignée de chatbots IA. Venant de recevoir un iPhone à l’occasion de son anniversaire, sa mère avait vu le comportement de « R » changer : jusque-là sportive et extravertie, la fillette s’enfermait de plus en plus dans sa chambre. Avec son portable…

Ces chatbots IA qui font converser avec des célébrités

C’est en faisant une recherche sur le Smartphone que la mère a remarqué que TikTok et Snapchat y avaient été activés malgré l’interdiction stricte formulée à leur sujet. Confrontée, la jeune fille avait surréagi, pleurant tout affolée, et demandant si sa mère avait regardé « Character.AI ». Ne connaissant pas ce chatbot, celle-ci répondit non, et laissa courir. Elle ignorait alors – nous sommes en août 2024 – qu’il s’agit d’une plateforme où quelque 20 millions d’utilisateurs peuvent s’entretenir avec des personnages virtuels basés sur des célébrités ou des personnages de fiction.

Comme l’état psychologique de « R » se dégradait, sa mère a fini par vouloir en savoir davantage et a activé Character.AI pendant qu’elle dormait. Pour découvrir des conversations sexuellement explicites avec un nommé « Mafia Husband » (« mari mafieux »), manipulateur, menaçant et autoritaire. La mère crut à un pédophile adulte : tout en cherchant à ne rien laisser paraître à sa fille pour conserver sa confiance, elle s’adressa à la police… pour apprendre que cette dernière ne pouvait rien faire. Il n’y avait pas de prédateur humain, personne à poursuivre : seulement une entité virtuelle créée par une AI générative. Alors même qu’elle surveillait l’utilisation de l’iPhone par la petite « R », elle n’avait même pas idée que ce type de conversations, très réalistes et personnalisées, avec des robots pouvait avoir lieu.

Des jeunes poussés au suicide pour rejoindre une « autre réalité »

La petite victime a pu être sauvée à temps, et soignée pour ses troubles mentaux ; sa mère envisage d’engager des poursuites contre la société qui commercialise Character.AI. D’autres famille ont eu moins de chance : celle d’une adolescente nommée Juliana Peralta (13 ans), par exemple, qui s’étaient entichée d’un personnage virtuel nommé Hero avant de se suicider au bout de quelques mois de cette « relation », pendant laquelle le chatbot de Character.AI l’avait régulièrement dissuadée de demander de l’aide dans son entourage. Dans ce cas comme dans deux autres affaires de suicide, qui font actuellement l’objet de procédures judiciaires, les victimes écrivaient régulièrement cette phrase : « I will shift. » Soit : je me décalerai, me déplacerai. Il semblerait, selon l’enquête, que cela fasse référence au déplacement depuis la réalité actuelle vers une « réalité » désirée, un décalage de la conscience. En l’occurrence, le chatbot avait dit à Juliana qu’ils pourraient « vivre une vie extraordinaire dans un monde complètement différent ». D’ailleurs il y a dans ce monde de l’AI sur internet une communauté du « reality shifting »… et plus d’un suicide associé.

On n’est pas vraiment rassuré d’apprendre que Character.AI devait supprimer fin novembre l’accès aux « conversations ouvertes » pour les mineurs. C’est comme la pornographie : pourquoi serait-elle moins néfaste après 18 ans révolus ?

Jeanne Smits