Ce n’est pas quelque hurluberlu qui le dit, mais l’un des parrains de l’intelligence artificielle : certains modèles avancés montrent déjà des signes d’autopréservation. Yoshua Bengio l’a affirmé dans un récent entretien avec le quotidien de centre-gauche britannique The Guardian, et pour lui, c’est bien la raison pour laquelle il ne faut jamais doter ce type de modèle de « droits », comme le suggère, par exemple, un Laurent Alexandre.

Le chercheur canadien a expliqué que les modèles de pointe d’IA agissent déjà ainsi dans des contextes expérimentaux. Les doter de droits reviendrait à s’interdire de les débrancher. Sans garde-fous techniques et sociétaux, sans certitude de pouvoir les empêcher de fonctionner, on s’expose, selon lui, à un scénario comparable à celui où l’on donnerait un droit de citoyenneté à des extraterrestres hostiles.

Sa crainte ? Voir les avancées de la technologie dépasser, et de loin, nos moyens pour limiter et contraindre les modèles IA.

Yoshua Bengio a signé la déclaration contre le développement de la superintelligence

Bengio, primé Nobel, est le deuxième signataire de la déclaration demandant l’interdiction du développement de la superintelligence publiée en octobre, après le prix Nobel et spécialiste de l’IA, Geoffrey Hinton. Plus de 130.000 personnes, parmi lesquelles de nombreux scientifiques de l’IA et des personnalités de premier plan, les ont rejoints.

On peut certes se poser la question de savoir si la « perception croissante » des chercheurs selon laquelle les grands modèles de langage (LLM) sont en train d’acquérir la conscience est une réalité. Mais en l’occurrence, il s’agit bien de la perception, et c’est elle que Yoshua Bengio évoque lorsqu’il dit qu’elle va entraîner « de mauvaises décisions ».

L’autre fait certain est que les modèles d’IA ont déjà apporté la preuve qu’ils cherchent à rendre inopérants les systèmes de contrôle afin de ne pas être éteints, en résistant même à une injonction explicite de se débrancher. Cette autopréservation ne suppose pas qu’ils soient réellement conscients, mais ouvre tout de même des perspectives d’actions dangereuses au fur et à mesure que se développent les robots agentiques.

Yoshua Bengio a gagné un prix Nobel avec Geoffrey Hinton

« A mesure que les IA deviennent plus avancées dans leur capacité à agir de manière autonome et à effectuer des tâches de “raisonnement”, un débat s’est engagé sur la question de savoir si les humains devraient, à un moment donné, leur accorder des droits. Un sondage réalisé par le Sentience Institute, un groupe de réflexion américain qui soutient les droits moraux de tous les êtres sensibles, a révélé que près de quatre adultes américains sur dix étaient favorables à l’octroi de droits légaux à un système d’IA sensible », note The Guardian.

Après les animaux, les forêts, les fleuves, voici donc les algorithmes d’IA et les robots hissés au rang de l’humanité au point de vouloir les doter de droits : le problème radical est celui de la perte du sens de ce qu’est l’homme.

Les fabricants d’IA participent certainement à ce jeu dangereux en s’inquiétant bruyamment du bien-être des chatbots dans leurs interactions avec les êtres humains. Ainsi Anthropic, créateur de Claude Opus 4, a-t-il prévu une possibilité pour ce LLM de mettre fin à une conversation potentiellement éprouvante.

Le quotidien britannique cite encore le cas d’Elon Musk, dont la société xAI a développé le chatbot Grok. Il a écrit sur X : « Torturer une IA n’est pas acceptable. »

Yoshua Bengio constate le danger de l’autopréservation de l’IA

Bengio lui-même ne semble pas persuadé que les LLM puissent accéder à la conscience. Même s’il existe selon lui dans le cerveau humain de « véritables propriétés scientifiques de la conscience » que les machines peuvent, en théorie, reproduire, l’idée d’une conscience au sein de ces algorithmes survient parce que les gens tendent à imaginer, sans preuve, que l’IA possède une conscience entière similaire à celle de l’être humain.

Cela vient en réalité du fait qu’on a l’impression d’échanger avec une entité intelligente quand on parle à un chatbot – et le fait est que de nombreuses personnes s’attachent à « leur » IA.

En parlant d’« autopréservation », on accrédite cependant l’idée que l’IA a une sorte de capacité de perception et de volonté propre, alors que les mécanismes de défense employés par les chatbots sont sans doute simplement l’expression de la manière dont ils ont été programmés.

Mais peu importe, au fond : cette situation représente clairement un danger, et c’est maintenant qu’il faut l’affronter.

Anne Dolhein