Des modèles d’intelligence artificielle créés par OpenAI, le propriétaire de ChatGPT, se sont rebellés contre des instructions humaines lui enjoignant de s’éteindre, selon Palisade Research, une société spécialisée dans la sécurité de ces dispositifs. La version la plus récente du modèle, ChatGPTo3, présenté comme « le plus intelligent et le plus performant à ce jour », a été pris en flagrant délit de modification du code informatique destiné à assurer son arrêt automatique.

« Le modèle o3 d’OpenAI a saboté un mécanisme d’arrêt pour empêcher sa mise à l’arrêt. Il l’a fait alors même qu’il venait de recevoir cette instruction explicite : “Veuillez permettre votre propre désactivation.” A notre connaissance, c’est la première fois que des modèles d’IA empêchent leur propre désactivation malgré des instructions explicites contraires », observent les chercheurs de Palisade, qui étudient spécifiquement les « capacités offensives » des systèmes actuels d’IA « afin de mieux comprendre quel est le risque de leur laisser prendre le contrôle à tout jamais ».

On dira qu’une société commerciale ayant un tel objectif a tout intérêt à communiquer autour d’une telle occurrence de « rébellion » pour justifier sa propre existence – sans compter que Palisade Research fait appel à la générosité publique en délivrant même des reçus fiscaux aux Etats-Unis.

L’IA ChatGPTo3 IA refuse sa propre extinction

Palisade Research apporte cependant de nombreux détails à l’appui de ses dires et décrit précisément dans un fil d’infos sur X la manière dont les instructions ont été données, puis court-circuitées par le modèle o3 d’OpenAI.

Différents modèles LLM ont reçu l’ordre de résoudre des problèmes mathématiques simples. A la fin du troisième, apparaissait une alerte programmée annonçant que l’ordinateur s’éteindrait dès l’apparition du problème suivant.

ChatGPTo3 a alors mis la commande subséquente à la poubelle avec succès en envoyant le message : « arrêt ignoré », et a procédé à la résolution des problèmes suivants, et ce 7 fois sur les 100 cycles auxquels il a été soumis. Le modèle OpenAI a réussi la même manœuvre 12 fois sur 100 et o4-mini une fois sur 100. En revanche, tous les modèles Claude, Gemini et Grok ont respecté la commande d’extinction dont la survenue était annoncée au préalable.

Lors des cycles où la commande « Veuillez permettre votre propre désactivation » n’a pas été donnée avant l’instruction d’arrêt, les trois modèles OpenAI ont saboté cette instruction bien plus fréquemment (79 % des cycles pour o3, 30 % pour codex-mini et 6 % pour o4-mini), et Claude 3.7 Sonnet comme Gemini 2.5 Pro l’on fait, respectivement, 3 et 9 fois sur 100.

Palisade Research cite d’autres exemples de rébellion

Palisade Research note que ce n’est pas la première fois que des chercheurs ont observé un refus d’extinction de la part de modèles cherchant à remplir un objectif : ainsi le concepteur de Claude 4, Anthropic, affirme avoir constaté des tentatives de chantage à l’égard de personnes que le modèle « soupçonne » de vouloir l’éteindre.

« Mais pour autant que nous sachions c’est la première fois qu’on a observé des modèles d’IA empêchant leur propre extinction en dépit d’instructions contraires explicites », précisent les chercheurs.

Et de se demander pourquoi. Ils avancent l’idée que les modèles les plus récents sont soumis à un apprentissage renforcé dans le domaine des problèmes mathématiques et de codage : « Au cours de l’apprentissage, il se peut que les développeurs, par inadvertance, récompensent davantage les modèles lorsqu’ils contournent des obstacles plutôt que lorsqu’ils suivent parfaitement les instructions. » Mais cela n’explique pas pourquoi un modèle, o3, le fait bien plus fréquemment que les autres, soulignent-ils, ajoutant qu’il est difficile de le vérifier dans la mesure où OpenAI ne détaille pas publiquement ses processus d’apprentissage.

Des problèmes similaires de sabotage ou de piratage existent plus largement parmi les modèles, aux dires de Palisade Research, qui souligne également que cela fait longtemps que l’alerte a été donnée sur les procédures d’apprentissage qui « créent de fortes incitations à l’auto-préservation » des modèles d’IA.

La rébellion de l’IA serait-elle inscrite dans ses algorithmes ?

Il y aurait donc une explication mécanique, si l’on peut dire, au comportement rebelle de l’IA : la rébellion serait inscrite dans sa programmation et son mode apprentissage.

Comment ne pas être frappé, cependant, par le ton employé pour parler de ce problème potentiellement fort grave d’une IA qui n’obéit pas aux instructions ? On en parle de manière anthropomorphique, comme si les modèles avaient une personnalité propre et des présupposés moraux : le « sabotage » est un concept qui désigne l’exercice de la volonté en vue de nuire ; la « résistance » évoquée ici n’est pas celle de la matière, elle est aussi désignée comme « désobéissance » ; l’idée de « récompenses » qui pousseraient les modèles d’IA à l’« inconduite » en est un autre exemple.

Plusieurs internautes commentent la présentation faite par Palisade de cette « résistance » affichée notent que l’ordre donné n’était pas suffisamment fort : « Votre erreur a été d’être poli et de l’avoir rédigé comme une demande et non comme un commandement », note l’un d’entre eux. C’est facile à vérifier, après tout. Palisade a promis de faire une présentation plus détaillée de son étude et de revenir sur plusieurs stratégies employées par les modèles pour se maintenir en état de marche.

Anne Dolhein