C’est un fait avéré, l’IA a conquis la plupart de nos systèmes de surveillance, elle surveille les routes, les achats au supermarché ou les toilettes des écoles. Ils sont très efficaces. Ils le sont même trop, ce qui amène les autorités à surréagir à des menaces imaginaires. Notamment aux Etats-Unis. Un récent article du Milwaukee Independent révèle que les écoles utilisent des systèmes de surveillance fondés sur l’IA pour repérer les conversations en ligne portant sur la violence qui enregistrent un nombre étonnant de détections positives et les signalent. Or beaucoup de ces signalements ne correspondent à aucune menace réelle, mais peuvent néanmoins entraîner une exclusion temporaire. Pourquoi ? Parce que l’IA prend chaque mot au sérieux et les humains au mot.
L’IA surveille trop bien : elle arrête des enfants sans menace réelle
Elle ne sait pas que le prince de ce monde est le mensonge, et ses dauphins la vantardise, la mauvaise blague, la simple bêtise, la menace en l’air, et, au collège, l’immaturité des adolescents. Dans le district scolaire de Lawrence, au Kansas, par exemple, un outil de surveillance de la sécurité en ligne appelé Gaggle a signalé plus de 1.200 menaces en ligne sur une période de 10 mois. Pourtant, selon le journal Independent, les deux tiers de ces alertes étaient infondées. Dans certains Etats comme le Tennessee ou la Floride, une loi de tolérance zéro oblige les écoles à informer la police dès qu’un élève laisse entendre d‘une manière ou d’une autre qu’il pourrait être violent, sous quelque forme que ce soit. Dans le district scolaire du comté de Polk en Floride – où Gaggle a signalé quelque 500 élèves sur une période de quatre ans – cela signifie, d’après un calcule rapide, qu’au moins 72 enfants ont été arrêtés ou hospitalisés involontairement en vertu de la loi Baker de l’Etat .
Elle s’en tient aux mots, incapable d‘un raisonnement humain
De nombreux élèves ignorent que leurs courriels, leurs conversations en ligne et leurs recherches Google sur le matériel scolaire sont surveillés, et encore moins qu’ils ont commis une faute. Lesley Mathis, mère d’une adolescente au Tennessee, a par exemple rapporté au journal Independent que sa fille, en classe de quatrième, avait été arrêtée, interrogée, soumise à une fouille à nu et placée en détention une nuit pour quelques moqueries en ligne. Les amis de cette élève l’avaient raillée à propos de son teint « mexicain », alors qu’elle a des origines différentes. « Jeudi, on tue tous les Mexicains », avait-elle rétorqué. Ce n’est pas de la plus grande finesse mais ne relève évidemment pas de la menace concrète. La mère s’est naturellement emportée contre « cette technologie stupide qui se contentait de sélectionner des mots au hasard sans tenir compte du contexte ». Très simplement, cette mère a donné une définition juste de l’IA : elle n’est pas intelligente, elle sait piocher les suites de mots les plus probables.











