Dans un autre article de cette lettre, Stéphane Stapinsky présente une série d’ouvrages récents sur les algorithmes. L’un d’entre eux mérite, nous semble-t-il, une attention particulière : Les algorithmes, une bombe a retardement de Cathy O’Neil. Le mathématicien français Cédric Vilani, qui signe la préface de la version française, en a fait la pièce maîtresse du rapport sur le numérique qu’il a remis au gouvernement de son pays, ce qui a valu à Cathy O’Neil une invitation du président Macron.

« Impossible, écrit Cédric Vilani, de ne pas remarquer Cathy O’Neil ! Son style, son regard malicieux et son charisme font effet dès la première rencontre, et ne cessent d’impressionner. Ton joyeux, propos graves, elle incarne la rigueur et l’engagement tout à la fois.

Cathy connaît bien les algorithmes pour les avoir pratiqués, conçus, vérifiés des années durant. Formée en géométrie algébrique et arithmétique, elle maîtrise tout autant le monde des concepts et des équations. Revenue des hedge funds, elle a une conscience aiguë du monde de la finance algorithmique internationale. Engagée dans le mouvement Occupy Wall Street, elle est très au fait de la politique. Enfin, comme ancienne directrice d’un programme de formation de journalistes, le monde des médias lui est familier. Cette combinaison rare de talents rend sa contribution aux débats précieuse quand il s’agit de mêler politique, algorithmique et information des citoyens.

En 2016, Cathy lâcha une véritable bombe : Weapons of Math Destruction. Sous sa couverture jaune flamboyant, avec son logo morbide, c’était un concentré explosif qui devint immédiatement emblématique. Derrière le jeu de mots, auquel aucune traduction ne pourra rendre pleinement justice, le concept d’« armes de destruction mathématiques » annonçait l’angle nouveau qu’adoptait l’ouvrage : un courant de contestation de la mathématisation du monde, basé non sur l’idéologie ou sur les émotions, mais sur la dénonciation étayée des ravages massifs que ces outils peuvent produire.

Pour moi comme pour tant d’autres, la lecture de ce brûlot fut un coup de tonnerre. Chapitre après chapitre, Cathy O’Neil analysait des situations dans lesquelles l’intelligence artificielle avait un effet néfaste, parce qu’utilisée à mauvais escient, sans réflexion éthique, sans garde-fous, ou sans contrôle suffisamment rigoureux. L’ampleur des dégâts était annoncée sans détour par le sous-titre : « Comment le traitement des données accroît les inégalités et menace la démocratie ».»

Les armes de Destruction Mathématique

Voici un passage qui illustre bien l’ensemble du livre.

«J’ai trouvé un nom pour désigner ces modèles nocifs : ce sont des Armes de Destruction Mathématique, ou ADM en abrégé. En voici un exemple, dont je soulignerai tout du long les caractéristiques destructrices.

Comme c’est souvent le cas, tout était parti d’un objectif louable. En 2007, le nouveau maire de Washington D.C., Adrian Fenty, avait résolu d’améliorer les écoles les moins performantes de sa ville. Il avait du pain sur la planche : à cette époque, à peine un lycéen sur deux parvenait jusqu’au bac, et 8 % seulement des élèves de troisième obtenaient la moyenne en mathématiques. Fenty embaucha Michelle Rhee,
championne de la réforme éducative, et lui confia le nouveau et puissant poste de recteur des écoles de Washington.

De l’avis général, les élèves n’apprenaient pas correctement parce que les professeurs faisaient mal leur travail. En 2009, Rhee lança donc un plan visant à écarter les enseignants les moins performants. C’est la tendance qui prévaut actuellement à travers tous les États-Unis dans les districts scolaires en difficulté, et du point de vue d’un concepteur de systèmes, le raisonnement s’avère tout à fait sensé : évaluer les enseignants, se débarrasser des pires et placer les meilleurs là où ils peuvent être le plus utiles. Dans le jargon des experts en données, cela a pour effet d’« optimiser » le système scolaire et, selon toute vraisemblance, d’assurer aux enfants de meilleurs résultats. À l’exception des « mauvais » professeurs, qui pourrait s’y opposer ? Rhee élabora un outil d’évaluation baptisé IMPACT et, dès la fin de l’année scolaire 2009-2010, le district scolaire de Washington renvoya tous les enseignants dont le score se situait parmi les 2 % les plus bas. À la fin de l’année suivante, 5 % supplémentaires des effectifs, soit 206 enseignants, furent mis à la porte.

Sarah Wysocki, institutrice de l’équivalent du CM2, ne semblait avoir aucune raison de s’inquiéter. Elle n’enseignait à la MacFarland Middle School que depuis deux ans, mais recevait déjà d’excellents avis de la part de son directeur et des parents d’élèves. L’une de ces appréciations louait sa prévenance à l’égard des enfants ; une autre saluait en elle « l’une des meilleures enseignantes que j’aie rencontrées ».

Pourtant, au terme de l’année scolaire 2010-2011, Wysocki obtint un score déplorable lors de son évaluation IMPACT. Le problème venait d’un nouveau système de notation, connu sous le nom de « modèle de la valeur ajoutée », qui prétendait mesurer son efficacité dans l’enseignement des compétences mathématiques et linguistiques. Ce score, généré par un algorithme, comptait pour moitié de son évaluation globale et l’emportait sur les appréciations positives de l’administration et de la collectivité. Les administrateurs du district scolaire n’eurent d’autre choix que de la renvoyer, et avec elle 205 autres enseignants qui avaient reçu un score IMPACT inférieur au seuil minimal.

Cela ne ressemblait ni à une chasse aux sorcières, ni à un règlement de comptes. La démarche du district de Washington relevait même d’une certaine logique. Après tout, les administrateurs d’une école pouvaient très bien apprécier des enseignants lamentables, admirant davantage leur façon d’être ou leur prétendu dévouement. De mauvais enseignants pouvaient sembler performants. À l’instar de nombreux autres districts, celui de Washington allait donc réduire au minimum ces critères d’appréciation humains – et donc subjectifs – et accorder plus d’attention à des scores fondés sur les résultats concrets des élèves : leur réussite en maths et en lecture. Les chiffres parleraient d’eux-mêmes, promettaient les responsables de l’académie. Ils seraient plus justes.

Bien entendu, Wysocki les trouva au contraire horriblement injustes, et voulut savoir d’où ils provenaient. « Je pense que personne n’y comprenait rien », m’a-t-elle avoué plus tard. Comment un bon enseignant pouvait-il obtenir des scores aussi déplorables ? Que mesurait vraiment ce modèle de valeur ajoutée ?

Elle finit par apprendre que c’était assez compliqué. Le district de Washington avait engagé le cabinet de conseil Mathematica Policy Research, de Princeton, pour concevoir le système d’évaluation. Le défi pour Mathematica consistait à mesurer les progrès des élèves de l’académie en question, puis à calculer quelle part de leur amélioration ou de leur régression était imputable aux enseignants. Naturellement, c’était tout sauf facile. Les chercheurs savaient bien que de nombreuses variables, depuis le milieu socioéconomique jusqu’aux conséquences des troubles d’apprentissage, pouvaient affecter les résultats des élèves. Les algorithmes devaient prendre en compte ce type de paramètres différentiels, d’où leur grande complexité.

[...]

Le Big Data possède beaucoup d’apôtres, mais je n’en fais pas partie. Ce livre s’orientera résolument dans la direction opposée, et se focalisera sur les dégâts infligés par les ADM et les injustices qu’elles perpétuent. Nous étudierons des exemples funestes touchant à des moments critiques de l’existence : entrer à l’université, emprunter de l’argent, purger une peine de prison, ou trouver et conserver un emploi. Tous ces aspects de la vie sont de plus en plus contrôés par des modèles tenus secrets, qui assènent des punitions arbitraires.
Bienvenue dans le côté obscur du Big Data.»