Le site de la très vénérable revue américaine The Atlantic, publiait le 14 mai un article intitulé The Military Wants To Teach Robots Right From Wrong (L’armée veut enseigner aux robots la distinction du Bien et du Mal) qui annonçait que « le gouvernement américain dépense des millions pour le développement de machines qui comprennent les conséquences morales. »

Que l’armée la plus puissante du monde ait un tel projet porte à sourire, avec quand même une pointe de commisération pour le contribuable américain qui le finance, tant il paraît stupide.

La moralité, en effet, c’est se donner des règles de comportement en fonction d’une conception du bien et du mal.

Se donner des règles de comportement, c’est choisir de ne pas suivre, en certaines circonstances, ses impulsions spontanées, c’est donc évaluer plusieurs comportements possibles et se contraindre à choisir celui qui est conforme à sa conception du bien. C’est donc s’obliger.

Il est contradictoire avec la nature de cette créature artificielle qu’est le robot qu’elle possède une conception du bien, connaisse la différence entre comportement spontané et comportement contraint, soit capable de se donner des règles et s’obliger à les suivre. Tout robot reste un système mécanique automobile, doté de capteurs externes et internes, et programmé pour prendre en compte certains types d’événements et y réagir d’une certaine façon. Le robot est par nature hors de l’obligation morale. Il est amoral.

Il est vrai qu’à un certain niveau de finesse de son montage et de richesse de sa programmation, le robot peut engendrer, du point de vue de l’observateur extérieur, un effet de finalité comme s’il poursuivait un but, et partant, un effet de conscience comme s’il choisissait son mouvement, voire un effet d’apprentissage comme s’il accumulait de l’expérience.

Le fin mot de l’affaire est de reconnaître que, si complexe soit le chemin logique qui mène des signaux matériels venant des capteurs à la détermination du comportement (boucles de rétroaction, opérations itératives, etc.), le comportement du robot est toujours réactif. Le robot ne fait toujours que réagir au système capteurs/programme.

Par nature un comportement réactif est nécessaire – étant données les conditions initiales, il ne pouvait pas être autre qu’il a été, même si cette détermination intègre, par le programme, l’aléatoire (en telles conditions, il pourra faire aléatoirement ceci ou cela, …). Le comportement du robot est donc toujours, de droit, prévisible (éventuellement comme aléatoire) ; bien qu’il puisse se trouver qu’en pratique la complexité du programme et la multiplicité des capteurs rendent cette prédiction impossible à réaliser.

Il s’ensuit que le robot n’a pas de conscience. Pourquoi faire une hypothèse si coûteuse – et invérifiable – alors que l’on sait très bien que le comportement réactif n’a pas besoin de conscience ? Avez-vous besoin de conscience pour déclencher votre activité gastrique, ou pour abaisser vos paupières lorsqu’un projectile se dirige rapidement vers vous ?

Et le robot n’est pas libre, tout comme nous ne sommes pas libres quand nous ne faisons que réagir. Il y a un lien étroit entre conscience et liberté, bien mis en évidence par Bergson, dans La conscience et la vie (in "L'énergie spirituelle"). C’est d’ailleurs aussi pourquoi Bergson accorde la conscience à tout le monde vivant. Car ce qui caractérise l’individu vivant, c’est qu’il ne se contente pas de réagir : il a une capacité de choisir. Certes, le monde vivant non humain peut être considéré comme essentiellement réactif en ce sens que sa finalité est dictée par la biosphère. Elle consiste pour chaque espèce à s’insérer dans son biotope et s’y épanouir en se mettant dans la meilleure situation pour se reproduire et ainsi se perpétuer. Mais ce qui fait que chaque individu est vivant, c’est qu’il a sa manière bien à lui de poser sa finalité dans son milieu qui signe une liberté positive : une liberté de choix. Voilà pourquoi les animaux de même espèce ne constituent pas les exemplaires indifférenciés d’une série. Ils sont différents, ils ont, peut-on dire, leur personnalité – ce qui se voit très bien dans les animaux domestiques. Dans la salle de stockage d’une usine de production de robots, ceux-ci sont bien tous rigoureusement identiques, et leur notice d’emploi indique bien qu’ils relèvent des mêmes spécifications et annoncent les mêmes performances. C’est pourquoi aussi, contrairement au robot, le comportement de tout individu vivant est, de droit, imprévisible.

Les animaux choisissent. Mais ils ne conçoivent pas de bien et de mal. Ils ne font que poursuivre, chacun à leur manière propre, le bien prescrit par la biosphère. C’est pourquoi les animaux, comme tous les êtres vivants non humains, n’ont pas de moralité.

Ainsi les robots peuvent avoir des comportements imprévisibles et présenter des effets de finalité, mais ils n’ont jamais ni liberté, ni conscience, et a fortiori ne sont pas moraux.
Les êtres vivants sont toujours imprévisibles parce qu’ils ont une dimension de liberté. Mais ce n’est qu’une liberté de choix pour réaliser une finalité d’origine extrinsèque. Les humains ont non seulement la liberté de choisir leur comportement, mais ils ont la liberté de se donner un bien en dehors des prescriptions de la biosphère. Il sont moraux en ce qu’ils sont capables de se donner des règles et de s’obliger en fonction de ce bien.

Mais ce n’est pas assez dire que de définir la moralité comme obligation relative au bien.
Car le mot « bien » n’exprime que l’idée de valeur finale en général – un but qui n’est pas moyen pour un but plus élevé. Et comme l’homme peut le concevoir hors des prescriptions naturelles, il y a plusieurs valeurs finales possibles, lesquelles peuvent être contradictoires. Le respect d’autrui peut être une valeur finale, mais la justice peut l’être aussi et chacun sait qu’elle est pourvue d’un glaive qui parfois emprisonne et même trucide.

Le bien dont relève la moralité a ceci de particulier qu’il s’impose dans l’intime de la conscience de l’individu comme dans l’ensemble des humains. Il est à la fois une affaire personnelle et universelle. Une tradition de pensée, surtout promue par les britanniques Hume (1711-1776), Bentham (1748-1832) et Stuart Mill (1806-1873), en a déduit que la moralité est le moyen que les hommes se donnent collectivement pour atteindre le bien commun. Et si la moralité s’impose d’emblée à la conscience des individus, c’est en fonction d’une sensibilité spontanée de tout individu humain au bien commun. Et pour ces auteurs le bien commun ne peut être que le bonheur collectif.

Pourtant cette conception ne cadre pas toujours avec l’expérience morale. N’eut-il pas été, de ce point de vue, moral que les premiers médecins qui, en 1982, se sont rendu compte de la dangerosité du sida comme pandémie mortelle et sans remède efficace, éliminent systématiquement les malades contaminés qui s’adressaient à eux en les empoisonnant sous couvert de médication ?

Pourquoi cette hypothèse choque-t-elle ? Parce qu’on trompe et sacrifie délibérément des êtres humains qui donnent leur confiance. Mais cela est rendu possible par une conception de la morale fondée sur la seule considération des conséquences. Or, Kant remarquait (Fondements de la métaphysique des mœurs, 1785) que l’obligation morale se donne toujours comme « impératif catégorique » – c’est-à-dire comme une exigence de suivre la règle sans conditions. Alors qu’entrer dans la considération des conséquences rend toujours la règle morale conditionnelle. Par exemple, cela la conditionne à un calcul des dommages/bénéfices qui n’est pas toujours évident. Mais, nous montre Kant, on ne calcule pas dans le choix moral. Au point que tel résistant pris par les nazis a été capable de mourir sous la torture pour ne pas dénoncer les gens qui l’avaient hébergé.

C’est pourquoi Kant soutient que la moralité n’a pas tant à voir avec le contenu de l’acte (et donc avec ses conséquences) qu’avec sa forme. Être moral c’est agir de manière telle qu’on ne traite jamais l’être humain, aussi bien en autrui qu’en soi-même, simplement comme un moyen mais toujours aussi comme une fin. Le bien qui fonde ce principe est le respect de la personne humaine qui en tant qu’être raisonnable est valeur absolue.^[1]
Ce principe amène les règles qui proscrivent, entre autres, le crime, la violence arbitraire, le mensonge, etc. Ainsi pour Kant il est toujours immoral de mentir, même si, s’adressant à un criminel, le mensonge permet de l’empêcher de commettre son crime.

Mais la conception kantienne du bien moral fait aussi problème. Par exemple, le médecin arrivant sur les lieux d’une catastrophe, face aux nombreux blessés qui exigent des soins immédiats, ne doit-il pas choisir de qui il va s’occuper en premier ? Et le mieux n’est-il pas de choisir du point de vue des conséquences ? Par exemple, sacrifier la personne âgée pour sauver la jeune femme ? Mais il n’est pas quitte de son sens moral : comment pourra-t-il oublier ce regard implorant de celui qu’il n’a pas secouru ? Non seulement, il aura eu le courage de se précipiter sur les lieux du drame pour secourir au mieux, mais il gardera le tourment moral de ces personnes – ces valeurs absolues – qu’il a dû sacrifier.

Cette dernière remarque confirme que c’est bien l’interprétation kantienne de la morale qui rend adéquatement compte de notre expérience morale. Mais il faut alors reconnaître que la moralité humaine, par l’inflexibilité de son exigence, est quelquefois bien encombrante. C’est bien pourquoi la politique doit transiger avec la moralité : quand on a en charge le bien collectif, il faut régulièrement sacrifier des innocents.

Peut-être faut-il accepter que l’humain s’oblige selon la loi morale alors même que celle-ci peut entrer en contradiction avec les exigences du bien collectif ? Peut-être est-ce là une autre dimension de la finitude humaine ? Peut-être est-ce une des tâches les plus sensées pour une existence humaine que de contribuer à réunir les conditions qui minimisent la possibilité de contradiction entre la loi morale et le bien public ?^[2]

Mais il semblerait que c’est dans une toute autre direction que l’on s’oriente de nos jours, du moins dans les sphères des technologies de pointe de l’armée américaine.

Le projet serait de faire progresser l’autonomie des robots jusqu’à leur donner la capacité de choix moraux. Comme le dit Ronald Arkin cité dans l’article de The Atlantic : « … je suis convaincu qu'ils [les robots] peuvent agir de manière plus morale que les soldats humains en sont capables. »

Ce n’est pas un hasard que ce soient les militaires qui œuvrent à cette ouverture puisque l’armée est l’institution qui a vocation à gérer les situations catastrophiques, c’est-à-dire en lesquelles sont collectivement mises en jeu les vies humaines. C’est surtout en ces situations qu’apparaissent les dilemmes moraux entre la valeur absolue de la vie humaine et l’intérêt collectif.

Il faut souligner la position morale singulière du soldat en opération de guerre. Il est, par fonction, régulièrement confronté au dilemme moral. Dès qu’il se trouve en situation de tuer un ennemi qu’il identifie comme être humain singulier, il doit choisir d’éliminer un être qu’il reconnaît comme valeur absolue – autrement dit, enfreindre la loi morale – pour accomplir sa mission réputée nécessaire au bien commun. D’une telle situation, peut-être ne sort-on jamais indemne ? C’est un problème auquel est toujours confronté tout commandement militaire, peu reconnu, mais lancinant et très délicat à gérer. Par exemple, pour l’efficacité du soldat on est amené à tolérer des discours simplistes de violence, l’usage de l’alcool et de drogues, tout cela étant des ferments de problèmes sociaux par la suite. Cela implique aussi la gestion des séquelles psychopathologiques chez les soldats. N’est-ce pas d’abord de ce problème moral du soldat que se délivrerait l’institution militaire si elle réussissait à faire prendre en charge les opérations violentes par des soldats-robots « moraux » ?

Nous avons vu que le robot, parce qu’il n’est pas conscient, ne peut pas être moral. Il ne faut donc attendre qu’un effet de moralité de sa part, réalisé par une construction adéquate. Cela ne peut vouloir dire autre chose que, de la part du constructeur, la sélection de marqueurs « moraux » (par exemple la plainte d’un individu humain identifié comme appartenant aux « bons ») auxquels correspondent dans la machine les capteurs adéquats et la programmation de la réaction selon des règles qui expriment la vision du bien du cahier des charges (c’est-à-dire du commandement de l’armée américaine) : en gros secourir les bons et neutraliser les méchants.

On comprend que l’effet de moralité obtenu du robot ne peut concerner que les conséquences de ses choix d’action sur le bien collectif tel que l’ont programmé ceux qui l’ont conçu. On ne peut donc faire prendre en charge par le robot que la morale au sens – très insuffisant – des choix en fonction du bien commun, selon la conception de la tradition de pensée anglo-saxonne. Le robot peut effectivement être ultra performant dans le calcul rapide des dommages/bénéfices des conséquences de son action. Le robot, ayant fait son calcul quasi instantanément exécute son job sans se laisser dériver par des conflits intérieurs (« Mais cet enfant implorant ? », « Mais mon ami en difficulté ? », « Qu’est-ce que je supprime en le tuant lui ? », etc.) De ce point de vue Ronald Arkin peut effectivement affirmer que les robots seront moralement bien meilleurs que les hommes.

En ce qui concerne le robot-soldat, dont l’aptitude « morale » le conduirait également à éliminer les ennemis du bien tel qu’on a programmé qu’il les reconnaîtrait, il faudrait alors que les capacités de captages des informations pertinentes et la programmation soient extrêmement fines ; car tout indique que la sensibilité d’un être humain aux paramètres pertinents d’une situation où sa vie est en jeu est inégalable. Gare aux tués par erreur pour les circonstances ambiguës ! Or les contextes catastrophiques sont bien ceux où les repères habituels sont bouleversés. Quand on lit l’article de The Atlantic on a la nette impression que certains ne seraient pas gênés de faire endosser la responsabilité de la bavure au robot ! Et le traduiraient-ils en conseil de guerre ? Il faut compter aussi avec les pannes, les bugs, et les hackers qui seraient fortement motivés à introduire dans le robot une application clandestine permettant d’en prendre un certain contrôle.

Bref, pousser l’autonomie du robot jusqu’à un effet de choix moraux semble bien audacieux. Peut-être ne sera-ce jamais plus qu’un fantasme scientiste supplémentaire ? Quoiqu’il en soit de cette faisabilité, la mise en avant, aujourd’hui, du « robot moral » est significative. Elle se produit dans le prolongement de la relative réussite des drones militaires. Un drone est directement piloté à distance par un humain qui est ainsi responsable des actions qu’il fait exécuter. Mais cette scission entre deux lieux avec le champ restreint de connaissance du théâtre des opérations qu’il implique pour le décideur est perturbant. Pourquoi ne pas réunir la capacité et la décision (et donc le choix moral) dans le drone devenu moralement autonome ? N’y aurait-il pas un gain d’efficacité ? On vient de voir combien cela est douteux. Le bénéfice essentiel du robot décidant de manière autonome de secourir ou de tuer ne serait-il pas, pour un pouvoir comme le pouvoir militaire, de se délester d’une certaine part de sa responsabilité morale quant à la vie et la mort des autres, et en particulier d’amoindrir sa confrontation à cette difficile limite du pouvoir humain qui est celle de ces tourmentants dilemmes moraux que nous avons évoqués plus haut : « C’est le robot qui a décidé. Et il a été programmé pour faire le meilleur choix ! » ?

Mais n’y a-t-il pas d’autres motivations qui surdétermineraient cette promotion du robot « moral » ?^[3]

En effet on sent dans les déclarations qui sont faites sur la faisabilité de robots « moraux » une composante affective de fascination pour le pouvoir de la science qui serait capable de créer des êtres qui auraient cet attribut qu’on juge le plus élevé chez l’homme : le sens du bien et du mal.

C’est la plus récente édition d’un bien vieux fantasme, puisqu’il date de l’avènement de l’époque moderne, quand les hommes se sont sentis capables de mettre la nature à la question – ce qu’on a appelé « la science expérimentale » – pour lui faire avouer ses procédés cachés. Les hommes se sont alors sentis posséder des pouvoirs qu’ils n’auraient jamais osé envisager auparavant : percer du regard la voûte céleste pour entrer dans le secret des astres, faire du vide, créer des machines automotrices, etc. Étant capables de mettre à jour les secrets de fabrication de la nature, ils ont eut tôt fait de s’imaginer comme des dieux : c’est le fantasme démiurgique.

Et l’expression la plus achevée de ce fantasme démiurgique a dès lors été de recréer artificiellement la plus perfectionnée des créatures naturelles : l’homme. On le voit dès le début du XVIII^e siècle avec la mode des automates. Vers 1740, le français Vaucanson se taille un grand succès dans toute l’Europe en montrant les automates qu’il a créé, tel le « Joueur de flûte et de tambourin ». La littérature de science-fiction témoigne de l’insistance de ce fantasme en le prenant comme thème majeur (Asimov, Dick, etc.) La recherche pour réaliser l’être humain artificiel – l’androïde – est un fil rouge d’une continuité remarquable dans l’histoire de la technoscience depuis les automates de Vaucanson jusqu’au robots contemporains bourrés d’électronique et d’informatique et capables d’effectuer des tâches anthropomorphiques de services.

On envisage aujourd’hui de franchir l’étape ultime qui serait l’autonomie de décision du robot rendue possible par sa capacité de prendre en compte les valeurs morales. Mais, avant de s’ébahir sur les audaces technoscientifiques, il faut avoir conscience que le simple emploi du mot « robot » dans un titre de presse est un activateur de fantasmes sur la science et la technique.

La mise en évidence du fantasme démiurgique permet de souligner la racine irrationnelle de l’investissement dans le projet de rendre les robots « moraux ». Cela permet de mieux éclairer la thèse que nous avons établie au départ. Les robots ne seront jamais moraux au sens humain du terme, tout au plus pourront-ils produire un effet de moralité, mais qui ne dédouanera pas de leur responsabilité morale ceux qui les ont construits et ceux qui les mettent en œuvre.

Mais, plus généralement, le fantasme démiurgique met en évidence une dimension passionnelle à l’adhésion commune à l’idéologie du progrès technoscientifique rédempteur qui oriente si massivement les énergies humaines dans le monde actuel. Elle permet de mieux comprendre cette option de fuite en avant dans les solutions techniques, sourde aux objections raisonnables, qui caractérise la situation contemporaine de l’homme.
 

---

[1] Kant, séparant radicalement les humains des autres vivants, ne pensait pas que l’on puisse ressentir une obligation morale vis-à-vis d’animaux. Mais nous savons que ce sens moral existe ; il est particulièrement patent envers les animaux avec lesquels nous avons développé des liens affectifs et qui nous font confiance.

[2]  Une des pistes serait de réduire les risques de situations catastrophiques, c’est-à-dire les guerres et autres affrontements violents collectifs, mais aussi les risques technologiques (par exemple à Fukushima, comme à Tchernobyl auparavant, on a dû masquer le risque aux « pompiers » auxquels on a demandé d’intervenir suite à l’explosion d’un réacteur, alors qu’on savait qu’on les envoyait au sacrifice). Une autre piste serait de revoir la forme du pouvoir politique : plus le pouvoir est centralisé, plus les individus sont utilisés comme des masses de manœuvre et donc susceptibles d’être sacrifiés.

[3]  Dans la promotion de robots « moraux », il y a une détermination qui mérite aussi d’être évoquée. Elle est de nature idéologique. Il s’agit de promouvoir l’investissement anthropomorphique sur les objets techniques. « Investissement anthropomorphique » ? S’attacher à eux comme si c’étaient des humains. L’expansion de la logique marchande de plus en plus profondément dans le tissu social est en effet destructrice de liens de solidarité et de confiance avec autrui. Un manque s’est donc créé. Il s’agit de faire croire que le robot quasiment comme nous – sous-entendu ici : « moral » – pourrait le combler.