Sur la pauvreté des problématiques concernant l’intelligence artificielle : prenons, pour illustrer cela, les questions que l’on pose au sujet du véhicule autonome. L’état limite « parfait » du fonctionnement des véhicules autonomes serait celui d’un système global entièrement régulé par le numérique, interdisant a priori tout accident car, dit-on, « le silicium ne se trompe jamais ».
S’il y a problème, c’est dans la phase intermédiaire où circuleront ensemble des véhicules autonomes et d’autres qui ne le sont pas. Dans ce cas, la question est posée de manière récurrente, de savoir ce qu’il faut rentrer dans le système comme critères d’évaluation en cas d’imprévu – par exemple des piétons survenant sur la chaussée, situation plus ou moins analogue à celle qui a provoqué une victime aux États-Unis, lors des premiers essais du véhicule autonome de Google.
La question devient dans les grandes lignes de savoir qui il faudrait sacrifier dans le cas où aucune solution alternative ne soit a priori possible, entre percuter par exemple une famille avec des enfants, ou un vieillard. La réponse semblerait évidente à première vue – il faut sauver l’avenir donc la famille et les enfants –, mais si le vieillard est Einstein, la question demande plus ample réflexion.
Il est évident que la question demande alors plus ample réflexion, mais sur un fond qui n’est plus aperçu par les ingénieurs qui se posent ces questions. Car le vieillard peut éventuellement être un génie comme Einstein, et avoir été dans son passé un tortionnaire comme Eichmann, ou bien il peut être un génie débonnaire et sortir d’un retour de printemps qui l’aura mis en prison une année pour harcèlement sexuel par exemple. De l’autre côté, parmi les enfants, il peut y avoir un futur Mozart comme un futur Hitler. Personne n’en sait rien, ni ne peut rien en savoir à l’avance.
Réduction du réel
Autrement dit, les possibles sont dans le réel en nombre et en variété infinis, quand la nécessité technique propre à l’autonomisation des véhicules réduit irréductiblement le réel. La pauvreté des questionnements à ce sujet revient à la tentative irréductible de réduire le réel pour le rentrer dans les systèmes. Or, cela présuppose que nous – humains – pourrions tout instruire – c’est-à-dire connaître tous les cas possibles – à l’avance, et ainsi fabriquer des systèmes totalement autonomes. C’est évidemment, cela est plus que connu désormais, le rêve des ingénieurs qui fabriquent les systèmes de pilotage automatique dans l’aviation – civile et militaire.
Présupposer – le plus souvent inconsciemment, que l’on peut épuiser les possibles est méconnaître fondamentalement la complexité du réel, au sens de sa saturation d’incertitude. Nous ne sommes pas des dieux dirait le philosophe Aristote. […] L’on a beau avoir des principes, des normes, des règles, ces principes, normes ou règles censés orienter l’action et la commander en situation n’épuisent jamais à l’avance le réel : il faut par conséquent irréductiblement sans cesse remettre sur le métier la question de savoir ce qu’il faut faire en temps réel. On peut formuler cela en disant que l’imagination véritable ne consiste pas à essayer de se représenter ce que pourrait être un véhicule autonome par exemple. L’imagination véritable consiste à se maintenir en posture d’humilité quand bien même ou parce que l’on est en train de tenter d’imaginer ce que pourrait être un véhicule autonome, parce que l’expression la plus haute de l’imagination ne consiste pas à imaginer quelque chose d’(« encore ») inexistant.
L’imagination à la fois la plus grande et la plus urgente consiste à imaginer et se représenter que l’on ne peut pas tout imaginer ou anticiper du réel. La seule question à se poser est donc de savoir comment articuler et inscrire dans les systèmes automatiques ou autonomes, la question de savoir quand le système doit repasser la main au conducteur ou au pilote. C’est la seule et fondamentale question à poser, de manière à « compléter » le caractère automatique ou autonome des systèmes censés servir l’humain. À ce sujet, plusieurs points sont à préciser.
Puisqu’il est a priori indécidable de savoir ce qu’il faut faire en situation extrême ou d’incertitude non anticipable, et que par définition l’incertitude peut surgir n’importe quand et comment, il est inévitable de fabriquer les systèmes de manière à ce que n’importe quand, les humains aux commandes puissent reprendre la main n’importe quand. Or, la tendance actuelle est à éliminer cette possibilité, sur le fond de la présupposition que l’humain n’est que source d’erreur eu égard à la sécurité de la conduite ou du pilotage par exemple.
Le chercheur américain Charles Perrow a provoqué, dès 1984 une réflexion déterminante à ce sujet. Il présente au travers d’une théorie dite des « accidents normaux » le caractère irréductible dit-il, d’accidents concernant les nouveaux systèmes techniques que nous fabriquons, du fait de leur considérable degré d’intra-dépendance. Plus nos systèmes techniques sont sophistiqués et perfectionnés, plus ils sont performants d’une part, mais plus ils sont vulnérables à la nécessité de traiter des données imprévues d’autre part.
Données imprévues
Un système presque parfait rencontre tôt ou tard des situations imprévues – c’est-à-dire doit tôt ou tard traiter des données non anticipées –, et si le traitement des signaux grippe une partie du système, le degré d’intégration du fonctionnement des différentes parties du système est tel que, par un effet de dominos, c’est la totalité du système qui est mise en cause et menacée. Perrow explique ainsi pourquoi nous sommes tôt ou tard amenés à vivre des catastrophes – nucléaires par exemple.
Cela n’est cependant vrai, répond le chercheur Karl Weick avec certains collègues, que tant que l’on ne comprend pas les systèmes que nous fabriquons comme des systèmes irréductiblement socio-techniques, c’est-à-dire à la fois humains et non humains. La vertu de l’humain dans le contexte du fonctionnement de systèmes de plus en plus intégrés et hautement intra-dépendants, est qu’il y a toujours une brèche dans le système en tant que système exclusivement technique, brèche représentée et jouée par les humains qui le font fonctionner.
Or, cette « brèche » représente précisément la marge de manœuvre qui assouplit structurellement le système, qui n’est jamais alors exclusivement technique, mais toujours socio-technique. Cela est bien connu par exemple en finance : l’on fabrique des logiciels dont le but est de réaliser des transactions le plus rapidement possible – et il faut rappeler que les humains sont à l’origine de ces systèmes de calcul et de « décision » et non les machines elles-mêmes –, mais l’on s’aperçoit également que si on laisse les robots fonctionner seuls, la dynamique d’interaction s’emballe régulièrement jusqu’à provoquer potentiellement des crises financières sans précédent.
Le seul moyen que l’on trouve de prévenir les catastrophes est de débrancher les systèmes. C’est-à-dire d’introduire d’une manière ou d’une autre du social, de l’humain, de l’altérité dans les systèmes que nous fabriquons nous-mêmes.
Questions de sens
Le point qui précède nous conduit irréductiblement à la question du sens : à quoi ça sert ? Pourquoi voulons nous, nous humains, déléguer nos fonctionnements, voire nos responsabilités, en totalité aux systèmes techniques par l’intermédiaire d’une intelligence artificielle que nous voulons supérieure à l’humaine ? je ne prétends pas répondre ni ici ni ailleurs à la question pour les autres. Je souhaite simplement observer qu’un système technique qui fonctionnerait seul n’aurait plus aucun sens pour les humains.
Il est plus qu’intéressant ici de prendre la métaphore suivante pour aller au bout de la question du sens des systèmes autonomes. Une des caractéristiques principales du bouddhisme, est de considérer que la vie est souffrance. La vie est souffrance car est fondamentalement manque ou désir. Le but de tout bouddhiste convaincu est par conséquent d’atteindre le Nirvanà, paradis fait de non-vie. Le bouddhiste réussit sa vie, s’il parvient à vivre si défalqué de tout désir, qu’il peut être assuré de ne plus jamais se réincarner à l’avenir. Naître pour le bouddhisme est le signe que, dans les vies précédentes, l’on n’a pas été assez sage pour éliminer tout désir ou tout manque. L’on ne renaît que parce qu’il manque encore quelque chose à faire pour atteindre la sagesse – qui est de ne plus rien vouloir, ou de parvenir à un dénuement tel que l’on n’a plus à « faire » ici-bas. Le Nirvanà revient à l’éternité silencieuse, infinie, d’une non-vie enfin gagnée. L’on peut approcher la question du sens des systèmes techniques que nous fabriquons actuellement et vers lesquels l’on nous dit que nous allons de toute façon, en y voyant la délégation de nos vies aux dits systèmes. Nous sommes en train de préparer, si l’on pousse adéquatement la logique jusqu’au bout, l’élimination des humains de ce monde.
D’aucuns peuvent estimer que cela est une bonne chose. Fabriquons des clones de nous-mêmes qui vivront – donc souffrirons – pour nous, et nous serons débarrassés de la peine, mais aussi des plaisirs comme de la responsabilité – de vivre. Nous pourrons nous suicider en toute bonne conscience. Bien évidemment ce passage à la limite est dénié par les représentants des systèmes autonomes. Il ne s’agit pas de provoquer l’inutilité de l’humain dans ce monde. Il s’agit au contraire de garantir la sécurité nécessaire – par exemple pour ce qui concerne les transports – aux humains pour qu’ils n’aient plus à s’en préoccuper et puissent passer à autre chose.
Cet argument ne résout pas le problème. Pour deux raisons. La première est que vivre n’est pas seulement jouir de la vie. C’est aussi, pour chacune et chacun, travailler à sa propre vie. Une vie sans engagement pour que la vie prenne sens n’est pas une vie qui vaut d’être vécue. […] Nous présupposons que la vie n’est faite, et ne doit être faite, que de joie. Mais la joie perd totalement tout sens si elle ne s’éprouve en contrepoint de la tristesse et du manque. Il n’y a pas de comédie sans sens de la tragédie, et réciproquement. Il n’y a pas de vrai rire si l’on ne fait que rire, comme parler perd tout sens si l’on ne se tait et avant et après. Le rêve d’un monde automatique et totalement sécurisé est sans aucun doute non seulement impossible sur le plan technique – cf les accidents normaux de Perrow – mais aucunement désirable si on y réfléchit bien. Le problème contemporain est que l’on n’y réfléchit pas beaucoup.
La sécurité sans le consentement
À cela s’ajoute une deuxième difficulté, qui est que la grande majorité des concepteurs de systèmes présuppose qu’il faut sécuriser les citoyens y compris à leur insu : « Nous savons si bien à votre place ce qui fait votre sécurité, que nous élaborons les systèmes de votre sécurité et de votre bonheur sans vous consulter. Vous ne sauriez pas aussi bien que nous ce qu’il vous faut pour assurer et votre bonheur et votre sécurité tous domaines confondus ». Nous sommes dans Orwell. Nous sommes dans l’homme unidimensionnel de Marcuse. Nous sommes au fond du gouffre de la déresponsabilisation des humains.
Pour le savoir, encore faut-il avoir le minimum de culture dans les domaines non scientifiques au sens « dur » du terme. Or la culture des humanités se perd gravement. Ce n’est pas un regret conservateur voire réactionnaire qui motive ce constat. C’est l’évolution de la manière dont sont actuellement posés les problèmes concernant l’explosion des nouvelles technologies et de ce qu’on appelle l’« intelligence » artificielle. Le problème de l’intelligence artificielle n’est pas celui de l’intelligence artificielle comme telle. Il est que l’intelligence des concepteurs de l’intelligence artificielle tient pour une part elle-même des « artifices » qu’elle étudie et met au point. Évidemment inconsciemment, et c’est pour cela que c’est d’autant plus problématique.
Penser l’humain comme un ordinateur
Ceci est d’autant plus grave et problématique, que les institutions qui développent la logique scientifique et technologique contemporaine sont d’une puissance économique et politique à la fois mondiale, croissante, et omniprésente. Il s’agit évidemment des multinationales qui entre autres forment le GAFAM. Pour le dire brièvement et sur le fond d’un argument qui remet la pensée de Karl Marx au cœur de l’actualité : la concentration contemporaine du capital est corrélative de la concentration de ce qu’on appelle actuellement la « culture », et qui consiste à penser l’homme – au sens générique du terme – sur le modèle de ses ordinateurs – et non plus comme on le croit encore parfois, réciproquement.
Bien évidemment cela pose fondamentalement la question du sens rencontrée plus haut et illustrée par l’approche sommaire du bouddhisme que j’ai proposée, mais cela pose la question beaucoup plus classique de toute domination économique et politique. La question devient alors de savoir quels sont les intérêts des entreprises qui poussent en direction du tout technologique, et de leurs conséquences sur l’échiquier mondial d’une part, et sur la culture mondiale d’autre part.
Sur ce plan, il faut approcher avec la plus grande réserve la dichotomie scandée et déclamée entre soi disant « technophobes » et « technophiles », les premiers étant censés être les conservateurs si ce n’est réactionnaires, et les seconds les progressistes. Il est intéressant d’observer que les côtés politiques changent systématiquement de camp dans ce contexte, les capitalistes étant évidemment du côté du « progrès » quand les mouvements et réactions en faveur d’une prise en compte des difficultés sociales et économiques provoquées par l’explosion des nouvelles technologies sont désormais du côté des réactionnaires conservateurs.
C’est sur le fond de cette observation que doit être entendue l’affirmation clamée à grand bruit en son temps que la tension politique directrice n’est désormais plus celle entre une droite et une gauche divisées sur les questions d’ordre économique et social, mais celle entre « technophiles » et « technophobes ». c’est là appauvrir fondamentalement le débat politique au sens fort, voire tendre à l’éliminer. On peut porter l’estocade finale sur ce point en remarquant que puisque le politique c’est l’humain, on est en parfaite cohérence. Il s’agit d’éliminer l’humain. Cela doit passer par l’élimination du politique et de sa possibilité fondamentale, celle de la discussion, de la controverse, et de la délibération publique dûment armée c’est-à-dire cultivée.
On est bien dans un contexte de domination, qu’elle soit délibérée ou inconsciente. On est dans le « système » capitaliste, qui n’a rien d’un seul système technique auquel il ne resterait qu’à se soumettre tant il serait « objectif » ou « transcendant ». L’enjeu ici est de problématiser à nouveaux frais ce qui devient la question des sciences et des techniques et de leur sens. La question préalable devient de savoir comment il est possible de problématiser cette question, quand le fait même qu’elle est une question est résolu à l’avance par l’élimination tendancielle de la possibilité qu’il y ait là question. Il n’y a tendanciellement plus que réduction de tout un chacun à ce qu’il a déjà fait – donc à son passé, par l’« algorithmisation » des comportements. Laquelle algorithmisation permet l’exploitation économique et financière d’une humanité réduite à son statut de consommatrice. Or, ceci est devenu possible à partir du moment où les sciences ont perdu leur statut de connaissance ayant pour vocation de révéler le réel. Ce moment est celui où les sciences sont devenues les moyens de la volonté de puissance de l’homme entendu génériquement.
Ce texte est extrait de la conférence « L’inconnaissance, facteur d’inventivité. Les vertus de l’ignorance », donnée par l’auteur à l’occasion de la clôture du cycle national de formation 2018-2019 de l’Institut des hautes études pour la science et la technologie (IHEST).