Les nouvelles technologies nous fascinent, et il y a de quoi si l’on considère leur extraordinaire développement. Mon propos n’est pas ici de me prononcer sur le caractère révolutionnaire de notre temps, mais d’apporter quelques pierres pour répondre à la question de savoir comment aborder ces nouvelles technologies. Un bon exemple est la manière dont est parfois posée la question au sujet du véhicule autonome.
Le projet de disposer de véhicules capables de conduire leurs passagers sans que ces derniers aient à se mêler de quoi que ce soit, si ce n’est d’indiquer où ils veulent se rendre, a ceci de merveilleux qu’il est censé à la limite éliminer toute possibilité d’accident. La connexion de tous les véhicules, et la systématisation de la surveillance électronique du réseau routier, permettraient à l’« intelligence artificielle » des machines de prévenir toute collision.
Einstein ou Hitler ?
Le rêve est beau et louable. Le problème de savoir comment parvenir à une telle maîtrise se pose quand, lucides, les concepteurs des véhicules tentent d’« encoder » à l’avance des situations dont on sait que, dans la vraie vie, elles s’imposent tôt ou tard. L’exemple classique, appuyé sur une problématisation philosophique qui date des années 1950, consiste à imaginer la situation où un véhicule autonome est confronté à la nécessité de choisir entre deux maux : sur une voie où aucune autre issue n’est possible, la question est de savoir s’il faut choisir de percuter une femme avec ses enfants dont un landau par exemple, ou d’un autre côté de la voie un vieillard.
On peut à première vue penser qu’il est évident qu’il faut sauver la femme avec ses enfants, qui représentent l’avenir. Comme on disait dans le temps, « les femmes et les enfants d’abord » ! Mais, peut-on argumenter, si le vieillard que l’on sacrifierait est Albert Einstein, lequel, malgré son grand âge, n’a peut-être pas dit son dernier mot, c’est le vieillard qu’il faut sauver.
La chose devient cependant plus difficile si l’on imagine que même Einstein peut avoir une double vie, et se comporter au quotidien comme un inacceptable harceleur. Alors il redevient éventuellement évident qu’il faut sauver la femme et ses enfants. Mais si parmi les enfants se trouve un futur tyran comme Adolf Hitler, on rebascule de l’autre côté. Etc., etc.
Ce qui émerge et s’impose à partir de ce petit jeu d’hypothèses est l’impossibilité d’« encoder » le réel à l’avance. Or encoder le réel à l’avance, est ce que l’on tente de faire quand on tente de passer à la limite, c’est-à-dire de rendre effectivement les véhicules autonomes, sans que les conducteurs n’aient plus à s’occuper de quelque manière que ce soit des mouvements de leur véhicule. Une telle « délégation » des compétences et des décisions lors de la conduite semble bien à la fois impossible, absurde, dangereuse sur le plan technique, et fondamentalement archaïque quant aux enjeux politiques qu’elle implique. Voici pourquoi.
Le réel nous déborde… tant mieux !
La délégation de décisions d’ordre « éthique » comme celles que je viens d’illustrer est impossible, car on ne peut pas épuiser le réel à l’avance. Bien que le fantasme fondateur qui anime notre imaginaire à propos des nouvelles technologies est de pouvoir tout prévoir, tant que l’humanité restera l’humanité, un enfant pourra autant devenir Hitler que Mozart sans qu’on puisse le prévoir, de la même façon qu’un homme de la plus haute pensée et dignité pourra déraper dans la violence ou la folie sans que cela puisse être à l’avance sous contrôle. La conséquence est pour l’instant d’admettre que la vie est tout autant faite d’incertitudes que de contrôle, donc d’erreurs possibles que de réussites et de succès, et que cela n’est pas encodable dans nos machines.
Le rêve d’encoder entièrement le réel est absurde, au sens où il ôte à la limite toute responsabilité aux humains que nous sommes, dans nos décisions, nos choix, nos préférences, nos valeurs. Tout se passerait comme si, par souci de sécurisation de nos actions et de nos opérations, l’on éliminait progressivement toute occasion pour les humains que nous sommes de prendre et d’exercer nos responsabilités. Or, l’émergence de quelque « sens » que ce soit n’est possible que sur le fond d’un « non-sens » possible. Et cette émergence est toujours en situation. Sans entrer dans le détail, on peut non seulement dire que nous, humains, avons la responsabilité de prendre nos décisions dans une tension sans cesse renouvelée en fonction des circonstances, entre ce que nous « devrions » faire dans un monde idéal, et ce que nous sommes en effet capables de faire compte tenu des circonstances, mais que nous sommes cette responsabilité même, qui définit notre humanité.
Nous sommes la tension sans cesse recommencée et qui nous enjoint sans cesse de nous prononcer en situation, entre nos rêves – de perfection et de contrôle du réel par exemple – et le « réel ». La vraie réalité est faite de cette tension même entre idéaux (ou rêves) et réalité. Et si l’on tente d’éliminer l’un ou l’autre de ces côtés du réel, on crée plus de problèmes qu’on n’en résout. Un monde « réel » sans rêves n’est pas un monde humain. Et par ailleurs, la tentative toujours en route de rendre le réel conforme à nos rêves est fondamentalement dangereuse, ce qu’exprimait le philosophe Blaise Pascal en disant :
« L’homme n’est ni ange ni bête, et le malheur veut que qui veut faire l’ange fait la bête. »
Si l’on veut que ce monde garde un sens, il est impératif d’admettre que le contrôle et l’encodage total et « à l’avance » du monde conduirait à l’élimination de l’humanité comme responsabilité de lui donner ce sens.
Dominations archaïques
Le problème de la question du sens s’approfondit et se complète d’une seconde question essentielle, qui est celle de la liberté des humains que nous sommes, liberté inévitablement corrélée à la notion de responsabilité. Car l’un des fantasme majeurs des concepteurs des nouvelles technologies, et une des raisons essentielles pour lesquelles l’on parle, à tort, d’« intelligence artificielle » au lieu de « calcul » artificiel, est qu’en concevant les systèmes techniques les plus autonomes possibles, l’on présuppose – explicitement ou non, consciemment ou non – que les humains ne sont que sources d’erreurs, de défaillances, de fautes, etc.
On suppose que les humains ne sont que défaillance, manque de vigilance, etc., et celles et ceux qui savent comment fonctionnent les nouvelles technologies se posent en sauveurs, allant jusqu’à envisager de déployer lesdits systèmes autonomes à des degrés inédits sans en informer les usagers. Ceci, sous prétexte que les usagers sont censés ne pas pouvoir comprendre la pertinence du fonctionnement des dits systèmes. C’est ainsi que de plus en plus de systèmes électroniques – concernant par exemple le pilotage de centrales nucléaires en situation de crise, ou encore le simple pilotage dans l’aviation civile ou militaire – sont conçus de manière à interdire l’accès des opérateurs eux-mêmes aux commandes de leur véhicule ou de leur centrale. Ceci, en général dans des situations de crise, où l’on suppose a priori que les humains feront moins bien si ce n’est pire que les machines.
Il est vrai que souvent les machines sauvent les humains de leurs défaillances. Le développement de la conduite assistée fait désormais preuve de son efficacité, par exemple en cas de nécessaire freinage d’urgence. Mais ce qui est fondamentalement problématique est la présupposition que l’humanité est faite d’un côté de « sachants » susceptibles de décider légitimement à l’avance pour les autres ce qui est leur bien et ce qui est leur mal, ou ce que sont bien et mal tout court, et de l’autre – de tous les ignorants (voire les imbéciles…) d’une manière ou d’une autre considérés comme « incapables » – dans tous les sens du terme, dont juridique.
Que certains se posent en « sauveurs » des autres, et fantasment consciemment ou non de les tenir – ces « autres » – sous contrôle, constitue l’une des problématiques politiques les plus archaïques de l’humanité. Il s’agit tout simplement de pouvoir et de domination. Il ne s’agit plus d’éthique ni d’efficacité et de sécurité des systèmes tout court. Or, c’est bien de cela qu’il s’agit, si l’on considère la puissance économique, politique, « culturelle » et sociale des entreprises les plus investies dans le développement actuel des nouvelles technologies. Leur puissance s’exprime par le conditionnement croissant le plus complet possible des goûts des usagers (sous la forme revendiquée de « liberté » et d’« expériences » de consommation, lesquelles sont dûment anticipées grâce aux « big data ») et par la réduction des possibles à ceux qui sont imaginés par les fournisseurs des dites technologies.
Dominos, nous voilà !
La délégation tendanciellement totale de nos responsabilités aux machines est enfin fondamentalement dangereuse, et justement sur le plan technique. Quand bien même nous voudrions en effet, comme l’aurait dit Étienne de La Boétie, nous « asservir volontairement » aux technologies qui s’imposent et que l’on nous impose, il resterait un danger, celui des dysfonctionnements techniques. L’on peut observer avec bien des scientifiques, dont le chercheur Charles Perrow avec son idée d’« accidents normaux » (cf. l’ouvrage au titre éponyme publié en 1984), que l’interdépendance des systèmes techniques augmente à la fois leurs performances et leur vulnérabilité.
De plus en plus inter et intra-connectés, les systèmes sont également de plus en plus vulnérables à l’entrée de données erronées qui, par effets de dominos, jouent le rôle de grains de sable, en provoquant un dysfonctionnement non seulement local mais global des systèmes. Nos systèmes techniques sont de plus en plus intégrés, et de ce fait même leur vulnérabilité aux données augmente, provoquant potentiellement de plus en plus d’accidents que l’auteur appelle « normaux » – c’est-à-dire inévitables.
Si l’on en croit Perrow, nous serions donc menacés de rencontrer à l’avenir de plus en plus de situations dramatiques « normales », car tôt ou tard problématiques, et connues comme telles à l’avance. Le chercheur Karl Weick, en s’intéressant à l’argumentation de Perrow, observe que si les systèmes techniques conservent un minimum de flexibilité, et donc de « solidité » et de capacité de résilience à des données erronées, c’est précisément du fait des humains qui les font fonctionner.
C’est précisément la « faillibilité » humaine ou la capacité spécifiquement humaine à fonctionner dans l’incertitude et comme incertitude, qui contribue à ce que les « accidents normaux » n’aient pas lieu. Prenons pour ne pas dramatiser trop, un exemple dans le monde de la finance : si les robots que nous mettons en place pour servir notre cupidité font des transactions de plus en plus rapides et en quantité de plus en plus massive sont abandonnés à eux-mêmes, l’on peut être sûr que se multiplieront les crises du genre de celle des subprimes de 2008.
Si en revanche, comme c’est désormais régulièrement le cas, les humains débranchent les systèmes qu’ils ont eux-mêmes élaborés pour réguler leurs transactions « automatiques » (et non pas « autonomes »), alors on peut espérer garder une certaine maîtrise sur les comportements des marchés financiers – et donc une certaine responsabilité à leur égard.
Sous peine, par exemple, de rendre des pilotes incapables lors de dysfonctionnements de systèmes comme celui du MCAS du Boeing 737 Max, il est donc essentiel, contrairement à la tendance actuelle, de se donner comme objectif l’identification des lieux de responsabilité de l’homme – entendu génériquement – en relation avec les systèmes techniques que nous inventons.
Cette contribution s’appuie sur l’intervention de Laurent Bibard lors de la conférence « L’inconnaissance, facteur d’inventivité. Les vertus de l’ignorance », qui s’est tenue en clôture du cycle national de formation 2018-2019 de l’Institut des hautes études pour la science et la technologie (IHEST).