T9xqb6kt 1472634040

Informaticiens, tous coupables ?

Informaticiens, tous coupables ?

Oneinchpunch/Shutterstock

Cet article est publié en collaboration avec le blog Binaire

Pour les informaticiens, il n’est pas simple d’être à la fois vus comme les bâtisseurs des cathédrales d’aujourd’hui que sont les logiciels qui transforment notre monde, et les fossoyeurs en puissance de l’humanité. Au cœur de la question est la responsabilité, la responsabilité dans le cas d’une voiture autonome qui précipite son non-conducteur dans un camion, la responsabilité de la concentration des richesses causée par l’automatisation, la responsabilité quand un internaute baignant dans les réseaux sociaux bascule dans le terrorisme… Il fallait bien un ami philosophe et scientifique, Alexei Grinbaum, pour aborder le sujet. Binaire

Concepteur, opérateur, utilisateur

Qu’il s’agisse d’une machine qui calcule par elle-même, dotée d’un degré plus ou moins poussé d’autonomie, ou d’une machine individualisée, différente de ses sœurs grâce à la collecte des données uniques, la machine reste, jusqu’à nouvel ordre, une chose. La responsabilité, elle, revient toujours à une personne : le concepteur de la machine, son opérateur, qui possède quelques connaissances techniques, ou son utilisateur, qui, par définition, n’en possède aucune. Le problème éthique et juridique consiste à distinguer, dans le cas des systèmes informatiques capables d’apprendre ou dotés d’intelligence artificielle, entre les décisions et les actions de ces systèmes dont la responsabilité appartient à ces trois catégories d’agents.

Toute différenciation de ce type s’appuie nécessairement sur la possibilité de reconstruire la chaîne causale des décisions prises algorithmiquement. Pour réaliser une telle reconstruction, la traçabilité est essentielle : on cherche à connaître avec précision le déroulement de la prise de décision afin d’en déceler l’élément critique. Le sursaut technologique récent en intelligence artificielle et l’actualité qu’il produit, par exemple l’accident mortel avec une voiture Tesla « auto-pilotée », montre l’urgence d’exiger – pourquoi pas par une loi ? – que cette traçabilité accrue soit assurée par le concepteur à tous les stades du fonctionnement du système informatique.

Connaissance et responsabilité

Une icône du Noun project. Noun, Author provided

Le concepteur possède la connaissance du code qui fait fonctionner le système informatique. Cette connaissance lui confère un pouvoir et une responsabilité. Cependant, sa connaissance est limitée : un système informatique apprend grâce aux données fournies par l’opérateur ou à celles qu’il collecte sans supervision en cours de l’utilisation.

Le comportement d’un système capable d’apprendre peut être totalement imprévisible pour le concepteur : le pouvoir du programmeur devient passif au moment où le code qu’il a écrit est mis en exécution. Sa responsabilité est donc limitée et l’opérateur, au cas où il sélectionne des données pour l’apprentissage, la partage avec le concepteur. L’utilisateur, lui, ne reste pas non plus à l’abri de la responsabilité. Dans le cas d’un smartphone ou d’un robot, il possède le système informatique considéré alors comme un objet matériel. Le droit actuel le responsabilise en conséquence, en tant que propriétaire d’une chose.

Or, par manque de connaissance du fonctionnement interne de cette chose, l’utilisateur n’a aucun pouvoir effectif sur elle malgré le fait de la posséder. Dans les cas concrets, c’est la possibilité de remonter la chaîne des décisions qui permet d’établir un partage de la responsabilité entre l’utilisateur, l’opérateur et le concepteur. Un point intéressant : la responsabilité en informatique est surtout régie par des rapports de connaissance aux dépens des relations de propriété.

Le dilemme éthique et juridique

Le dilemme éthique fondamental consiste à demander si un système informatique peut se voir attribuer une responsabilité, autrement dit, si, dans certaines circonstances, il peut devenir un sujet plutôt qu’un objet. Actuellement, la responsabilité des personnes repose sur l’imputabilité de l’acte dont ces personnes seraient responsables ; or l’intelligence artificielle permet à la machine d’atteindre un degré avancé d’autonomie tel que sa décision ne peut être directement imputée à une personne humaine. Le choix est alors entre deux options : soit l’attribution d’une responsabilité à l’humain malgré le manque d’imputabilité, soit la création d’un statut juridique intermédiaire pour le système informatique capable de porter une responsabilité.

La deuxième possibilité, pourtant intéressante philosophiquement, est encore très spéculative. Cela n’empêche qu’elle soit, depuis peu, prise au sérieux dans certains cercles politiques, notamment au Parlement européen. La société prend peu à peu conscience de la lente évolution du statut des systèmes informatiques. Quand, par exemple, une voiture autonome arrive sur nos routes, de facto nous ne la traitons ni comme une chose ni comme un être vivant, mais, de manière heuristique, comme quelque chose entre les deux. Ce statut empirique, dont les détails vont progressivement transparaître grâce aux observations toujours plus fréquentes des interactions homme-robot, sera à terme conceptualisé et codifié juridiquement.

La responsabilité d’avoir rendu possible

Lorsqu’un effet indésirable se produit, on cherche à établir ses causes, qui peuvent être nombreuses. Le raisonnement utilisé à cette fin procède habituellement par un argument dit « contrefactuel » : dans l’espoir de remonter à la vraie cause de l’événement, on établit des conditionnels suivant le schéma « si telle chose ne s’était pas produite, alors l’effet n’aurait pas eu lieu ». La réussite de cette recherche est pourtant loin d’être assurée. En effet, rien n’empêche que l’on considère parmi « les choses qui ne s’étaient pas produites », par exemple, la levée du soleil : si le soleil ne s’était pas levé tel jour, alors le criminel, toujours embaumé par la nuit, n’aurait pas commis son acte perfide. Or, en dehors du roman de Camus, il est inhabituel de tenir le soleil responsable des actions humaines. Pour que le raisonnement contrefactuel soit informatif, il faut que l’énoncé porte sur les antécédents vraisemblables.

Ces causes vraisemblables se distinguent par leur nouveauté. Le soleil se lève tous les jours : le jour du crime n’étant pas différent des autres, cette circonstance ne peut être nullement explicative. Mais un réseau social, par exemple, n’a pas toujours existé. Dire qu’il a rendu possible l’organisation d’un acte terroriste peut permettre de saisir la spécificité du moment : si le réseau social n’avait pas été inventé, alors le terrorisme ne se serait pas répandu si rapidement et si largement. Cet argument contrefactuel paraît valide. Récemment, un ministre d’un pays technologiquement avancé faisait porter la responsabilité du terrorisme à Mark Zuckerberg, le créateur de Facebook : « Le sang des victimes est sur ses mains ».

Vraisemblable qu’il soit, l’argument contrefactuel est pourtant incapable d’établir la bonne relation causale ; au mieux, il pointe vers un élément du contexte autour du crime, mais il ne nous renseigne pas sur la chaîne d’actions causalement efficaces. Toutefois, cet argument ne manque jamais à produire un certain effet rhétorique et, juridiquement irrecevable, il le demeure moralement.

Noun Project. Noun, Author provided

Celui qui crée, qui produit de la nouveauté, n’a pas besoin de former une intention diabolique pour être tenu pour responsable de ce qui viendra à la suite de son travail. Il suffit qu’il ait introduit une innovation. Si elle a rendu possible quelque conséquence néfaste, l’innovateur, par un raisonnement contrefactuel, devra répondre de son audace.

La phrase « oser modifier la condition humaine » contient deux moments d’importance éthique. Le second verbe, « modifier la [condition humaine] » se réfère au changement proprement dit, avec toutes les conséquences bonnes autant que mauvaises. Mais le premier, « oser », ne doit pas être oublié. Il dénote une décision, un saut audacieux de l’innovateur. Sur le plan éthique, c’est cette audace qui est cruciale, même si dans l’instant elle n’engage aucune responsabilité légale. La responsabilité des audacieux est morale. Cela ne signifie pas qu’elle soit diminutive ou anecdotique : elle a des conséquences tout aussi réelles que la responsabilité juridique. Seulement, les effets qu’elle produit sont de nature politique ou économique : une confiance brisée, un financement refusé, un détournement d’utilisateurs jusque-là enthousiasmés ou acquiesçants.

Le poids de la responsabilité

Gershom Sholem, grand spécialiste de la Kabbale et auteur d’un fin essai sur les golems, ces êtres artificiels dont la fabrication magique par combinaison des lettres de l’alphabet préoccupe la tradition juive depuis 2000 ans, tire cet enseignement étonnant :

« Le danger n’est pas qu’un golem, devenu autonome, développerait des pouvoirs écrasants, mais il se trouve dans la tension que le processus créatif fait monter au sein même du créateur. Les erreurs dans la réalisation des procédures n’affaiblissent pas le golem, mais elles détruisent le créateur. »

Golem. Philippe Semeria, Author provided

L’informaticien, ce créateur des machines autonomes modernes, ne travaille pas seul : tout système avancé, qu’il émane de la robotique ou de l’intelligence artificielle, est le fruit des efforts des dizaines, voire des milliers de spécialistes. Comment, dans ce cas, peut-on comprendre la thèse de Scholem ?

Mon interprétation est que le risque encouru par cet informaticien collectif, tout comme le danger qui pesait sur un apprenti kabbaliste, consiste à ne plus pouvoir créer des systèmes nouveaux. Ceci, parce que la cohésion du groupe sera cassée, le collectif brisé économiquement ou moralement, soit par un retour négatif du marché, soit à cause de la pression sociale. Le facteur qui risque de faire exploser la structure interne de ce collectif est le poids de la responsabilité, celle que la société fait porter à l’informaticien indépendamment de la volonté qu’a ce dernier de l’assumer.

La responsabilité pour ce qui se fait à travers nous

Chaque membre du groupe qui écrit le code d’un système informatique fait une contribution au résultat final, mais il ne le contrôle pas entièrement. Plus grande est l’équipe, plus modeste chaque contribution individuelle. Si une conséquence néfaste se produit, la chaîne logique d’imputabilité, que l’on reconstruit en remontant en arrière de l’effet à sa cause, peut aboutir sur le groupe, mais pas sur un de ses membres. Or la simple appartenance à ce collectif responsabilise tout de même chaque informaticien individuel.

Cette responsabilité correspond à un concept que la philosophe Hannah Arendt a introduit au cours sa polémique contre l’idée de culpabilité collective. Selon Arendt, la responsabilité collective, différente de la culpabilité, advient si deux conditions sont réunies : premièrement, la personne doit être tenue responsable de quelque chose qu’elle n’a pas fait ; deuxièmement, cela est justifié par l’appartenance de la personne à un groupe qu’elle ne peut dissoudre par aucun acte volontaire. Une fois codeur, toujours codeur ! Le poids de la responsabilité collective, politique même si elle n’est pas juridique, ne disparaît jamais.

La responsabilité politique

L’informatique s’invite dans toutes les structures fondamentales de la société : la communication, la sécurité, le pouvoir, la parenté, le travail, le divertissement. Elle y provoque des glissements magistraux et irréversibles. Naissent alors des nouveaux conflits, que l’on est tenté de résoudre en faisant des informaticiens les responsables. Or désigner le responsable est un acte politique, qui a pour but de concentrer le ressentiment public sur une personne en évitant qu’il se diffuse dans toute la société. Comme le pharmakos dans le monde antique, l’informaticien est aujourd’hui simultanément un magicien tout-puissant et un bouc émissaire.

Quand les conflits homme-machine et machine-machine engendrent des tensions homme-homme, ces dernières risquent, comme disait Scholem, de détruire – physiquement, moralement, économiquement ou politiquement – le créateur des machines. Il a l’habitude d’écrire le code dans un langage de programmation – il doit maintenant apprendre à décoder un langage politique.

À relire sur Binaire et The Conversation France : « La menace des chatbots ».