En 2018, Amazon abandonnait son système de tri automatique de CV après s’être rendu compte que le système rétrogradait systématiquement les CV féminins. Pourquoi un tel comportement ? Parce que les recrutements précédents, c’est-à-dire la base à partir de laquelle avait été entraîné le système, étaient quasi exclusivement masculins : le système d’IA reproduisait les « biais » antérieurs.
Les problèmes de ce type sont légion, et ils ont une importance capitale, car ils sont à l’origine de discriminations, qu’il s’agisse d’emploi, de sécurité ou de justice. Ils sont aussi à l’origine de multiples scandales et contribuent à rendre l’opinion publique méfiante vis-à-vis de l’Intelligence artificielle, en particulier quand l’IA joue un rôle social. Bien sûr, d’autres domaines semblent moins affectés par ces problèmes, par exemple quand l’IA est utilisée pour analyser des radios dans le domaine médical ou pour prévenir des accidents grâce à la conduite assistée.
Certains défendent le fait que la technologie est neutre : ce sont les données qui sont biaisées, pas la technologie. C’est en partie vrai, mais aussi un peu court : une intelligence artificielle « apprend » dans un premier temps à partir des données, mais elle produit ensuite ses propres résultats à partir de cet entraînement. Si ses résultats sont biaisés, alors il est difficile de défendre le fait que la technologie est neutre, d’autant qu’elle peut même, dans le pire des cas, augmenter les biais en renforçant les tendances principales contenues dans les données d’entraînement.
D’autres pensent, à juste titre, qu’il y a là un véritable problème qu’il faudrait corriger. Mais, qu’est-ce qu’un biais ? Qui en décide ? Comment décider que les données d’entraînement sont « représentatives », « complètes » et « équilibrées » ?
Peu se risquent à l’exercice et la notion de biais est rarement définie. Par exemple, le Comité national pilote d’éthique du numérique fait recours à un exemple plutôt qu’a une définition :
« des données de parole enregistrées peu[ven]t contenir uniquement des voix d’adultes alors que le système est censé interagir aussi avec les enfants, ou un corpus de textes peut utiliser statistiquement plus fréquemment des pronoms de genre féminin que ceux de genre masculin. » (Appel à contributions du Comité national pilote d’éthique du numérique, 2020)
Pour être sans biais, un corpus devrait-il systématiquement comporter autant de pronoms féminins que masculins ? S’il s’agit de développer un système de renseignements sur les violences faites aux femmes par exemple, ne serait-il pas judicieux que le corpus contienne plus de références féminines ?
Qu’est-ce qu’un biais ?
On peut d’abord chercher à éliminer les affirmations fausses (comme « Londres est la capitale de la France » ou « 2 + 2 = 5 »), mais une affirmation fausse n’est pas un biais. Notons que les IA sont aussi parfois clairement à côté de la plaque, et il s’agit alors clairement d’erreurs, pas de biais. C’est assez rare en pratique, mais des erreurs grossières se produisent malgré tout parfois.
Un autre type de problème est davantage lié aux données : si les données utilisées pour l’apprentissage sont éloignées du domaine d’application visé, alors le logiciel résultant fonctionnera mal (c’est essentiellement ce que visait le questionnaire du CNPEN). En théorie, il suffirait de sélectionner des données d’apprentissage diversifiées et représentatives. En pratique, c’est souvent problématique, soit parce que les données pour l’apprentissage ne sont pas disponibles ou en quantité suffisante, ou simplement parce que s’assurer que les données sont diversifiées et représentatives n’est pas un problème trivial. C’est, de fait, une source de biais majeure.
Mais le cas d’Amazon examiné au début n’est pas tellement dû au choix des données : Amazon avait visiblement utilisé ses propres données, récentes, pour entraîner son système. Celui-ci reproduisait en fait un comportement biaisé dans les recrutements passés. On est alors proche du « biais cognitif », tel que défini par Wikipédia :
« Un biais cognitif est une distorsion dans le traitement cognitif d’une information. Le terme biais fait référence à une déviation systématique de la pensée logique et rationnelle par rapport à la réalité. » (Wikipédia)
Dans le cas d’Amazon, le biais était un désavantage systématique pour les candidatures féminines, car les données utilisées pour l’entraînement n’étaient pas neutres.
Faut-il corriger les données d’apprentissage, et comment ?
On remarquera qu’Amazon a alors choisi de débrancher purement et simplement cet algorithme. Un autre choix aurait été d’essayer de le « corriger » en influençant ses décisions au profit des candidatures féminines. Mais quel est l’intérêt d’avoir une approche par apprentissage, si les données sur lesquelles on apprend sont biaisées ? Peut-on vraiment « corriger » les données pour obtenir un système plus neutre ? C’est une des grandes questions qui se pose actuellement en IA.
Toute application a une finalité, et donc une dimension sociale. Ce qui signifie obligatoirement un point de vue, une subjectivité. Il n’y a donc pas de solution toute faite aux problèmes posés par l’IA, et ceux-ci entrent en résonance avec ceux du monde vivant. Définir et hiérarchiser les critères pour choisir parmi des candidatures par exemple est un processus complexe et difficile à modéliser.
Alors, que faire ?
Des bonnes pratiques pour limiter les sources de biais de l’IA
Éviter les biais possibles passe d’abord par une étude préalable minutieuse, si possible collégiale, du problème et de la population visée. Il faut essayer de mettre au jour les variables pertinentes, être aussi exhaustif que possible ; élaborer un corpus (les données qui vont servir à « entraîner », c’est-à-dire à mettre au point le système) en fonction de ces variables, en s’assurant que chaque élément important est bien représenté. Ceci semble évident, mais se heurte souvent à la pratique : manque de temps et d’intérêt pour ce type d’étude, manque de moyen. Les corpus utilisés sont aussi souvent des données provenant directement du Web, difficiles à maîtriser et donc assez souvent décorrélées de la cible visée.
Il faut aussi documenter et rendre publique les éléments qui sous-tendent les décisions (quel code, quelles données sont utilisés et pourquoi) et dire les doutes et les inconnues (par exemple, quand le corpus d’entraînement correspond à un ensemble de textes issus du Web, mal maîtrisés et dont les biais ne peuvent être connus avec précision à l’avance), afin que d’autres puissent les examiner, les critiquer et éventuellement les corriger. Actuellement, le code comme les données sont souvent protégés, ce qui est plutôt contre-productif, suscitant méfiance et suspicion.
Un des grands défis pour les IA actuelles est de pouvoir expliquer leurs décisions : l’explicabilité est nécessaire pour que les décisions soient acceptées, mais c’est aussi un vrai défi technique vu la complexité des systèmes actuels.
C’est la loi qui encadre et limite l’usage des systèmes d’IA. Ceci permet d’éviter certains biais et les comportements déviants : une IA ne doit ni discriminer sur le genre ni proférer de propos homophobes, tout simplement parce que c’est contraire à la loi. Par ailleurs, la loi française interdit qu’une décision administrative soit prise par des systèmes d’apprentissage, sans interdire de s’aider de ceux-ci. C’est un compromis plutôt raisonnable, au moins sur le papier, qui permet de surveiller et de valider des propositions faites automatiquement, à condition que le processus complet soit ouvert et transparent. On ajoute donc ainsi un niveau de supervision humaine, qui n’est lui-même sans doute pas exempt de biais, mais au moins la responsabilité incombe alors à l’humain et n’est pas déléguée à une machine abstraite.
L’objectivité existe-t-elle ?
Mais le dernier point consiste à vraiment prendre conscience que l’absence de biais dans les décisions humaines n’existe pas ; une décision est un choix et, en tant que tel, une décision est nécessairement empreinte de subjectivité. De même, il n’y a pas de corpus sans biais : par nature, toute parole, toute donnée est le fruit d’un point de vue. Cela ne veut pas dire qu’il n’y a pas de vérité et que tout se vaut, mais prendre conscience des biais, c’est aussi prendre conscience des multiples facteurs, conscients ou non, qui nous influencent dans nos décisions.