Ce que recouvre la notion de biais dans les systèmes d'apprentissage automatique
Un système d'intelligence artificielle n'énonce pas de règle morale. Il reproduit des régularités statistiques extraites de données. Lorsque ces données portent la trace de discriminations passées, le modèle peut les apprendre et les restituer, parfois en les amplifiant.
Le biais ne se limite pas à une intention malveillante d'un développeur. Il peut naître de la manière dont un phénomène est mesuré, de la composition d'un échantillon, du choix d'une variable cible ou de la définition même de ce que le système doit prédire.
La difficulté tient à ce que ces mécanismes sont souvent invisibles à l'usage. Un modèle peut afficher une bonne performance globale tout en se trompant de façon systématique sur certains sous-groupes.
Les idées reçues sur l'objectivité supposée des algorithmes
Une première idée reçue consiste à considérer qu'un calcul serait par nature neutre, contrairement à un jugement humain. Cette vision ignore que le calcul s'applique à des données choisies, nettoyées et étiquetées par des personnes, selon des conventions.
Une deuxième idée reçue attribue les biais à la seule qualité des données. Or l'architecture du modèle, la fonction de coût optimisée et le seuil de décision retenu influencent aussi la répartition des erreurs entre groupes.
Une troisième idée reçue suppose qu'il suffirait de retirer les variables sensibles, comme le sexe ou l'origine, pour éliminer la discrimination. En pratique, d'autres variables corrélées peuvent servir de substituts et reconstituer indirectement l'information retirée.
Des cas documentés dans plusieurs domaines d'application
Les travaux sur les systèmes d'aide au recrutement ont montré que des modèles entraînés sur des historiques d'embauche pouvaient défavoriser des candidatures selon le genre, parce qu'ils reproduisaient les déséquilibres observés dans ces historiques. Le mécanisme est simple : le modèle apprend à imiter les décisions passées, y compris leurs régularités contestables.
Dans le domaine de la reconnaissance d'image, des taux d'erreur plus élevés ont été relevés sur certaines catégories de visages, en lien avec leur sous-représentation dans les jeux d'entraînement. La performance moyenne masque alors des écarts importants selon les populations.
Les systèmes d'évaluation utilisés dans la justice ou l'accès au crédit ont également fait l'objet de critiques méthodologiques. Les débats portent souvent sur la variable prédite : prédire la récidive ou la solvabilité n'a pas le même sens selon la façon dont ces notions sont mesurées et selon les populations qu'elles concernent.
Les limites des corrections techniques et la question du cadrage
Plusieurs familles de méthodes visent à réduire les écarts mesurés : rééquilibrage des jeux de données, contraintes ajoutées pendant l'entraînement, ajustement des seuils de décision, audit après mise en service. Ces approches ont un effet réel, mais elles ne tranchent pas une question préalable : quel critère d'équité retenir.
Les définitions disponibles ne sont pas équivalentes. Égaliser les taux d'erreur entre groupes, égaliser les taux de sélection ou garantir une calibration identique conduisent à des résultats différents, parfois incompatibles entre eux. Le choix relève d'un arbitrage politique et non d'une optimisation purement mathématique.
La correction technique intervient en aval. En amont, la décision d'automatiser une tâche, le périmètre confié au système et l'existence d'une voie de recours humaine déterminent souvent l'ampleur du risque. Un modèle très précis peut rester problématique s'il est appliqué sans supervision à des décisions lourdes de conséquences.
Les limites de ces démarches doivent être signalées. Un audit mené sur un jeu de test ne garantit pas le comportement du système en production, où les données évoluent. Certains biais, liés à des variables non mesurées, restent hors de portée des corrections statistiques. Enfin, la transparence sur les méthodes se heurte parfois à des contraintes de propriété industrielle, ce qui complique l'évaluation indépendante.
