Quatre solutions pour échapper au piège de la partialité des mégadonnées

Un nouveau « Focus » de l’Agence des droits fondamentaux de l’Union européenne (FRA) met l’accent sur le risque de discrimination en cas d’utilisation de mégadonnées dans le cadre de la prise de décision automatisée. Dans ce document, la FRA propose également des solutions potentielles pour réduire ce risque dans la mesure du possible.

Les progrès technologiques rapides ont provoqué l’accumulation de très grandes quantités de données. Des algorithmes se fondant sur l’apprentissage automatique (machine learning) et l’intelligence artificielle exploitent et analysent de plus en plus ces données, ce qui mène à une prise de décision automatisée et à un traitement plus rapide des données.

Le « Focus » de la FRA sur la discrimination dans le cadre de la prise de décision fondée sur les données est une première étude de l’incidence sur les droits fondamentaux des évolutions en matière de mégadonnées et de la façon dont elles sont utilisées, en prélude à des recherches plus approfondies dans ce domaine.

Dans ce document, la FRA reconnaît que les mégadonnées permettent de fournir des services plus efficaces et plus personnalisés. Les mégadonnées contribuent également à la prise de décisions plus avisées et objectives, réduisant d'autant l’influence des préjugés existants qui pourraient se manifester lorsque les décisions sont prises par des personnes.

Toutefois, le document met également en exergue les réserves sérieuses qui doivent être abordées.

Il existe un risque de partialité intégrée entraînant une discrimination des applications et services, par exemple lors du calcul de primes d’assurance ou de l’évaluation de candidatures. Cette discrimination peut être le fait de l’utilisation de présomptions ou de série de données biaisées pour développer l’algorithme. L'utilisation de données de mauvaise qualité, incomplètes, erronées ou obsolètes peut également renforcer la partialité. Il peut s’avérer impossible de généraliser ou de prédire les résultats pour un groupe de personnes en se basant sur des informations relatives à un autre groupe. Il se peut, par exemple, que les personnes issues de minorités ethniques aient moins de chances d’être convoqués à un entretien parce que l’algorithme utilisé se base sur des données témoignant de moins bons résultats de la part de minorités ethniques.

Afin de contribuer à l'amélioration du respect des droits fondamentaux, le « Focus » donne des exemples de démarches possibles :

  1. faire preuve de transparence concernant la façon dont les algorithmes ont été conçus, de sorte que des tiers puissent détecter les applications discriminatoires et y remédier ;
  2. évaluer l’incidence de la partialité et des mauvaises utilisations potentielles dues aux algorithmes ;
  3. évaluer la qualité de toutes les données collectées et utilisées pour développer les algorithmes ;
  4. veiller à ce que la manière dont les algorithmes sont conçus et la façon dont ils fonctionnent puissent être expliquées clairement afin que toute personne puisse contester les décisions fondées sur les données.

L’utilisation des données et la prise de décision automatisée peuvent améliorer la façon dont les décisions sont arrêtées, tant que la réflexion qui sous-tend ces décisions est parfaitement comprise et n’a pas d’incidence négative sur les droits fondamentaux.

Bien que les principes de protection des données fournissent certains conseils concernant l’utilisation d’algorithmes, d’autres éléments doivent être pris en considération. Pour ce faire, il importe que les statisticiens, les avocats, les sociologues, les informaticiens et les spécialistes du domaine concerné collaborent étroitement. Ainsi, une véritable approche respectant les droits fondamentaux pourra être mise au point.