Face à ces enjeux, Elise Degrave propose des pistes de solutions pour encadrer le numérique. « Actuellement comme on l’a dit, la compétence du législateur est mise à mal par le législateur lui même, le gouvernement et la technologie. Pour améliorer la loi à l’ère du numérique il convient de réveiller le législateur en politisant le numérique et en créant un cadre juridique pour les systèmes de décision algorithmiques. En outre, le numérique soulevant des questions nouvelles avec lesquelles le législateur n’est pas nécessairement familier, il convient de l’épauler grâce à des analyses d’impact social et ce qui pourrait être un « AFSCA » des algorithmes ».
Politiser le numérique
Selon Elise Degrave, trois éléments essentiels doivent « imprégner davantage le travail du législateur ». « Il s’agit premièrement de l’objectif suivi par la numérisation de l’État et du besoin social impérieux auquel chaque outil est censé répondre. A quels besoins concrets la numérisation est-elle censée répondre? Est-ce pour faciliter la vie des citoyens? Si oui, pourquoi tant de personnes sont mises en difficulté ? Est ce pour faire des économies ? Mais est-on certain d’en réaliser puisque cette technologie a un coût non négligeable. S’agit-il plutôt de renforcer l’efficacité de l’État? Qu’en est-il alors de la robustesse de ces outils? Deuxièmement le législateur doit évaluer en quoi l’outil envisagé est la solution « nécessaire » pour atteindre ces objectifs. Troisièmement, le responsable politique de chaque technologie doit être clairement identifié, soit de désigner clairement le ou les ministres dont la responsabilité sera enclenchée en cas de problème. »
Des algorithmes décideurs sans contrôle humain
OASIS est un bon exemple d’outil de centralisation et d’exploitation des données des citoyens sans encadrement légal suffisant. « En fait, OASIS est un entrepôt de donnés qui centralise un masse d’informations relatives aux employeurs et aux travailleurs dans un but de profilage. Il s’agit notamment de données fiscales, de données de sécurité sociale et de données relatives à la pension issues de plusieurs bases de données détenues par l’État. Le logiciel croise le tout et génère une liste de fraudeurs potentiels que les inspecteurs doivent contrôler. Si OASIS est efficace, dans 10% des cas, les personne suspectes le sont à tort sans comprendre pourquoi par que selon deux agents qui ont accepté de donner des informations sous anonymat à Elise Degrave, l’application est devenue une « boîte noire. »
OASIS est illégal
Autre hic et de taille: OASIS est illégal. « Il réduit le rôle de l’humain à un épouvantail qui n’a pas de prise sur la décision algorithmique. L’algorithme d’aide à la décision est alors un algorithme décideur. Or l’article 22 du RGPD interdit les décisions « entièrement automatisées ». Il faut donc encadrer et contrôler ces développements. Elise Degrave: « Des cadres existent comme la directive européenne sur les données des passagers aériens et des décisions de la CJUE et du Conseil constitutionnel français qui interdisent de recourir à des algorithmes traitant certains données comme l’origine raciale d’une personne, sa religion, son état de santé ou son orientation sexuelle. Il y a aussi l’AI Act qui interdit les outils de notation sociale classant les indivdus en fonction de leurs caractéristiques personnelles, réelles, déduites ou prédites.? Et Elise Degrave de saluer la décision de l’autorité de protection des données qui demande de faire figurer dans chaque loi encadrant un outil de « Datamining » une explication claire sur les modalités et les garanties des algorithmes utilisés.
Pour une AFSCA des algorithmes
Autre proposition d’Elise Degrave: « Les algorithmes devraient être soumis à une autorité indépendante, une AFSCA des algorithmes chargée de contrôler les algorithmes et d’autoriser -ou non- leur utilisation. Pour ce contrôle, cette autorité devrait pouvoir accéder à tous les éléments nécessaires comme les données d’entraînement, le code source, le résultat des tests et pouvoir dialoguer avec leurs concepteurs. Elle devrait aussi pouvoir exiger des administration qu’elles testent l’algorithme sur des jeux de données fictifs avant de le mettre en exploitation sur toute la population afin de s’assurer notamment qu’il ne discrimine pas. Par ailleurs, au fur et à mesure de son expérience, elle pourrait élaborer notamment une « liste noire » des algorithmes du secteur public présentant un risque d’atteinte aux droits humains. On songe aux algorithme prédictifs recourant à des critères protégés par la législation anti discrimination comme l’âge, la situation financière, l’origine sociale ou le genre afin d’éviter que l’algorithme cible en priorité des catégories vulnérables de la population. »
