From algorithmic transparency to automatized explanainability: Understanding IT, legal and organizational challenges
De la transparence à l’explicabilité automatisée des algorithmes : comprendre les obstacles informatiques, juridiques et organisationnels
Résumé
Public-sector algorithms or data processing carried out by public administrations are subject to obligations of transparency and explainability. These obligations have been put in place to justify the decisions taken by these algorithms and guarantee their accountability to the people concerned. The aim of this research report is to explore the legal and organisational obstacles to the implementation of accountability, and proposes that the concept of explicability be broadened to make it more operational for administrations. Starting with a state of the art of the explicability of automated decisions adjusted to the specific administrative specificities, we carried out an exploratory study of the algorithm for computing housing benefit at the Caisse nationale d’allocations familiales and, on the basis of
this diagnosis, produced three prototypes testing the feasibility of automatically producing quality explanations. We have shown that the usefulness of the explanations is just as crucial from an external point of view –for citizens and institutions control– than from a point of view internal to the administration –in order to ensure the reliability of the information system at the end. We recommend that the technology underlying automated decision and that of its explanation share a common infrastructure, relying on the letter of the law.
Les algorithmes publics ou traitements informatiques opérés par les administrations sont soumis à des obligations de transparence et d'explicabilité. Ces obligations ont été mises en place pour justifier les décisions prises par ces algorithmes et garantir leur redevabilité vis-à-vis des personnes concernées. Ce rapport de recherche vise à explorer les obstacles informatiques, juridiques et organisationnels, qui entravent la mise en œuvre de la redevabilité et propose d'élargir la conception de l'explicabilité, afin de la rendre plus opérationnalisable par les administrations. Partant d'un état de l'art de l'explicabilité des décisions automatisées ajusté aux spécificités administratives, nous avons initié une enquête exploratoire sur l'algorithme de calcul des aides au logement de la Caisse nationale d'allocations familiales et conçu, à partir de ce diagnostic, trois prototypes testant la faisabilité de la production automatique d'explications de qualité. Nous montrons ainsi que l'utilité des explications est tout aussi cruciale d'un point de vue externe -- pour les citoyennes et les institutions de contrôle -- que d'un point de vue interne à l'administration -- afin d'assurer la fiabilité du système d'information au gré des évolutions. Nous recommandons que la technologie de la décision automatisée et celle de son explication partagent une infrastructure commune, s'appuyant sur la lettre du droit.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
