Justice par algorithme – Le rôle de l’intelligence artificielle dans les systèmes de police et de justice pénale
- Auteur(s) :
- Assemblée parlementaire
- Origine
- Texte
adopté par la Commission permanente, agissant au nom
de l’Assemblée, le 22 octobre 2020 (voir Doc. 15156, rapport de la commission des questions juridiques et
des droits de l'homme, rapporteur: M. Boriss Cilevičs).Voir
également la Recommandation
2182 (2020).
1. On trouve désormais des applications
de l’intelligence artificielle (IA) dans de nombreuses sphères de l’activité
humaine, de la recherche pharmaceutique aux médias sociaux, de l’agriculture
aux achats en ligne, du diagnostic médical à la finance et de la
composition musicale à la justice pénale. Ces applications sont
de plus en plus puissantes et influentes, et les citoyens ignorent
bien souvent quand, où et comment elles sont utilisées.
2. Le système de justice pénale représente l’un des principaux
domaines de compétence de l’État: assurer l’ordre public, prévenir
les violations de divers droits fondamentaux en décelant les infractions
pénales, en enquêtant à leur sujet, en poursuivant leurs auteurs
et en sanctionnant ces derniers. Il confère aux autorités d’importants
pouvoirs intrusifs et coercitifs, notamment la surveillance, l’arrestation,
la perquisition et la saisie, la détention et le recours à la force
physique, et même à la force létale. Ce n’est pas un hasard si le
droit international des droits de l’homme impose le contrôle juridictionnel
de tous ces pouvoirs, c’est-à-dire un contrôle effectif, indépendant
et impartial de l’exercice, par les autorités, de leurs compétences
en droit pénal, qui peuvent donner lieu à une profonde ingérence
dans les droits de l’homme fondamentaux. L’introduction d’éléments
non humains dans la prise de décision au sein du système de justice
pénale peut donc présenter des risques particuliers.
3. Si l’on souhaite que le public accepte l’utilisation de l’IA
et jouisse des avantages qu’elle pourrait présenter, ce dernier
doit avoir confiance dans le fait que tout risque est géré de manière
satisfaisante. Si l’IA doit être mise en place avec le consentement
éclairé du public, comme on peut s’y attendre dans une démocratie,
alors une réglementation efficace et proportionnée est une condition
préalable nécessaire.
4. La réglementation de l’IA, qu’il s’agisse d’une autorégulation
volontaire ou de dispositions juridiques obligatoires, devrait reposer
sur des principes éthiques fondamentaux universellement admis et
applicables. L’Assemblée parlementaire considère que ces principes
peuvent être regroupés dans les grandes catégories suivantes:
4.1 la transparence, y compris l’accessibilité
et l’explicabilité;
4.2 la justice et l’équité, y compris la non-discrimination;
4.3 la prise de décision par une personne, qui en est responsable,
et la mise à disposition de voies de recours;
4.4 la sûreté et la sécurité;
4.5 le respect de la vie privée et la protection des données.
5. L’Assemblée se félicite de la Recommandation Rec/CM(2020)1
du Comité des Ministres sur les impacts des systèmes algorithmiques
sur les droits de l’homme, complétée par ses lignes directrices,
ainsi que de la recommandation de la Commissaire aux droits de l’homme
du Conseil de l’Europe intitulée «Décoder l’intelligence artificielle:
10 mesures pour protéger les droits de l’homme». L’Assemblée approuve
les propositions générales énoncées dans ces textes qui s’appliquent
également dans le domaine des systèmes de police et de justice pénale.
6. L’Assemblée observe qu’un nombre important d’applications
de l’IA à l’usage des systèmes de police et de justice pénale ont
été développées à travers le monde. Certaines d’entre elles sont
utilisées dans les États membres du Conseil de l’Europe, ou leur
déploiement y est envisagé. Ces applications englobent notamment la
reconnaissance faciale, la police prédictive, l’identification de
victimes potentielles d’actes criminels, l’évaluation des risques
en matière de détention provisoire, de peine prononcée et de libération
conditionnelle, ou encore l’identification d’affaires non résolues
qui pourraient l’être aujourd’hui grâce aux technologies modernes
de criminalistique.
7. L’Assemblée considère que l’utilisation de l’IA dans les systèmes
de police et de justice pénale risque d’être à de nombreux égards
incompatible avec les principes éthiques fondamentaux mentionnés
ci-dessus. Les situations suivantes sont particulièrement préoccupantes:
7.1 les systèmes d’IA peuvent être
fournis par des entreprises privées, qui sont susceptibles d’invoquer
leurs droits de propriété intellectuelle pour refuser l’accès au
code source. Ces entreprises peuvent même acquérir la propriété
des données traitées par le système, au détriment de l’institution publique
qui fait appel à leurs services. Les utilisateurs et les sujets
d’un système peuvent ne pas disposer des informations ou des explications
nécessaires pour comprendre de manière élémentaire son fonctionnement.
Certains processus qui interviennent dans le fonctionnement d’un
système d’IA peuvent ne pas être parfaitement compréhensibles pour
l’entendement humain. De telles considérations posent la question
de la transparence (et, par conséquent, de la responsabilité/de
l’obligation de rendre des comptes);
7.2 les systèmes d’IA sont formés à partir d’énormes quantités
de données, qui peuvent être entachées de préjugés de longue date,
notamment par une corrélation indirecte entre certaines variables
prédictives et des pratiques discriminatoires (comme l’utilisation
du code postal pour identifier une communauté ethnique traditionnellement
soumise à un traitement discriminatoire). Cette situation est particulièrement
préoccupante dans les domaines de la police et de la justice pénale,
en raison à la fois de la prévalence de la discrimination fondée
sur divers motifs dans ce contexte et de l’importance des décisions
qui peuvent être prises. L’apparente objectivité mécanique de l’IA
peut masquer ces préjugés (techwashing),
les renforcer, voire les perpétuer. Certaines techniques d’IA ne
sont pas aisément contestables par les personnes concernées par
leur application. De telles considérations soulèvent la question
de la justice et de l’équité;
7.3 les contraintes de ressources ou de temps, le manque de
compréhension et la déférence aux recommandations d’un système d’IA
ou la réticence à s’en écarter peuvent placer les fonctionnaires
de police et les juges dans une situation d’extrême dépendance vis-à-vis
de ces systèmes, qui les conduit à abdiquer leurs responsabilités
professionnelles. De telles considérations soulèvent la question
de la responsabilité de la prise de décision;
7.4 ces considérations ont également une incidence les unes
sur les autres. Le manque de transparence d’une application d’IA
réduit la capacité des utilisateurs humains à prendre des décisions en
toute connaissance de cause. Le manque de transparence et l’existence
d’une responsabilité humaine incertaine compromettent la capacité
des mécanismes de contrôle et de recours à garantir la justice et
l’équité;
7.5 l’application de systèmes d’IA dans des contextes distincts
mais liés, en particulier par des institutions différentes qui s’appuient
successivement sur le travail des autres, peut avoir des effets cumulatifs
inattendus, voire imprévisibles;
7.6 de même, l’ajout d’éléments fondés sur l’IA aux technologies
existantes peut avoir des conséquences d’une gravité imprévue ou
non intentionnelle.
8. L’Assemblée conclut que, si l’utilisation de l’IA dans les
systèmes de police et de justice pénale présente des avantages importants
lorsqu’elle est correctement réglementée, elle peut avoir une incidence particulièrement
grave sur les droits de l’homme dans le cas contraire.
9. Par conséquent, pour ce qui est des systèmes de police et
de justice pénale, l’Assemblée appelle les États membres:
9.1 à adopter un cadre juridique
national pour réglementer l’utilisation de l’IA, sur la base des principes
éthiques fondamentaux mentionnés ci-dessus;
9.2 à tenir un registre de toutes les applications d’IA utilisées
dans le secteur public et à s’y référer lors de l’examen de nouvelles
applications, de manière à identifier et à évaluer les effets cumulatifs éventuels;
9.3 à s’assurer que l’IA sert des objectifs politiques généraux
et que ces objectifs ne se limitent pas aux domaines dans lesquels
l’IA peut être appliquée;
9.4 à veiller à ce qu’il existe un fondement juridique suffisant
pour chaque application d’IA et pour le traitement des données pertinentes;
9.5 à garantir que toutes les institutions publiques qui mettent
en œuvre des applications d’IA disposent d’une expertise interne
qui leur permet d’évaluer la mise en place, le fonctionnement et l’incidence
de tels systèmes, et de dispenser des conseils en la matière;
9.6 à consulter le public de manière significative, y compris
les organisations de la société civile et les représentants des
communautés, avant de mettre en place des applications d’IA;
9.7 à s’assurer que toute nouvelle application d’IA est justifiée,
sa finalité précisée et son efficacité confirmée avant sa mise en
service, en fonction du contexte opérationnel particulier;
9.8 à procéder à des évaluations d’impact transparentes des
applications d’IA sur les droits de l’homme, initialement et périodiquement,
afin d’analyser, entre autres, les questions de respect de la vie privée
et de protection des données, les risques de préjugés et de discrimination,
et les conséquences pour les individus des décisions prises à l’aide
de l’IA, en accordant une attention particulière à la situation
des minorités et des groupes vulnérables et défavorisés;
9.9 à veiller à ce que les processus décisionnels essentiels
des applications d’IA soient expliqués à leurs utilisateurs et aux
personnes concernées par leur mise en service;
9.10 à ne mettre en œuvre que les applications d’IA qui peuvent
être examinées et testées sur leur lieu d’exploitation;
9.11 à examiner avec soin les conséquences possibles de l’ajout
d’éléments fondés sur l’IA aux technologies existantes;
9.12 à mettre en place des mécanismes de contrôle éthique efficaces
et indépendants pour la mise en place et l’exploitation des systèmes
d’IA;
9.13 à veiller à ce que la mise en place, l’exploitation et
l’utilisation des applications d’IA puissent faire l’objet d’un
contrôle judiciaire efficace.
