Logo Assembly Logo Hemicycle

Justice par algorithme – Le rôle de l’intelligence artificielle dans les systèmes de police et de justice pénale

Résolution 2342 (2020)

Auteur(s) :
Assemblée parlementaire
Origine
Texte adopté par la Commission permanente, agissant au nom de l’Assemblée, le 22 octobre 2020 (voir Doc. 15156, rapport de la commission des questions juridiques et des droits de l'homme, rapporteur: M. Boriss Cilevičs).Voir également la Recommandation 2182 (2020).
1. On trouve désormais des applications de l’intelligence artificielle (IA) dans de nombreuses sphères de l’activité humaine, de la recherche pharmaceutique aux médias sociaux, de l’agriculture aux achats en ligne, du diagnostic médical à la finance et de la composition musicale à la justice pénale. Ces applications sont de plus en plus puissantes et influentes, et les citoyens ignorent bien souvent quand, où et comment elles sont utilisées.
2. Le système de justice pénale représente l’un des principaux domaines de compétence de l’État: assurer l’ordre public, prévenir les violations de divers droits fondamentaux en décelant les infractions pénales, en enquêtant à leur sujet, en poursuivant leurs auteurs et en sanctionnant ces derniers. Il confère aux autorités d’importants pouvoirs intrusifs et coercitifs, notamment la surveillance, l’arrestation, la perquisition et la saisie, la détention et le recours à la force physique, et même à la force létale. Ce n’est pas un hasard si le droit international des droits de l’homme impose le contrôle juridictionnel de tous ces pouvoirs, c’est-à-dire un contrôle effectif, indépendant et impartial de l’exercice, par les autorités, de leurs compétences en droit pénal, qui peuvent donner lieu à une profonde ingérence dans les droits de l’homme fondamentaux. L’introduction d’éléments non humains dans la prise de décision au sein du système de justice pénale peut donc présenter des risques particuliers.
3. Si l’on souhaite que le public accepte l’utilisation de l’IA et jouisse des avantages qu’elle pourrait présenter, ce dernier doit avoir confiance dans le fait que tout risque est géré de manière satisfaisante. Si l’IA doit être mise en place avec le consentement éclairé du public, comme on peut s’y attendre dans une démocratie, alors une réglementation efficace et proportionnée est une condition préalable nécessaire.
4. La réglementation de l’IA, qu’il s’agisse d’une autorégulation volontaire ou de dispositions juridiques obligatoires, devrait reposer sur des principes éthiques fondamentaux universellement admis et applicables. L’Assemblée parlementaire considère que ces principes peuvent être regroupés dans les grandes catégories suivantes:
4.1 la transparence, y compris l’accessibilité et l’explicabilité;
4.2 la justice et l’équité, y compris la non-discrimination;
4.3 la prise de décision par une personne, qui en est responsable, et la mise à disposition de voies de recours;
4.4 la sûreté et la sécurité;
4.5 le respect de la vie privée et la protection des données.
5. L’Assemblée se félicite de la Recommandation Rec/CM(2020)1 du Comité des Ministres sur les impacts des systèmes algorithmiques sur les droits de l’homme, complétée par ses lignes directrices, ainsi que de la recommandation de la Commissaire aux droits de l’homme du Conseil de l’Europe intitulée «Décoder l’intelligence artificielle: 10 mesures pour protéger les droits de l’homme». L’Assemblée approuve les propositions générales énoncées dans ces textes qui s’appliquent également dans le domaine des systèmes de police et de justice pénale.
6. L’Assemblée observe qu’un nombre important d’applications de l’IA à l’usage des systèmes de police et de justice pénale ont été développées à travers le monde. Certaines d’entre elles sont utilisées dans les États membres du Conseil de l’Europe, ou leur déploiement y est envisagé. Ces applications englobent notamment la reconnaissance faciale, la police prédictive, l’identification de victimes potentielles d’actes criminels, l’évaluation des risques en matière de détention provisoire, de peine prononcée et de libération conditionnelle, ou encore l’identification d’affaires non résolues qui pourraient l’être aujourd’hui grâce aux technologies modernes de criminalistique.
7. L’Assemblée considère que l’utilisation de l’IA dans les systèmes de police et de justice pénale risque d’être à de nombreux égards incompatible avec les principes éthiques fondamentaux mentionnés ci-dessus. Les situations suivantes sont particulièrement préoccupantes:
7.1 les systèmes d’IA peuvent être fournis par des entreprises privées, qui sont susceptibles d’invoquer leurs droits de propriété intellectuelle pour refuser l’accès au code source. Ces entreprises peuvent même acquérir la propriété des données traitées par le système, au détriment de l’institution publique qui fait appel à leurs services. Les utilisateurs et les sujets d’un système peuvent ne pas disposer des informations ou des explications nécessaires pour comprendre de manière élémentaire son fonctionnement. Certains processus qui interviennent dans le fonctionnement d’un système d’IA peuvent ne pas être parfaitement compréhensibles pour l’entendement humain. De telles considérations posent la question de la transparence (et, par conséquent, de la responsabilité/de l’obligation de rendre des comptes);
7.2 les systèmes d’IA sont formés à partir d’énormes quantités de données, qui peuvent être entachées de préjugés de longue date, notamment par une corrélation indirecte entre certaines variables prédictives et des pratiques discriminatoires (comme l’utilisation du code postal pour identifier une communauté ethnique traditionnellement soumise à un traitement discriminatoire). Cette situation est particulièrement préoccupante dans les domaines de la police et de la justice pénale, en raison à la fois de la prévalence de la discrimination fondée sur divers motifs dans ce contexte et de l’importance des décisions qui peuvent être prises. L’apparente objectivité mécanique de l’IA peut masquer ces préjugés (techwashing), les renforcer, voire les perpétuer. Certaines techniques d’IA ne sont pas aisément contestables par les personnes concernées par leur application. De telles considérations soulèvent la question de la justice et de l’équité;
7.3 les contraintes de ressources ou de temps, le manque de compréhension et la déférence aux recommandations d’un système d’IA ou la réticence à s’en écarter peuvent placer les fonctionnaires de police et les juges dans une situation d’extrême dépendance vis-à-vis de ces systèmes, qui les conduit à abdiquer leurs responsabilités professionnelles. De telles considérations soulèvent la question de la responsabilité de la prise de décision;
7.4 ces considérations ont également une incidence les unes sur les autres. Le manque de transparence d’une application d’IA réduit la capacité des utilisateurs humains à prendre des décisions en toute connaissance de cause. Le manque de transparence et l’existence d’une responsabilité humaine incertaine compromettent la capacité des mécanismes de contrôle et de recours à garantir la justice et l’équité;
7.5 l’application de systèmes d’IA dans des contextes distincts mais liés, en particulier par des institutions différentes qui s’appuient successivement sur le travail des autres, peut avoir des effets cumulatifs inattendus, voire imprévisibles;
7.6 de même, l’ajout d’éléments fondés sur l’IA aux technologies existantes peut avoir des conséquences d’une gravité imprévue ou non intentionnelle.
8. L’Assemblée conclut que, si l’utilisation de l’IA dans les systèmes de police et de justice pénale présente des avantages importants lorsqu’elle est correctement réglementée, elle peut avoir une incidence particulièrement grave sur les droits de l’homme dans le cas contraire.
9. Par conséquent, pour ce qui est des systèmes de police et de justice pénale, l’Assemblée appelle les États membres:
9.1 à adopter un cadre juridique national pour réglementer l’utilisation de l’IA, sur la base des principes éthiques fondamentaux mentionnés ci-dessus;
9.2 à tenir un registre de toutes les applications d’IA utilisées dans le secteur public et à s’y référer lors de l’examen de nouvelles applications, de manière à identifier et à évaluer les effets cumulatifs éventuels;
9.3 à s’assurer que l’IA sert des objectifs politiques généraux et que ces objectifs ne se limitent pas aux domaines dans lesquels l’IA peut être appliquée;
9.4 à veiller à ce qu’il existe un fondement juridique suffisant pour chaque application d’IA et pour le traitement des données pertinentes;
9.5 à garantir que toutes les institutions publiques qui mettent en œuvre des applications d’IA disposent d’une expertise interne qui leur permet d’évaluer la mise en place, le fonctionnement et l’incidence de tels systèmes, et de dispenser des conseils en la matière;
9.6 à consulter le public de manière significative, y compris les organisations de la société civile et les représentants des communautés, avant de mettre en place des applications d’IA;
9.7 à s’assurer que toute nouvelle application d’IA est justifiée, sa finalité précisée et son efficacité confirmée avant sa mise en service, en fonction du contexte opérationnel particulier;
9.8 à procéder à des évaluations d’impact transparentes des applications d’IA sur les droits de l’homme, initialement et périodiquement, afin d’analyser, entre autres, les questions de respect de la vie privée et de protection des données, les risques de préjugés et de discrimination, et les conséquences pour les individus des décisions prises à l’aide de l’IA, en accordant une attention particulière à la situation des minorités et des groupes vulnérables et défavorisés;
9.9 à veiller à ce que les processus décisionnels essentiels des applications d’IA soient expliqués à leurs utilisateurs et aux personnes concernées par leur mise en service;
9.10 à ne mettre en œuvre que les applications d’IA qui peuvent être examinées et testées sur leur lieu d’exploitation;
9.11 à examiner avec soin les conséquences possibles de l’ajout d’éléments fondés sur l’IA aux technologies existantes;
9.12 à mettre en place des mécanismes de contrôle éthique efficaces et indépendants pour la mise en place et l’exploitation des systèmes d’IA;
9.13 à veiller à ce que la mise en place, l’exploitation et l’utilisation des applications d’IA puissent faire l’objet d’un contrôle judiciaire efficace.