IA Act – Classification des Risques selon l’IA Act : Une Approche Graduée

Introduction

L’IA Act repose sur une approche proportionnée, basée sur les risques. Tous les systèmes d’IA ne présentent pas le même potentiel de dangerosité pour les droits fondamentaux, la sécurité et la santé des personnes. Certains systèmes, comme les filtres anti-spam ou les jeux vidéo, ont un impact minimal sur nos vies. D’autres, en revanche, comme les systèmes de reconnaissance faciale utilisés par les forces de l’ordre ou les algorithmes d’évaluation des demandes de crédit, peuvent avoir des conséquences majeures sur les individus et la société (source).

Ce chapitre explore en détail la classification des risques introduite par l’IA Act. Nous analyserons les quatre niveaux de risque définis par la législation : risque inacceptable, risque élevé, risque limité et risque minimal. Pour chaque niveau, nous examinerons les types de systèmes concernés, les exigences spécifiques qui leur sont applicables, et les implications concrètes pour les acteurs de l’IA.

Risque Inacceptable : Les Pratiques Interdites

L’IA Act interdit purement et simplement un certain nombre de pratiques d’IA jugées incompatibles avec les valeurs fondamentales de l’Union Européenne et les droits fondamentaux des citoyens. Ces pratiques sont considérées comme présentant un risque inacceptable, car elles constituent une menace claire pour la sécurité, les moyens de subsistance et les droits des personnes.

Notation sociale et surveillance de masse

Sont interdits les systèmes d’IA permettant une notation sociale généralisée, c’est-à-dire l’évaluation ou la classification des personnes physiques sur la base de leur comportement social, de leur situation socio-économique ou de caractéristiques personnelles connues ou prédites, conduisant à un traitement préjudiciable ou défavorable de certaines personnes ou de certains groupes.

Exemple concret : Un système qui attribuerait une note à chaque citoyen en fonction de son comportement en ligne et hors ligne, et qui utiliserait cette note pour déterminer son accès à certains services ou avantages, serait considéré comme un système de notation sociale et donc interdit par l’IA Act.

Analyse approfondie : La notation sociale, telle qu’elle est pratiquée en Chine, est perçue comme une menace majeure pour les libertés individuelles et la démocratie. Elle instaure une surveillance de masse et un contrôle social généralisé, incompatibles avec les valeurs européennes.

Manipulation subliminale et exploitation des vulnérabilités

Sont également interdits les systèmes d’IA qui utilisent des techniques subliminales pour contourner le libre arbitre des personnes et les amener à prendre des décisions préjudiciables qu’elles n’auraient pas prises autrement. De même, sont prohibés les systèmes qui exploitent les vulnérabilités de personnes ou de groupes spécifiques (dues à l’âge, au handicap, à la situation sociale ou économique) pour influencer leur comportement d’une manière susceptible de leur causer un préjudice.

Exemple concret : Un jouet connecté à commande vocale qui inciterait les enfants à adopter des comportements dangereux, ou une application qui utiliserait des techniques de manipulation pour pousser des personnes surendettées à contracter de nouveaux crédits, seraient interdits par l’IA Act.

Reconnaissance faciale en temps réel dans les espaces publics (avec exceptions)

L’IA Act interdit l’utilisation de systèmes d’identification biométrique à distance « en temps réel » dans les espaces accessibles au public à des fins répressives, sauf dans des cas limitativement énumérés et strictement encadrés.

Ces exceptions concernent :

• La recherche ciblée de victimes potentielles spécifiques, y compris d’enfants disparus;
• La prévention d’une menace terroriste spécifique, substantielle et imminente;
• La détection, la localisation, l’identification ou la poursuite d’auteurs ou de suspects d’infractions pénales graves (passibles d’une peine d’emprisonnement d’au moins trois ans).

Analyse approfondie : L’utilisation de la reconnaissance faciale en temps réel par les forces de l’ordre est l’un des sujets les plus controversés de l’IA Act. Ses détracteurs craignent qu’elle n’ouvre la voie à une surveillance de masse et à des atteintes disproportionnées aux libertés individuelles. L’interdiction de principe, assortie d’exceptions strictes, vise à trouver un équilibre entre les impératifs de sécurité et la protection des droits fondamentaux. Même dans les cas exceptionnels, l’utilisation de ces systèmes est soumise à des garanties strictes, notamment une autorisation préalable par une autorité judiciaire ou une autorité administrative indépendante, une limitation dans le temps et dans l’espace, et le respect du principe de proportionnalité.

Autres pratiques prohibées

D’autres pratiques d’IA sont également interdites par l’IA Act, notamment :

• Les systèmes de catégorisation biométrique qui utilisent des caractéristiques sensibles (par exemple, l’origine ethnique, les opinions politiques, les convictions religieuses, l’orientation sexuelle) pour classer les personnes physiques;
• Les systèmes de police prédictive lorsqu’ils sont utilisés pour évaluer le risque qu’une personne physique commette une infraction pénale, sur la seule base de son profil ou de l’évaluation de ses traits de personnalité;
• Les systèmes d’IA qui créent ou enrichissent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales sur Internet ou à partir d’enregistrements de vidéosurveillance;
• Les systèmes d’IA destinés à déduire les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque ces systèmes sont destinés à être mis sur le marché ou utilisés pour des raisons médicales ou de sécurité.

Sanctions en cas de violation

Les violations des interdictions relatives aux pratiques d’IA prohibées sont passibles des sanctions les plus lourdes prévues par l’IA Act : des amendes administratives pouvant aller jusqu’à 35 millions d’euros ou 7 % du chiffre d’affaires annuel mondial total de l’exercice précédent, le montant le plus élevé étant retenu.

Conseil pratique : Les entreprises doivent s’assurer qu’elles n’utilisent pas et ne développent pas de systèmes d’IA qui entrent dans la catégorie des pratiques interdites. Une attention particulière doit être portée aux systèmes de reconnaissance faciale, de notation sociale et de manipulation subliminale.

Haut Risque : Exigences Strictes pour les Systèmes Sensibles

L’IA Act soumet les systèmes d’IA considérés comme présentant un risque élevé pour les droits fondamentaux, la santé et la sécurité des personnes à un ensemble d’exigences strictes, qui doivent être respectées tout au long de leur cycle de vie (source).

Identification des systèmes à haut risque

Un système d’IA est considéré comme à haut risque dans deux cas de figure :

• Le système d’IA est destiné à être utilisé comme composant de sécurité d’un produit, ou est lui-même un produit, couvert par la législation d’harmonisation de l’Union énumérée à l’annexe II de l’IA Act. Cette législation concerne notamment les machines, les jouets, les ascenseurs, les équipements sous pression, les dispositifs médicaux, etc. Si le produit en question est soumis à une évaluation de la conformité par un tiers en vertu de la législation d’harmonisation applicable, le système d’IA qu’il intègre est automatiquement considéré comme à haut risque.
• Le système d’IA est explicitement mentionné à l’annexe III de l’IA Act. Cette annexe liste un certain nombre de domaines et de cas d’usage considérés comme à haut risque, indépendamment du fait que le système soit ou non un composant de sécurité d’un produit soumis à la législation d’harmonisation.

Analyse approfondie : Cette double approche permet de couvrir un large spectre de systèmes d’IA susceptibles d’avoir un impact significatif sur la vie des personnes. Elle garantit que les systèmes intégrés dans des produits déjà réglementés, ainsi que ceux utilisés dans des domaines sensibles identifiés par le législateur, soient soumis à des exigences strictes.

Secteurs critiques et cas d’usage concernés

L’annexe III de l’IA Act identifie huit domaines dans lesquels les systèmes d’IA sont considérés comme à haut risque :

Infrastructures critiques

Les systèmes d’IA utilisés comme composants de sécurité dans la gestion et l’exploitation d’infrastructures critiques, telles que le trafic routier, la fourniture d’eau, de gaz, de chauffage et d’électricité, sont considérés comme à haut risque.

Exemple concret : Un système d’IA utilisé pour réguler le trafic d’un réseau de distribution d’électricité serait considéré comme à haut risque, car une défaillance de ce système pourrait avoir des conséquences graves sur l’approvisionnement en énergie.

Éducation et formation professionnelle

Les systèmes d’IA utilisés pour déterminer l’accès à l’éducation et à la formation professionnelle, pour évaluer les résultats d’apprentissage ou pour contrôler les étudiants sont considérés comme à haut risque.

Exemple concret : Un algorithme utilisé pour sélectionner les candidats à l’entrée d’une université, ou un système de surveillance des examens qui détecte automatiquement les comportements suspects, seraient considérés comme à haut risque.

Emploi et gestion des travailleurs

Les systèmes d’IA utilisés pour le recrutement, la sélection, l’évaluation, la promotion ou le licenciement des travailleurs, ainsi que pour l’attribution des tâches ou la surveillance de l’activité des travailleurs, sont considérés comme à haut risque.

Exemple concret : Un algorithme utilisé pour trier les CV des candidats à un emploi, ou un système qui évalue la performance des employés en fonction de leur activité sur leur ordinateur, seraient considérés comme à haut risque.

Services publics et privés essentiels

Les systèmes d’IA utilisés pour évaluer la solvabilité des personnes physiques ou pour établir leur cote de crédit (sauf s’ils sont utilisés par des petites entreprises pour leur propre usage), pour évaluer et classer les demandes d’assistance sociale, ou pour fournir des services d’assistance et d’orientation personnalisés dans le domaine de la santé, sont considérés comme à haut risque.

Exemple concret : Un algorithme utilisé par une banque pour évaluer les demandes de prêt immobilier, ou un système utilisé par une administration pour déterminer l’éligibilité à une allocation sociale, seraient considérés comme à haut risque.

Maintien de l’ordre

La plupart des systèmes d’IA utilisés par les autorités répressives sont considérés comme à haut risque, notamment ceux destinés à l’évaluation des risques de délinquance ou de récidive, à la détection des émotions (sauf interdiction, voir 3.1.4), à la détection des deepfakes, à l’évaluation de la fiabilité des preuves, ou à l’analyse de données sur les personnes physiques. L’utilisation de systèmes d’identification biométrique à distance est traitée séparément (voir 3.1.3).

Exemple concret : Un algorithme utilisé par la police pour prédire les zones à risque de criminalité, ou un système utilisé pour analyser des images de vidéosurveillance afin d’identifier des suspects, seraient considérés comme à haut risque.

Gestion de la migration, de l’asile et des contrôles aux frontières

La plupart des systèmes d’IA utilisés dans ce domaine sont considérés comme à haut risque, notamment ceux destinés à la vérification de l’authenticité des documents de voyage, à l’examen des demandes de visa ou d’asile, ou à l’évaluation des risques en matière de sécurité, de migration irrégulière ou de santé. L’utilisation de systèmes d’identification biométrique à distance est traitée séparément (voir 3.1.3).

Exemple concret : Un système utilisé pour détecter les faux passeports, ou un algorithme utilisé pour évaluer les demandes d’asile, seraient considérés comme à haut risque.

Composants de sécurité des produits

Comme mentionné précédemment, les systèmes d’IA qui sont des composants de sécurité de produits, ou qui sont eux-mêmes des produits, relevant de la législation d’harmonisation de l’UE (annexe II de l’IA Act), sont automatiquement considérés comme à haut risque.

Analyse approfondie : Cette disposition est importante car elle garantit que les systèmes d’IA intégrés dans des produits déjà soumis à des exigences de sécurité strictes, comme les dispositifs médicaux ou les machines industrielles, soient également soumis aux exigences de l’IA Act. Cela permet d’assurer un niveau de protection cohérent pour les utilisateurs de ces produits.

Exemple concret: Un système d’IA intégré dans un robot chirurgical pour assister le chirurgien lors d’une opération serait considéré comme un système à haut risque, car il est un composant de sécurité d’un dispositif médical.

Obligations spécifiques pour les systèmes à haut risque

Les fournisseurs de systèmes d’IA à haut risque doivent respecter un ensemble d’exigences strictes, qui couvrent l’ensemble du cycle de vie du système, depuis sa conception jusqu’à sa mise hors service. Ces exigences sont détaillées dans le chapitre 4, mais voici un aperçu des principales obligations :

• Mise en place d’un système de gestion des risques : Les fournisseurs doivent identifier, analyser, évaluer et atténuer les risques liés à leurs systèmes d’IA tout au long de leur cycle de vie.
• Gouvernance des données : Les systèmes d’IA à haut risque doivent être entraînés et testés sur des ensembles de données de haute qualité, représentatifs, exempts d’erreurs et de biais, et gérés de manière sécurisée.
• Documentation technique : Les fournisseurs doivent constituer une documentation technique complète et détaillée, démontrant la conformité de leurs systèmes aux exigences de l’IA Act.
• Traçabilité et enregistrement : Les systèmes d’IA à haut risque doivent enregistrer automatiquement les événements pertinents de leur fonctionnement (logs), afin de garantir la traçabilité et de faciliter les enquêtes en cas d’incident.
• Transparence et information des utilisateurs : Les fournisseurs doivent fournir des informations claires et compréhensibles aux utilisateurs sur les capacités et les limites de leurs systèmes d’IA, ainsi que sur les risques potentiels.
• Contrôle humain : Les systèmes d’IA à haut risque doivent être conçus de manière à permettre un contrôle humain effectif, afin de prévenir ou de minimiser les risques.
• Robustesse, exactitude et cybersécurité : Les systèmes d’IA à haut risque doivent atteindre un niveau élevé de robustesse, d’exactitude et de cybersécurité, et être résistants aux tentatives de manipulation.
• Évaluation de la conformité : Avant de mettre un système d’IA à haut risque sur le marché, les fournisseurs doivent effectuer une évaluation de la conformité, soit par un contrôle interne, soit par l’intermédiaire d’un organisme notifié (selon les cas).
• Marquage CE : Les systèmes d’IA à haut risque qui respectent les exigences de l’IA Act doivent porter le marquage CE de conformité.
• Enregistrement dans une base de données européenne : Les fournisseurs doivent enregistrer leurs systèmes d’IA à haut risque dans une base de données de l’UE avant de les mettre sur le marché.

Conseil pratique : La mise en conformité des systèmes d’IA à haut risque représente un défi important pour les entreprises. Il est essentiel de commencer à s’y préparer dès maintenant, en réalisant une cartographie des systèmes d’IA, une évaluation des risques, et en mettant en place les processus et les ressources nécessaires pour répondre aux exigences de l’IA Act.

Risque Limité : Obligations de Transparence

Les systèmes d’IA qui présentent un risque limité sont soumis à des obligations de transparence spécifiques, mais moins contraignantes que celles applicables aux systèmes à haut risque (source).

Systèmes concernés : Chatbots, deepfakes, etc.

Cette catégorie concerne principalement les systèmes d’IA avec lesquels les utilisateurs interagissent directement, et qui pourraient ne pas se rendre compte qu’ils ont affaire à une machine plutôt qu’à un humain. Il s’agit notamment des :

• Chatbots : Les agents conversationnels utilisés pour le service client, l’assistance technique ou d’autres applications.
• Systèmes générant des contenus synthétiques (deepfakes) : Les systèmes qui créent ou manipulent des images, des vidéos ou des enregistrements audio pour faire croire qu’ils sont authentiques.
• Systèmes de reconnaissance des émotions et de catégorisation biométrique : S’ils ne sont pas interdits ou classés à haut risque.

Informer l’utilisateur de l’interaction avec une IA

La principale obligation pour les systèmes d’IA à risque limité est d’informer les utilisateurs qu’ils interagissent avec un système d’IA, sauf si cela est évident compte tenu des circonstances et du contexte d’utilisation.

Exemple concret : Lorsqu’un utilisateur interagit avec un chatbot sur le site web d’une entreprise, il doit être clairement informé qu’il s’agit d’un agent conversationnel automatisé, et non d’un humain. En revanche, si un utilisateur utilise un outil de retouche photo qui fait appel à l’IA pour améliorer la qualité d’une image, il n’est pas forcément nécessaire de l’informer explicitement de l’utilisation de l’IA, car cela peut être considéré comme évident dans ce contexte.

Analyse approfondie : Cette obligation de transparence vise à éviter que les utilisateurs ne soient trompés ou manipulés par des systèmes d’IA. Elle contribue à instaurer un climat de confiance entre les utilisateurs et les technologies d’IA.

Détection et marquage des contenus générés par l’IA

Dans le cas des systèmes qui génèrent des contenus synthétiques (deepfakes), l’IA Act impose des exigences supplémentaires. Les fournisseurs de ces systèmes doivent mettre en place des mécanismes techniques permettant de détecter et de marquer les contenus générés par l’IA de manière lisible par machine, afin que les utilisateurs puissent les distinguer des contenus authentiques. Les informations relatives à la source et au caractère artificiel du contenu doivent être présentées aux utilisateurs de manière claire, visible et non ambiguë. Des exceptions sont prévues pour l’exercice du droit à la liberté d’expression et à la liberté des arts et des sciences, ainsi que pour des finalités d’intérêt public (par exemple, la détection des fraudes).

Conseil pratique : Les entreprises qui développent ou utilisent des systèmes d’IA générant des contenus synthétiques doivent se conformer à ces exigences de marquage et d’information, afin de ne pas induire les utilisateurs en erreur et de prévenir les utilisations malveillantes de ces technologies.

Risque Minimal : Pas d’Obligations Spécifiques

Les systèmes d’IA qui ne sont pas classés comme inacceptables, à haut risque ou à risque limité sont considérés comme présentant un risque minimal. Pour ces systèmes, l’IA Act ne prévoit pas d’obligations spécifiques.

Exemples : Filtres anti-spam, jeux vidéo, etc.

La grande majorité des systèmes d’IA actuellement utilisés dans l’UE entrent dans cette catégorie. Il s’agit par exemple des :

• Filtres anti-spam
• Jeux vidéo
• Systèmes de recommandation de produits ou de contenus (s’ils ne sont pas à haut risque, par exemple s’ils ne sont pas utilisés dans le contexte de l’éducation ou de l’emploi)
• Systèmes d’inventaire
• Outils de traduction automatique (s’ils ne sont pas utilisés dans un contexte à haut risque)

Codes de conduite volontaires encouragés

Bien qu’il n’y ait pas d’obligations légales spécifiques pour les systèmes d’IA à risque minimal, l’IA Act encourage les fournisseurs de ces systèmes à adhérer volontairement à des codes de conduite. Ces codes de conduite peuvent porter sur des aspects tels que la transparence, la robustesse, la non-discrimination, le respect de la vie privée, la durabilité environnementale et la responsabilité sociétale.

La Commission européenne facilitera l’élaboration de ces codes de conduite, en coopération avec les parties prenantes concernées. Les codes de conduite pourront s’inspirer des exigences applicables aux systèmes à haut risque, en les adaptant de manière proportionnée aux spécificités des systèmes à risque minimal.

Analyse approfondie : L’encouragement des codes de conduite volontaires pour les systèmes d’IA à risque minimal vise à promouvoir une culture de l’IA responsable et éthique, même en l’absence d’obligations légales contraignantes. Cela peut contribuer à renforcer la confiance des utilisateurs dans les technologies d’IA et à prévenir l’émergence de risques inattendus.

Conseil pratique : Les entreprises qui développent ou utilisent des systèmes d’IA à risque minimal ont intérêt à adhérer à des codes de conduite volontaires, afin de démontrer leur engagement en faveur d’une IA responsable et de se préparer à d’éventuelles évolutions futures de la réglementation.

Conclusion

La classification des risques est un élément central de l’IA Act. Elle permet d’adapter les exigences réglementaires au niveau de risque présenté par chaque système d’IA, en se concentrant sur les systèmes les plus susceptibles de porter atteinte aux droits fondamentaux, à la sécurité et à la santé des personnes.

Comprendre cette classification est essentiel pour tous les acteurs de l’IA, qu’ils soient fournisseurs, déployeurs, importateurs ou distributeurs. Il est crucial d’identifier correctement le niveau de risque de chaque système d’IA, afin de déterminer les obligations qui lui sont applicables et de mettre en place les mesures de conformité adéquates.