IA Act – Exigences Détaillées pour les Systèmes d’IA à Haut Risque

Introduction

Le chapitre précédent a présenté la classification des risques sur laquelle repose l’IA Act, et a identifié les systèmes d’IA considérés comme « à haut risque ». Ces systèmes, en raison de leur impact potentiel sur les droits fondamentaux, la santé et la sécurité des personnes, sont soumis à un ensemble d’exigences strictes, détaillées dans ce chapitre.

Ce chapitre explore en profondeur les exigences applicables aux systèmes d’IA à haut risque. Nous analyserons en détail les obligations relatives au système de gestion des risques, à la gouvernance des données, à la documentation technique, à la traçabilité, à la transparence, au contrôle humain, à la robustesse, à l’exactitude et à la cybersécurité. Nous aborderons également les procédures d’évaluation de la conformité, le marquage CE et l’enregistrement dans la base de données de l’UE.

Système de Gestion des Risques

Les fournisseurs de systèmes d’IA à haut risque doivent mettre en place, documenter et maintenir un système de gestion des risques tout au long du cycle de vie du système. Ce système est essentiel pour identifier, analyser, évaluer et atténuer les risques potentiels pour les droits fondamentaux, la santé et la sécurité des personnes (source).

Identification, estimation et évaluation des risques

Le système de gestion des risques doit permettre d’identifier les risques raisonnablement prévisibles, qu’ils résultent d’une utilisation conforme à la destination du système ou d’un mésusage raisonnablement prévisible. Les risques doivent être estimés en termes de gravité et de probabilité d’occurrence.

Analyse approfondie : L’identification des risques ne doit pas se limiter aux aspects techniques, mais doit également prendre en compte les impacts potentiels sur les droits fondamentaux, tels que la discrimination, la violation de la vie privée ou la restriction de la liberté d’expression.

Mesures d’atténuation et de contrôle

Une fois les risques identifiés et évalués, les fournisseurs doivent mettre en place des mesures d’atténuation et de contrôle appropriées. Ces mesures peuvent inclure :

• Des techniques de conception et de développement spécifiques, par exemple des mécanismes d’explicabilité, de transparence ou de contrôle humain.
• Des mesures de gouvernance des données, comme la sélection rigoureuse des données d’entraînement, la détection et la correction des biais.
• Des tests et des validations renforcés, pour vérifier la robustesse, l’exactitude et la sécurité du système.
• Des instructions claires aux utilisateurs, pour prévenir les mésusages et limiter les risques résiduels.

Conseil pratique : Les mesures d’atténuation doivent être proportionnées au niveau de risque et documentées de manière détaillée dans le système de gestion des risques.

Évaluation de l’efficacité des mesures

Le système de gestion des risques doit également inclure un processus d’évaluation de l’efficacité des mesures d’atténuation mises en place. Cela peut se faire par le biais de tests réguliers, d’audits internes ou externes, ou d’une surveillance continue des performances du système.

Itération et mise à jour du système de gestion des risques

La gestion des risques est un processus itératif et continu. Le système de gestion des risques doit être régulièrement mis à jour, en fonction de l’évolution des connaissances, des technologies, des retours d’expérience et des incidents éventuels.

Exemple concret : Un fournisseur de système d’IA pour le diagnostic médical doit mettre à jour son système de gestion des risques si de nouvelles études scientifiques révèlent des biais potentiels dans les algorithmes de diagnostic, ou si des incidents signalés par les utilisateurs mettent en évidence des failles de sécurité.

Gouvernance des Données

Les données utilisées pour l’entraînement, la validation et le test des systèmes d’IA à haut risque doivent être d’excellente qualité, afin de minimiser les risques de biais, d’erreurs et de résultats non fiables. L’IA Act impose des exigences strictes en matière de gouvernance des données (source).

Qualité et pertinence des données

Les ensembles de données doivent être pertinents, représentatifs, exempts d’erreurs et complets, dans la mesure du possible, compte tenu de la finalité du système. Ils doivent tenir compte, le cas échéant, des caractéristiques ou des éléments qui sont propres au cadre géographique, comportemental ou fonctionnel particulier ou au contexte dans lequel le système d’IA est destiné à être utilisé.

Analyse approfondie : La qualité des données est un enjeu crucial pour la fiabilité et l’équité des systèmes d’IA. Des données de mauvaise qualité peuvent conduire à des résultats erronés, discriminatoires ou dangereux.

Représentativité et absence de biais

Les ensembles de données doivent être représentatifs de la population concernée par le système d’IA, afin d’éviter les biais discriminatoires. Les fournisseurs doivent examiner et, si nécessaire, corriger les éventuels biais dans les données. Lorsque des biais sont inévitables, par exemple pour des raisons historiques ou structurelles, des mesures doivent être mises en place pour en atténuer les effets.

Conseil pratique : Pour garantir la représentativité des données, il est recommandé de diversifier les sources de données, de collecter des données sur des populations variées et d’utiliser des techniques de rééquilibrage des données si nécessaire. Une analyse statistique approfondie des ensembles de données peut aider à identifier et à corriger les biais potentiels. Des méthodes de « fair learning » (apprentissage équitable) peuvent également être utilisées pour atténuer les biais dans les modèles d’IA.

Documentation des jeux de données

Les fournisseurs doivent documenter de manière claire et exhaustive les caractéristiques des ensembles de données utilisés, les processus de collecte, de préparation et de validation, ainsi que les choix effectués en matière de gouvernance des données.

Sécurité et confidentialité des données

Les données utilisées par les systèmes d’IA à haut risque doivent être protégées contre les accès non autorisés, les fuites et les manipulations. Des mesures de sécurité techniques et organisationnelles appropriées doivent être mises en place, conformément au RGPD et aux autres réglementations applicables en matière de protection des données.

Exemple concret : Un fournisseur de système d’IA pour le recrutement doit s’assurer que les données des candidats sont stockées de manière sécurisée, avec des contrôles d’accès stricts, et qu’elles ne sont utilisées que pour les finalités autorisées.

Documentation Technique

Les fournisseurs de systèmes d’IA à haut risque doivent constituer et conserver une documentation technique détaillée, avant la mise sur le marché du système. Cette documentation est essentielle pour démontrer la conformité du système aux exigences de l’IA Act et pour permettre aux autorités compétentes d’évaluer les risques associés au système (source).

Contenu de la documentation technique

La documentation technique doit contenir, au minimum, les informations suivantes (détaillées à l’annexe IV de l’IA Act) :

• Une description générale du système d’IA, incluant sa finalité, son fonctionnement, ses composants et son environnement d’utilisation.
• Une description détaillée de l’architecture du système, des algorithmes utilisés, des données d’entraînement, de validation et de test, ainsi que des processus de développement et de validation.
• Des informations sur le système de gestion des risques, y compris l’identification et l’évaluation des risques, et les mesures d’atténuation mises en place.
• Une description des mécanismes de contrôle humain, de traçabilité et de transparence.
• Une copie de la déclaration UE de conformité.
• Des instructions d’utilisation claires et complètes.

Analyse approfondie : La documentation technique doit être rédigée dans un langage clair et compréhensible, et doit être suffisamment détaillée pour permettre une évaluation indépendante de la conformité du système.

Informations sur le système, son fonctionnement et ses algorithmes

La documentation doit fournir une description précise du fonctionnement du système d’IA, des algorithmes utilisés, des choix de conception et d’architecture, ainsi que des interactions prévues avec d’autres systèmes ou composants.

Description des données d’entraînement et de test

La documentation doit décrire en détail les ensembles de données utilisés pour l’entraînement, la validation et le test du système, y compris leur provenance, leurs caractéristiques, les processus de collecte et de préparation, ainsi que les mesures de gouvernance des données mises en place.

Résultats des tests et des évaluations

La documentation doit inclure les résultats des tests et des évaluations effectués pour vérifier la conformité du système aux exigences de l’IA Act, notamment en termes de robustesse, d’exactitude, de cybersécurité et de non-discrimination.

Documentation simplifiée pour les PME

Afin de ne pas imposer une charge disproportionnée aux petites et moyennes entreprises (PME), l’IA Act prévoit la possibilité pour la Commission européenne d’établir des formulaires types pour une documentation technique simplifiée, adaptés aux besoins des PME.

Conseil pratique : La constitution de la documentation technique est un processus exigeant, qui doit être initié dès les premières phases de développement du système d’IA. Il est recommandé de mettre en place un système de gestion documentaire rigoureux, afin de garantir la traçabilité et la cohérence des informations tout au long du cycle de vie du système.

Tenue de Registres (Logging)

Les systèmes d’IA à haut risque doivent être conçus et développés de manière à permettre l’enregistrement automatique des événements (« logs ») pendant leur fonctionnement. Ces registres sont essentiels pour assurer la traçabilité du système, surveiller son fonctionnement, détecter les anomalies et les incidents, et mener des investigations en cas de problème (source).

Traçabilité des actions du système

Les registres doivent permettre de tracer les actions effectuées par le système d’IA, les données d’entrée utilisées, les résultats générés, ainsi que les interactions avec d’autres systèmes ou avec des utilisateurs humains.

Enregistrement des événements significatifs

Les registres doivent inclure, au minimum, les informations suivantes :

• La période de fonctionnement du système (démarrage, arrêt, etc.).
• Les données de référence utilisées par le système et les résultats produits.
• Les opérations d’auto-surveillance et de contrôle effectuées par le système.
• Les interventions humaines, le cas échéant.
• Les erreurs, les anomalies et les incidents détectés.

Analyse approfondie : La tenue de registres détaillés est cruciale pour la transparence, la responsabilité et la sécurité des systèmes d’IA à haut risque. Elle permet de reconstituer le « film » des opérations effectuées par le système et de comprendre les causes d’un éventuel dysfonctionnement ou d’une décision erronée.

Faciliter les enquêtes en cas d’incident

En cas d’incident ou de plainte concernant un système d’IA à haut risque, les registres d’activité doivent permettre aux autorités compétentes de mener des investigations approfondies, d’identifier les causes du problème et de déterminer les responsabilités.

Durée de conservation des registres

Les fournisseurs doivent conserver les registres d’activité pendant une durée appropriée, qui ne peut être inférieure à six mois, compte tenu de la finalité du système d’IA et des obligations légales applicables.

Conseil pratique : Les fournisseurs doivent mettre en place des infrastructures techniques et des procédures organisationnelles pour garantir la collecte, le stockage sécurisé et l’intégrité des registres d’activité de leurs systèmes d’IA à haut risque. Il est important de prévoir des capacités de stockage suffisantes et de mettre en place des mécanismes de sauvegarde et de récupération des données.

Transparence et Information des Utilisateurs

Les systèmes d’IA à haut risque doivent être conçus et développés de manière à garantir un niveau de transparence approprié, permettant aux utilisateurs de comprendre et d’utiliser le système de manière sûre et éclairée.

Notice d’utilisation claire et compréhensible

Les fournisseurs doivent fournir, avec le système d’IA, une notice d’utilisation rédigée dans un langage clair et compréhensible. Cette notice doit contenir, au minimum, les informations suivantes :

• L’identité et les coordonnées du fournisseur et, le cas échéant, de son mandataire.
• Les caractéristiques, les capacités et les limites de performance du système, y compris sa finalité, le niveau d’exactitude, de robustesse et de cybersécurité attendu, ainsi que les biais connus et les risques potentiels pour les droits fondamentaux, la santé et la sécurité.
• Les données d’entrée requises par le système et les spécifications techniques nécessaires pour son bon fonctionnement.
• Les mesures de contrôle humain prévues, y compris les informations à fournir aux utilisateurs pour leur permettre d’interpréter correctement les résultats du système et de prendre des décisions éclairées.
• La durée de vie prévue du système et les éventuelles opérations de maintenance et de mise à jour nécessaires.

Analyse approfondie : La transparence est essentielle pour instaurer la confiance des utilisateurs envers les systèmes d’IA et pour leur permettre de les utiliser de manière appropriée. Elle contribue également à la responsabilisation des fournisseurs et à la prévention des mésusages.

Informations sur les capacités et les limites du système

La notice d’utilisation doit décrire de manière précise les capacités du système d’IA, mais aussi ses limites, y compris les situations dans lesquelles il peut ne pas fonctionner correctement ou produire des résultats erronés.

Exemple concret : Un fournisseur de système d’IA pour la détection des fraudes doit indiquer dans la notice d’utilisation les types de fraudes que le système est capable de détecter, mais aussi les types de fraudes qu’il peut manquer, ainsi que les facteurs susceptibles d’affecter ses performances (par exemple, la qualité des données d’entrée).

Description des risques potentiels

La notice d’utilisation doit informer les utilisateurs des risques potentiels liés à l’utilisation du système, en particulier en ce qui concerne les droits fondamentaux, la santé et la sécurité.

Conseil pratique : Les informations sur les risques doivent être rédigées de manière claire et accessible, en évitant le jargon technique. Elles doivent permettre aux utilisateurs de prendre des décisions éclairées quant à l’utilisation du système et de mettre en place les précautions nécessaires.

Informations sur le contrôle humain

La notice d’utilisation doit décrire les mesures de contrôle humain prévues par le fournisseur, et fournir aux utilisateurs les informations nécessaires pour exercer ce contrôle de manière effective.

Contrôle Humain

Les systèmes d’IA à haut risque doivent être conçus de manière à pouvoir faire l’objet d’un contrôle humain effectif. L’objectif est de prévenir ou de minimiser les risques pour les droits fondamentaux, la santé et la sécurité qui pourraient subsister malgré les autres mesures de prévention.

Prévention et minimisation des risques

Le contrôle humain doit permettre de prévenir ou de minimiser les risques identifiés dans le cadre du système de gestion des risques. Il peut s’agir, par exemple, de vérifier les résultats du système avant qu’ils ne soient utilisés pour prendre une décision, d’intervenir en cas d’erreur ou d’anomalie, ou de corriger les biais détectés.

Intervention et correction du système

Les personnes chargées du contrôle humain doivent avoir la possibilité d’intervenir sur le fonctionnement du système, de le corriger, de le désactiver ou d’inverser ses décisions si nécessaire.

Analyse approfondie : Le contrôle humain ne doit pas être une simple formalité, mais doit permettre une réelle supervision et une intervention significative sur le système. Il ne s’agit pas de remplacer l’humain par la machine, mais de combiner les forces des deux pour garantir la sécurité et la fiabilité des systèmes d’IA.

Compétences et formation des personnes chargées du contrôle

Les personnes chargées du contrôle humain doivent disposer des compétences, de la formation et de l’autorité nécessaires pour exercer leur rôle de manière effective. Elles doivent avoir une bonne compréhension du fonctionnement du système d’IA, de ses capacités et de ses limites, ainsi que des risques associés à son utilisation.

Conseil pratique : Les fournisseurs doivent mettre en place des programmes de formation adaptés pour les personnes chargées du contrôle humain, et s’assurer qu’elles disposent des ressources et du soutien nécessaires pour accomplir leur mission.

Cas spécifiques de l’identification biométrique

Pour les systèmes d’identification biométrique à distance, l’IA Act prévoit des exigences spécifiques en matière de contrôle humain. En principe, les décisions prises par ces systèmes doivent être vérifiées par au moins deux personnes physiques qualifiées, afin de prévenir les erreurs d’identification et les discriminations. Des exceptions à cette règle sont prévues dans certains cas, notamment pour les systèmes utilisés à des fins répressives, sous réserve de garanties appropriées.

Exactitude, Robustesse et Cybersécurité

Les systèmes d’IA à haut risque doivent atteindre un niveau élevé d’exactitude, de robustesse et de cybersécurité, conformément à l’état de l’art généralement reconnu. Ces exigences techniques sont essentielles pour garantir la fiabilité et la sécurité des systèmes d’IA dans les applications critiques.

Fiabilité et précision des résultats

Les fournisseurs doivent définir et atteindre des niveaux d’exactitude appropriés pour leurs systèmes d’IA, en tenant compte de leur finalité et des risques associés. Les performances du système doivent être évaluées et documentées tout au long de son cycle de vie.

Résistance aux erreurs, aux pannes et aux manipulations

Les systèmes d’IA à haut risque doivent être robustes, c’est-à-dire résistants aux erreurs, aux pannes et aux perturbations, qu’elles soient accidentelles ou malveillantes. Ils doivent être conçus pour minimiser les impacts négatifs en cas de défaillance et pour permettre une reprise rapide et sûre du fonctionnement normal.

Analyse approfondie : La robustesse est particulièrement importante pour les systèmes d’IA utilisés dans des environnements critiques, tels que les transports autonomes, les infrastructures énergétiques ou les dispositifs médicaux. Une défaillance de ces systèmes pourrait avoir des conséquences graves pour la sécurité des personnes.

Protection contre les cyberattaques

Les systèmes d’IA à haut risque doivent être protégés contre les cyberattaques, qui pourraient viser à compromettre leur fonctionnement, à voler ou à manipuler des données, ou à provoquer des dommages. Les fournisseurs doivent mettre en place des mesures de sécurité techniques et organisationnelles appropriées, en tenant compte des normes et des bonnes pratiques en matière de cybersécurité (source).

Conseil pratique : La cybersécurité doit être intégrée dès la conception des systèmes d’IA (« security by design ») et tout au long de leur cycle de vie (« security by default »). Les fournisseurs doivent effectuer des évaluations régulières des vulnérabilités et des menaces, et mettre en place des plans de réponse aux incidents de sécurité.

Gestion des vulnérabilités

Les fournisseurs doivent mettre en place un processus de gestion des vulnérabilités, qui inclut la détection, l’analyse, la correction et la divulgation responsable des failles de sécurité affectant leurs systèmes d’IA.

Exemple concret : Un fournisseur de système d’IA pour la conduite autonome doit mettre en place un mécanisme permettant aux chercheurs en sécurité de lui signaler les vulnérabilités qu’ils découvrent, et doit s’engager à les corriger dans les meilleurs délais.

Évaluation de la Conformité

Avant de mettre un système d’IA à haut risque sur le marché, les fournisseurs doivent effectuer une évaluation de la conformité pour démontrer que leur système respecte les exigences de l’IA Act. La procédure d’évaluation varie selon que le système est ou non soumis à une législation d’harmonisation de l’UE (voir 3.2.1).

Contrôle interne par le fournisseur

Pour les systèmes d’IA à haut risque qui ne sont pas soumis à une législation d’harmonisation de l’UE avec évaluation de la conformité par un tiers, le fournisseur peut effectuer lui-même l’évaluation de la conformité, sur la base de son système de gestion de la qualité et de sa documentation technique. Cette procédure est appelée « contrôle interne ».

Analyse approfondie : Le contrôle interne implique une auto-évaluation rigoureuse et documentée de la conformité du système d’IA. Les fournisseurs doivent conserver les preuves de cette évaluation et les tenir à la disposition des autorités compétentes pendant une durée de dix ans après la mise sur le marché du système.

Évaluation par un organisme notifié

Pour les systèmes d’IA qui sont des composants de sécurité de produits (ou qui sont eux-mêmes des produits) soumis à une législation d’harmonisation de l’UE avec évaluation de la conformité par un tiers, l’évaluation de la conformité aux exigences de l’IA Act est effectuée par l’organisme notifié compétent dans le cadre de cette législation.

Exemple concret : Un système d’IA intégré dans un dispositif médical et soumis à la réglementation sur les dispositifs médicaux sera évalué par l’organisme notifié compétent pour les dispositifs médicaux, à la fois au regard des exigences de cette réglementation et des exigences de l’IA Act.

Cas spécifiques des composants de sécurité des produits

Lorsque l’évaluation de la conformité d’un système d’IA à haut risque est effectuée par un organisme notifié, celui-ci doit appliquer les procédures d’évaluation prévues par la législation d’harmonisation applicable, tout en tenant compte des exigences spécifiques de l’IA Act. L’organisme notifié doit être compétent à la fois dans le domaine de la législation d’harmonisation concernée et dans le domaine de l’IA.

Conseil pratique : Les fournisseurs de systèmes d’IA qui sont des composants de sécurité de produits doivent se coordonner avec les fabricants de ces produits pour s’assurer que l’évaluation de la conformité est effectuée de manière cohérente et efficace, en tenant compte à la fois des exigences de la législation d’harmonisation applicable et de celles de l’IA Act.

Déclaration de Conformité et Marquage CE

Lorsqu’un système d’IA à haut risque a été évalué comme conforme aux exigences de l’IA Act, le fournisseur doit établir une déclaration UE de conformité et apposer le marquage CE sur le système (ou, si cela n’est pas possible, sur son emballage ou dans la documentation d’accompagnement).

Attestation de conformité aux exigences

La déclaration UE de conformité atteste que le système d’IA respecte les exigences de l’IA Act, ainsi que, le cas échéant, les exigences de la législation d’harmonisation de l’UE applicable. Elle engage la responsabilité du fournisseur quant à la conformité du système.

Responsabilité du fournisseur

Le fournisseur est responsable de l’établissement de la déclaration UE de conformité et de l’apposition du marquage CE. Il doit s’assurer que ces opérations sont effectuées correctement et que le système d’IA reste conforme aux exigences tout au long de sa durée de vie.

Analyse approfondie : La déclaration UE de conformité et le marquage CE sont des éléments essentiels du régime de l’IA Act. Ils permettent aux autorités de contrôle du marché et aux utilisateurs de vérifier que les systèmes d’IA à haut risque mis sur le marché ont été évalués comme conformes et qu’ils offrent les garanties nécessaires en termes de sécurité et de respect des droits fondamentaux.

Mise à jour de la déclaration

En cas de modification substantielle du système d’IA ou de son processus de fabrication, le fournisseur doit mettre à jour la déclaration UE de conformité et, le cas échéant, effectuer une nouvelle évaluation de la conformité.

Conseil pratique : Les fournisseurs doivent mettre en place des procédures internes pour s’assurer que la déclaration UE de conformité et le marquage CE sont maintenus à jour et que toute modification du système d’IA est correctement évaluée et documentée.

Enregistrement dans la Base de Données de l’UE

Avant de mettre sur le marché un système d’IA à haut risque, les fournisseurs doivent enregistrer leur système dans une base de données de l’UE, gérée par la Commission européenne.

Surveillance et contrôle des systèmes à haut risque

L’objectif de cet enregistrement est de permettre aux autorités compétentes de surveiller les systèmes d’IA à haut risque mis sur le marché et d’exercer un contrôle effectif sur leur conformité.

Informations à fournir lors de l’enregistrement

Les fournisseurs doivent fournir un certain nombre d’informations lors de l’enregistrement de leur système, notamment :

• Leur nom et leurs coordonnées, ainsi que, le cas échéant, ceux de leur mandataire.
• Une copie de la déclaration UE de conformité.
• Une copie du certificat délivré par l’organisme notifié, le cas échéant.
• Une description du système d’IA, incluant sa finalité, ses fonctionnalités et ses performances.
• Des informations sur le processus de développement et de validation du système, y compris les données utilisées et les tests effectués.
• Une version électronique des instructions d’utilisation.

Analyse approfondie : L’enregistrement dans la base de données de l’UE est une obligation importante pour les fournisseurs de systèmes d’IA à haut risque. Il contribue à la transparence et à la traçabilité de ces systèmes, et facilite le travail de surveillance et de contrôle des autorités compétentes.

Accès à la base de données

La base de données de l’UE sera accessible aux autorités compétentes des États membres, à la Commission européenne, ainsi qu’aux organismes notifiés. Certaines informations non confidentielles seront également accessibles au public, afin de garantir la transparence et de permettre aux utilisateurs de faire des choix éclairés.