AI Act (règlement sur l’intelligence artificielle)
La version finale de l’AI Act (règlement sur l’IA) de l’UE. Les articles sont accompagnés de considérants – cette classification n’est pas prescrite par la loi et n’est qu’une aide à la lecture.
(1) L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme, en particulier pour le développement, la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle (IA) dans l’Union, conformément aux valeurs de l’Union, à promouvoir l’adoption de l’intelligence artificielle (IA) centrée sur l’homme et fiable tout en assurant un niveau élevé de protection de la santé, de la sécurité, des droits fondamentaux tels qu’énoncés dans la Charte des droits fondamentaux de l’Union européenne (la “Charte”), y compris la démocratie, l’État de droit et la protection de l’environnement, à se prémunir contre les effets néfastes des systèmes d’IA dans l’Union et à soutenir l’innovation. Le présent règlement garantit la libre circulation transfrontalière des biens et des services liés à l’intelligence artificielle, empêchant ainsi les États membres d’imposer des restrictions au développement, à la commercialisation et à l’utilisation de systèmes d’intelligence artificielle, sauf autorisation expresse du présent règlement.
(2) Le présent règlement devrait être appliqué conformément aux valeurs de l’Union telles qu’elles sont énoncées dans la Charte, en facilitant la protection des personnes physiques, des entreprises, de la démocratie, de l’État de droit et de la protection de l’environnement, tout en stimulant l’innovation et l’emploi et en faisant de l’Union un chef de file dans l’adoption d’une IA de confiance.
(3) Les systèmes d’IA peuvent être facilement déployés dans une grande variété de secteurs de l’économie et dans de nombreuses parties de la société, y compris au-delà des frontières, et peuvent circuler aisément dans l’ensemble de l’Union. Certains États membres ont déjà exploré l’adoption de règles nationales pour s’assurer que l’IA est fiable et sûre et qu’elle est développée et utilisée en conformité avec les obligations en matière de droits fondamentaux. Des règles nationales divergentes peuvent conduire à la fragmentation du marché interne et réduire la sécurité juridique pour les opérateurs qui développent, importent ou utilisent des systèmes d’IA. Il convient donc d’assurer un niveau de protection cohérent et élevé dans l’ensemble de l’Union afin de parvenir à une IA fiable, tout en évitant les divergences qui entravent la libre circulation, l’innovation, le déploiement et l’adoption de systèmes d’IA et de produits et services connexes sur le marché intérieur, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme de raisons d’intérêt public prépondérantes et des droits des personnes sur l’ensemble du marché intérieur sur la base de l’article 114 du traité sur le fonctionnement de l’Union européenne (TFUE). Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes à l’égard du traitement des données à caractère personnel concernant les restrictions à l’utilisation de systèmes d’intelligence artificielle pour l’identification biométrique à distance à des fins d’application de la loi, à l’utilisation de systèmes d’intelligence artificielle pour l’évaluation des risques des personnes physiques à des fins d’application de la loi et à l’utilisation de systèmes d’intelligence artificielle de catégorisation biométrique à des fins d’application de la loi, il convient de fonder le présent règlement, dans la mesure où ces règles spécifiques sont concernées, sur l’article 16 du TFEU. Compte tenu de ces règles spécifiques et du recours à l’article 16 du TFEU, il convient de consulter le Conseil européen de la protection des données.
(4) L’IA est une famille de technologies en évolution rapide qui contribue à un large éventail d’avantages économiques, environnementaux et sociétaux dans tout le spectre des industries et des activités sociales. En améliorant la prédiction, en optimisant les opérations et l’allocation des ressources, et en personnalisant les solutions numériques disponibles pour les individus et les organisations, l’utilisation de l’IA peut fournir des avantages concurrentiels clés pour entreprendre et soutenir des résultats socialement et environnementalement bénéfiques, par exemple dans la santé, l’agriculture, la sécurité alimentaire, la formation, les médias, les sports, la culture, la gestion des infrastructures, l’énergie, le transport et la logistique, les services publics, la sécurité, la justice, l’efficacité des ressources et de l’énergie, la surveillance de l’environnement, la conservation et la restauration de la biodiversité et des écosystèmes, et l’atténuation et l’adaptation du changement climatique.
(5) En même temps, en fonction des circonstances relatives à son application spécifique, à son utilisation et à son niveau de développement technologique, l’IA peut générer des risques et causer des dommages aux intérêts publics et aux droits fondamentaux protégés par le droit de l’Union. Ces dommages peuvent être matériels ou immatériels, y compris physiques, psychologiques, sociaux ou économiques.
(6) Compte tenu de l’impact majeur que l’IA peut avoir sur la société et de la nécessité d’instaurer la confiance, il est essentiel que l’IA et son cadre réglementaire soient développés conformément aux valeurs de l’Union telles qu’elles sont énoncées à l’article 2 du traité sur l’Union européenne (TUE), aux droits et libertés fondamentaux énoncés dans les traités et, conformément à l’article 6 du TUE, dans la charte. En tant que condition préalable, l’IA devrait être une technologie centrée sur l’homme. Elle devrait servir d’outil pour les personnes, avec pour objectif ultime d’accroître le bien-être humain.
(7) Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en matière de santé, de sécurité et de droits fondamentaux, il convient d’établir des règles communes pour les systèmes d’intelligence artificielle à haut risque. Ces règles devraient être conformes à la Charte, non discriminatoires et en accord avec les engagements commerciaux internationaux de l’Union. Elles devraient également tenir compte de la Déclaration européenne sur les droits et principes numériques pour la décennie numérique et des lignes directrices éthiques pour une IA de confiance du Groupe d’experts de haut niveau sur l’intelligence artificielle (AI HLEG).
(8) Un cadre juridique de l’Union fixant des règles harmonisées sur l’intelligence artificielle est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle sur le marché intérieur, tout en assurant un niveau élevé de protection des intérêts publics, tels que la santé et la sécurité, ainsi que la protection des droits fondamentaux, y compris la démocratie, l’état de droit et la protection de l’environnement, tels que reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, il convient d’établir des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’identification automatique, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des biens et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir les nouvelles solutions innovantes, permettre à un écosystème européen d’acteurs publics et privés de créer des systèmes d’intelligence artificielle en accord avec les valeurs de l’Union et libérer le potentiel de la transformation numérique dans toutes les régions de l’Union. En établissant ces règles ainsi que des mesures de soutien à l’innovation, avec un accent particulier sur les petites et moyennes entreprises (PME), y compris les start-ups, ce règlement soutient l’objectif de promouvoir l’approche européenne de l’IA centrée sur l’humain et d’être un leader mondial dans le développement d’une IA sûre, fiable et éthique, comme l’a demandé le Conseil européen, et il assure la protection des principes éthiques, comme demandé spécifiquement par le Parlement européen.
(144) Afin de promouvoir et de protéger l’innovation, la plate-forme IA à la demande, tous les programmes et projets de financement de l’Union pertinents, tels que le programme Digital Europe, Horizon Europe, mis en œuvre par la Commission et les États membres au niveau de l’Union ou au niveau national, devraient, le cas échéant, contribuer à la réalisation des objectifs du présent règlement.
(145) Afin de réduire au minimum les risques de mise en œuvre résultant d’un manque de connaissances et d’expertise sur le marché et de faciliter le respect par les fournisseurs, en particulier les PME, y compris les start-ups, et les organismes notifiés de leurs obligations au titre du présent règlement, la plateforme IA à la demande, les centres européens d’innovation numérique et les installations d’essai et d’expérimentation mis en place par la Commission et les États membres au niveau de l’Union ou au niveau national devraient contribuer à la mise en œuvre du présent règlement. Dans le cadre de leur mission et de leurs domaines de compétence respectifs, la plate-forme IA à la demande, les centres européens d’innovation numérique et les installations d’essai et d’expérimentation sont en mesure de fournir un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.
(147) Il est approprié que la Commission facilite, dans la mesure du possible, l’accès aux installations d’essai et d’expérimentation aux organismes, groupes ou laboratoires établis ou accrédités en vertu de toute législation d’harmonisation de l’Union pertinente et qui accomplissent des tâches dans le cadre de l’évaluation de la conformité des produits ou des dispositifs couverts par cette législation d’harmonisation de l’Union. Tel est, en particulier, le cas des panels d’experts, des laboratoires d’experts et des laboratoires de référence dans le domaine des dispositifs médicaux conformément aux règlements (UE) 2017/745 et (UE) 2017/746.
(176) Étant donné que l’objectif du présent règlement, à savoir améliorer le fonctionnement du marché intérieur et promouvoir l’adoption d’IA centrées sur l’homme et fiables, tout en assurant un niveau élevé de protection de la santé, de la sécurité, des droits fondamentaux consacrés par la Charte, y compris la démocratie, le respect de la loi et la protection de l’environnement contre les effets néfastes des systèmes d’IA dans l’Union, et en encourageant l’innovation, ne peut pas être réalisé de manière suffisante par les États membres et peut donc, en raison de l’échelle ou des effets de l’action, être mieux réalisé au niveau de l’Union, celle-ci peut adopter des mesures conformément au principe de subsidiarité énoncé à l’article 5 du traité CE. Conformément au principe de proportionnalité tel qu’énoncé audit article, le présent règlement ne va pas au-delà de ce qui est nécessaire pour atteindre cet objectif.
(180) Le Contrôleur européen de la protection des données et le Conseil européen de la protection des données ont été consultés conformément à l’article 42, paragraphes 1 et 2, du règlement (UE) 2018/1725 et ont rendu leur avis conjoint le 18 juin 2021,
1. L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur et de promouvoir l’adoption de l’intelligence artificielle (IA) centrée sur l’homme et fiable, tout en assurant un niveau élevé de protection de la santé, de la sécurité, des droits fondamentaux consacrés par la Charte, y compris la démocratie, le respect de la loi et la protection de l’environnement, contre les effets néfastes des systèmes d’IA dans l’Union et en encourageant l’innovation.
2. Le présent règlement fixe des règles :
(a) des règles harmonisées pour la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle dans l’Union ;
(b) les interdictions de certaines pratiques d’IA ;
(c) des exigences spécifiques pour les systèmes d’intelligence artificielle à haut risque et des obligations pour les opérateurs de ces systèmes ;
(d) des règles de transparence harmonisées pour certains systèmes d’IA ;
(e) des règles harmonisées pour la mise sur le marché de modèles d’IA à usage général ;
(f) des règles sur la surveillance du marché, le contrôle du marché, la gouvernance et l’application ;
(g) des mesures visant à soutenir l’innovation, avec un accent particulier sur les PME, y compris les start-ups.
1. Le présent règlement s’applique à :
(a) les fournisseurs mettant sur le marché ou mettant en service des systèmes d’intelligence artificielle ou mettant sur le marché des modèles d’intelligence artificielle à usage général dans l’Union, que ces fournisseurs soient établis ou situés dans l’Union ou dans un pays tiers ;
(21) Afin d’assurer une égalité de traitement et une protection effective des droits et des libertés des personnes dans l’ensemble de l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’intelligence artificielle, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux personnes qui déploient des systèmes d’intelligence artificielle établis dans l’Union.
(23) Le présent règlement devrait également s’appliquer aux institutions, organes, bureaux et agences de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’intelligence artificielle.
(b) les déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans l’Union ;
(c) les fournisseurs et les déployeurs de systèmes d’intelligence artificielle qui ont leur lieu d’établissement ou sont situés dans un pays tiers, où la production du système d’intelligence artificielle est utilisée dans l’Union ;
(d) importateurs et distributeurs de systèmes d’IA ;
(e) les fabricants de produits qui mettent sur le marché ou en service un système d’intelligence artificielle avec leur produit et sous leur propre nom ou marque ;
(f) les représentants autorisés de prestataires qui ne sont pas établis dans l’Union ;
(82) Afin de permettre l’application du présent règlement et de créer un terrain de jeu équitable pour les opérateurs, et compte tenu des différentes formes de mise à disposition des produits numériques, il est important de s’assurer que, dans toutes les circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. C’est pourquoi, avant de mettre leurs systèmes d’IA à disposition dans l’Union, les fournisseurs établis dans des pays tiers doivent, par mandat écrit, désigner un représentant autorisé établi dans l’Union. Ce représentant agréé joue un rôle essentiel dans la garantie de la conformité des systèmes d’IA à haut risque mis sur le marché ou en service dans l’Union par les fournisseurs qui ne sont pas établis dans l’Union et dans le service de leur personne de contact établie dans l’Union.
(g) les personnes affectées situées dans l’Union.
2. En ce qui concerne les systèmes d’identification automatique classés comme systèmes d’identification automatique à haut risque conformément à l’article 6, paragraphe 1, relatifs aux produits couverts par la législation d’harmonisation de l’Union énumérée dans la section B de l’annexe I, seuls l’article 6, paragraphe 1, les articles 102 à 109 et l’article 112 s’appliquent. L’article 57 ne s’applique que dans la mesure où les exigences relatives aux systèmes d’assurance qualité à haut risque prévues par le présent règlement ont été intégrées dans la législation d’harmonisation de l’Union.
3. Le présent règlement ne s’applique pas aux domaines qui sortent du champ d’application du droit de l’Union et n’affecte en aucun cas les compétences des États membres en matière de sécurité nationale, quel que soit le type d’entité chargé par les États membres d’exécuter des tâches relevant de ces compétences.
Le présent règlement ne s’applique pas aux systèmes d’intelligence artificielle lorsque et jusqu’à ce qu’ils soient mis sur le marché, mis en service ou utilisés, avec ou sans modification, exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
Le présent règlement ne s’applique pas aux systèmes d’intelligence artificielle qui ne sont pas mis sur le marché ou mis en service dans l’Union, lorsque la production est utilisée dans l’Union exclusivement à des fins militaires, de défense ou de sécurité nationale, quel que soit le type d’entité exerçant ces activités.
(24) Si, et dans la mesure où, des systèmes d’intelligence artificielle sont mis sur le marché, mis en service ou utilisés, avec ou sans modification de ces systèmes, à des fins militaires, de défense ou de sécurité nationale, ils doivent être exclus du champ d’application du présent règlement, quel que soit le type d’entité qui exerce ces activités, qu’il s’agisse d’une entité publique ou privée. En ce qui concerne les fins militaires et de défense, cette exclusion est justifiée à la fois par l’article 4, paragraphe 2, du TUE et par les spécificités de la politique de défense des États membres et de l’Union européenne couverte par le chapitre 2 du titre V du TUE, qui sont soumises au droit international public, lequel constitue donc le cadre juridique le plus approprié pour la réglementation des systèmes d’intelligence artificielle dans le cadre de l’utilisation de la force létale et d’autres systèmes d’intelligence artificielle dans le contexte des activités militaires et de défense. En ce qui concerne les objectifs de sécurité nationale, l’exclusion est justifiée à la fois par le fait que la sécurité nationale reste de la seule responsabilité des États membres conformément à l’article 4, paragraphe 2, du TUE et par la nature spécifique et les besoins opérationnels des activités de sécurité nationale et des règles nationales spécifiques applicables à ces activités. Néanmoins, si un système d’intelligence artificielle développé, mis sur le marché, mis en service ou utilisé à des fins militaires, de défense ou de sécurité nationale est utilisé en dehors de celles-ci, temporairement ou de manière permanente, à d’autres fins, par exemple civiles ou humanitaires, d’application de la loi ou de sécurité publique, un tel système entrerait dans le champ d’application du présent règlement.
Dans ce cas, l’entité utilisant le système d’intelligence artificielle à des fins autres que militaires, de défense ou de sécurité nationale doit s’assurer de la conformité du système d’intelligence artificielle avec le présent règlement, à moins que le système ne soit déjà conforme au présent règlement. Les systèmes d’IA mis sur le marché ou en service à des fins exclusives, à savoir militaires, de défense ou de sécurité nationale, et à une ou plusieurs fins non exclues, telles que des fins civiles ou l’application de la loi, entrent dans le champ d’application du présent règlement et les fournisseurs de ces systèmes doivent assurer la conformité avec le présent règlement. Dans ces cas, le fait qu’un système d’intelligence artificielle puisse entrer dans le champ d’application du présent règlement ne devrait pas affecter la possibilité pour les entités exerçant des activités de sécurité nationale, de défense et militaires, quel que soit le type d’entité exerçant ces activités, d’utiliser des systèmes d’intelligence artificielle à des fins de sécurité nationale, militaires et de défense, dont l’utilisation est exclue du champ d’application du présent règlement. Un système d’intelligence artificielle mis sur le marché à des fins civiles ou d’application de la loi, qui est utilisé avec ou sans modification à des fins militaires, de défense ou de sécurité nationale, ne doit pas entrer dans le champ d’application du présent règlement, quel que soit le type d’entité exerçant ces activités.
4. Le présent règlement ne s’applique pas aux autorités publiques d’un pays tiers ni aux organisations internationales relevant du champ d’application du présent règlement en vertu du paragraphe 1, lorsque ces autorités ou organisations utilisent des systèmes d’identification automatique dans le cadre de la coopération internationale ou d’accords de coopération judiciaire et en matière d’application de la loi conclus avec l’Union ou avec un ou plusieurs États membres, à condition que ce pays tiers ou cette organisation internationale prévoie des garanties appropriées en ce qui concerne la protection des droits et libertés fondamentaux des personnes.
(22) Compte tenu de leur nature numérique, certains systèmes d’intelligence artificielle devraient relever du champ d’application du présent règlement, même s’ils ne sont pas mis sur le marché, mis en service ou utilisés dans l’Union. C’est le cas, par exemple, lorsqu’un opérateur établi dans l’Union commande certains services à un opérateur établi dans un pays tiers en rapport avec une activité devant être exercée par un système d’intelligence artificielle qui serait qualifié de à haut risque. Dans ces circonstances, le système d’intelligence artificielle utilisé dans un pays tiers par l’opérateur pourrait traiter des données collectées légalement dans l’Union et transférées depuis celle-ci, et fournir à l’opérateur contractant dans l’Union la sortie de ce système d’intelligence artificielle résultant de ce traitement, sans que ce système d’intelligence artificielle ne soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement du présent règlement et d’assurer une protection efficace des personnes physiques établies dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux prestataires de systèmes d’intelligence artificielle établis dans un pays tiers, dans la mesure où la sortie produite par ces systèmes est destinée à être utilisée dans l’Union.
Néanmoins, afin de tenir compte des arrangements existants et des besoins particuliers en matière de coopération future avec des partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers et aux organisations internationales lorsqu’elles agissent dans le cadre de la coopération ou d’accords internationaux conclus au niveau de l’Union ou au niveau national pour la coopération en matière d’application de la loi et la coopération judiciaire avec l’Union ou les États membres, à condition que le pays tiers ou l’organisation internationale concerné(e) prévoie des garanties suffisantes en ce qui concerne la protection des droits et libertés fondamentaux des personnes. Le cas échéant, cela peut couvrir les activités des entités chargées par les pays tiers d’exécuter des tâches spécifiques à l’appui de cette coopération en matière d’application de la loi et de coopération judiciaire. De tels cadres de coopération ou accords ont été établis bilatéralement entre les États membres et les pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’Union et des pays tiers et des organisations internationales. Les autorités chargées de la surveillance des autorités judiciaires et des autorités chargées de l’application de la loi en vertu du présent règlement devraient évaluer si ces cadres de coopération ou accords internationaux comportent des garanties suffisantes en ce qui concerne la protection des droits et des libertés fondamentaux des personnes. Les autorités nationales bénéficiaires et les institutions, organes, bureaux et agences de l’Union qui utilisent de tels extrants dans l’Union restent tenus de veiller à ce que leur utilisation soit conforme au droit de l’Union. Lorsque ces accords internationaux sont révisés ou que de nouveaux accords sont conclus à l’avenir, les parties contractantes devraient faire tout leur possible pour les rendre conformes aux exigences du présent règlement.
5. Le présent règlement n’affecte pas l’application des dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées au chapitre II du règlement (UE) 2022/2065.
(11) Le présent règlement doit s’appliquer sans préjudice des dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées dans le règlement (UE) 2022/2065 du Parlement européen et du Conseil .
6. Le présent règlement ne s’applique pas aux systèmes ou modèles d’intelligence artificielle, y compris leurs résultats, spécialement conçus et mis en service aux seules fins de la recherche et du développement scientifiques.
(25) Ce règlement doit soutenir l’innovation, respecter la liberté de la science et ne doit pas entraver les activités de recherche et de développement. Il est donc nécessaire d’exclure de son champ d’application les systèmes et modèles d’intelligence artificielle spécialement conçus et mis en service dans le seul but de la recherche et du développement scientifiques. En outre, il est nécessaire de s’assurer que le présent règlement n’affecte pas autrement les activités de recherche et de développement scientifiques sur les systèmes ou modèles d’IA avant leur mise sur le marché ou leur mise en service. En ce qui concerne les activités de recherche, de test et de développement axées sur les produits concernant les systèmes ou modèles d’IA, les dispositions du présent règlement ne doivent pas non plus s’appliquer avant que ces systèmes et modèles ne soient mis en service ou placés sur le marché. Cette exclusion est sans préjudice de l’obligation de se conformer au présent règlement lorsqu’un système d’intelligence artificielle relevant du champ d’application du présent règlement est mis sur le marché ou mis en service à la suite d’une telle activité de recherche et de développement, ainsi que de l’application des dispositions relatives aux sandboxes et aux essais réglementaires en matière d’intelligence artificielle dans les conditions du monde réel.
En outre, sans préjudice de l’exclusion des systèmes d’intelligence artificielle spécialement conçus et mis en service dans le seul but de la recherche et du développement scientifiques, tout autre système d’intelligence artificielle susceptible d’être utilisé pour la conduite d’une quelconque activité de recherche et de développement devrait rester soumis aux dispositions du présent règlement. En tout état de cause, toute activité de recherche et de développement doit être menée conformément aux normes éthiques et professionnelles reconnues en matière de recherche scientifique et doit être conforme à la législation de l’Union applicable.
7. Le droit de l’Union européenne relatif à la protection des données à caractère personnel, à la vie privée et à la confidentialité des communications s’applique aux données à caractère personnel traitées dans le cadre des droits et obligations prévus par le présent règlement. Le présent règlement n’affecte pas le règlement (UE) 2016/679 ou (UE) 2018/1725, ou la directive 2002/58/CE ou (UE) 2016/680, sans préjudice de l’article 10, paragraphe 5, et de l’article 59 du présent règlement.
(9) Des règles harmonisées applicables à la mise sur le marché, à la mise en service et à l’utilisation de systèmes d’intelligence artificielle à haut risque devraient être établies de manière cohérente avec le règlement (CE) n° 765/2008 du Parlement européen et du Conseil, la décision n° 768/2008/CE du Parlement européen et du Conseil et le règlement (UE) 2019/1020 du Parlement européen et du Conseil (nouveau cadre législatif). Les règles harmonisées énoncées dans le présent règlement devraient s’appliquer à tous les secteurs et, conformément au nouveau cadre législatif, ne devraient pas porter préjudice au droit communautaire existant, notamment en matière de protection des données, de protection des consommateurs, de droits fondamentaux, d’emploi et de protection des travailleurs, et de sécurité des produits, auquel le présent règlement est complémentaire. En conséquence, tous les droits et recours prévus par ce droit de l’Union à l’égard des consommateurs et des autres personnes sur lesquelles les systèmes d’intelligence artificielle peuvent avoir un impact négatif, y compris en ce qui concerne l’indemnisation des dommages éventuels conformément à la directive 85/374/CEE du Conseil10 , restent inchangés et pleinement applicables.
En outre, dans le contexte de l’emploi et de la protection des travailleurs, le présent règlement ne devrait donc pas affecter la législation de l’Union en matière de politique sociale et la législation nationale du travail, conforme au droit de l’Union, concernant l’emploi et les conditions de travail, y compris la santé et la sécurité au travail et les relations entre employeurs et travailleurs. Le présent règlement ne devrait pas non plus affecter l’exercice des droits fondamentaux tels qu’ils sont reconnus dans les États membres et au niveau de l’Union, y compris le droit ou la liberté de faire grève ou d’entreprendre toute autre action couverte par les systèmes de relations industrielles spécifiques en vigueur dans les États membres, ainsi que le droit de négocier, de conclure et d’appliquer des conventions collectives ou de mener des actions collectives conformément au droit national.
Le présent règlement ne devrait pas affecter les dispositions visant à améliorer les conditions de travail dans le travail de plateforme prévues par une directive du Parlement européen et du Conseil concernant l’amélioration des conditions de travail dans le secteur du travail de plateforme. En outre, ce règlement vise à renforcer l’efficacité de ces droits et mesures existants en établissant des exigences et des obligations spécifiques, y compris en ce qui concerne la transparence, la documentation technique et le suivi des systèmes d’intelligence artificielle. En outre, les obligations imposées aux différents opérateurs impliqués dans la chaîne de valeur de l’IA en vertu du présent règlement devraient s’appliquer sans préjudice du droit national, dans le respect du droit de l’Union, et avoir pour effet de limiter l’utilisation de certains systèmes d’IA lorsque ce droit sort du champ d’application du présent règlement ou poursuit des objectifs d’intérêt public légitimes autres que ceux visés par le présent règlement. Par exemple, le droit national du travail et le droit relatif à la protection des mineurs, c’est-à-dire des personnes âgées de moins de 18 ans, compte tenu de l’observation générale n° 25 (2021) de la CNUCED sur les droits de l’enfant dans le cadre de l’environnement numérique, dans la mesure où ils ne sont pas spécifiques aux systèmes d’IA et poursuivent d’autres objectifs d’intérêt public légitimes, ne devraient pas être affectés par le présent règlement.
(10) Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 et (UE) 2018/1725 du Parlement européen et du Conseil et par la directive (UE) 2016/680 du Parlement européen et du Conseil. La directive 2002/58/CE du Parlement européen et du Conseil protège en outre la vie privée et la confidentialité des communications, notamment en prévoyant des conditions pour tout stockage de données personnelles et non personnelles dans des équipements terminaux et pour tout accès à partir de ces équipements. Ces actes juridiques de l’Union fournissent la base d’un traitement des données durable et responsable, y compris lorsque les ensembles de données comprennent un mélange de données personnelles et non personnelles. Le présent règlement ne cherche pas à affecter l’application de la législation européenne existante en matière de traitement des données à caractère personnel, y compris les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces instruments.
Elle n’affecte pas non plus les obligations des fournisseurs et des déployeurs de systèmes d’intelligence artificielle dans leur rôle de contrôleurs de données ou de processeurs découlant du droit de l’Union ou du droit national en matière de protection des données à caractère personnel, dans la mesure où la conception, le développement ou l’utilisation des systèmes d’intelligence artificielle impliquent le traitement de données à caractère personnel. Il convient également de préciser que les personnes concernées continuent de jouir de tous les droits et garanties qui leur sont accordés par le droit de l’Union, y compris les droits liés à la prise de décision individuelle entièrement automatisée, y compris le profilage. Des règles harmonisées pour la mise sur le marché, la mise en service et l’utilisation des systèmes d’intelligence artificielle établis en vertu du présent règlement devraient faciliter la mise en œuvre effective et permettre l’exercice des droits des personnes concernées et des autres droits garantis par le droit de l’Union en matière de protection des données à caractère personnel et des autres droits fondamentaux.
8. Le présent règlement ne s’applique pas à toute activité de recherche, de test ou de développement concernant des systèmes ou des modèles d’intelligence artificielle avant leur mise sur le marché ou leur mise en service. Ces activités doivent être menées conformément à la législation de l’Union applicable. Les essais en conditions réelles ne sont pas couverts par cette exclusion.
9. Le présent règlement ne préjuge pas des règles fixées par d’autres actes législatifs de l’Union relatifs à la protection des consommateurs et à la sécurité des produits.
10. Le présent règlement ne s’applique pas aux obligations des personnes physiques qui utilisent des systèmes d’intelligence artificielle dans le cadre d’une activité non professionnelle purement personnelle.
11. Le présent règlement n’empêche pas l’Union ou les États membres de maintenir ou d’introduire des dispositions législatives, réglementaires ou administratives plus favorables aux travailleurs en ce qui concerne la protection de leurs droits en matière d’utilisation des systèmes d’assurance-invalidité par les employeurs, ni d’encourager ou de permettre l’application de conventions collectives plus favorables aux travailleurs.
12. Le présent règlement ne s’applique pas aux systèmes d’intelligence artificielle publiés sous licences libres et open source, sauf s’ils sont mis sur le marché ou mis en service en tant que systèmes d’intelligence artificielle à haut risque ou en tant que systèmes d’intelligence artificielle relevant des articles 5 ou 50.
(103) Les composants AI libres et open-source couvrent les logiciels et les données, y compris les modèles et les modèles AI à usage général, les outils, les services ou les processus d’un système AI. Les composants d’IA gratuits et à source ouverte peuvent être fournis par différents moyens, y compris leur développement sur des bases de données ouvertes. Aux fins du présent règlement, les composants d’IA qui sont fournis contre un prix ou autrement monétisés, notamment par la fourniture d’un support technique ou d’autres services, y compris par le biais d’une plateforme logicielle, liés au composant d’IA, ou l’utilisation de données à caractère personnel pour des raisons autres que l’amélioration de la sécurité, de la compatibilité ou de l’interopérabilité du logiciel, à l’exception des transactions entre micro-entreprises, ne doivent pas bénéficier des exceptions prévues pour les composants d’IA libres et open source. Le fait de mettre à disposition des composants IA par le biais de dépôts ouverts ne devrait pas constituer en soi une monétisation.
(104)Les fournisseurs de modèles d’IA à usage général qui sont publiés sous une licence libre et ouverte et dont les paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont rendus publics, devraient être soumis à des exceptions en ce qui concerne les exigences de transparence imposées aux modèles d’IA à usage général, sauf s’ils peuvent être considérés comme présentant un risque systémique, auquel cas la circonstance que le modèle est transparent et accompagné d’une licence ouverte ne devrait pas être considérée comme une raison suffisante pour exclure la conformité aux obligations prévues par le présent règlement. En tout état de cause, étant donné que la publication de modèles d’IA à usage général sous licence libre et open-source ne révèle pas nécessairement d’informations substantielles sur l’ensemble des données utilisées pour l’entraînement ou le réglage fin du modèle et sur la manière dont le respect du droit d’auteur a été assuré par ce biais, l’exception prévue pour les modèles d’IA à usage général à la conformité avec les exigences en matière de transparence ne devrait pas concerner l’obligation de produire un résumé du contenu utilisé pour la formation du modèle et l’obligation de mettre en place une politique de conformité avec la législation de l’Union sur le droit d’auteur, en particulier d’identifier et de se conformer à la réservation des droits conformément à l’article 4, paragraphe 3, de la directive (UE) 2019/790 du Parlement européen et du Conseil .
(118) Le présent règlement réglemente les systèmes et modèles d’intelligence artificielle en imposant certaines exigences et obligations aux acteurs du marché concernés qui les placent sur le marché, les mettent en service ou les utilisent dans l’Union, complétant ainsi les obligations imposées aux fournisseurs de services intermédiaires qui intègrent de tels systèmes ou modèles dans leurs services, régies par le règlement (UE) 2022/2065. Dans la mesure où ces systèmes ou modèles sont intégrés dans la conception de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne, ils sont soumis au cadre de gestion des risques prévu par le règlement (UE) 2022/2065. Par conséquent, les obligations correspondantes du présent règlement devraient être présumées remplies, à moins que des risques systémiques significatifs non couverts par le règlement (UE) 2022/2065 n’apparaissent et ne soient identifiés dans de tels modèles. Dans ce cadre, les fournisseurs de très grandes plateformes en ligne et de très grands moteurs de recherche en ligne sont tenus d’évaluer les risques systémiques potentiels découlant de la conception, du fonctionnement et de l’utilisation de leurs services, y compris la manière dont la conception des systèmes algorithmiques utilisés dans le service peut contribuer à de tels risques, ainsi que les risques systémiques découlant d’erreurs potentielles. Ces fournisseurs sont également tenus de prendre des mesures d’atténuation appropriées dans le respect des droits fondamentaux.
(119) Compte tenu du rythme rapide de l’innovation et de l’évolution technologique des services numériques dans le cadre de différents instruments de la législation de l’Union, en particulier en ayant à l’esprit l’utilisation et la perception de leurs destinataires, les systèmes d’IA visés par le présent règlement peuvent être fournis en tant que services intermédiaires ou parties de ceux-ci au sens du règlement (UE) 2022/2065, qui devrait être interprété d’une manière neutre sur le plan technologique. Par exemple, les systèmes d’IA peuvent être utilisés pour fournir des moteurs de recherche en ligne, en particulier dans la mesure où un système d’IA tel qu’un chatbot en ligne effectue des recherches sur, en principe, tous les sites web, puis intègre les résultats dans ses connaissances existantes et utilise les connaissances mises à jour pour générer une sortie unique qui combine différentes sources d’informations.
(120) En outre, les obligations imposées aux fournisseurs et aux déployeurs de certains systèmes d’intelligence artificielle par le présent règlement pour permettre la détection et la divulgation du fait que les résultats de ces systèmes sont générés ou manipulés de manière artificielle sont particulièrement pertinentes pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela s’applique en particulier en ce qui concerne les obligations des fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne d’identifier et d’atténuer les risques systémiques qui pourraient résulter de la diffusion de contenus qui ont été générés ou manipulés artificiellement, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le discours civique et les processus électoraux, y compris par le biais de la désinformation.
(121)La normalisation devrait jouer un rôle clé dans la fourniture de solutions techniques aux fournisseurs afin d’assurer la conformité avec le présent règlement, conformément à l’état de l’art, et de promouvoir l’innovation ainsi que la compétitivité et la croissance sur le marché unique. La conformité aux normes harmonisées définies à l’article 2, point (1)(c), du règlement (UE) n° 1025/2012 du Parlement européen et du Conseil , qui sont normalement censées refléter l’état de l’art, devrait être un moyen pour les fournisseurs de démontrer la conformité aux exigences du présent règlement. Il convient donc d’encourager une représentation équilibrée des intérêts de toutes les parties prenantes concernées par l’élaboration des normes, en particulier les PME, les organisations de consommateurs et les parties prenantes environnementales et sociales, conformément aux articles 5 et 6 du règlement (UE) no 1025/2012. Afin de faciliter la conformité, les demandes de normalisation devraient être émises par la Commission sans retard excessif. Lors de la préparation de la demande de normalisation, la Commission devrait consulter le forum consultatif et le conseil d’administration afin de recueillir l’expertise pertinente. Toutefois, en l’absence de références pertinentes à des normes harmonisées, la Commission devrait être en mesure d’établir, par le biais d’actes d’exécution et après consultation du forum consultatif, des spécifications communes pour certaines exigences prévues par le présent règlement.
La spécification commune devrait être une solution de repli exceptionnelle pour faciliter l’obligation du prestataire de se conformer aux exigences du présent règlement, lorsque la demande de normalisation n’a pas été acceptée par l’un des organismes européens de normalisation, ou lorsque les normes harmonisées pertinentes ne traitent pas suffisamment des questions de droits fondamentaux, ou lorsque les normes harmonisées ne répondent pas à la demande, ou lorsqu’il y a des retards dans l’adoption d’une norme harmonisée appropriée. Si un tel retard dans l’adoption d’une norme harmonisée est dû à la complexité technique de cette norme, la Commission devrait en tenir compte avant d’envisager l’établissement de spécifications communes. Lors de l’élaboration de spécifications communes, la Commission est encouragée à coopérer avec des partenaires internationaux et des organismes internationaux de normalisation.
Aux fins du présent règlement, les définitions suivantes s’appliquent :
(1) ‘Système AImeans a machine-based system that is designed to operate with various levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments ;
(12) La notion de “système IA” dans le présent règlement devrait être clairement définie et devrait être étroitement alignée sur les travaux des organisations internationales travaillant sur l’IA afin d’assurer la certitude juridique, de faciliter la convergence internationale et une large acceptation, tout en offrant la flexibilité nécessaire pour s’adapter aux évolutions technologiques rapides dans ce domaine. En outre, la définition devrait être basée sur les caractéristiques clés des systèmes d’IA qui les distinguent des systèmes logiciels ou des approches de programmation traditionnels plus simples et ne devrait pas couvrir les systèmes qui sont basés sur les règles définies uniquement par des personnes physiques pour exécuter automatiquement des opérations. Une caractéristique clé des systèmes IA est leur capacité d’inférence. Cette capacité d’inférence se réfère au processus d’obtention des sorties, telles que des prédictions, des contenus, des recommandations ou des décisions, qui peuvent influencer des environnements physiques et virtuels, et à une capacité des systèmes IA à dériver des modèles ou des algorithmes, ou les deux, à partir d’entrées ou de données. Les techniques qui permettent l’inférence lors de la construction d’un système d’IA comprennent les approches d’apprentissage automatique qui apprennent à partir des données comment atteindre certains objectifs, et les approches basées sur la logique et les connaissances qui infèrent à partir de connaissances encodées ou d’une représentation symbolique de la tâche à résoudre. La capacité d’un système IA à inférer transcende le traitement de données de base en permettant l’apprentissage, le raisonnement ou la modélisation. Le terme ‘machine-based’ fait référence au fait que les systèmes IA fonctionnent sur des machines.
La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner conformément à des objectifs définis explicitement ou à des objectifs implicites. Les objectifs du système d’IA peuvent être différents de l’objectif visé par le système d’IA dans un contexte spécifique. Aux fins du présent règlement, les environnements devraient être considérés comme les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les résultats générés par le système d’IA reflètent différentes fonctions exécutées par les systèmes d’IA et comprennent des prédictions, des contenus, des recommandations ou des décisions. Les systèmes d’IA sont conçus pour fonctionner avec différents niveaux d’autonomie, c’est-à-dire qu’ils ont un certain degré d’indépendance d’action par rapport à l’implication humaine et des capacités à fonctionner sans intervention humaine. La capacité d’adaptation qu’un système IA pourrait manifester après son déploiement fait référence à des capacités d’auto-apprentissage, permettant au système de changer pendant son utilisation. Les systèmes IA peuvent être utilisés de manière autonome ou en tant que composant d’un produit, que le système soit physiquement intégré dans le produit (embarqué) ou qu’il serve la fonctionnalité du produit sans y être intégré (non embarqué).
(2) ‘risqueLa notion de “risque” désigne la combinaison de la probabilité d’occurrence d’un dommage et de la sévérité de ce dommage ;
(3) ‘fournisseurdésigne une personne physique ou morale, une autorité publique, une agence ou un autre organisme qui développe un système d’intelligence artificielle ou un modèle d’intelligence artificielle à usage général, ou qui a développé un système d’intelligence artificielle ou un modèle d’intelligence artificielle à usage général et le met sur le marché ou met en service le système d’intelligence artificielle sous son propre nom ou sa propre marque, que ce soit à titre onéreux ou gratuit ;
(4) ‘deployer’ désigne une personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant un système IA sous son autorité, sauf lorsque le système IA est utilisé dans le cadre d’une activité personnelle non professionnelle ;
(13) La notion de “déployeur” mentionnée dans le présent règlement doit être interprétée comme désignant toute personne physique ou morale, y compris une autorité publique, une agence ou un autre organisme, utilisant un système d’intelligence artificielle sous son autorité, sauf lorsque le système d’intelligence artificielle est utilisé dans le cadre d’une activité personnelle non professionnelle. En fonction du type de système d’IA, l’utilisation du système peut affecter des personnes autres que le déployeur.
(5) ‘représentant autorisédésigne une personne physique ou morale située ou établie dans l’Union qui a reçu et accepté un mandat écrit d’un fournisseur d’un système d’intelligence artificielle ou d’un modèle d’intelligence artificielle à usage général pour, respectivement, exécuter et mettre en œuvre en son nom les obligations et les procédures établies par le présent règlement ;
(6) ‘importerPar “personne physique ou morale”, on entend une personne physique ou morale établie ou domiciliée dans l’Union qui met sur le marché un système d’identification automatique portant le nom ou la marque d’une personne physique ou morale établie dans un pays tiers ;
(7) ‘distributeursignifie une personne physique ou morale dans la chaîne d’approvisionnement, autre que le fournisseur ou l’importateur, qui met un système IA à disposition sur le marché de l’Union ;
(8) ‘opérateur’ signifie un fournisseur, un fabricant de produits, un déployeur, un représentant agréé, un importateur ou un distributeur ;
(9) ‘mise sur le marchéLa première mise à disposition d’un système d’intelligence artificielle ou d’un modèle d’intelligence artificielle à usage général sur le marché de l’Union ;
(10) ‘mise à disposition sur le marchéOn entend par “fourniture” la livraison d’un système d’intelligence artificielle ou d’un modèle d’intelligence artificielle à usage général en vue de sa distribution ou de son utilisation sur le marché de l’Union dans le cadre d’une activité commerciale, que ce soit en échange d’un paiement ou à titre gratuit ;
(11) ‘mettre en serviceOn entend par “livraison” la fourniture d’un système d’intelligence artificielle en vue d’une première utilisation directement chez le destinataire ou d’une utilisation propre dans l’Union, conformément à l’usage auquel il est destiné ;
(12) ‘intended purposesignifie l’utilisation pour laquelle un système d’intelligence artificielle est prévu par le fournisseur, y compris le contexte et les conditions d’utilisation spécifiques, tels que spécifiés dans les informations fournies par le fournisseur dans les instructions d’utilisation, le matériel promotionnel ou de vente et les déclarations, ainsi que dans la documentation technique ;
(13) ‘reasonably foreseeable abusL’utilisation d’un système d’intelligence artificielle d’une manière qui n’est pas conforme à sa finalité, mais qui peut résulter d’un comportement humain prévisible ou d’une interaction avec d’autres systèmes, y compris d’autres systèmes d’intelligence artificielle ;
(14) ‘composant de sécuritédésigne un composant d’un produit ou d’un système d’intelligence artificielle qui remplit une fonction de sécurité pour ce produit ou ce système d’intelligence artificielle, ou dont la défaillance ou le dysfonctionnement met en péril la santé et la sécurité des personnes ou des biens ;
(15) ‘instructions d’utilisationPar “informations”, on entend les informations fournies par le fournisseur pour informer le déployeur, en particulier, de l’usage prévu et de la bonne utilisation d’un système d’intelligence artificielle ;
(16) ‘rappel d’un système AI’ désigne toute mesure visant à obtenir le retour au fournisseur ou la cessation de service ou le blocage de l’utilisation d’un système IA mis à la disposition des déployeurs ;
(17) ‘retrait d’un système d’IAsignifie toute mesure visant à empêcher qu’un système d’IA dans la chaîne d’approvisionnement ne soit mis à disposition sur le marché ;
(18) ‘performance d’un système AILa capacité d’un système d’intelligence artificielle à atteindre son objectif est définie comme suit ;
(19) ’notifying authoritydésigne l’autorité nationale responsable de l’établissement et de la mise en œuvre des procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité, ainsi qu’au contrôle de ces derniers ;
(20) ‘évaluation de la conformitéLe terme “système d’information à haut risque” désigne le processus consistant à démontrer que les exigences énoncées au chapitre III, section 2, relatives à un système d’information à haut risque ont été satisfaites ;
(21) ‘organisme d’évaluation de la conformitédésigne un organisme qui effectue des activités d’évaluation de la conformité des tiers, y compris les essais, la certification et l’inspection ;
(22) ‘organisme notifiédésigne un organisme d’évaluation de la conformité notifié conformément au présent règlement et aux autres législations d’harmonisation de l’Union applicables ;
(23) ‘modification substantielleOn entend par “modification d’un système d’assurance qualité” une modification apportée à un système d’assurance qualité après sa mise sur le marché ou sa mise en service, qui n’a pas été prévue ou planifiée dans l’évaluation initiale de la conformité effectuée par le fournisseur et qui, par conséquent, affecte la conformité du système d’assurance qualité aux exigences énoncées au chapitre III, section 2, ou entraîne une modification de l’objectif pour lequel le système d’assurance qualité a été évalué ;
(24) ‘Marquage CELe terme “système d’information intelligent” désigne une marque par laquelle un fournisseur indique qu’un système d’information intelligent est conforme aux exigences énoncées au chapitre III, section 2, et à toute autre législation d’harmonisation de l’Union applicable prévoyant son apposition ;
(25) ’système de surveillance post-marchéOn entend par là toutes les activités menées par les fournisseurs de systèmes d’intelligence artificielle pour recueillir et examiner l’expérience acquise lors de l’utilisation des systèmes d’intelligence artificielle qu’ils mettent sur le marché ou en service dans le but d’identifier tout besoin d’appliquer immédiatement toute mesure corrective ou préventive nécessaire ;
(26) ‘market surveillance authorityL’expression “autorité nationale” désigne l’autorité nationale qui exerce les activités et prend les mesures prévues par le règlement (UE) 2019/1020 ;
(27) ’norme harmoniséeLa norme harmonisée telle que définie à l’article 2, paragraphe 1, point (c), du règlement (UE) n° 1025/2012 est utilisée ;
(28) ’spécification communedésigne un ensemble de spécifications techniques telles que définies à l’article 2, point (4), du règlement (UE) n° 1025/2012, fournissant des moyens de se conformer à certaines exigences établies en vertu de ce règlement ;
(29) ‘données de formationLes données utilisées pour la formation d’un système d’intelligence artificielle par l’ajustement de ses paramètres d’apprentissage sont appelées ” données d’apprentissage ” ;
(30) ‘données de validationLes données utilisées pour fournir une évaluation du système d’IA formé et pour ajuster ses paramètres non enseignables et son processus d’apprentissage afin d’éviter, entre autres, un sous-ajustement ou un surajustement ;
(31) ‘ensemble de données de validationL’expression “ensemble de données” désigne un ensemble de données distinct ou une partie de l’ensemble de données de formation, soit sous forme de fractionnement fixe ou variable ;
(32) ‘données de testLe terme “données” désigne les données utilisées pour fournir une évaluation indépendante du système d’intelligence artificielle afin de confirmer les performances attendues de ce système avant sa mise sur le marché ou sa mise en service ;
(33) ‘données d’entréeLes données fournies à un système d’intelligence artificielle ou acquises directement par celui-ci sur la base desquelles le système produit une sortie ;
(34) ‘données biométriquesPar “données à caractère personnel”, on entend les données à caractère personnel résultant d’un traitement technique spécifique se rapportant aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, telles que les images faciales ou les données dactyloscopiques ;
(14) La notion de “données biométriques” utilisée dans le présent règlement doit être interprétée à la lumière de la notion de données biométriques telle que définie à l’article 4, point (14), du règlement (UE) 2016/679, à l’article 3, point (18), du règlement (UE) 2018/1725 et à l’article 3, point (13), de la directive (UE) 2016/680. Les données biométriques peuvent permettre l’authentification, l’identification ou la catégorisation de personnes physiques et la reconnaissance d’émotions de personnes physiques.
(35) ‘identification biométriqueOn entend par “reconnaissance automatique de caractéristiques physiques, physiologiques, comportementales ou psychologiques d’un être humain” la reconnaissance automatique de caractéristiques physiques, physiologiques, comportementales ou psychologiques d’un être humain dans le but d’établir l’identité d’une personne physique en comparant les données biométriques de cet individu avec les données biométriques d’individus stockées dans une base de données ;
(15) La notion d’ ”identification biométrique” mentionnée dans le présent règlement devrait être définie comme la reconnaissance automatisée de caractéristiques humaines physiques, physiologiques et comportementales, telles que le visage, le mouvement des yeux, la forme du corps, la voix, la prosodie, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur, les caractéristiques des touches, dans le but d’établir l’identité d’un individu en comparant les données biométriques de cet individu avec les données biométriques d’individus stockées dans une base de données de référence, indépendamment du fait que l’individu ait donné son consentement ou non. Cela exclut les systèmes d’IA destinés à être utilisés pour la vérification biométrique, qui comprend l’authentification, dont le seul but est de confirmer qu’une personne physique spécifique est la personne qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un appareil ou d’avoir un accès sécurisé à des locaux.
(36) ‘vérification biométriqueOn entend par “vérification” la vérification automatisée, en une seule fois, y compris l’authentification, de l’identité de personnes physiques par comparaison de leurs données biométriques avec des données biométriques précédemment fournies ;
(16) La notion de “catégorisation biométrique” mentionnée dans le présent règlement devrait être définie comme l’affectation de personnes physiques à des catégories spécifiques sur la base de leurs données biométriques. Ces catégories spécifiques peuvent se rapporter à des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits de comportement ou de personnalité, la langue, la religion, l’appartenance à une minorité nationale, l’orientation sexuelle ou politique. Cela ne comprend pas les systèmes de catégorisation biométrique qui sont une fonctionnalité purement accessoire intrinsèquement liée à un autre service commercial, c’est-à-dire que la fonctionnalité ne peut pas être utilisée sans le service principal pour des raisons techniques objectives, et l’intégration de cette fonctionnalité ou de cette fonction n’est pas un moyen de contourner l’applicabilité des règles du présent règlement. Par exemple, les filtres de catégorisation des caractéristiques faciales ou corporelles utilisés sur les sites de vente en ligne pourraient constituer une telle caractéristique accessoire dans la mesure où ils ne peuvent être utilisés qu’en relation avec le service principal qui consiste à vendre un produit en permettant au consommateur de visualiser l’affichage du produit sur lui ou sur elle et d’aider le consommateur à prendre une décision d’achat. Les filtres utilisés sur les services de réseaux sociaux en ligne qui catégorisent les caractéristiques faciales ou corporelles afin de permettre aux utilisateurs d’ajouter ou de modifier des photos ou des vidéos pourraient également être considérés comme une caractéristique accessoire dans la mesure où de tels filtres ne peuvent pas être utilisés sans le service principal des services de réseaux sociaux consistant dans le partage du contenu en ligne.
(37) ‘catégories spéciales de données personnellesLes termes “catégories de données à caractère personnel” désignent les catégories de données à caractère personnel visées à l’article 9, paragraphe 1, du règlement (UE) 2016/679, à l’article 10 de la directive (UE) 2016/680 et à l’article 10, paragraphe 1, du règlement (UE) 2018/1725 ;
(38) ‘données opérationnelles sensiblesLes termes “données opérationnelles” désignent les données relatives aux activités de prévention, de détection, d’enquête ou de poursuite d’infractions pénales, dont la divulgation pourrait porter atteinte à l’intégrité de la procédure pénale ;
(39) ’système de reconnaissance des émotions’ désigne un système d’intelligence artificielle destiné à identifier ou à contrer les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques ;
(18) La notion de “système de reconnaissance des émotions” mentionnée dans le présent règlement doit être définie comme un système d’intelligence artificielle destiné à identifier ou à neutraliser les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques. Cette notion se réfère à des émotions ou intentions telles que le bonheur, la tristesse, la colère, la surprise, le déplaisir, l’embarras, l’excitation, la honte, le mépris, la satisfaction et l’amusement. Elle n’inclut pas les états physiques, tels que la douleur ou la fatigue, y compris, par exemple, les systèmes utilisés pour détecter l’état de fatigue des pilotes professionnels ou des conducteurs dans le but de prévenir les accidents. Elle n’inclut pas non plus la simple détection d’expressions, de gestes ou de mouvements aisément perceptibles, sauf s’ils sont utilisés pour identifier ou neutraliser des émotions. Ces expressions peuvent être des expressions faciales de base, telles qu’une grimace ou un sourire, ou des gestes tels que le mouvement des mains, des bras ou de la tête, ou des caractéristiques de la voix d’une personne, telles qu’une voix rauque ou des chuchotements.
(40) ’système de catégorisation biométriquePar “système d’identification automatique”, on entend un système d’identification automatique destiné à attribuer des personnes physiques à des catégories spécifiques sur la base de leurs données biométriques, sauf s’il est accessoire à un autre service commercial et strictement nécessaire pour des raisons techniques objectives ;
(41) ’système d’identification biométrique à distancePar “système d’intelligence artificielle”, on entend un système d’intelligence artificielle destiné à identifier des personnes physiques, sans leur participation active, typiquement à distance, en comparant les données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence ;
(17) La notion de “système d’identification biométrique à distance” mentionnée dans le présent règlement doit être définie fonctionnellement comme un système d’intelligence artificielle destiné à l’identification de personnes physiques sans leur participation active, généralement à distance, par comparaison des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence, indépendamment de la technologie, des processus ou des types de données biométriques utilisés. De tels systèmes d’identification biométrique à distance sont typiquement utilisés pour percevoir plusieurs personnes ou leur comportement en même temps ou pour faciliter de manière significative l’identification de personnes physiques sans leur participation active. Cela exclut les systèmes IA destinés à être utilisés pour la vérification biométrique, qui comprend l’authentification, dont le seul but est de confirmer qu’une personne physique spécifique est la personne qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un appareil ou d’avoir un accès sécurisé à des locaux.
Cette exclusion est justifiée par le fait que ces systèmes sont susceptibles d’avoir un impact mineur sur les droits fondamentaux des personnes physiques par rapport aux systèmes d’identification biométrique à distance qui peuvent être utilisés pour le traitement des données biométriques d’un grand nombre de personnes sans leur participation active. Dans le cas des systèmes “en temps réel”, la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, presque instantanément ou en tout état de cause sans délai significatif. Dans ce contexte, il ne devrait pas être possible de contourner les règles du présent règlement sur l’utilisation “en temps réel” des systèmes d’IA concernés en prévoyant des retards mineurs. Les systèmes “en temps réel” impliquent l’utilisation de matériel “en direct” ou “en quasi-direct”, tel que des séquences vidéo, généré par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes ‘post’, en revanche, les données biométriques ont déjà été capturées et la comparaison et l’identification n’ont lieu qu’après un délai significatif. Cela implique du matériel, tel que des images ou des séquences vidéo générées par des caméras de télévision en circuit fermé ou des appareils privés, qui a été généré avant l’utilisation du système à l’égard des personnes physiques concernées.
(42) ’système d’identification biométrique à distance en temps réelsignifie un système d’identification biométrique à distance, dans lequel la capture des données biométriques, la comparaison et l’identification s’effectuent sans retard significatif, comprenant non seulement l’identification instantanée, mais aussi des retards courts limités afin d’éviter les contournements ;
(43) ‘post remote biometric identification systemsignifie un système d’identification biométrique à distance autre qu’un système d’identification biométrique à distance en temps réel ;
(44) ‘espace accessible au publicsignifie tout lieu physique public ou privé accessible à un nombre indéterminé de personnes physiques, indépendamment du fait que certaines conditions d’accès puissent s’appliquer, et indépendamment des restrictions potentielles de capacité ;
(19) Aux fins du présent règlement, la notion d’ ”espace accessible au public” doit être comprise comme faisant référence à tout espace physique accessible à un nombre indéterminé de personnes physiques, que l’espace en question soit privé ou public, quelle que soit l’activité pour laquelle l’espace peut être utilisé, par exemple pour le commerce, par exemple les boutiques, les restaurants, les cafés ; for services, for example, banks, professional activities, hospitality ; for sport, for example, swimming pools, gyms, stadiums ; for transport, for example, bus, metro and railway stations, airports, means of transport ; for entertainment, for example, cinemas, theatres, museums, concert and conference halls ; or for leisure or otherwise, for example, public roads and squares, parks, forests, playgrounds. Un espace devrait également être classé comme étant accessible au public si, indépendamment de sa capacité potentielle ou des restrictions de sécurité, l’accès est soumis à certaines conditions prédéfinies qui peuvent être remplies par un nombre indéterminé de personnes, telles que l’achat d’un ticket ou d’un titre de transport, l’enregistrement préalable ou le fait d’avoir un certain âge. En revanche, un espace ne devrait pas être considéré comme accessible au public si l’accès est limité à des personnes physiques spécifiques et définies par une loi de l’Union ou une loi nationale directement liée à la sécurité publique ou à la sûreté, ou par la manifestation claire de la volonté de la personne détenant l’autorité pertinente sur l’espace. La possibilité effective d’accès, telle qu’une porte non verrouillée ou une porte ouverte dans une clôture, n’implique pas que l’espace est accessible au public en présence d’indications ou de circonstances suggérant le contraire, telles que des signaux interdisant ou restreignant l’accès. Les locaux de l’entreprise et de l’usine, ainsi que les bureaux et les postes de travail dont l’accès est réservé aux employés et aux prestataires de services concernés, sont des espaces qui ne sont pas accessibles au public. Les espaces accessibles au public ne doivent pas inclure les prisons ou les postes-frontières. Certains autres espaces peuvent comprendre à la fois des espaces accessibles au public et des espaces non accessibles au public, tels que le hall d’un immeuble résidentiel privé nécessaire pour accéder au bureau d’un médecin ou à un aéroport. Les espaces en ligne ne sont pas couverts, car ce ne sont pas des espaces physiques. La question de savoir si un espace donné est accessible au public devrait toutefois être déterminée au cas par cas, en tenant compte des spécificités de la situation individuelle en question.
(45) ‘law enforcement authority’ means :
(a) toute autorité publique compétente en matière de prévention, d’investigation, de détection ou d’exécution d’infractions pénales ou de sanctions pénales, y compris la protection contre les menaces à la sécurité publique et la prévention de ces menaces ; ou
(b) tout autre organisme ou entité chargé par la législation d’un État membre d’exercer une autorité publique et des pouvoirs publics aux fins de la prévention, de la recherche, de la détection ou de la poursuite d’infractions pénales ou de l’exécution de sanctions pénales, y compris la protection contre les menaces à la sécurité publique et la prévention de telles menaces ;
(46) ‘application de la loiPar “activités de police”, on entend les activités menées par les autorités chargées de l’application des lois ou en leur nom en vue de la prévention, de la recherche, de la détection ou de l’exécution d’infractions pénales ou de l’application de sanctions pénales, y compris la protection contre les menaces à la sécurité publique et la prévention de ces menaces ;
(47) ‘AI OfficeLa fonction de la Commission consistant à contribuer à la mise en œuvre, au suivi et à la supervision des systèmes d’intelligence artificielle et des modèles d’intelligence artificielle à usage général, ainsi qu’à la gouvernance de l’intelligence artificielle, telle que prévue par la décision de la Commission du 24 janvier 2024 ; les références faites dans le présent règlement à l’Office de l’intelligence artificielle doivent être considérées comme des références à la Commission ;
(48) ‘autorité nationale compétenteEn ce qui concerne les systèmes d’intelligence artificielle mis en service ou utilisés par des institutions, agences, bureaux et organes de l’Union, les références aux autorités nationales compétentes ou aux autorités de surveillance du marché dans le présent règlement doivent être interprétées comme des références au Contrôleur européen de la protection des données ;
(49) ‘incident grave’ désigne un incident ou un dysfonctionnement d’un système d’intelligence artificielle qui entraîne directement ou indirectement l’un des éléments suivants :
(a) la mort d’une personne, ou des dommages graves à la santé d’une personne ;
(b) une perturbation grave et irréversible de la gestion ou du fonctionnement d’une infrastructure essentielle.
(c) le non-respect des obligations prévues par le droit de l’Union visant à protéger les droits fondamentaux ;
(d) de graves dommages à la propriété ou à l’environnement ;
(50) ‘données personnellesLes termes “données à caractère personnel” désignent les données personnelles telles que définies à l’article 4, point (1), du règlement (UE) 2016/679 ;
(51) ‘données non personnellesLe terme “données” désigne les données autres que les données à caractère personnel telles que définies à l’article 4, point (1), du règlement (UE) 2016/679 ;
(52) ‘profilageLe terme “profilage” désigne le profilage tel que défini à l’article 4, point (4), du règlement (UE) 2016/679 ;
(53) ‘plan de test en situation réelleUn document décrivant les objectifs, la méthodologie, la zone géographique, la population et le champ d’application temporel, le suivi, l’organisation et la réalisation des tests dans des conditions réelles ;
(54) ‘plan de bac à sabledésigne un document convenu entre le prestataire participant et l’autorité compétente décrivant les objectifs, les conditions, le calendrier, la méthodologie et les exigences applicables aux activités menées dans le cadre du sandbox ;
(55) ‘AI regulatory sandboxOn entend par “système d’intelligence artificielle” un cadre contrôlé, mis en place par une autorité compétente, qui offre aux fournisseurs ou aux fournisseurs potentiels de systèmes d’intelligence artificielle la possibilité de développer, de former, de valider et de tester, le cas échéant dans des conditions réelles, un système d’intelligence artificielle innovant, conformément à un plan de test (sandbox), pour une durée limitée et sous contrôle réglementaire ;
(56) ‘Littératie AILa notion de “compétences, connaissances et compréhension” désigne les compétences, les connaissances et la compréhension qui permettent aux fournisseurs, aux déployeurs et aux personnes concernées, compte tenu de leurs droits et obligations respectifs dans le cadre du présent règlement, de procéder à un déploiement éclairé des systèmes d’intelligence artificielle, ainsi que de prendre conscience des possibilités et des risques liés à l’intelligence artificielle et des dommages qu’elle peut causer ;
(20) Afin d’obtenir les meilleurs avantages des systèmes IA tout en protégeant les droits fondamentaux, la santé et la sécurité et en permettant un contrôle démocratique, l’alphabétisation en matière d’IA devrait fournir aux fournisseurs, aux déployeurs et aux personnes concernées les notions nécessaires pour prendre des décisions éclairées concernant les systèmes IA. Ces notions peuvent varier en fonction du contexte et peuvent inclure la compréhension de l’utilisation correcte des éléments techniques pendant la phase de développement du système IA, les mesures à appliquer pendant son utilisation, les moyens appropriés pour interpréter les résultats du système IA et, dans le cas des personnes concernées, les connaissances nécessaires pour comprendre comment les décisions prises avec l’aide de l’IA auront un impact sur elles. Dans le cadre de l’application du présent règlement, l’IA literacy devrait fournir à tous les acteurs concernés de la chaîne de valeur de l’IA les informations nécessaires pour assurer la conformité appropriée et sa bonne application.
En outre, la mise en œuvre généralisée de mesures d’alphabétisation en matière d’IA et l’introduction d’actions de suivi appropriées pourraient contribuer à améliorer les conditions de travail et, en fin de compte, à maintenir la consolidation et la voie d’innovation de l’IA de confiance dans l’Union. Le Conseil européen de l’intelligence artificielle (le “Conseil”) devrait aider la Commission à promouvoir les outils d’éducation à l’intelligence artificielle, la sensibilisation du public et la compréhension des avantages, des risques, des garanties, des droits et des obligations liés à l’utilisation des systèmes d’intelligence artificielle. En coopération avec les parties prenantes concernées, la Commission et les États membres devraient faciliter l’élaboration de codes de conduite volontaires pour promouvoir l’éducation à l’IA parmi les personnes impliquées dans le développement, le fonctionnement et l’utilisation de l’IA.
(57) ‘test en conditions réellesL’expression “essai temporaire d’un système d’intelligence artificielle” désigne l’essai temporaire d’un système d’intelligence artificielle pour sa finalité dans des conditions réelles, en dehors d’un laboratoire ou d’un autre environnement simulé, en vue de recueillir des données fiables et robustes et d’évaluer et de vérifier la conformité du système d’intelligence artificielle avec les exigences du présent règlement, et elle n’équivaut pas à la mise sur le marché ou à la mise en service du système d’intelligence artificielle au sens du présent règlement, pour autant que toutes les conditions énoncées aux articles 57 ou 60 soient remplies ;
(58) ’sujetPour les besoins des tests en situation réelle, on entend par “personne physique” une personne physique qui participe à des tests en situation réelle ;
(59) ‘consentement éclairéLe terme “test” désigne l’expression libre, spécifique, sans ambiguïté et volontaire par un sujet de sa volonté de participer à un test particulier dans des conditions de la vie réelle, après avoir été informé de tous les aspects du test qui sont pertinents pour la décision du sujet de participer ;
(60) ‘deep fakeLe terme “contenu” désigne des images, des sons ou des vidéos générés par des IA ou manipulés qui ressemblent à des personnes, des objets, des lieux, des entités ou des événements existants et qui paraîtraient faussement authentiques ou véridiques à une personne ;
(61) ‘violation généraliséesignifie tout acte ou omission contraire à la législation de l’Union protégeant l’intérêt des personnes, qui :
(a) a porté atteinte ou est susceptible de porter atteinte aux intérêts collectifs d’individus résidant dans au moins deux États membres autres que l’État membre dans lequel il se trouve :
(i) l’acte ou l’omission a pris naissance ou a eu lieu ;
(ii) le fournisseur concerné, ou, le cas échéant, son représentant autorisé, est localisé ou établi ; ou
(iii) le déployeur est établi, lorsque l’infraction est commise par le déployeur ;
(b) a causé, cause ou est susceptible de causer un préjudice aux intérêts collectifs d’individus et présente des caractéristiques communes, y compris la même pratique illicite ou le même intérêt à être lésé, et se produit de manière concomitante, commise par le même opérateur, dans au moins trois États membres ;
(62) ‘infrastructure critiqueL’expression “infrastructure critique” désigne l’infrastructure critique telle que définie à l’article 2, point (4), de la directive (UE) 2022/2557 ;
(63) ‘modèle AI à usage généralsignifie un modèle d’IA, y compris lorsqu’un tel modèle d’IA est formé avec une grande quantité de données par auto-supervision à l’échelle, qui présente une généralité significative et est capable d’exécuter de manière compétitive un large éventail de tâches distinctes, indépendamment de la manière dont le modèle est placé sur le marché, et qui peut être intégré dans une variété de systèmes ou d’applications en aval, à l’exception des modèles d’IA qui sont utilisés pour la recherche, le développement ou les activités de prototypage avant d’être placés sur le marché ;
(97) La notion de modèles d’IA à usage général devrait être clairement définie et distinguée de la notion de systèmes d’IA afin de permettre une certitude juridique. La définition devrait être basée sur les caractéristiques fonctionnelles clés d’un modèle d’IA à usage général, en particulier la généralité et la capacité à exécuter de manière compétitive une large gamme de tâches distinctes. Ces modèles sont généralement formés sur de grandes quantités de données, par le biais de différentes méthodes, telles que l’apprentissage auto-supervisé, non supervisé ou par renforcement. Les modèles d’IA à usage général peuvent être mis sur le marché de différentes manières, par le biais de bibliothèques, d’interfaces de programmation d’applications (API), par téléchargement direct ou sous forme de copie physique. Ces modèles peuvent être modifiés ou affinés en de nouveaux modèles. Bien que les modèles AI soient des composants essentiels des systèmes AI, ils ne constituent pas à eux seuls des systèmes AI. Les modèles AI nécessitent l’ajout d’autres composants, comme par exemple une interface utilisateur, pour devenir des systèmes AI. Les modèles AI sont généralement intégrés dans les systèmes AI et en font partie. Le présent règlement prévoit des règles spécifiques pour les modèles d’IA à usage général et pour les modèles d’IA à usage général qui présentent des risques systémiques, qui devraient également s’appliquer lorsque ces modèles sont intégrés ou font partie d’un système d’IA. Il convient de comprendre que les obligations imposées aux fournisseurs de modèles d’IA à usage général doivent s’appliquer dès que les modèles d’IA à usage général sont mis sur le marché.
Lorsque le fournisseur d’un modèle d’IA à usage général intègre un modèle personnel dans son propre système d’IA qui est mis à disposition sur le marché ou mis en service, ce modèle doit être considéré comme étant placé sur le marché et, par conséquent, les obligations prévues par le présent règlement pour les modèles doivent continuer à s’appliquer en plus de celles applicables aux systèmes d’IA. En tout état de cause, les obligations prévues pour les modèles ne devraient pas s’appliquer lorsqu’un modèle propre est utilisé pour des processus purement internes qui ne sont pas essentiels à la fourniture d’un produit ou d’un service à des tiers et que les droits des personnes physiques ne sont pas affectés. Compte tenu de leurs effets négatifs potentiels importants, les modèles d’IA à usage général présentant un risque systémique devraient toujours être soumis aux obligations pertinentes prévues par le présent règlement. La définition ne devrait pas couvrir les modèles d’IA utilisés avant leur mise sur le marché dans le seul but d’activités de recherche, de développement et de prototypage. Cela ne préjuge pas de l’obligation de se conformer au présent règlement lorsque, à la suite de telles activités, un modèle est mis sur le marché.
(99) Les grands modèles d’IA génératifs sont un exemple typique de modèle d’IA à usage général, étant donné qu’ils permettent une génération flexible de contenu, par exemple sous la forme de texte, d’audio, d’images ou de vidéo, qui peut facilement s’adapter à un large éventail de tâches distinctes.
(64) ‘des capacités à fort impactLes capacités de l’IA sont des capacités qui correspondent ou dépassent les capacités enregistrées dans les modèles d’IA généralistes les plus avancés ;
(98) Alors que la généralité d’un modèle pourrait, entre autres, également être déterminée par un certain nombre de paramètres, les modèles comportant au moins un billion de paramètres et entraînés avec une grande quantité de données grâce à l’auto-supervision à l’échelle devraient être considérés comme présentant une généralité significative et permettant de réaliser de manière compétitive une large gamme de tâches distinctes.
(65) ‘risque systémiqueOn entend par “risque” un risque spécifique aux capacités à fort impact des modèles d’intelligence artificielle à usage général, ayant un impact significatif sur le marché de l’Union en raison de leur portée ou en raison d’effets négatifs réels ou raisonnablement prévisibles sur la santé publique, la sécurité, la sécurité publique, les droits fondamentaux ou la société dans son ensemble, qui peut être propagé à l’échelle de la chaîne de valeur ;
(66) ’système AI à usage généralOn entend par “système d’intelligence artificielle” un système d’intelligence artificielle basé sur un modèle d’intelligence artificielle à usage général et capable de servir à une variété de fins, aussi bien pour une utilisation directe que pour une intégration dans d’autres systèmes d’intelligence artificielle ;
(100) Lorsqu’un modèle d’IA à usage général est intégré dans un système d’IA ou en constitue une partie, ce système doit être considéré comme un système d’IA à usage général si, grâce à cette intégration, ce système a la capacité de servir à une multitude de fins. Un système AI à usage général peut être utilisé directement ou être intégré dans d’autres systèmes AI.
(67) ‘opération à point flottant’ désigne toute opération ou affectation mathématique impliquant des nombres à virgule flottante, qui sont un sous-ensemble des nombres réels typiquement représentés sur les ordinateurs par un entier de précision fixe scalé par un entier exposant d’une base fixe ;
(68) ‘fournisseur en aval’ signifie un fournisseur d’un système IA, y compris un système IA à usage général, qui intègre un modèle IA, indépendamment du fait que le modèle IA soit fourni par lui-même et intégré verticalement ou fourni par une autre entité sur la base de relations contractuelles.
Les fournisseurs et les déployeurs de systèmes d’intelligence artificielle doivent prendre des mesures pour assurer, dans toute la mesure du possible, un niveau suffisant d’alphabétisation en intelligence artificielle de leur personnel et des autres personnes chargées de l’exploitation et de l’utilisation de systèmes d’intelligence artificielle en leur nom, en tenant compte de leurs connaissances techniques, de leur expérience, de leur éducation et de leur formation ainsi que du contexte dans lequel les systèmes d’intelligence artificielle doivent être utilisés, et en prenant en considération les personnes ou les groupes de personnes sur lesquels les systèmes d’intelligence artificielle doivent être utilisés.
(26) Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie et basée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à l’étendue des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’IA, de définir des exigences pour les systèmes d’IA à haut risque et des obligations pour les exploitants concernés, et de définir des obligations de transparence pour certains systèmes d’IA.
(29) Les techniques de manipulation basées sur l’IA peuvent être utilisées pour persuader des personnes de s’engager dans des comportements non souhaités, ou pour les tromper en les poussant à prendre des décisions d’une manière qui subvertit et affecte leur autonomie, leur prise de décision et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’intelligence artificielle dans le but ou avec l’effet de perturber matériellement le comportement humain, en causant des dommages importants, en particulier des effets négatifs suffisamment importants sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereux et devraient donc être interdits. De tels systèmes IA déploient des composants subliminaux tels que des stimuli audio, image, vidéo que les personnes ne peuvent pas percevoir, car ces stimuli sont au-delà de la perception humaine, ou d’autres techniques manipulatrices ou déceptives qui subvertissent ou affectent l’autonomie, la prise de décision ou le libre choix de la personne de telle manière que les personnes ne sont pas consciemment conscientes de ces techniques ou, si elles en sont conscientes, peuvent encore être déçues ou ne sont pas en mesure de les contrôler ou d’y résister. Cela pourrait être facilité, par exemple, par des interfaces machine-cerveau ou la réalité virtuelle, dans la mesure où elles permettent un degré de contrôle plus élevé sur les stimuli présentés aux personnes, dans la mesure où ils peuvent matériellement perturber leur comportement de manière significativement préjudiciable. En outre, les systèmes d’IA peuvent également exploiter d’une autre manière les vulnérabilités d’une personne ou d’un groupe spécifique de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil , ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une pauvreté extrême ou les minorités ethniques ou religieuses.
De tels systèmes IA peuvent être mis sur le marché, mis en service ou utilisés dans le but ou avec l’effet de distraire matériellement le comportement d’une personne et d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre ou à des groupes de personnes, y compris des préjudices qui peuvent s’accumuler au fil du temps et devraient donc être interdits. Il n’est peut-être pas possible de supposer qu’il y a une intention de distordre un comportement lorsque la distorsion résulte de facteurs externes au système d’intelligence artificielle qui sont hors du contrôle du fournisseur ou du déployeur, à savoir des facteurs qui ne sont peut-être pas prévisibles et qu’il n’est donc pas possible pour le fournisseur ou le déployeur du système d’intelligence artificielle d’atténuer. En tout état de cause, il n’est pas nécessaire pour le fournisseur ou le déployeur d’avoir l’intention de causer un préjudice important, à condition que ce préjudice résulte des pratiques de manipulation ou d’exploitation de l’IA. Les interdictions de telles pratiques d’IA sont complémentaires aux dispositions contenues dans la directive 2005/29/CE du Parlement européen et du Conseil , en particulier les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place par le biais de systèmes d’IA ou d’une autre manière. Les interdictions de pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques légales dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la loi et aux normes médicales applicables, par exemple avec le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales communes et légitimes, par exemple dans le domaine de la publicité, qui sont conformes à la législation applicable, ne devraient pas être considérées en elles-mêmes comme constitutives de pratiques manipulatrices IA nuisibles.
1. Les pratiques d’IA suivantes doivent être interdites :
(a) la mise sur le marché, la mise en service ou l’utilisation d’un système IA qui recourt à des techniques subliminales au-delà de la conscience d’une personne ou à des techniques délibérément manipulatrices ou déceptives, dans le but ou avec pour effet de déformer matériellement le comportement d’une personne ou d’un groupe de personnes en compromettant gravement leur capacité à prendre une décision en connaissance de cause, les amenant ainsi à prendre une décision qu’ils n’auraient pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à un groupe de personnes ;
(28) Outre les nombreuses utilisations bénéfiques de l’IA, celle-ci peut également être détournée et fournir des outils nouveaux et puissants pour des pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement dangereuses et abusives et devraient être interdites car elles contredisent les valeurs de l’Union en matière de respect de la dignité humaine, de liberté, d’égalité, de démocratie et de règle de droit, ainsi que les droits fondamentaux inscrits dans la Charte, y compris le droit à la non-discrimination, à la protection des données et à la vie privée et les droits de l’enfant.
(b) la mise sur le marché, la mise en service ou l’utilisation d’un système d’intelligence artificielle qui exploite l’une quelconque des vulnérabilités d’une personne physique ou d’un groupe spécifique de personnes en raison de leur âge, de leur handicap ou d’une situation sociale ou économique particulière, dans le but ou avec l’effet de perturber matériellement le comportement de cette personne ou d’une personne appartenant à ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ;
(c) la mise sur le marché, la mise en service ou l’utilisation de systèmes d’intelligence artificielle pour l’évaluation ou la classification de personnes physiques ou de groupes de personnes sur une période donnée, sur la base de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, le score social aboutissant à l’un ou l’autre ou aux deux suivants :
(i) traitement préjudiciable ou injuste de certaines personnes physiques ou de certains groupes de personnes dans des contextes sociaux sans rapport avec les contextes dans lesquels les données ont été initialement générées ou collectées ;
(ii) traitement préjudiciable ou injuste de certaines personnes physiques ou de certains groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à sa gravité ;
(31) Les systèmes d’intelligence artificielle permettant le scoring social de personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent violer le droit à la dignité et à la non-discrimination ainsi que les valeurs d’égalité et de justice. De tels systèmes d’intelligence artificielle évaluent ou classent des personnes physiques ou des groupes de personnes sur la base de multiples points de données relatifs à leur comportement social dans de multiples contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites sur certaines périodes de temps. Le score social obtenu par ces systèmes d’intelligence artificielle peut conduire à un traitement préjudiciable ou injuste de personnes physiques ou de groupes entiers de ces personnes dans des contextes sociaux sans rapport avec le contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié par rapport à la gravité de leur comportement social. Les systèmes d’IA qui mettent en œuvre de telles pratiques de scoring inacceptables et qui aboutissent à des résultats aussi préjudiciables ou inéquitables devraient donc être interdits. Cette interdiction ne devrait pas affecter les pratiques d’évaluation légales des personnes physiques qui sont menées à des fins spécifiques conformément au droit de l’Union et au droit national.
(d) the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in or to assess or predict the risk of a natural person committing a criminal offence, based only on the profiling of a natural person or on assessing its personality traits and characteristics ; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity ;
(42) Conformément à la présomption d’innocence, les personnes physiques dans l’Union devraient toujours être jugées sur leur comportement réel. Les personnes physiques ne devraient jamais être jugées sur la base d’un comportement prédit par l’IA, fondé uniquement sur leur profil, leurs traits de personnalité ou leurs caractéristiques, telles que leur nationalité, leur lieu de naissance, leur lieu de résidence, le nombre de leurs dettes, leur niveau d’endettement ou leur type de véhicule, sans qu’il existe un soupçon raisonnable que cette personne soit impliquée dans une activité criminelle, fondé sur des faits objectifs vérifiables et sans évaluation humaine de cette activité. Par conséquent, les évaluations des risques effectuées à l’égard de personnes physiques en vue d’évaluer la probabilité de leur délit ou de prédire l’occurrence d’une infraction pénale réelle ou potentielle sur la seule base de leur profilage ou de l’évaluation de leurs traits de personnalité et de leurs caractéristiques devraient être interdites. En tout état de cause, cette interdiction ne doit pas se référer ou toucher aux analyses de risque qui ne sont pas fondées sur le profilage des individus ou sur leurs traits de personnalité et leurs caractéristiques, telles que les systèmes d’intelligence artificielle utilisant des analyses de risque pour évaluer la probabilité de fraude financière des entreprises sur la base de transactions suspectes ou les outils d’analyse de risque pour prédire la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base des itinéraires de trafic connus.
(e) la mise sur le marché, la mise en service à cette fin spécifique, ou l’utilisation de systèmes d’intelligence artificielle qui créent ou étendent des bases de données de reconnaissance faciale par le scraping non ciblé d’images faciales provenant d’Internet ou de séquences CCTV ;
(43) La mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes IA qui créent ou étendent des bases de données de reconnaissance faciale par le scraping non ciblé d’images faciales provenant d’Internet ou d’images de télévision en circuit fermé devraient être interdites, car cette pratique ajoute au sentiment de surveillance de masse et peut conduire à de graves violations des droits fondamentaux, y compris le droit à la vie privée.
(f) la mise sur le marché, la mise en service à cette fin spécifique, ou l’utilisation de systèmes IA pour inférer les émotions d’une personne physique dans les domaines du travail et des établissements d’enseignement, sauf lorsque l’utilisation du système IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité ;
(44) Il existe de sérieuses préoccupations quant à la base scientifique des systèmes d’intelligence artificielle visant à identifier ou à neutraliser les émotions, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, et même au sein d’un même individu. Parmi les principaux inconvénients de ces systèmes figurent leur fiabilité limitée, leur manque de spécificité et leur généralité restreinte. Par conséquent, les systèmes d’IA identifiant ou bloquant les émotions ou les intentions des personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et les libertés des personnes concernées. Compte tenu du déséquilibre des pouvoirs dans le contexte du travail ou de l’éducation, combiné à la nature intrusive de ces systèmes, ces derniers pourraient conduire à un traitement préjudiciable ou inéquitable de certaines personnes physiques ou de groupes entiers de celles-ci. Par conséquent, la mise sur le marché, la mise en service ou l’utilisation de systèmes d’intelligence artificielle destinés à être utilisés pour détecter l’état émotionnel des individus dans des situations liées au travail et à l’éducation devraient être interdites. Cette interdiction ne devrait pas couvrir les systèmes d’intelligence artificielle mis sur le marché uniquement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.
(g) la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement des personnes physiques sur la base de leurs données biométriques afin de déduire ou d’inférer leur race, leurs opinions politiques, leur appartenance à un syndicat, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle ; cette interdiction ne couvre pas tout étiquetage ou filtrage d’ensembles de données biométriques obtenus de manière illicite, tels que des images, sur la base de données biométriques ou la catégorisation de données biométriques dans le domaine de l’application de la loi ;
(30) Les systèmes de catégorisation biométrique fondés sur les données biométriques des personnes physiques, telles que le visage ou les empreintes digitales d’un individu, et destinés à déduire ou à inférer les opinions politiques, l’appartenance à un syndicat, les convictions religieuses ou philosophiques, la race, la vie sexuelle ou l’orientation sexuelle d’un individu devraient être interdits. Cette interdiction ne devrait pas couvrir l’étiquetage, le filtrage ou la catégorisation légaux des ensembles de données biométriques acquis conformément à la législation de l’Union ou nationale en fonction des données biométriques, comme le tri des images en fonction de la couleur des cheveux ou des yeux, qui peut par exemple être utilisé dans le domaine de l’application de la loi.
(40) Conformément à l’article 6 bis du Protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard du domaine de la liberté, de la sécurité et de la justice, annexé au TEU et au TFEU, l’Irlande n’est pas liée par les règles énoncées à l’article 5, paragraphe 1, premier alinéa, point (g), dans la mesure où elle s’applique à l’utilisation de systèmes de catégorisation biométrique pour les activités de coopération policière et de coopération judiciaire en matière pénale, Article 5(1), premier alinéa, point (d), dans la mesure où elle s’applique à l’utilisation de systèmes d’identification automatique couverts par cette disposition, l’article 5, paragraphe 1, premier alinéa, point (h), les articles 5, paragraphes 2 à 6, et l’article 26, paragraphe 10, du présent règlement, adopté sur la base de l’article 16 du TFEU, qui concernent le traitement de données à caractère personnel par les États membres lors de l’exercice d’activités relevant du chapitre 4 ou du chapitre 5 du titre V de la troisième partie du TFEU, lorsque l’Irlande n’est pas liée par les règles régissant les formes de coopération judiciaire en matière pénale ou de coopération policière qui exigent le respect des dispositions établies sur la base de l’article 16 du TFEU.
(41) Conformément aux articles 2 et 2a du Protocole n° 22 sur la position du Danemark, annexé au TEU et au TFEU, le Danemark n’est pas lié par les règles énoncées à l’article 5(1), premier alinéa, point (g), dans la mesure où elles s’appliquent à l’utilisation de systèmes de catégorisation biométrique pour les activités de coopération policière et de coopération judiciaire en matière pénale, article 5(1), premier alinéa, point (d), dans la mesure où il s’applique à l’utilisation de systèmes d’identification automatique couverts par cette disposition, l’article 5, paragraphe 1, premier alinéa, points (h), (2) à (6) et l’article 26, paragraphe 10, du présent règlement adopté sur la base de l’article 16 du TFEU ou soumis à son application, qui se rapportent au traitement de données à caractère personnel effectué par les États membres lors de l’exécution d’activités relevant du chapitre 4 ou du chapitre 5 du titre V de la partie trois du TFEU.
(h) l’utilisation de systèmes d’identification biométrique à distance ‘en temps réel’ dans des lieux accessibles au public à des fins d’application de la loi, sauf si et dans la mesure où cette utilisation est strictement nécessaire à l’un des objectifs suivants :
(i) la recherche ciblée de victimes spécifiques d’enlèvement, de traite d’êtres humains ou d’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues ;
(ii) la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques ou d’une menace réelle et actuelle ou réelle et prévisible d’une attaque terroriste ;
(iii) la localisation ou l’identification d’une personne soupçonnée d’avoir commis une infraction pénale, aux fins d’une enquête ou d’une poursuite pénale ou de l’application d’une peine pénale pour les infractions visées à l’annexe II et punissables dans l’État membre concerné par une peine privative de liberté ou une ordonnance de détention pour une période maximale d’au moins quatre ans.
Le point (h) du premier alinéa s’applique sans préjudice de l’article 9 du règlement (UE) 2016/679 pour le traitement de données biométriques à des fins autres que l’application de la loi.
(32) L’utilisation de systèmes d’IA pour l’identification biométrique “en temps réel” et à distance de personnes physiques dans des lieux accessibles au public à des fins d’application de la loi est particulièrement intrusive pour les droits et libertés des personnes concernées, dans la mesure où elle peut affecter la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté d’association et d’autres droits fondamentaux. Les inexactitudes techniques des systèmes d’intelligence artificielle destinés à l’identification biométrique à distance de personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Ces éventuels résultats biaisés et effets discriminatoires sont particulièrement pertinents en ce qui concerne l’âge, l’ethnicité, la race, le sexe ou les handicaps. En outre, le caractère immédiat de l’impact et les possibilités limitées de contrôles ou de corrections supplémentaires concernant l’utilisation de ces systèmes en temps réel font peser des risques accrus sur les droits et les libertés des personnes concernées dans le cadre d’activités d’application de la loi ou affectées par de telles activités.
(33) L’utilisation de ces systèmes à des fins d’application de la loi devrait donc être interdite, sauf dans des situations énumérées de manière exhaustive et définies de manière restrictive, lorsque leur utilisation est strictement nécessaire pour atteindre un intérêt public substantiel, dont l’importance dépasse les risques. Ces situations comprennent la recherche de certaines victimes de crimes, y compris les personnes disparues ; certaines menaces contre la vie ou la sécurité physique de personnes physiques ou une attaque terroriste ; et la localisation ou l’identification des auteurs ou des suspects des infractions énumérées dans une annexe au présent règlement, lorsque ces infractions sont punissables dans l’État membre concerné par une peine privative de liberté ou une ordonnance de détention pour une durée maximale d’au moins quatre ans et telles qu’elles sont définies par la législation de cet État membre. Un tel seuil pour la peine de prison ou l’ordonnance de détention, conformément au droit national, contribue à garantir que l’infraction devrait être suffisamment grave pour justifier potentiellement l’utilisation de systèmes d’identification biométrique à distance “en temps réel”.
En outre, la liste des infractions fournie dans une annexe au présent règlement est basée sur les 32 infractions énumérées dans la décision-cadre du Conseil 2002/584/JHA , en tenant compte du fait que certaines de ces infractions sont, en pratique, susceptibles d’être plus pertinentes que d’autres, en ce sens que le recours à l’identification biométrique à distance “en temps réel” pourrait, foreseeably, be necessary and proportionate to highly varying degrees for the practical pursuit of the localisation or identification of a perpetrator or suspect of the different criminal offences listed and regarding the probably differences in the seriousness, probability and scale of the harm or possible negative consequences. Une menace imminente pour la vie ou la sécurité physique de personnes physiques pourrait également résulter d’une perturbation grave d’une infrastructure critique, telle que définie à l’article 2, point (4), de la directive (UE) 2022/2557 du Parlement européen et du Conseil, lorsque la perturbation ou la destruction d’une telle infrastructure critique entraînerait une menace imminente pour la vie ou la sécurité physique d’une personne, y compris en portant gravement atteinte à la fourniture de biens de base à la population ou à l’exercice des fonctions essentielles de l’État. En outre, le présent règlement devrait préserver la possibilité pour les autorités chargées de l’application de la loi, du contrôle des frontières, de l’immigration ou de l’asile de procéder à des contrôles d’identité en présence de la personne concernée, conformément aux conditions fixées par le droit de l’Union et le droit national pour de tels contrôles. En particulier, les autorités chargées de l’application de la loi, du contrôle des frontières, de l’immigration ou de l’asile devraient pouvoir utiliser des systèmes d’information, conformément au droit de l’Union ou au droit national, pour identifier les personnes qui, lors d’un contrôle d’identité, refusent d’être identifiées ou sont dans l’impossibilité de déclarer ou de prouver leur identité, sans devoir obtenir une autorisation préalable en vertu du présent règlement. Il pourrait s’agir, par exemple, d’une personne impliquée dans un crime, qui n’est pas disposée à révéler son identité aux autorités chargées de l’application de la loi ou qui n’est pas en mesure de le faire en raison d’un accident ou d’une condition médicale.
(34) Afin de garantir que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune de ces situations énumérées de manière exhaustive et définies de manière restrictive, certains éléments doivent être pris en compte, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et libertés de toutes les personnes concernées, ainsi que les garanties et conditions prévues pour cette utilisation. En outre, l’utilisation de systèmes d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi ne devrait être mise en œuvre que pour confirmer l’identité de l’individu spécifiquement visé et devrait être limitée à ce qui est strictement nécessaire en ce qui concerne la période de temps, ainsi que le champ géographique et personnel, en tenant compte en particulier des preuves ou des indications relatives aux menaces, aux victimes ou au perpetrator. L’utilisation du système d’identification biométrique en temps réel et à distance dans des lieux accessibles au public ne devrait être autorisée que si l’autorité chargée de l’application de la loi concernée a procédé à une évaluation de l’impact sur les droits fondamentaux et, sauf disposition contraire du présent règlement, a enregistré le système dans la base de données prévue par le présent règlement. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des situations mentionnées ci-dessus.
(94) Tout traitement de données biométriques impliqué dans l’utilisation de systèmes d’intelligence artificielle pour l’identification biométrique à des fins d’application de la loi doit être conforme à l’article 10 de la directive (UE) 2016/680, qui autorise un tel traitement uniquement lorsqu’il est strictement nécessaire, sous réserve de garanties appropriées pour les droits et libertés du sujet des données, et lorsqu’il est autorisé par le droit de l’Union ou des États membres. Une telle utilisation, lorsqu’elle est autorisée, doit également respecter les principes énoncés à l’article 4 (1) de la directive (UE) 2016/680, y compris la légalité, l’équité et la transparence, la limitation des finalités, l’exactitude et la limitation du stockage.
2. L’utilisation de systèmes d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi pour l’un quelconque des objectifs mentionnés au paragraphe 1, premier alinéa, point (h), ne peut être déployée, aux fins énoncées dans ce point, que pour confirmer l’identité de l’individu spécifiquement visé et doit tenir compte des éléments suivants :
(a) la nature de la situation donnant lieu à l’utilisation possible, en particulier la gravité, la probabilité et l’ampleur des dommages qui seraient causés si le système n’était pas utilisé ;
(b) les conséquences de l’utilisation du système pour les droits et libertés de toutes les personnes concernées, en particulier la gravité, la probabilité et l’ampleur de ces conséquences.
En outre, l’utilisation de systèmes d’identification biométrique en temps réel dans des lieux publics à des fins d’application de la loi pour l’un des objectifs mentionnés au paragraphe 1, premier alinéa, point (h), du présent article doit être assortie des garanties et conditions nécessaires et proportionnées en ce qui concerne leur utilisation, conformément à la législation nationale qui en autorise l’utilisation, notamment en ce qui concerne les limitations temporelles, géographiques et personnelles. L’utilisation du système d’identification biométrique en temps réel dans les lieux accessibles au public ne peut être autorisée que si l’autorité chargée de faire respecter la loi a procédé à une évaluation de l’impact sur les droits fondamentaux, comme prévu à l’article 27, et a enregistré le système dans la base de données de l’UE conformément à l’article 49. Toutefois, en cas d’urgence dûment justifiée, l’utilisation de tels systèmes peut commencer sans enregistrement dans la base de données de l’UE, à condition que cet enregistrement soit effectué sans retard injustifié.
(35) Toute utilisation d’un système d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi devrait être soumise à une autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre dont la décision est contraignante. Cette autorisation devrait, en principe, être obtenue avant l’utilisation du système d’identification automatique en vue de l’identification d’une ou de plusieurs personnes. Des exceptions à cette règle devraient être autorisées dans des situations dûment justifiées pour des raisons d’urgence, à savoir lorsque la nécessité d’utiliser les systèmes concernés est telle qu’il est effectivement et objectivement impossible d’obtenir une autorisation avant le début de l’utilisation du système d’IA. Dans de telles situations d’urgence, l’utilisation du système IA devrait être limitée au strict minimum nécessaire et devrait être soumise à des garanties et conditions appropriées, telles que déterminées par le droit national et spécifiées dans le contexte de chaque cas individuel d’utilisation urgente par l’autorité d’application de la loi elle-même. En outre, l’autorité chargée de faire respecter la loi devrait, dans de telles situations, demander cette autorisation tout en fournissant les raisons pour lesquelles elle n’a pas pu la demander plus tôt, sans délai et au plus tard dans les 24 heures. En cas de refus d’une telle autorisation, l’utilisation de systèmes d’identification biométrique en temps réel liés à cette autorisation doit cesser immédiatement et toutes les données relatives à cette utilisation doivent être mises au rebut et supprimées. Ces données comprennent les données d’entrée directement acquises par un système d’identification automatique au cours de l’utilisation de ce système, ainsi que les résultats et les sorties de l’utilisation liée à cette autorisation. Elles ne doivent pas inclure les données acquises légalement en vertu d’une autre législation de l’Union ou nationale. En tout état de cause, aucune décision produisant un effet juridique négatif sur une personne ne devrait être prise sur la seule base des résultats du système d’identification biométrique à distance.
3. Aux fins du paragraphe 1, premier alinéa, point (h), et du paragraphe 2, toute utilisation à des fins d’application de la loi d’un système d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public est soumise à une autorisation préalable délivrée par une autorité judiciaire ou une autorité administrative indépendante dont la décision est contraignante pour l’État membre dans lequel l’utilisation doit avoir lieu, sur demande motivée et conformément aux règles détaillées de la législation nationale visées au paragraphe 5. Toutefois, dans une situation d’urgence dûment justifiée, l’utilisation de ce système peut commencer sans autorisation, à condition que cette autorisation soit demandée sans retard injustifié, au plus tard dans les 24 heures. En cas de refus d’une telle autorisation, l’utilisation est arrêtée avec effet immédiat et toutes les données, ainsi que les résultats et les productions de cette utilisation, sont immédiatement effacées et détruites.
L’autorité judiciaire compétente ou une autorité administrative indépendante dont la décision est contraignante ne peut accorder l’autorisation que s’il est établi, sur la base de preuves objectives ou d’indications claires à son intention, que l’utilisation du système d’identification biométrique à distance “en temps réel” en question est nécessaire et proportionnée à l’un des objectifs visés au paragraphe 1, premier alinéa, point (h), tels qu’identifiés dans la demande et, en particulier, qu’elle se limite à ce qui est strictement nécessaire en ce qui concerne la période de temps ainsi que la portée géographique et personnelle. En statuant sur la demande, cette autorité tient compte des éléments mentionnés au paragraphe 2. Aucune décision produisant un effet juridique négatif sur une personne ne peut être prise sur la seule base des résultats du système d’identification biométrique à distance “en temps réel”.
4. Sans préjudice du paragraphe 3, toute utilisation d’un système d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi est notifiée à l’autorité de surveillance du marché concernée et à l’autorité nationale chargée de la protection des données conformément aux règles nationales visées au paragraphe 5. La notification contient, au minimum, les informations spécifiées au paragraphe 6 et n’inclut pas de données opérationnelles sensibles.
5. Un État membre peut décider de prévoir la possibilité d’autoriser, en tout ou en partie, l’utilisation de systèmes d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi, dans les limites et sous les conditions énoncées au paragraphe 1, premier alinéa, point (h), et aux paragraphes 2 et 3. Les États membres concernés établissent dans leur législation nationale les règles détaillées nécessaires à la demande, à l’obtention et à l’exercice des autorisations visées au paragraphe 3, ainsi qu’au contrôle et à la communication des informations y afférentes. Ces règles précisent également, parmi les objectifs énumérés au paragraphe 1, premier alinéa, point h), y compris ceux qui concernent les infractions visées au point h) iii), ceux pour lesquels les autorités compétentes peuvent être autorisées à utiliser ces systèmes à des fins d’application de la loi. Les États membres notifient ces règles à la Commission au plus tard 30 jours après leur adoption. Les États membres peuvent introduire, conformément à la législation de l’Union, des lois plus restrictives concernant l’utilisation de systèmes d’identification biométrique à distance.
(37) En outre, il est approprié de prévoir, dans le cadre exhaustif fixé par le présent règlement, que cette utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que si et dans la mesure où l’État membre concerné a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans ses règles détaillées de droit national. En conséquence, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité dans son intégralité ou de ne prévoir une telle possibilité que pour certains des objectifs susceptibles de justifier une utilisation autorisée identifiés dans le présent règlement. Ces règles nationales doivent être notifiées à la Commission dans un délai de 30 jours à compter de leur adoption.
(38) L’utilisation de systèmes d’intelligence artificielle pour l’identification biométrique en temps réel et à distance de personnes physiques dans des lieux accessibles au public à des fins d’application de la loi implique nécessairement le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, qui sont fondées sur l’article 16 du TFEU, devraient s’appliquer en tant que lex specialis dans le respect des règles relatives au traitement des données biométriques contenues dans l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive une telle utilisation et le traitement des données biométriques impliquées. Par conséquent, cette utilisation et ce traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il y ait de marge, en dehors de ce cadre, pour que les autorités compétentes, lorsqu’elles agissent à des fins d’application de la loi, utilisent de tels systèmes et traitent ces données en relation avec ceux-ci sur la base des motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement n’est pas destiné à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Toutefois, l’utilisation de systèmes d’identification biométrique en temps réel et à distance dans des lieux accessibles au public à des fins autres que l’application de la loi, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant cette utilisation à des fins d’application de la loi établi par le présent règlement. Une telle utilisation à des fins autres que l’application de la loi ne devrait donc pas être soumise à l’obligation d’obtenir une autorisation en vertu du présent règlement et des règles détaillées applicables du droit national qui peuvent donner effet à cette autorisation.
(39) Tout traitement de données biométriques et d’autres données à caractère personnel impliqué dans l’utilisation de systèmes d’intelligence artificielle pour l’identification biométrique, autre que celui lié à l’utilisation de systèmes d’identification biométrique en temps réel et à distance dans des lieux accessibles au public à des fins d’application de la loi telle que réglementée par le présent règlement, devrait continuer à respecter toutes les exigences résultant de l’article 10 de la directive (UE) 2016/680. Pour des raisons autres que l’application de la loi, l’article 9(1) du règlement (UE) 2016/679 et l’article 10(1) du règlement (UE) 2018/1725 interdisent le traitement de données biométriques sous réserve d’exceptions limitées telles que prévues dans ces articles. En application de l’article 9, paragraphe 1, du règlement (UE) 2016/679, l’utilisation de l’identification biométrique à distance à des fins autres que l’application de la loi a déjà fait l’objet de décisions d’interdiction par les autorités nationales de protection des données.
6. Les autorités nationales de surveillance du marché et les autorités nationales chargées de la protection des données des États membres qui ont été informées de l’utilisation de systèmes d’identification biométrique à distance “en temps réel” dans des lieux accessibles au public à des fins d’application de la loi soumettent à la Commission des rapports annuels sur cette utilisation. cette fin, la Commission fournit aux États membres et aux autorités nationales chargées de la surveillance du marché et de la protection des données un modèle comprenant des informations sur le nombre de décisions prises par les autorités judiciaires compétentes ou par une autorité administrative indépendante dont la décision est contraignante pour les demandes d’autorisation présentées conformément au paragraphe 3, ainsi que sur leur résultat.
(36) Afin de s’acquitter de leurs tâches conformément aux exigences fixées dans le présent règlement ainsi que dans les règles nationales, l’autorité de surveillance du marché concernée et l’autorité nationale chargée de la protection des données doivent être informées de chaque utilisation du système d’identification biométrique en temps réel. Les autorités de surveillance du marché et les autorités nationales chargées de la protection des données qui ont été notifiées devraient soumettre à la Commission un rapport annuel sur l’utilisation des systèmes d’identification biométrique en temps réel.
7. La Commission publie des rapports annuels sur l’utilisation, à des fins d’application de la loi, de systèmes d’identification biométrique en temps réel et à distance dans des lieux accessibles au public, sur la base de données agrégées dans les États membres, sur la base des rapports annuels visés au paragraphe 6. Ces rapports annuels ne contiennent pas de données opérationnelles sensibles relatives aux activités d’application de la loi concernées.
8. Le présent article n’affecte pas les interdictions qui s’appliquent lorsqu’une pratique AI enfreint d’autres lois de l’Union.
(45) Les pratiques interdites par le droit de l’Union, y compris le droit relatif à la protection des données, le droit relatif à la non-discrimination, le droit relatif à la protection des consommateurs et le droit relatif à la concurrence, ne devraient pas être affectées par le présent règlement.
(46) Les systèmes d’IA à haut risque ne devraient être mis sur le marché, en service ou utilisés dans l’Union que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont la production est utilisée d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour les intérêts publics importants de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Sur la base du nouveau cadre législatif, tel que clarifié dans la communication de la Commission intitulée “Le guide bleu sur la mise en œuvre des règles de l’UE relatives aux produits 2022“20 , la règle générale est que plus d’un acte juridique d’harmonisation de l’Union, tels que les règlements (UE) 2017/74521 et (UE) 2017/74622 du Parlement européen et du Conseil ou la directive 2006/42/CE du Parlement européen et du Conseil23 , peut être applicable à un produit, car la mise à disposition ou la mise en service ne peut avoir lieu que si le produit est conforme à toutes les législations d’harmonisation de l’Union applicables. Afin d’assurer la cohérence et d’éviter des charges ou des coûts administratifs inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’intelligence artificielle à haut risque, auxquels s’appliquent les exigences du présent règlement et de la législation d’harmonisation de l’Union énumérée dans une annexe au présent règlement, doivent disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles relatives à la manière d’assurer la conformité d’un produit contenant un ou plusieurs systèmes d’intelligence artificielle avec toutes les exigences applicables de la législation d’harmonisation de l’Union, de manière optimale. Les systèmes IA identifiés comme présentant un risque élevé devraient être limités à ceux qui ont un impact négatif significatif sur la santé, la sécurité et les droits fondamentaux des personnes dans l’Union, et cette limitation devrait minimiser toute restriction potentielle au commerce international.
(166) Il est important que les systèmes d’intelligence artificielle associés à des produits qui ne présentent pas de risque élevé au sens du présent règlement et qui ne sont donc pas tenus de respecter les exigences fixées pour les systèmes d’intelligence artificielle à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, le règlement (UE) 2023/988 du Parlement européen et du Conseil s’appliquerait en tant que filet de sécurité.
1. Qu’un système d’intelligence artificielle soit mis sur le marché ou mis en service indépendamment des produits mentionnés aux points (a) et (b), ce système d’intelligence artificielle est considéré comme présentant un risque élevé si les deux conditions suivantes sont remplies :
(a) le système IA est destiné à être utilisé en tant que composant de sécurité d’un produit, ou le système IA est lui-même un produit couvert par la législation d’harmonisation de l’Union énumérée à l’annexe I ;
(49) En ce qui concerne les systèmes d’intelligence artificielle à haut risque qui sont des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes relevant du champ d’application du règlement (CE) n° 300/2008 du Parlement européen et du Conseil , du règlement (UE) n° 167/2013 du Parlement européen et du Conseil , du règlement (UE) n° 168/2013 du Parlement européen et du Conseil , de la directive 2014/90/UE du Parlement européen et du Conseil , de la directive (UE) 2016/797 du Parlement européen et du Conseil , du règlement (UE) 2018/858 du Parlement européen et du Conseil , règlement (UE) 2018/1139 du Parlement européen et du Conseil , et règlement (UE) 2019/2144 du Parlement européen et du Conseil, il convient de modifier ces actes afin de garantir que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur et sans interférer avec les mécanismes de gouvernance, d’évaluation de la conformité et de mise en conformité existants et les autorités établies en vertu de ceux-ci, des exigences réglementaires applicables aux systèmes d’IA à haut risque énoncées dans le présent règlement lors de l’adoption de tout acte délégué ou d’exécution pertinent sur la base de ces actes.
(b) le produit dont le composant de sécurité visé au point (a) est le système IA, ou le système IA lui-même en tant que produit, doit faire l’objet d’une évaluation de la conformité par un tiers en vue de sa mise sur le marché ou de sa mise en service conformément à la législation d’harmonisation de l’Union visée à l’annexe I.
(50) En ce qui concerne les systèmes d’intelligence artificielle qui sont des composants de sécurité de produits, ou qui sont eux-mêmes des produits, relevant du champ d’application de certaines législations d’harmonisation de l’Union énumérées dans une annexe au présent règlement, il convient de les classer comme présentant un risque élevé au titre du présent règlement si le produit concerné est soumis à la procédure d’évaluation de la conformité avec un organisme d’évaluation de la conformité tiers conformément à ladite législation d’harmonisation de l’Union. En particulier, ces produits sont les machines, les jouets, les ascenseurs, les équipements et les systèmes de protection destinés à être utilisés dans des atmosphères potentiellement explosives, les équipements radio, les équipements de loisirs, les installations de chemin de fer, les appareils brûlant des combustibles gazeux, les dispositifs médicaux de diagnostic in vitro, l’automobile et l’aviation.
(51) La classification d’un système d’intelligence artificielle comme étant à haut risque en vertu du présent règlement ne devrait pas nécessairement signifier que le produit dont le composant de sécurité est le système d’intelligence artificielle, ou le système d’intelligence artificielle lui-même en tant que produit, est considéré comme étant à haut risque selon les critères établis dans la législation d’harmonisation de l’Union pertinente qui s’applique au produit. C’est notamment le cas pour les règlements (UE) 2017/745 et (UE) 2017/746, dans lesquels une évaluation de la conformité par un tiers est fournie pour les produits à risque moyen et élevé.
(52) En ce qui concerne les systèmes d’intelligence artificielle autonomes, à savoir les systèmes d’intelligence artificielle à haut risque autres que ceux qui sont des composants de sécurité de produits ou qui sont eux-mêmes des produits, il est approprié de les classer comme étant à haut risque si, à la lumière de leur objectif prévu, ils présentent un risque élevé de porter atteinte à la santé et à la sécurité ou aux droits fondamentaux des personnes, en tenant compte à la fois de la gravité du dommage potentiel et de sa probabilité d’occurrence, et s’ils sont utilisés dans un certain nombre de domaines spécifiques prédéfinis spécifiés dans le présent règlement. L’identification de ces systèmes se fonde sur la même méthodologie et les mêmes critères envisagés également pour toute modification future de la liste des systèmes d’intelligence artificielle à haut risque que la Commission devrait être habilitée à adopter, par voie d’actes délégués, afin de tenir compte du rythme rapide de l’évolution technologique, ainsi que des changements potentiels dans l’utilisation des systèmes d’intelligence artificielle.
2. Outre les systèmes IA à haut risque visés au paragraphe 1, les systèmes IA visés à l’annexe III sont considérés comme à haut risque.
(47) Les systèmes d’intelligence artificielle pourraient avoir un impact négatif sur la santé et la sécurité des personnes, en particulier lorsque ces systèmes fonctionnent comme des composants de sécurité des produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls les produits sûrs et autrement conformes trouvent leur chemin vers le marché, il est important que les risques de sécurité qui peuvent être générés par un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA, soient prévenus et atténués de manière appropriée. Par exemple, les robots de plus en plus autonomes, que ce soit dans le cadre de la fabrication ou de l’assistance et des soins personnels, devraient être en mesure de fonctionner en toute sécurité et d’exécuter leurs fonctions dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement élevés, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes d’aide à la décision humaine doivent être fiables et précis.
(48) L’ampleur de l’impact négatif du système d’intelligence artificielle sur les droits fondamentaux protégés par la Charte est particulièrement pertinente lorsqu’on considère qu’un système d’intelligence artificielle présente un risque élevé. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données personnelles, la liberté d’expression et d’information, la liberté d’association et de réunion, le droit à la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité des sexes, les droits de propriété intellectuelle, le droit à un recours effectif et à un procès équitable, le droit à la défense et la présomption d’innocence, et le droit à la bonne administration. En plus de ces droits, il est important de souligner le fait que les enfants ont des droits spécifiques tels qu’énoncés à l’article 24 de la Charte et dans la Convention des Nations unies relative aux droits de l’enfant, développés plus avant dans le Commentaire général n° 25 de la CNUCED en ce qui concerne l’environnement numérique, qui exigent tous deux la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins aussi importants que nécessaire pour leur bien-être. The fundamental right to a high level of environmental protection enshrined in the Charter and implemented in Union policies should also be considered when assessing the severity of the harm that an AI system can cause, including in relation to the health and safety of persons.
3. Par dérogation au paragraphe 2, un système IA mentionné à l’annexe III n’est pas considéré comme présentant un risque élevé s’il ne présente pas un risque significatif de porter atteinte à la santé, à la sécurité ou aux droits fondamentaux de personnes physiques, notamment en n’influençant pas matériellement le résultat de la prise de décision.
Le premier alinéa s’applique lorsque l’une des conditions suivantes est remplie :
(a) le système IA est destiné à exécuter une tâche procédurale étroite ;
(b) le système d’IA est destiné à améliorer le résultat d’une activité humaine précédemment accomplie ;
(c) le système IA est destiné à détecter des schémas décisionnels ou des déviations par rapport à des schémas décisionnels antérieurs et n’est pas destiné à remplacer ou à influencer l’évaluation humaine précédemment effectuée, sans un examen humain approprié ; ou
(d) le système IA est destiné à effectuer une tâche préparatoire à une évaluation pertinente aux fins des cas d’utilisation énumérés à l’annexe III.
Nonobstant le premier alinéa, un système d’intelligence artificielle visé à l’annexe III est toujours considéré comme présentant un risque élevé lorsqu’il procède au profilage de personnes physiques.
(53) Il est également important de préciser qu’il peut y avoir des cas spécifiques dans lesquels les systèmes d’IA mentionnés dans les domaines prédéfinis spécifiés dans le présent règlement ne conduisent pas à un risque significatif de préjudice pour les intérêts légaux protégés dans ces domaines, parce qu’ils n’influencent pas matériellement la prise de décision ou ne portent pas atteinte à ces intérêts de manière substantielle. Aux fins du présent règlement, un système d’intelligence artificielle qui n’influence pas matériellement l’issue de la prise de décision doit être considéré comme un système d’intelligence artificielle qui n’a pas d’incidence sur la substance, et donc sur l’issue, de la prise de décision, qu’elle soit humaine ou automatisée. Un système d’IA qui n’influence pas matériellement le résultat de la prise de décision pourrait inclure des situations dans lesquelles une ou plusieurs des conditions suivantes sont remplies. La première de ces conditions devrait être que le système IA est destiné à exécuter une tâche procédurale étroite, comme un système IA qui transforme des données non structurées en données structurées, un système IA qui classe les documents entrants en catégories ou un système IA qui est utilisé pour détecter des doublons parmi un grand nombre d’applications. Ces tâches sont d’une nature si étroite et limitée qu’elles ne présentent que des risques limités qui ne sont pas accrus par l’utilisation d’un système d’IA dans un contexte qui est répertorié comme une utilisation à haut risque dans une annexe au présent règlement. La deuxième condition devrait être que la tâche effectuée par le système d’IA vise à améliorer le résultat d’une activité humaine précédemment accomplie qui pourrait être pertinente aux fins des utilisations à haut risque énumérées dans une annexe au présent règlement. Compte tenu de ces caractéristiques, le système d’intelligence artificielle n’apporte qu’une couche supplémentaire à une activité humaine dont le risque est par conséquent réduit. That condition would, for example, apply to AI systems that are intended to improve the language used in previously drafted documents, for example in relation to professional tone, academic style of language or by aligning text to a certain brand messaging.
La troisième condition devrait être que le système IA soit destiné à détecter des schémas de prise de décision ou des déviations par rapport à des schémas de prise de décision antérieurs. Le risque serait réduit parce que l’utilisation du système IA suit une évaluation humaine préalable qu’il n’est pas censé remplacer ou influencer, sans une révision humaine adéquate. De tels systèmes d’IA incluent par exemple ceux qui, à partir d’un certain modèle de notation d’un enseignant, peuvent être utilisés pour vérifier ex post si l’enseignant peut s’être écarté du modèle de notation afin de détecter des incohérences ou des anomalies potentielles. La quatrième condition devrait être que le système d’IA soit destiné à effectuer une tâche qui n’est que préparatoire à une évaluation pertinente pour les objectifs des systèmes d’IA énumérés dans une annexe au présent règlement, rendant ainsi l’impact possible de la sortie du système très faible en termes de représentation d’un risque pour l’évaluation à suivre. That condition covers, inter alia, smart solutions for file handling, which include various functions from indexing, searching, text and speech processing or linking data to other data sources, or AI systems used for translation of initial documents. En tout état de cause, les systèmes d’IA utilisés dans des cas d’utilisation à haut risque énumérés dans une annexe au présent règlement devraient être considérés comme présentant des risques significatifs de préjudice pour la santé, la sécurité ou les droits fondamentaux si le système d’IA implique un profilage au sens de l’article 4, point (4), du règlement (UE) 2016/679 ou de l’article 3, point (4), de la directive (UE) 2016/680 ou de l’article 3, point (5), du règlement (UE) 2018/1725. Afin d’assurer la traçabilité et la transparence, un fournisseur qui estime qu’un système d’IA ne présente pas de risque élevé sur la base des conditions susmentionnées devrait établir une documentation relative à l’évaluation avant que ce système ne soit mis sur le marché ou en service et devrait fournir cette documentation aux autorités nationales compétentes à leur demande. Un tel fournisseur devrait être tenu d’enregistrer le système d’assurance invalidité dans la base de données de l’UE établie en vertu du présent règlement. En vue de fournir des orientations supplémentaires pour la mise en œuvre pratique des conditions dans lesquelles les systèmes d’IA énumérés dans une annexe au présent règlement présentent, sur une base exceptionnelle, un risque non élevé, la Commission devrait, après consultation du Conseil, fournir des lignes directrices précisant cette mise en œuvre pratique, complétées par une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui présentent un risque élevé et de cas d’utilisation qui ne le présentent pas.
4. Un fournisseur qui estime qu’un système d’assurance invalidité visé à l’annexe III ne présente pas un risque élevé doit documenter son évaluation avant que ce système ne soit mis sur le marché ou en service. Ce fournisseur est soumis à l’obligation d’enregistrement prévue à l’article 49, paragraphe 2. À la demande des autorités nationales compétentes, le fournisseur doit fournir la documentation relative à l’évaluation.
5. La Commission, après avoir consulté le Conseil européen de l’intelligence artificielle (le “Conseil”), et au plus tard … [18 mois à compter de la date d’entrée en vigueur du présent règlement], fournit des lignes directrices précisant la mise en œuvre pratique du présent article conformément à l’article 96, ainsi qu’une liste exhaustive d’exemples pratiques d’utilisation de systèmes d’intelligence artificielle à haut risque et à faible risque.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier le paragraphe 3, deuxième alinéa, du présent article en ajoutant de nouvelles conditions à celles qui y sont énoncées ou en les modifiant, lorsqu’il existe des preuves concrètes et fiables de l’existence de systèmes d’intelligence artificielle relevant du champ d’application de l’annexe III, mais ne présentant pas de risque significatif pour la santé, la sécurité ou les droits fondamentaux des personnes physiques.
7. La Commission peut adopter des actes délégués conformément à l’article 97 en vue de modifier le paragraphe 3, deuxième alinéa, du présent article en supprimant l’une quelconque des conditions qui y sont énoncées, s’il existe des preuves concrètes et fiables que cela est nécessaire pour maintenir le niveau de protection de la santé, de la sécurité et des droits fondamentaux prévu par le présent règlement.
8. Toute modification des conditions énoncées au paragraphe 3, deuxième alinéa, adoptée conformément aux paragraphes 6 et 7 du présent article ne réduit pas le niveau général de protection de la santé, de la sécurité et des droits fondamentaux assuré par le présent règlement, assure la cohérence avec les actes délégués adoptés en vertu de l’article 7, paragraphe 1, et tient compte de l’évolution des marchés et des technologies.
(63) Le fait qu’un système d’intelligence artificielle soit classé comme système d’intelligence artificielle à haut risque en vertu du présent règlement ne doit pas être interprété comme une indication que l’utilisation du système est légale en vertu d’autres actes du droit de l’Union ou du droit national compatible avec le droit de l’Union, tels que la protection des données à caractère personnel, l’utilisation de polygraphes et d’outils similaires ou d’autres systèmes de détection de l’état émotionnel de personnes physiques. Toute utilisation de ce type doit continuer à se faire uniquement en conformité avec les exigences applicables découlant de la Charte et des actes applicables du droit secondaire de l’Union et du droit national. Le présent règlement ne doit pas être considéré comme fournissant une base juridique pour le traitement des données à caractère personnel, y compris les catégories spéciales de données à caractère personnel, le cas échéant, à moins qu’il n’en soit spécifiquement disposé autrement dans le présent règlement.
1. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 afin de modifier l’annexe III en y ajoutant ou en y modifiant des cas d’utilisation de systèmes d’intelligence artificielle à haut risque lorsque les deux conditions suivantes sont remplies :
(a) les systèmes AI sont destinés à être utilisés dans l’un des domaines énumérés à l’annexe III ;
(b) les systèmes d’IA posent un risque de préjudice pour la santé et la sécurité, ou un impact négatif
sur les droits fondamentaux, et que ce risque est équivalent ou supérieur au risque de préjudice ou d’impact négatif posé par les systèmes d’IA à haut risque déjà mentionnés à l’annexe III.
2. Lorsqu’elle évalue la condition visée au paragraphe 1, point b), la Commission tient compte des critères suivants :
(a) l’objectif prévu du système AI ;
(b) la mesure dans laquelle un système d’IA a été utilisé ou est susceptible de l’être ;
(c) la nature et la quantité de données traitées et utilisées par le système IA, en particulier si des catégories spéciales de données à caractère personnel sont traitées ;
(d) la mesure dans laquelle le système IA agit de manière autonome et la possibilité pour un être humain de passer outre une décision ou des recommandations qui pourraient entraîner un préjudice potentiel ;
(e) la mesure dans laquelle l’utilisation d’un système IA a déjà causé des dommages à la santé et à la sécurité, a eu un impact négatif sur les droits fondamentaux ou a suscité des préoccupations importantes quant à la probabilité de tels dommages ou impacts négatifs, comme démontré, par exemple, par des rapports ou des allégations documentées soumis aux autorités nationales compétentes ou par d’autres rapports, selon le cas ;
(f) l’ampleur potentielle de ce dommage ou de cet effet néfaste, en particulier en ce qui concerne son intensité et sa capacité à affecter de multiples personnes ou à affecter de manière disproportionnée un groupe particulier de personnes ;
(g) la mesure dans laquelle les personnes qui sont potentiellement lésées ou qui subissent un impact négatif dépendent du résultat produit par un système IA, en particulier parce que, pour des raisons pratiques ou juridiques, il n’est pas raisonnablement possible de se soustraire à ce résultat ;
(h) la mesure dans laquelle il y a un déséquilibre de pouvoir, ou les personnes qui sont potentiellement lésées ou qui subissent un impact négatif sont en position de vulnérabilité par rapport à la personne qui déploie un système IA, notamment en raison de leur statut, de leur autorité, de leurs connaissances, de leur situation économique ou sociale, ou de leur âge ;
(i) la mesure dans laquelle le résultat produit par un système IA est aisément corrigible ou réversible, compte tenu des solutions techniques disponibles pour le corriger ou l’inverser, les résultats ayant un impact négatif sur la santé, la sécurité ou les droits fondamentaux ne devant pas être considérés comme aisément corrigibles ou réversibles ;
(j) l’ampleur et la probabilité des avantages du déploiement du système IA pour les individus, les groupes ou la société en général, y compris les améliorations possibles de la sécurité des produits ;
(k) dans la mesure où la législation existante de l’Union le permet :
(i) des mesures de réparation efficaces en ce qui concerne les risques posés par un système d’intelligence artificielle, à l’exclusion des demandes de dommages et intérêts ;
(ii) des mesures efficaces pour prévenir ou minimiser substantiellement ces risques.
3. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 afin de modifier la liste figurant à l’annexe III en supprimant les systèmes d’IA à haut risque lorsque les deux conditions suivantes sont remplies :
(a) le système d’intelligence artificielle à haut risque concerné ne présente plus de risques significatifs pour les droits fondamentaux, la santé ou la sécurité, compte tenu des critères énumérés au paragraphe 2 ;
(b) la suppression ne diminue pas le niveau général de protection de la santé, de la sécurité et des droits fondamentaux en vertu du droit de l’Union.
(66) Les exigences doivent s’appliquer aux systèmes d’intelligence artificielle à haut risque en ce qui concerne la gestion des risques, la qualité et la pertinence des ensembles de données utilisés, la documentation technique et la tenue des dossiers, la transparence et la fourniture d’informations aux déployeurs, la surveillance humaine, ainsi que la robustesse, la précision et la cybersécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux. Comme aucune autre mesure moins restrictive pour le commerce n’est raisonnablement disponible, ces exigences ne constituent pas des restrictions injustifiées au commerce.
1. Les systèmes d’intelligence artificielle à haut risque doivent être conformes aux exigences énoncées dans la présente section, en tenant compte de leur finalité ainsi que de l’état de l’art généralement reconnu en matière d’intelligence artificielle et de technologies liées à l’intelligence artificielle. Le système de gestion des risques visé à l’article 9 doit être pris en compte pour assurer la conformité avec ces exigences.
2. Lorsqu’un produit contient un système IA auquel s’appliquent les exigences du présent règlement ainsi que les exigences de la législation d’harmonisation de l’Union énumérées à la section A de l’annexe I, les fournisseurs sont tenus de veiller à ce que leur produit soit pleinement conforme à toutes les exigences applicables en vertu de la législation d’harmonisation de l’Union applicable. Pour assurer la conformité des systèmes d’authentification à haut risque visés au paragraphe 1 avec les exigences énoncées dans la présente section et pour garantir la cohérence, éviter les doubles emplois et réduire au minimum les charges supplémentaires, les fournisseurs ont le choix d’intégrer, le cas échéant, les processus de test et de rapport, les informations et la documentation nécessaires qu’ils fournissent en ce qui concerne leur produit dans la documentation et les procédures qui existent déjà et qui sont requises par la législation d’harmonisation de l’Union visée à la section A de l’annexe I.
(64) Afin d’atténuer les risques liés aux systèmes d’intelligence artificielle à haut risque mis sur le marché ou en service et d’assurer un niveau élevé de fiabilité, certaines exigences obligatoires doivent être appliquées aux systèmes d’intelligence artificielle à haut risque, en tenant compte de l’objectif visé et du contexte d’utilisation du système d’intelligence artificielle et conformément au système de gestion des risques à mettre en place par le fournisseur. Les mesures adoptées par les prestataires pour se conformer aux exigences obligatoires du présent règlement doivent tenir compte de l’état de l’art généralement reconnu en matière d’IA, être proportionnées et efficaces pour atteindre les objectifs du présent règlement. Sur la base du nouveau cadre législatif, tel que clarifié dans la communication de la Commission intitulée “Le guide bleu sur la mise en œuvre des règles de l’UE relatives aux produits 2022”, la règle générale est que plus d’un acte juridique d’harmonisation de l’Union peut être applicable à un produit, car la mise à disposition ou la mise en service du produit ne peut avoir lieu que si le produit est conforme à toutes les législations d’harmonisation de l’Union applicables. Les risques des systèmes d’intelligence artificielle couverts par les exigences de ce règlement concernent des aspects différents de ceux de la législation d’harmonisation de l’Union existante et, par conséquent, les exigences de ce règlement compléteraient le corps de la législation d’harmonisation de l’Union existante. Par exemple, les produits de machines ou de dispositifs médicaux intégrant un système d’intelligence artificielle pourraient présenter des risques qui ne sont pas abordés par les exigences essentielles de santé et de sécurité énoncées dans la législation harmonisée de l’Union pertinente, car cette législation sectorielle ne traite pas des risques spécifiques aux systèmes d’intelligence artificielle.
Cela appelle à une application simultanée et complémentaire des différents actes législatifs. Afin d’assurer la cohérence et d’éviter une charge administrative et des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’intelligence artificielle à haut risque, auxquels s’appliquent les exigences du présent règlement et de la législation harmonisée de l’Union basée sur le nouveau cadre législatif et énumérée dans une annexe au présent règlement, devraient disposer d’une certaine flexibilité en ce qui concerne les décisions opérationnelles sur la manière d’assurer la conformité d’un produit contenant un ou plusieurs systèmes d’intelligence artificielle avec toutes les exigences applicables de cette législation harmonisée de l’Union, de manière optimale. Cette flexibilité pourrait signifier, par exemple, une décision du fournisseur d’intégrer une partie des processus de test et de rapport, des informations et de la documentation nécessaires au titre du présent règlement dans la documentation et les procédures déjà requises au titre de la législation harmonisée existante de l’Union basée sur le nouveau cadre législatif et énumérée dans une annexe au présent règlement. Cela ne doit en aucun cas porter atteinte à l’obligation du prestataire de se conformer à toutes les exigences applicables.
1. Un système de gestion des risques doit être établi, mis en œuvre, documenté et maintenu en ce qui concerne les systèmes d’intelligence artificielle à haut risque.
2. Le système de gestion des risques doit être considéré comme un processus itératif continu planifié et exécuté tout au long du cycle de vie d’un système d’assurance à haut risque, nécessitant une révision et une mise à jour systématiques régulières. Il doit comprendre les étapes suivantes :
(a) l’identification et l’analyse des risques connus et raisonnablement prévisibles que le système IA à haut risque peut poser pour la santé, la sécurité ou les droits fondamentaux lorsque le système IA à haut risque est utilisé conformément à son objectif ;
(b) l’estimation et l’évaluation des risques qui peuvent survenir lorsque le système d’intelligence artificielle à haut risque est utilisé conformément à son objectif, et dans des conditions de mauvaise utilisation raisonnablement prévisibles ;
(c) l’évaluation d’autres risques éventuels, sur la base de l’analyse des données recueillies dans le cadre du système de surveillance post-commercialisation visé à l’article 72 ;
(d) l’adoption de mesures de gestion des risques appropriées et ciblées, conçues pour traiter les risques identifiés conformément au point (a).
3. Les risques mentionnés dans le présent article ne concernent que ceux qui peuvent être raisonnablement atténués ou éliminés par le développement ou la conception du système d’intelligence artificielle à haut risque, ou par la fourniture d’informations techniques adéquates.
4. Les mesures de gestion des risques visées au paragraphe 2, point (d), tiennent dûment compte des effets et des interactions possibles résultant de l’application combinée des exigences énoncées dans la présente section, dans le but de réduire les risques de manière plus efficace tout en réalisant un équilibre approprié dans la mise en œuvre des mesures visant à satisfaire à ces exigences.
5. Les mesures de gestion des risques mentionnées au paragraphe 2, point (d), doivent être telles que le risque résiduel pertinent associé à chaque danger, ainsi que le risque résiduel global des systèmes IA à haut risque, soient jugés acceptables.
En identifiant les mesures de gestion des risques les plus appropriées, il convient d’assurer ce qui suit :
(a) l’élimination ou la réduction des risques identifiés et évalués conformément au paragraphe 2 dans la mesure où cela est techniquement possible grâce à une conception et à un développement appropriés du système d’IA à haut risque ;
(b) le cas échéant, la mise en œuvre de mesures d’atténuation et de contrôle appropriées pour traiter les risques qui ne peuvent être éliminés ;
(c) la fourniture des informations requises en vertu de l’article 13 et, le cas échéant, la formation des personnes déployées.
With a view to eliminate or reducing risks related to the use of the high-risk AI system, due consideration shall be given to the technical knowledge, experience, education, the training to be expected from the deployer, and the presumable context in which the system is intended to be used.
6. Les systèmes d’IA à haut risque doivent être testés dans le but d’identifier les mesures de gestion des risques les plus appropriées et les plus ciblées. Les tests doivent garantir que les systèmes d’IA à haut risque fonctionnent de manière cohérente pour l’usage auquel ils sont destinés et qu’ils sont conformes aux exigences énoncées dans la présente section.
7. Les procédures d’essai peuvent inclure des essais en conditions réelles conformément à l’article 60.
8. Les systèmes d’intelligence artificielle à haut risque doivent être testés, le cas échéant, à tout moment au cours du processus de développement et, en tout état de cause, avant leur mise sur le marché ou leur mise en service. Les tests doivent être effectués par rapport à des mesures prédéfinies et à des seuils probabilistes appropriés à l’usage prévu du système d’intelligence artificielle à haut risque.
9. Lors de la mise en œuvre du système de gestion des risques prévu aux paragraphes 1 à 7, les prestataires tiennent compte de la question de savoir si, compte tenu de son objectif, le système d’assurance à haut risque est susceptible d’avoir un impact négatif sur les personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.
10. Pour les fournisseurs de systèmes d’information sur les risques élevés qui sont soumis à des exigences concernant les processus internes de gestion des risques en vertu d’autres dispositions pertinentes de la législation de l’Union, les aspects prévus aux paragraphes 1 à 9 peuvent faire partie des procédures de gestion des risques établies en vertu de cette législation ou être combinés avec elles.
(65) Le système de gestion des risques devrait consister en un processus continu et itératif qui est planifié et exécuté tout au long du cycle de vie d’un système IA à haut risque. Ce processus devrait viser à identifier et à atténuer les risques pertinents des systèmes d’IA pour la santé, la sécurité et les droits fondamentaux. Le système de gestion des risques devrait être régulièrement revu et mis à jour afin d’assurer son efficacité continue, ainsi que la justification et la documentation de toutes les décisions et actions importantes prises en vertu du présent règlement. Ce processus doit garantir que le fournisseur identifie les risques ou les effets négatifs et met en œuvre des mesures d’atténuation pour les risques connus et prévisibles que les systèmes d’intelligence artificielle font peser sur la santé, la sécurité et les droits fondamentaux, compte tenu de l’usage prévu et de l’abus prévisible, y compris les risques éventuels résultant de l’interaction entre le système d’intelligence artificielle et l’environnement dans lequel il opère. Le système de gestion des risques devrait adopter les mesures de gestion des risques les plus appropriées à la lumière de l’état de l’art en matière d’IA. Lors de l’identification des mesures de gestion des risques les plus appropriées, le fournisseur doit documenter et expliquer les choix effectués et, le cas échéant, faire appel à des experts et à des parties prenantes externes. Dans l’identification de l’utilisation abusive raisonnablement prévisible de systèmes d’intelligence artificielle à haut risque, le fournisseur devrait couvrir les utilisations de systèmes d’intelligence artificielle qui, bien qu’elles ne soient pas directement couvertes par l’objectif visé et prévues dans les instructions d’utilisation, peuvent néanmoins être raisonnablement attendues comme résultant d’un comportement humain raisonnablement prévisible dans le contexte des caractéristiques et de l’utilisation spécifiques d’un système d’intelligence artificielle particulier.
Toutes les circonstances connues ou prévisibles relatives à l’utilisation du système d’intelligence artificielle à haut risque conformément à sa finalité ou dans des conditions de mauvaise utilisation raisonnablement prévisibles, qui pourraient entraîner des risques pour la santé et la sécurité ou les droits fondamentaux, doivent être incluses dans les instructions d’utilisation fournies par le fournisseur. Ceci afin de s’assurer que le déployeur en est conscient et en tient compte lorsqu’il utilise le système IA à haut risque. L’identification et la mise en œuvre de mesures d’atténuation des risques en cas d’utilisation abusive prévisible au titre du présent règlement ne devraient pas nécessiter de formation spécifique supplémentaire pour le système d’IA à haut risque de la part du fournisseur afin de faire face à une utilisation abusive prévisible. Les prestataires sont toutefois encouragés à envisager de telles mesures de formation supplémentaires afin d’atténuer les abus prévisibles raisonnables si cela s’avère nécessaire et approprié.
1. Les systèmes d’IA à haut risque qui font appel à des techniques impliquant l’entraînement de modèles d’IA avec des données doivent être développés sur la base d’un entraînement, d’une validation et de tests d’ensembles de données qui satisfont aux critères de qualité mentionnés aux paragraphes 2 à 5 chaque fois que de tels ensembles de données sont utilisés.
2. La formation, la validation et le test des ensembles de données doivent être soumis à des pratiques de gouvernance et de gestion des données adaptées à l’objectif du système d’IA à haut risque. Ces pratiques doivent concerner en particulier
(a) les choix de conception pertinents ;
(b) les processus de collecte de données et l’origine des données, et dans le cas de données personnelles, le but initial de la collecte de données ;
(c) les opérations de traitement de la préparation des données pertinentes, telles que l’annotation, l’étiquetage, le nettoyage, la mise à jour, l’enrichissement et l’agrégation ;
(d) la formulation d’hypothèses, notamment en ce qui concerne les informations que les données sont censées mesurer et représenter ;
(e) une évaluation de la disponibilité, de la quantité et de l’adéquation des ensembles de données nécessaires ;
(f) l’examen des biais éventuels susceptibles d’affecter la santé et la sécurité des personnes, d’avoir un impact négatif sur les droits fondamentaux ou de conduire à des discriminations interdites par le droit de l’Union, en particulier lorsque les données produites influencent les intrants des opérations futures ;
(g) des mesures appropriées pour détecter, prévenir et atténuer les éventuels biais identifiés conformément au point (f) ;
(h) l’identification des lacunes ou des omissions pertinentes en matière de données qui empêchent le respect du présent règlement, et la manière dont ces lacunes et omissions peuvent être comblées.
3. Les ensembles de données de formation, de validation et de test doivent être pertinents, suffisamment représentatifs et, dans la mesure du possible, exempts d’erreurs et complets compte tenu de l’objectif poursuivi. Ils doivent avoir les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou les groupes de personnes par rapport auxquels le système d’IA à haut risque est destiné à être utilisé. Ces caractéristiques des ensembles de données peuvent être respectées au niveau des ensembles de données individuels ou au niveau d’une combinaison de ceux-ci.
(68) Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités pertinentes, telles que les centres européens d’innovation numérique, les installations d’expérimentation et les chercheurs, devraient pouvoir accéder à des ensembles de données de haute qualité et les utiliser dans les domaines d’activité de ces acteurs qui sont liés au présent règlement. Les espaces européens communs de données établis par la Commission et la facilitation du partage de données entre les entreprises et avec le gouvernement dans l’intérêt public seront des instruments permettant de fournir un accès fiable, responsable et non discriminatoire à des données de qualité pour la formation, la validation et le test des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement des algorithmes d’IA sur ces ensembles de données, d’une manière privée, sécurisée, opportune, transparente et fiable, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou soutiennent l’accès aux données, peuvent également soutenir la fourniture de données de qualité pour la formation, la validation et le test des systèmes d’IA.
4. Les ensembles de données doivent tenir compte, dans la mesure requise par l’objectif visé, des caractéristiques ou des éléments qui sont particuliers au contexte géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’intelligence artificielle à haut risque est destiné à être utilisé.
5. Dans la mesure où cela est strictement nécessaire pour assurer la détection et la correction des biais liés aux systèmes d’intelligence artificielle à haut risque conformément au paragraphe (2), points (f) et (g), du présent article, les fournisseurs de ces systèmes peuvent traiter de manière exceptionnelle des catégories spéciales de données à caractère personnel, sous réserve de garanties appropriées pour les droits et libertés fondamentaux des personnes physiques. Outre les dispositions prévues par les règlements (UE) 2016/679 et (UE) 2018/1725 et la directive (UE) 2016/680, toutes les conditions suivantes doivent être remplies pour qu’un tel traitement puisse avoir lieu :
(a) la détection et la correction des biais ne peuvent pas être satisfaites efficacement par le traitement d’autres données, y compris des données synthétiques ou anonymes ;
(b) les catégories spéciales de données personnelles sont soumises à des limitations techniques sur la réutilisation des données personnelles, et à des mesures de sécurité et de confidentialité de pointe, y compris la pseudonymisation ;
(c) les catégories spéciales de données à caractère personnel sont soumises à des mesures visant à garantir que les données à caractère personnel traitées sont sécurisées, protégées, soumises à des garanties appropriées, y compris des contrôles stricts et la documentation de l’accès, afin d’éviter toute utilisation abusive et de veiller à ce que seules les personnes autorisées aient accès à ces données à caractère personnel avec des obligations de confidentialité appropriées ;
(d) les catégories spéciales de données à caractère personnel ne doivent pas être transmises, transférées ou autrement accessibles à d’autres parties ;
(e) les catégories spéciales de données à caractère personnel sont supprimées dès que le biais a été corrigé ou que les données à caractère personnel ont atteint la fin de leur période de conservation, selon ce qui vient en premier ;
(f) les registres des activités de traitement conformément aux règlements (UE) 2016/679 et (UE) 2018/1725 et à la directive (UE) 2016/680 incluent les raisons pour lesquelles le traitement de catégories spéciales de données à caractère personnel était strictement nécessaire pour détecter et corriger les biais, et pourquoi cet objectif n’a pas pu être atteint en traitant d’autres données.
(69) Le droit à la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’intelligence artificielle. cet égard, les principes de minimisation des données et de protection des données dès la conception et par défaut, tels que définis par la législation de l’Union européenne en matière de protection des données, sont applicables lors du traitement des données à caractère personnel. Les mesures prises par les fournisseurs pour assurer la conformité avec ces principes peuvent inclure non seulement l’anonymisation et le cryptage, mais aussi l’utilisation de technologies qui permettent aux algorithmes d’être appliqués aux données et qui permettent l’entraînement des systèmes d’IA sans transmission entre parties ou copie des données brutes ou structurées elles-mêmes, sans préjudice des exigences en matière de gouvernance des données prévues par le présent règlement.
(70) Afin de protéger le droit d’autrui contre la discrimination qui pourrait résulter des biais des systèmes d’intelligence artificielle, les fournisseurs devraient, exceptionnellement, dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’intelligence artificielle à haut risque, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons and following the application of all applicable conditions laid down under this Regulation in addition to the conditions laid down in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, be able to process also special categories of personal data, as a matter of substantial public interest within the meaning of Article 9(2), point (g) of Regulation (EU) 2016/679 and Article 10(2), point (g) of Regulation (EU) 2018/1725.
6. Pour le développement de systèmes d’IA à haut risque n’utilisant pas de techniques impliquant l’entraînement de modèles d’IA, les paragraphes 2 à 5 ne s’appliquent qu’aux ensembles de données de test.
(67) Des données de haute qualité et l’accès à des données de haute qualité jouent un rôle essentiel dans la fourniture d’une structure et dans la garantie de la performance de nombreux systèmes d’intelligence artificielle, en particulier lorsque des techniques impliquant l’entraînement de modèles sont utilisées, dans le but d’assurer que le système d’intelligence artificielle à haut risque fonctionne comme prévu et de manière sûre et qu’il ne devienne pas une source de discrimination interdite par le droit de l’Union. Des ensembles de données de haute qualité pour la formation, la validation et les tests nécessitent la mise en œuvre de pratiques appropriées de gouvernance et de gestion des données. Les ensembles de données pour la formation, la validation et les tests, y compris les étiquettes, doivent être pertinents, suffisamment représentatifs et, dans la mesure du possible, exempts d’erreurs et complets compte tenu de l’objectif visé par le système. Afin de faciliter la conformité avec la législation de l’Union en matière de protection des données, telle que le règlement (UE) 2016/679, les pratiques de gouvernance et de gestion des données devraient inclure, dans le cas des données personnelles, la transparence quant à l’objectif initial de la collecte des données. Les ensembles de données devraient également avoir les propriétés statistiques appropriées, y compris en ce qui concerne les personnes ou les groupes de personnes en relation avec lesquelles le système d’IA à haut risque est destiné à être utilisé, avec une attention particulière à l’atténuation des biais possibles dans les ensembles de données qui sont susceptibles d’affecter la santé et la sécurité des personnes, d’avoir un impact négatif sur les droits fondamentaux ou de conduire à une discrimination interdite par le droit de l’Union, en particulier lorsque les sorties de données influencent les entrées pour les opérations futures (boucles de rétroaction). Les biais peuvent, par exemple, être inhérents aux ensembles de données sous-jacents, notamment lorsque des données historiques sont utilisées, ou être générés lorsque les systèmes sont mis en œuvre dans des environnements du monde réel.
Les résultats fournis par les systèmes d’intelligence artificielle pourraient être influencés par de tels biais intrinsèques qui tendent à augmenter progressivement et, par conséquent, à perpétuer et à amplifier la discrimination existante, en particulier pour les personnes appartenant à certains groupes vulnérables, y compris les groupes raciaux ou ethniques. L’exigence selon laquelle les ensembles de données doivent être aussi complets que possible et exempts d’erreurs ne doit pas affecter l’utilisation de techniques de préservation de la vie privée dans le cadre du développement et du test de systèmes d’intelligence artificielle. En particulier, les ensembles de données devraient tenir compte, dans la mesure requise par leur objectif, des caractéristiques, propriétés ou éléments particuliers à l’environnement géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système IA est destiné à être utilisé. Les exigences relatives à la gouvernance des données peuvent être satisfaites en recourant à des tiers qui offrent des services de conformité certifiés, y compris la vérification de la gouvernance des données, l’intégrité des ensembles de données et les pratiques de formation, de validation et de test des données, dans la mesure où la conformité avec les exigences en matière de données du présent règlement est assurée.
1. La documentation technique d’un système d’intelligence artificielle à haut risque doit être établie avant que le système ne soit mis sur le marché ou en service et doit être tenue à jour.
La documentation technique est établie de manière à démontrer que le système d’alarme à haut risque est conforme aux exigences énoncées dans la présente section et à fournir aux autorités nationales compétentes et aux organismes notifiés les informations nécessaires, sous une forme claire et complète, pour évaluer la conformité du système d’alarme à ces exigences. Elle doit contenir au minimum les éléments prévus à l’annexe IV. Les PME, y compris les jeunes pousses, peuvent fournir les éléments de la documentation technique prévue à l’annexe IV de manière simplifiée. À cette fin, la Commission établit un formulaire de documentation technique simplifié visant à répondre aux besoins des petites et micro-entreprises. Lorsqu’une PME, y compris une start-up, choisit de fournir les informations requises à l’annexe IV sous une forme simplifiée, elle utilise le formulaire visé au présent paragraphe. Les organismes notifiés acceptent le formulaire aux fins de l’évaluation de la conformité.
2. Lorsqu’un système d’alarme à haut risque lié à un produit couvert par la législation d’harmonisation de l’Union énumérée à la section A de l’annexe I est mis sur le marché ou mis en service, un ensemble unique de documentation technique est établi, contenant toutes les informations visées au paragraphe 1, ainsi que les informations requises par ces actes législatifs.
3. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier l’annexe IV, le cas échéant, pour faire en sorte que, compte tenu des progrès techniques, la documentation technique fournisse toutes les informations nécessaires pour évaluer la conformité du système avec les exigences énoncées dans la présente section.
(71) Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’intelligence artificielle à haut risque ont été développés et sur la façon dont ils fonctionnent tout au long de leur durée de vie, afin de permettre la traçabilité de ces systèmes, de vérifier leur conformité aux exigences du présent règlement, ainsi que de contrôler leur fonctionnement et d’assurer une surveillance post-commercialisation. Cela nécessite la tenue de registres et la disponibilité d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système IA aux exigences pertinentes et faciliter le suivi après la mise sur le marché. Ces informations doivent inclure les caractéristiques générales, les capacités et les limites du système, les algorithmes, les données, la formation, les processus de test et de validation utilisés ainsi que la documentation sur le système de gestion des risques concerné et être présentées de manière claire et complète. La documentation technique devrait être maintenue à jour, de manière appropriée, tout au long de la vie du système d’intelligence artificielle. En outre, les systèmes d’IA à haut risque devraient techniquement permettre l’enregistrement automatique des événements, au moyen de journaux, pendant toute la durée de vie du système.
(72) Pour répondre aux préoccupations relatives à l’opacité et à la complexité de certains systèmes d’IA et aider les déployeurs à remplir leurs obligations au titre du présent règlement, la transparence devrait être exigée pour les systèmes d’IA à haut risque avant leur mise sur le marché ou leur mise en service. Les systèmes d’IA à haut risque devraient être conçus de manière à permettre aux déployeurs de comprendre le fonctionnement du système d’IA, d’évaluer sa fonctionnalité et de comprendre ses forces et ses limites. Les systèmes d’IA à haut risque devraient être accompagnés d’informations appropriées sous la forme d’instructions d’utilisation. Ces informations devraient inclure les caractéristiques, les capacités et les limites de performance du système IA. Celles-ci devraient inclure des informations sur les éventuelles circonstances connues et prévisibles liées à l’utilisation du système d’IA à haut risque, y compris les actions des déployeurs susceptibles d’influencer le comportement et les performances du système, dans le cadre desquelles le système d’IA peut entraîner des risques pour la santé, la sécurité et les droits fondamentaux, sur les changements qui ont été prédéfinis et dont la conformité a été évaluée par le fournisseur et sur les mesures de surveillance humaine pertinentes, y compris les mesures visant à faciliter l’interprétation des résultats du système d’IA par les déployeurs. La transparence, y compris les instructions d’utilisation qui accompagnent le système, devrait aider les personnes déployées à utiliser le système et à prendre des décisions en connaissance de cause. Les déployeurs devraient, entre autres, être mieux à même de faire le bon choix du système qu’ils envisagent d’utiliser à la lumière des obligations qui leur incombent, d’être informés des utilisations prévues et des utilisations interdites, et d’utiliser le système d’intelligence artificielle de manière correcte et appropriée. Afin d’améliorer la légitimité et l’accessibilité des informations contenues dans les instructions d’utilisation, il convient d’inclure, le cas échéant, des exemples illustratifs, par exemple sur les limites et sur les utilisations prévues et interdites du système IA. Les fournisseurs devraient veiller à ce que toute la documentation, y compris les instructions d’utilisation, contienne des informations pertinentes, complètes, accessibles et compréhensibles, en tenant compte des besoins et des connaissances prévisibles des utilisateurs ciblés. Les instructions d’utilisation devraient être mises à disposition dans une langue qui peut être facilement comprise par les déployeurs cibles, telle que déterminée par l’État membre concerné.
1. Les systèmes IA à haut risque doivent techniquement permettre l’enregistrement automatique d’événements (logs) pendant la durée de vie du système.
2. Afin d’assurer un niveau de traçabilité du fonctionnement d’un système d’intelligence artificielle à haut risque qui soit adapté à l’objectif visé par le système, les capacités d’enregistrement doivent permettre d’enregistrer les événements pertinents pour :
(a) identifier les situations qui pourraient aboutir à ce que le système IA à haut risque présente un risque au sens de l’article 79, paragraphe 1, ou à une modification substantielle ;
(b) faciliter le suivi après la mise sur le marché visé à l’article 72 ; et
(c) surveiller le fonctionnement des systèmes d’intelligence artificielle à haut risque visés à l’article 26, paragraphe 5.
3. Pour les systèmes d’intelligence artificielle à haut risque visés au point 1 (a) de l’annexe III, les capacités d’enregistrement doivent être fournies, au minimum :
(a) l’enregistrement de la période de chaque utilisation du système (date et heure de début et date et heure de fin de chaque utilisation) ;
(b) la base de données de référence par rapport à laquelle les données d’entrée ont été vérifiées par le système ;
(c) les données d’entrée pour lesquelles la recherche a abouti à une correspondance ;
(d) l’identification des personnes physiques impliquées dans la vérification des résultats, comme indiqué à l’article 14(5).
1. Les systèmes d’intelligence artificielle à haut risque doivent être conçus et développés de manière à ce que leur fonctionnement soit suffisamment transparent pour permettre aux déployeurs d’interpréter les résultats d’un système et de l’utiliser de manière appropriée. Un type et un degré de transparence appropriés doivent être garantis en vue d’assurer la conformité avec les obligations pertinentes du fournisseur et du déployeur énoncées à la section 3.
2. Les systèmes d’intelligence artificielle à haut risque doivent être accompagnés d’instructions d’utilisation, sous un format numérique approprié ou autre, comprenant des informations concises, complètes, correctes et claires qui soient pertinentes, accessibles et compréhensibles pour les déployeurs.
3. Les instructions d’utilisation doivent contenir au moins les informations suivantes :
(a) l’identité et les coordonnées du fournisseur et, le cas échéant, de son représentant autorisé ;
(b) les caractéristiques, les capacités et les limites de performance du système d’IA à haut risque, y compris :
(i) sa finalité ;
(ii) le niveau d’exactitude, y compris ses mesures, de robustesse et de cybersécurité visé à l’article 15 par rapport auquel le système d’IA à haut risque a été testé et validé et qui peut être escompté, ainsi que toute circonstance connue et prévisible susceptible d’avoir une incidence sur ce niveau escompté d’exactitude, de robustesse et de cybersécurité ;
(iii) toute circonstance connue ou prévisible, liée à l’utilisation du système d’intelligence artificielle à haut risque conformément à sa finalité ou dans des conditions de mauvaise utilisation raisonnablement prévisibles, qui pourrait entraîner des risques pour la santé et la sécurité ou les droits fondamentaux mentionnés à l’article 9(2) ;
(iv) le cas échéant, les capacités techniques et les caractéristiques du système d’IA à haut risque afin de fournir des informations pertinentes pour expliquer sa production ;
(v) lorsque cela est approprié, ses performances par rapport à des personnes ou des groupes de personnes spécifiques sur lesquels le système est destiné à être utilisé ;
(vi) lorsque cela est approprié, les spécifications des données d’entrée, ou toute autre information pertinente en ce qui concerne les ensembles de données de formation, de validation et d’essai utilisés, en tenant compte de l’objectif prévu du système IA à haut risque ;
(vii) le cas échéant, des informations permettant aux déployeurs d’interpréter la sortie du système d’IA à haut risque et de l’utiliser de manière appropriée ;
(c) les modifications apportées au système IA à haut risque et à ses performances qui ont été prédéfinies par le fournisseur au moment de l’évaluation initiale de la conformité, le cas échéant ;
(d) les mesures de contrôle humain mentionnées à l’article 14, y compris les mesures techniques mises en place pour faciliter l’interprétation des résultats des systèmes d’intelligence artificielle à haut risque par les déployeurs ;
(e) les ressources informatiques et matérielles nécessaires, la durée de vie prévue du système IA à haut risque et toute mesure de maintenance et d’entretien nécessaire, y compris sa fréquence, pour assurer le bon fonctionnement de ce système IA, y compris en ce qui concerne les mises à jour logicielles ;
(f) le cas échéant, une description des mécanismes inclus dans le système d’IA à haut risque qui permettent aux déployeurs de collecter, de stocker et d’interpréter correctement les logs conformément à l’article 12.
(74) Les systèmes d’intelligence artificielle à haut risque doivent fonctionner de manière cohérente tout au long de leur cycle de vie et atteindre un niveau approprié de précision, de robustesse et de cybersécurité, compte tenu de leur objectif et conformément à l’état de l’art généralement reconnu. La Commission et les organisations et parties prenantes concernées sont encouragées à prendre dûment en considération la mitigation des risques et des impacts négatifs du système d’intelligence artificielle. Le niveau attendu des mesures de performance doit être indiqué dans les instructions d’utilisation. Les fournisseurs sont encouragés à communiquer ces informations aux déployeurs de manière claire et facilement compréhensible, sans malentendus ni déclarations mensongères. La législation européenne sur la métrologie légale, y compris les directives 2014/31/UE35 et 2014/32/UE36 du Parlement européen et du Conseil, vise à garantir l’exactitude des mesures et à contribuer à la transparence et à l’équité des transactions commerciales. Dans ce contexte, en coopération avec les parties prenantes et les organisations concernées, telles que les autorités de métrologie et d’étalonnage, la Commission devrait encourager, le cas échéant, le développement de critères de référence et de méthodologies de mesure pour les systèmes d’IA. Dans cette optique, la Commission devrait prendre note et collaborer avec des partenaires internationaux travaillant sur la métrologie et les indicateurs de mesure pertinents relatifs à l’IA.
(75) La robustesse technique est une exigence clé pour les systèmes d’IA à haut risque. Ils doivent être résilients par rapport aux comportements nuisibles ou autrement non souhaitables qui peuvent résulter de limitations au sein des systèmes ou de l’environnement dans lequel les systèmes fonctionnent (par exemple, erreurs, défauts, incohérences, situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour assurer la robustesse des systèmes d’intelligence artificielle à haut risque, par exemple en concevant et en développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements dangereux ou autrement non souhaitables. Ces solutions techniques peuvent inclure, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement de manière sûre (plans de sécurité) en présence de certaines anomalies ou lorsque le fonctionnement a lieu en dehors de certaines limites prédéfinies. L’incapacité à se protéger contre ces risques pourrait avoir des conséquences sur la sécurité ou affecter négativement les droits fondamentaux, par exemple en raison de décisions erronées ou de résultats erronés ou biaisés générés par le système d’intelligence artificielle.
(76) La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de modification de leur utilisation, de leur comportement, de leurs performances ou de compromission de leurs propriétés de sécurité par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent utiliser des actifs spécifiques à l’IA, tels que des ensembles de données de formation (p. ex. empoisonnement de données) ou des modèles formés (p. ex. attaques adverses ou inférence de membres), ou exploiter des vulnérabilités dans les actifs numériques du système d’IA ou dans l’infrastructure TIC sous-jacente. Afin d’assurer un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte de l’infrastructure TIC sous-jacente.
(27) Bien que l’approche basée sur le risque constitue la base d’un ensemble proportionné et efficace de règles contraignantes, il est important de rappeler les lignes directrices éthiques 2019 pour une IA de confiance, élaborées par le HLEG IA indépendant nommé par la Commission. Dans ces lignes directrices, l’AI HLEG a élaboré sept principes éthiques non contraignants pour l’IA, qui sont censés aider à garantir que l’IA est fiable et éthiquement saine. Les sept principes comprennent l’agence humaine et la supervision ; la robustesse technique et la sécurité ; la confidentialité et la gouvernance des données ; la transparence ; la diversité, la non-discrimination et l’équité ; le bien-être social et environnemental et la responsabilité. Sans préjudice des exigences juridiquement contraignantes du présent règlement et de toute autre législation de l’Union applicable, ces lignes directrices contribuent à la conception d’une IA cohérente, fiable et centrée sur l’humain, conformément à la Charte et aux valeurs sur lesquelles l’Union est fondée. Selon les lignes directrices du HLEG sur l’intelligence artificielle, l’agence et la surveillance humaines signifient que les systèmes d’intelligence artificielle sont conçus et utilisés comme un outil au service des personnes, respectent la dignité humaine et l’autonomie personnelle, et fonctionnent de manière à pouvoir être contrôlés et surveillés de manière appropriée par les êtres humains.
La robustesse et la sécurité techniques signifient que les systèmes d’IA sont développés et utilisés de manière à permettre la robustesse en cas de problème et la résistance aux tentatives de modification de l’utilisation ou des performances du système d’IA afin d’empêcher toute utilisation illicite par des tiers et de minimiser les dommages non intentionnels. La gouvernance de la vie privée et des données signifie que les systèmes d’IA sont développés et utilisés en conformité avec les règles de protection de la vie privée et des données, tout en traitant des données qui répondent à des normes élevées en termes de qualité et d’intégrité.
La transparence signifie que les systèmes d’IA sont développés et utilisés de manière à permettre une traçabilité et une explicabilité appropriées, tout en rendant les humains conscients qu’ils communiquent ou interagissent avec un système d’IA, ainsi qu’en informant dûment les déployeurs des capacités et des limites de ce système d’IA et les personnes concernées de leurs droits. Diversité, non-discrimination et équité signifient que les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité des sexes et la diversité culturelle, tout en évitant les effets discriminatoires et les biais injustes interdits par le droit de l’Union ou le droit national. Le bien-être social et environnemental signifie que les systèmes d’intelligence artificielle sont développés et utilisés d’une manière durable et respectueuse de l’environnement, ainsi que de manière à profiter à tous les êtres humains, tout en surveillant et en évaluant leur impact à long terme sur l’individu, la société et la démocratie. L’application de ces principes devrait être traduite, si possible, dans la conception et l’utilisation de modèles IA. Dans tous les cas, ils devraient servir de base à l’élaboration de codes de conduite en vertu du présent règlement. Toutes les parties prenantes, y compris l’industrie, le monde universitaire, la société civile et les organisations de normalisation, sont encouragées à prendre en compte, le cas échéant, les principes éthiques pour l’élaboration de bonnes pratiques et de normes volontaires.
1. Les systèmes d’intelligence artificielle à haut risque doivent être conçus et développés, y compris avec des outils d’interface homme-machine appropriés, de telle manière qu’ils puissent être efficacement contrôlés par des personnes physiques pendant la période au cours de laquelle ils sont utilisés.
2. La surveillance humaine doit viser à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent survenir lorsqu’un système d’intelligence artificielle à haut risque est utilisé conformément à son objectif ou dans des conditions de mauvaise utilisation raisonnablement prévisibles, en particulier lorsque de tels risques persistent malgré l’application des autres exigences énoncées dans la présente section.
3. Les mesures de contrôle doivent être adaptées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’intelligence artificielle à haut risque, et doivent être assurées par l’un ou l’autre ou les deux types de mesures suivants :
(a) mesures identifiées et intégrées, lorsque cela est techniquement possible, dans le système d’IA à haut risque par le fournisseur avant qu’il ne soit mis sur le marché ou en service ;
(b) les mesures identifiées par le fournisseur avant de mettre le système d’IA à haut risque sur le marché ou de le mettre en service et qui sont appropriées pour être mises en œuvre par le déployeur.
4. Aux fins de la mise en œuvre des paragraphes 1, 2 et 3, le système d’intelligence artificielle à haut risque doit être mis à la disposition du déployeur de manière à permettre aux personnes physiques auxquelles est confiée la surveillance humaine, de manière appropriée et proportionnée: :
(a) de comprendre correctement les capacités et les limites pertinentes du système d’intelligence artificielle à haut risque et d’être en mesure de surveiller correctement son fonctionnement, y compris en ce qui concerne la détection et le traitement des anomalies, des dysfonctionnements et des performances inattendues ;
(b) de rester conscient de la tendance possible à se baser automatiquement sur les résultats produits par un système d’IA à haut risque ou à les surestimer (biais d’automatisation), en particulier pour les systèmes d’IA à haut risque utilisés pour fournir des informations ou des recommandations pour des décisions à prendre par des personnes physiques ;
(c) d’interpréter correctement les résultats du système d’IA à haut risque, en tenant compte, par exemple, des outils et des méthodes d’interprétation disponibles ;
(d) de décider, dans toute situation particulière, de ne pas utiliser le système d’intelligence artificielle à haut risque ou de ne pas en tenir compte, de passer outre ou d’inverser la sortie du système d’intelligence artificielle à haut risque ;
(e) d’intervenir dans le fonctionnement du système IA à haut risque ou d’interrompre le système par un bouton ’stop’ ou une procédure similaire qui permet au système de s’arrêter dans un état sûr.
Pour les systèmes IA à haut risque visés au point 1 a) de l’annexe III, les mesures visées au paragraphe 3 du présent article sont telles que, en outre, aucune action ou décision n’est prise par le déclarant sur la base de l’identification résultant du système, à moins que cette identification n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques possédant les compétences, la formation et l’autorité nécessaires.
L’exigence d’une vérification séparée par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA à haut risque utilisés à des fins d’application de la loi, de migration, de contrôle des frontières ou d’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
(73) Les systèmes d’intelligence artificielle à haut risque devraient être conçus et développés de manière à ce que des personnes physiques puissent superviser leur fonctionnement, s’assurer qu’ils sont utilisés comme prévu et que leurs effets sont gérés tout au long du cycle de vie du système. A cette fin, des mesures de surveillance humaine appropriées devraient être identifiées par le fournisseur du système avant sa mise sur le marché ou sa mise en service. En particulier, le cas échéant, ces mesures doivent garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être dépassées par le système lui-même et qu’il est sensible à l’opérateur humain, et que les personnes physiques auxquelles la supervision humaine a été attribuée ont les compétences, la formation et l’autorité nécessaires pour assumer ce rôle. Il est également essentiel de s’assurer, le cas échéant, que les systèmes d’intelligence artificielle à haut risque comportent des mécanismes permettant de guider et d’informer une personne physique à laquelle la supervision humaine a été confiée afin qu’elle prenne des décisions éclairées sur la question de savoir si, quand et comment intervenir pour éviter des conséquences négatives ou des risques, ou pour arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas de correspondance erronée par certains systèmes d’identification biométrique, il est approprié de prévoir une exigence de contrôle humain renforcée pour ces systèmes, de sorte qu’aucune action ou décision ne puisse être prise par le déclarant sur la base de l’identification résultant du système, à moins que celle-ci n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient être issues d’une ou de plusieurs entités et inclure la personne qui exploite ou utilise le système. Cette exigence ne devrait pas entraîner de charge ou de retards inutiles et il pourrait suffire que les vérifications séparées effectuées par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines de l’application de la loi, de la migration, du contrôle des frontières et de l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
1. Les systèmes d’intelligence artificielle à haut risque doivent être conçus et développés de manière à atteindre un niveau approprié de précision, de robustesse et de cybersécurité, et à être performants de manière cohérente à ces égards tout au long de leur cycle de vie.
2. Pour traiter les aspects techniques de la manière de mesurer les niveaux appropriés de précision et de robustesse fixés au paragraphe 1 et tout autre critère de performance pertinent, la Commission, en coopération avec les parties prenantes et les organisations concernées, telles que les autorités de métrologie et d’étalonnage, encourage, le cas échéant, le développement de critères de référence et de méthodologies de mesure.
3. Les niveaux de précision et les mesures de précision pertinentes des systèmes d’intelligence artificielle à haut risque doivent être expliqués dans les instructions d’utilisation qui les accompagnent.
4. Les systèmes d’intelligence artificielle à haut risque doivent être aussi résilients que possible face aux erreurs, défauts ou incohérences qui peuvent survenir au sein du système ou de l’environnement dans lequel le système opère, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes. Des mesures techniques et organisationnelles doivent être prises à cet égard.
La robustesse des systèmes IA à haut risque peut être assurée par des solutions techniques de redondance, qui peuvent inclure des plans de sauvegarde ou de sécurité.
Les systèmes d’intelligence artificielle à haut risque qui continuent d’apprendre après avoir été mis sur le marché ou en service doivent être développés de manière à éliminer ou à réduire autant que possible le risque de sorties éventuellement biaisées influençant les entrées pour les opérations futures (boucles de rétroaction), et à s’assurer que ces boucles de rétroaction sont dûment traitées par des mesures d’atténuation appropriées.
5. Les systèmes d’intelligence artificielle à haut risque doivent être résistants aux tentatives de tiers non autorisés de modifier leur utilisation, leurs résultats ou leurs performances en exploitant les vulnérabilités du système.
Les solutions techniques visant à assurer la cybersécurité des systèmes d’intelligence artificielle à haut risque doivent être adaptées aux circonstances et aux risques pertinents.
Les solutions techniques pour traiter les vulnérabilités spécifiques à l’IA doivent inclure, le cas échéant, des mesures pour prévenir, détecter, répondre, résoudre et contrôler les attaques visant à manipuler l’ensemble des données de formation (empoisonnement des données), ou les composants pré-traités utilisés dans la formation (empoisonnement du modèle), les entrées conçues pour provoquer une erreur du modèle d’IA (exemples adverses ou évasion du modèle), les attaques de confidentialité ou les failles du modèle.
(76) La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de modification de leur utilisation, de leur comportement, de leurs performances ou de compromission de leurs propriétés de sécurité par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent utiliser des actifs spécifiques à l’IA, tels que des ensembles de données de formation (p. ex. empoisonnement de données) ou des modèles formés (p. ex. attaques adverses ou inférence de membres), ou exploiter des vulnérabilités dans les actifs numériques du système d’IA ou dans l’infrastructure TIC sous-jacente. Afin d’assurer un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte de l’infrastructure TIC sous-jacente.
(77) Sans préjudice des exigences relatives à la robustesse et à la précision énoncées dans le présent règlement, les systèmes d’intelligence artificielle à haut risque qui relèvent du champ d’application d’un règlement du Parlement européen et du Conseil relatif aux exigences horizontales de cybersécurité pour les produits comportant des éléments numériques, conformément à ce règlement, peuvent démontrer leur conformité aux exigences de cybersécurité du présent règlement en satisfaisant aux exigences essentielles de cybersécurité énoncées dans ce règlement. Lorsque les systèmes d’intelligence artificielle à haut risque satisfont aux exigences essentielles d’un règlement du Parlement européen et du Conseil établissant des exigences horizontales de cybersécurité pour les produits à éléments numériques, ils doivent être considérés comme conformes aux exigences de cybersécurité énoncées dans le présent règlement, dans la mesure où le respect de ces exigences est démontré dans la déclaration UE de conformité ou dans des parties de celle-ci émise en vertu dudit règlement. cet effet, l’évaluation des risques de cybersécurité associés à un produit à éléments numériques classé comme système d’intelligence artificielle à haut risque selon le présent règlement, effectuée en vertu d’un règlement du Parlement européen et du Conseil établissant des exigences horizontales de cybersécurité pour les produits à éléments numériques, devrait tenir compte des risques pour la cyberrésistance d’un système d’intelligence artificielle en ce qui concerne les tentatives de tiers non autorisés de modifier son utilisation, son comportement ou ses performances, y compris les vulnérabilités spécifiques à l’intelligence artificielle, telles que le piratage de données ou les attaques adverses, ainsi que, le cas échéant, des risques pour les droits fondamentaux tels que requis par le présent règlement.
La procédure d’évaluation de la conformité prévue par le présent règlement doit s’appliquer en ce qui concerne les exigences essentielles de cybersécurité d’un produit à éléments numériques couvert par un règlement du Parlement européen et du Conseil relatif aux exigences horizontales de cybersécurité pour les produits à éléments numériques et classé comme système IA à haut risque en vertu du présent règlement. Toutefois, cette règle ne doit pas avoir pour effet de réduire le niveau d’assurance nécessaire pour les produits critiques contenant des éléments numériques couverts par un règlement du Parlement européen et du Conseil relatif aux exigences horizontales de cybersécurité pour les produits contenant des éléments numériques. Par conséquent, par dérogation à cette règle, les systèmes d’intelligence artificielle à haut risque qui relèvent du champ d’application du présent règlement et qui sont également qualifiés de produits importants et critiques contenant des éléments numériques conformément à un règlement du Parlement européen et du Conseil relatif aux exigences horizontales de cybersécurité pour les produits contenant des éléments numériques et auxquels s’applique la procédure d’évaluation de la conformité fondée sur le contrôle interne énoncée dans une annexe au présent règlement, sont soumis aux dispositions relatives à l’évaluation de la conformité d’un règlement du Parlement européen et du Conseil relatif aux exigences horizontales de cybersécurité pour les produits contenant des éléments numériques dans la mesure où les exigences essentielles de cybersécurité de ce règlement sont concernées. Dans ce cas, pour tous les autres aspects couverts par le présent règlement, les dispositions respectives relatives à l’évaluation de la conformité sur la base du contrôle interne figurant dans une annexe au présent règlement doivent s’appliquer. Sur la base des connaissances et de l’expertise de l’ENISA en matière de politique de cybersécurité et des tâches qui lui sont assignées en vertu du règlement (UE) 2019/881 du Parlement européen et du Conseil , la Commission devrait coopérer avec l’ENISA sur les questions liées à la cybersécurité des systèmes d’intelligence artificielle.
(79) Il est approprié qu’une personne physique ou morale spécifique, définie comme le fournisseur, assume la responsabilité de la mise sur le marché ou de la mise en service d’un système d’intelligence artificielle à haut risque, indépendamment du fait que cette personne physique ou morale soit la personne qui a conçu ou développé le système.
Fournisseurs de systèmes IA à haut risque shall :
(a) veillent à ce que leurs systèmes d’intelligence artificielle à haut risque soient conformes aux exigences énoncées à la section 2 ;
(b) indiquent sur le système d’alarme à haut risque ou, si cela n’est pas possible, sur son emballage ou sa documentation d’accompagnement, selon le cas, leur nom, leur nom commercial enregistré ou leur marque commerciale enregistrée, l’adresse à laquelle ils peuvent être contactés ;
(c) ont mis en place un système de gestion de la qualité qui est conforme à l’article 17 ;
(d) conservent la documentation visée à l’article 18 ;
(e) lorsqu’ils sont sous leur contrôle, conservent les journaux de bord générés automatiquement par leurs systèmes d’intelligence artificielle à haut risque, comme indiqué à l’article 19 ;
(f) veillent à ce que le système IA à haut risque soit soumis à la procédure d’évaluation de la conformité pertinente visée à l’article 43 avant d’être mis sur le marché ou mis en service ;
(g) établir une déclaration UE de conformité conformément à l’article 47 ;
(h) appose le marquage CE sur le système d’alarme à haut risque ou, si cela n’est pas possible, sur son emballage ou sur la documentation l’accompagnant, pour indiquer sa conformité au présent règlement, conformément à l’article 48 ;
(i) se conforment aux obligations d’enregistrement visées à l’article 49, paragraphe 1 ;
(j) prennent les mesures correctives nécessaires et fournissent les informations requises en vertu de l’article 20 ;
(k) sur demande motivée d’une autorité nationale compétente, démontrer la conformité du système d’IA à haut risque avec les exigences énoncées à la section 2 ;
(l) s’assurer que le système IA à haut risque est conforme aux exigences d’accessibilité conformément aux directives (UE) 2016/2102 et (UE) 2019/882.
(80) En tant que signataires de la Convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, sur un pied d’égalité avec les autres, aux technologies et systèmes d’information et de communication, et de garantir le respect de la vie privée des personnes handicapées. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’intelligence artificielle, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les services devrait garantir un accès complet et égal pour toute personne potentiellement affectée par ou utilisant des technologies d’intelligence artificielle, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs assurent une conformité totale avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 du Parlement européen et du Conseil et la directive (UE) 2019/882. Les fournisseurs devraient assurer la conformité avec ces exigences dès la conception. Par conséquent, les mesures nécessaires devraient être intégrées autant que possible dans la conception du système d’IA à haut risque.
1. Les fournisseurs de systèmes d’IA à haut risque doivent mettre en place un système de gestion de la qualité qui assure la conformité avec le présent règlement. Ce système doit être documenté de manière systématique et ordonnée, sous la forme de politiques, de procédures et d’instructions écrites, et doit comprendre au moins les aspects suivants :
(a) une stratégie de conformité réglementaire, y compris la conformité aux procédures d’évaluation de la conformité et aux procédures de gestion des modifications apportées au système d’IA à haut risque ;
(b) techniques, procédures et actions systématiques à utiliser pour la conception, le contrôle de la conception et la vérification de la conception du système d’IA à haut risque ;
(c) techniques, procédures et actions systématiques à utiliser pour le développement, le contrôle et l’assurance qualité du système IA à haut risque ;
(d) les procédures d’examen, de test et de validation à effectuer avant, pendant et après le développement du système d’IA à haut risque, ainsi que la fréquence à laquelle elles doivent être effectuées ;
(e) les spécifications techniques, y compris les normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées dans leur intégralité ou ne couvrent pas toutes les exigences pertinentes énoncées à la section 2, les moyens à utiliser pour garantir la conformité du système IA à haut risque avec ces exigences ;
(f) les systèmes et procédures de gestion des données, y compris l’acquisition de données, la collecte de données, l’analyse de données, l’étiquetage de données, le stockage de données, le filtrage de données, l’exploration de données, l’agrégation de données, la conservation de données et toute autre opération concernant les données qui est effectuée avant et aux fins de la mise sur le marché ou de la mise en service de systèmes d’IA à haut risque ;
(g) le système de gestion des risques visé à l’article 9 ;
(h) l’établissement, la mise en œuvre et l’entretien d’un système de surveillance après commercialisation, conformément à l’article 72 ;
(i) les procédures relatives à la déclaration d’un incident grave conformément à l’article 73 ;
(j) la gestion des communications avec les autorités nationales compétentes, d’autres autorités compétentes, y compris celles qui fournissent ou soutiennent l’accès aux données, des organismes notifiés, d’autres opérateurs, des clients ou d’autres parties intéressées ;
(k) des systèmes et des procédures de conservation de toute la documentation et des informations pertinentes ;
(l) la gestion des ressources, y compris les mesures liées à la sécurité des approvisionnements ;
(m) un cadre de responsabilisation définissant les responsabilités de la direction et des autres membres du personnel en ce qui concerne tous les aspects énumérés dans le présent paragraphe.
2. La mise en œuvre des aspects mentionnés au paragraphe 1 est proportionnelle à la taille de l’organisation du prestataire. Les fournisseurs respectent, le cas échéant, le degré de rigueur et le niveau de protection requis pour assurer la conformité de leurs systèmes d’IA à haut risque avec le présent règlement.
3. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations relatives à des systèmes de gestion de la qualité ou à une fonction équivalente en vertu de la législation sectorielle pertinente de l’Union peuvent inclure les aspects énumérés au paragraphe 1 dans le cadre des systèmes de gestion de la qualité prévus par cette législation.
4. Pour les prestataires qui sont des établissements financiers soumis à des exigences relatives à leur gouvernance interne, à leurs dispositions ou à leurs procédures en vertu de la législation de l’Union sur les services financiers, l’obligation de mettre en place un système de gestion de la qualité, à l’exception du paragraphe 1, points (g), (h) et (i), du présent article, est réputée satisfaite par la conformité aux règles relatives aux dispositions ou procédures en matière de gouvernance interne prévues par la législation de l’Union sur les services financiers concernée. À cette fin, il est tenu compte de toute norme harmonisée visée à l’article 40.
(81) Le fournisseur devrait mettre en place un système de gestion de la qualité solide, assurer l’exécution de la procédure d’évaluation de la conformité requise, rassembler la documentation pertinente et mettre en place un système de surveillance post-commercialisation robuste. Les fournisseurs de systèmes d’assurance qualité à haut risque soumis aux obligations relatives aux systèmes de gestion de la qualité en vertu de la législation sectorielle pertinente de l’Union devraient avoir la possibilité d’inclure les éléments du système de gestion de la qualité prévu par le présent règlement dans le cadre du système de gestion de la qualité existant prévu par cette autre législation sectorielle de l’Union. La complémentarité entre le présent règlement et la législation sectorielle existante de l’Union devrait également être prise en compte dans les futures activités de normalisation ou les orientations adoptées par la Commission. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque pour leur propre usage peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, le cas échéant, en tenant compte des spécificités du secteur et des compétences et de l’organisation de l’autorité publique concernée.
1. Le fournisseur doit, pendant une période de 10 ans après que le système IA à haut risque a été mis sur le marché ou mis en service, le conserver à la disposition des autorités nationales compétentes :
(a) la documentation technique visée à l’article 11 ;
(b) la documentation relative au système de gestion de la qualité visé à l’article 17 ;
(c) la documentation relative aux modifications approuvées par les organismes notifiés, le cas échéant ;
(d) les décisions et autres documents émis par les organismes notifiés, le cas échéant ;
(e) la déclaration UE de conformité visée à l’article 47.
2. Chaque État membre détermine les conditions dans lesquelles la documentation visée au paragraphe 1 reste à la disposition des autorités nationales compétentes pour la période indiquée dans ce paragraphe en cas de faillite ou de cessation d’activité d’un fournisseur ou de son représentant agréé établi sur son territoire avant la fin de cette période.
3. Les prestataires qui sont des institutions financières soumises à des exigences concernant leur gouvernance interne, leurs dispositions ou leurs procédures en vertu de la législation de l’Union sur les services financiers doivent conserver la documentation technique dans le cadre de la documentation conservée en vertu de la législation pertinente de l’Union sur les services financiers.
1. Les fournisseurs de systèmes d’intelligence artificielle à haut risque conservent les enregistrements visés à l’article 12, paragraphe 1, générés automatiquement par leurs systèmes d’intelligence artificielle à haut risque, dans la mesure où ces enregistrements sont sous leur contrôle. Sans préjudice du droit de l’Union ou du droit national applicable, les enregistrements sont conservés pendant une période appropriée à l’usage prévu du système d’intelligence artificielle à haut risque, d’au moins six mois, sauf disposition contraire du droit de l’Union ou du droit national applicable, en particulier du droit de l’Union relatif à la protection des données à caractère personnel.
2. Les fournisseurs qui sont des institutions financières soumises à des exigences concernant leur gouvernance interne, leurs arrangements ou leurs processus en vertu de la législation de l’Union sur les services financiers doivent conserver les journaux générés automatiquement par leurs systèmes d’IA à haut risque dans le cadre de la documentation conservée en vertu de la législation pertinente sur les services financiers.
1. Les fournisseurs de systèmes d’intelligence artificielle à haut risque qui considèrent ou ont des raisons de considérer qu’un système d’intelligence artificielle à haut risque qu’ils ont mis sur le marché ou en service n’est pas conforme au présent règlement doivent immédiatement prendre les mesures correctives nécessaires pour mettre ce système en conformité, le retirer, le désactiver ou le rappeler, selon le cas. Ils informent en conséquence les distributeurs du système d’alarme à haut risque concerné et, le cas échéant, les déployeurs, le représentant agréé et les importateurs.
2. Si le système d’authentification à haut risque présente un risque au sens de l’article 79, paragraphe 1, et si le fournisseur prend conscience de ce risque, il en examine immédiatement les causes, en coopération avec le déclarant, le cas échéant, et informe les autorités de surveillance du marché compétentes pour le système d’authentification à haut risque concerné et, le cas échéant, l’organisme notifié qui a délivré un certificat pour ce système d’authentification à haut risque conformément à l’article 44, en particulier de la nature de la non-conformité et de toute mesure corrective pertinente prise.
1. Les fournisseurs de systèmes d’intelligence artificielle à haut risque doivent, sur demande motivée d’une autorité compétente, fournir à cette autorité toutes les informations et la documentation nécessaires pour démontrer la conformité du système d’intelligence artificielle à haut risque avec les exigences énoncées à la section 2, dans une langue qui peut être aisément comprise par l’autorité dans l’une des langues officielles des institutions de l’Union telles qu’indiquées par l’État membre concerné.
2. Sur demande motivée d’une autorité compétente, les fournisseurs donnent également à l’autorité compétente requérante, le cas échéant, accès aux fichiers journaux générés automatiquement par le système d’intelligence artificielle à haut risque visé à l’article 12, paragraphe 1, dans la mesure où ces fichiers journaux sont sous leur contrôle.
3. Toute information obtenue par une autorité compétente en vertu du présent article est traitée conformément aux obligations de confidentialité énoncées à l’article 78.
1. Avant de mettre leurs systèmes d’IA à haut risque à disposition sur le marché de l’Union, les fournisseurs établis dans des pays tiers doivent, par mandat écrit, désigner un représentant autorisé établi dans l’Union.
2. Le fournisseur doit permettre à son représentant autorisé d’accomplir les tâches spécifiées dans le mandat reçu du fournisseur.
3. Le mandataire agréé exécute les tâches spécifiées dans le mandat reçu du prestataire. Il fournit sur demande une copie du mandat aux autorités de surveillance du marché, dans l’une des langues officielles des institutions de l’Union, comme indiqué par l’autorité compétente. Aux fins du présent règlement, le mandat doit habiliter le représentant autorisé à effectuer les tâches suivantes :
(a) vérifient que la déclaration UE de conformité visée à l’article 47 et la documentation technique visée à l’article 11 ont été établies et qu’une procédure appropriée d’évaluation de la conformité a été effectuée par le fournisseur ;
(b) conservent à la disposition des autorités compétentes et des autorités ou organismes nationaux visés à l’article 74(10), pendant une période de dix ans après que le système IA à haut risque a été mis sur le marché ou mis en service, les coordonnées du fournisseur qui a désigné le représentant autorisé, une copie de la déclaration UE de conformité visée à l’article 47, la documentation technique et, le cas échéant, le certificat délivré par l’organisme notifié ;
(c) fournir à une autorité compétente, sur demande motivée, toutes les informations et tous les documents, y compris ceux visés au point b) du présent paragraphe, nécessaires pour démontrer la conformité d’un système d’information sur les risques élevés avec les exigences énoncées à la section 2, y compris l’accès aux fichiers journaux visés à l’article 12, paragraphe 1, générés automatiquement par le système d’information sur les risques élevés, à condition que ces fichiers journaux soient sous le contrôle du fournisseur ;
(d) coopèrent avec les autorités compétentes, sur demande motivée, à toute action qu’elles entreprennent en relation avec le système d’intelligence artificielle à haut risque, en particulier pour réduire et atténuer les risques posés par le système d’intelligence artificielle à haut risque ;
(e) le cas échéant, se conformer aux obligations d’enregistrement mentionnées dans
Article 49 (1), ou, si l’enregistrement est effectué par le fournisseur lui-même, s’assurer que les informations mentionnées au point 3 de la section A de l’annexe VIII sont correctes.
Le mandat doit permettre au représentant autorisé d’être contacté, en plus ou à la place du fournisseur, par les autorités compétentes pour toutes les questions relatives à la conformité avec le présent règlement.
4. Le représentant autorisé met fin au mandat s’il considère ou a des raisons de considérer que le prestataire agit contrairement aux obligations qui lui incombent en vertu du présent règlement. Dans ce cas, il informe immédiatement l’autorité de surveillance du marché concernée, ainsi que, le cas échéant, l’organisme notifié compétent, de la résiliation du mandat et des raisons qui la motivent.
1. Avant de mettre un système IA à haut risque sur le marché, les importateurs doivent s’assurer que le système est conforme au présent règlement en le vérifiant :
(a) la procédure pertinente d’évaluation de la conformité mentionnée à l’article 43 a été effectuée par le fournisseur du système d’alarme à haut risque ;
(b) le fournisseur a établi la documentation technique conformément à l’article 11 et à l’annexe IV ;
(c) le système porte le marquage CE requis et est accompagné de la déclaration de conformité UE visée à l’article 47 et des instructions d’utilisation ;
(d) le fournisseur a désigné un représentant autorisé conformément à l’article 22(1).
2. Lorsqu’un importateur a des raisons suffisantes de penser qu’un système d’alarme à haut risque n’est pas conforme au présent règlement, qu’il est falsifié ou qu’il est accompagné d’une documentation falsifiée, il ne met pas le système sur le marché tant qu’il n’a pas été mis en conformité. Si le système d’alarme à haut risque présente un risque au sens de l’article 79(1), l’importateur en informe le fournisseur du système, le représentant agréé et les autorités de surveillance du marché.
3. Les importateurs doivent indiquer leur nom, leur nom commercial enregistré ou leur marque déposée, ainsi que l’adresse à laquelle ils peuvent être contactés, sur le système IA à haut risque et sur son emballage ou sur la documentation qui l’accompagne, le cas échéant.
4. Les importateurs doivent s’assurer que, lorsqu’un système d’identification automatique à haut risque est sous leur responsabilité, les conditions de stockage ou de transport, le cas échéant, ne compromettent pas sa conformité avec les exigences énoncées à la section 2.
5. Les importateurs conservent, pendant une période de 10 ans après que le système IA à haut risque a été mis sur le marché ou mis en service, une copie du certificat délivré par l’organisme notifié, le cas échéant, des instructions d’utilisation, et de la déclaration UE de conformité visée à l’article 47.
6. Les importateurs fournissent aux autorités compétentes concernées, sur demande justifiée, toutes les informations et la documentation nécessaires, y compris celles mentionnées au paragraphe 5, pour démontrer la conformité d’un système IA à haut risque avec les exigences énoncées à la section 2, dans une langue aisément compréhensible par ces autorités. À cette fin, ils veillent également à ce que la documentation technique puisse être mise à la disposition de ces autorités.
7. Les importateurs doivent coopérer avec les autorités compétentes concernées pour toute action que ces autorités entreprendraient en relation avec un système d’IA à haut risque mis sur le marché par les importateurs, en particulier pour réduire et atténuer les risques qu’il présente.
1. Avant de mettre à disposition sur le marché un système d’alarme à haut risque, les distributeurs doivent vérifier qu’il porte le marquage CE requis, qu’il est accompagné d’une copie de la déclaration de conformité UE visée à l’article 47 et des instructions d’utilisation, et que le fournisseur et l’importateur de ce système, le cas échéant, ont rempli leurs obligations respectives telles que définies à l’article 16, points (b) et (c) et à l’article 23(3).
2. Lorsqu’un distributeur estime ou a des raisons d’estimer, sur la base des informations en sa possession, qu’un système d’intelligence artificielle à haut risque n’est pas conforme aux exigences énoncées à la section 2, il ne met pas le système d’intelligence artificielle à haut risque à disposition sur le marché tant que le système n’a pas été mis en conformité avec ces exigences. En outre, si le système d’alarme à haut risque présente un risque au sens de l’article 79(1), le distributeur doit en informer le fournisseur ou l’importateur du système, le cas échéant, à cet effet.
3. Les distributeurs doivent s’assurer que, lorsqu’un système d’alarme à haut risque est sous leur responsabilité, les conditions de stockage ou de transport, le cas échéant, ne compromettent pas la conformité du système avec les exigences énoncées à la section 2.
4. Un Distributeur qui considère ou a des raisons de considérer, sur la base des informations contenues dans son
possession, un système d’intelligence artificielle à haut risque qu’il a mis à disposition sur le marché et qui n’est pas conforme aux exigences énoncées à la section 2, doit prendre les mesures correctives nécessaires pour mettre ce système en conformité avec ces exigences, le retirer ou le rappeler, ou veiller à ce que le fournisseur, l’importateur ou tout autre opérateur concerné, selon le cas, prenne ces mesures correctives. Si le système d’intelligence artificielle à haut risque présente un risque au sens de l’article 79(1), le distributeur informe immédiatement le fournisseur ou l’importateur du système et les autorités compétentes pour le système d’intelligence artificielle à haut risque concerné, en donnant des détails, en particulier, sur la non-conformité et sur toute mesure corrective prise.
5. Sur demande motivée d’une autorité compétente, les distributeurs d’un système d’alarme à haut risque fournissent à cette autorité toutes les informations et la documentation relatives à leurs actions en vertu des paragraphes 1 à 4 nécessaires pour démontrer la conformité de ce système avec les exigences énoncées à la section 2.
6. Les Distributeurs doivent coopérer avec les autorités compétentes concernées pour toute action que ces autorités entreprendraient en relation avec un système d’IA à haut risque mis à disposition sur le marché par les Distributeurs, en particulier pour réduire ou atténuer le risque qu’il représente.
(83) Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’intelligence artificielle et conformément au nouveau cadre législatif, il est essentiel d’assurer la sécurité juridique et de faciliter la conformité avec le présent règlement. Il est donc nécessaire de clarifier le rôle et les obligations spécifiques des opérateurs concernés le long de cette chaîne de valeur, tels que les importateurs et les distributeurs qui peuvent contribuer au développement de systèmes IA. Dans certaines situations, ces opérateurs pourraient agir dans plus d’un rôle à la fois et devraient donc remplir cumulativement toutes les obligations pertinentes liées à ces rôles. Par exemple, un opérateur pourrait agir à la fois comme distributeur et comme importateur.
(88) Tout au long de la chaîne de valeur de l’IA, de multiples parties fournissent souvent des systèmes, des outils et des services d’IA, mais aussi des composants ou des processus qui sont intégrés par le fournisseur dans le système d’IA avec différents objectifs, y compris la formation des modèles, la formation continue des modèles, le test et l’évaluation des modèles, l’intégration dans les logiciels ou d’autres aspects du développement des modèles. Ces parties ont un rôle important à jouer dans la chaîne de valeur vers le fournisseur du système d’IA à haut risque dans lequel leurs systèmes, outils, services, composants ou processus d’IA sont intégrés, et devraient fournir à ce fournisseur, par accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaires fondées sur l’état de l’art généralement reconnu, afin de permettre au fournisseur de se conformer pleinement aux obligations énoncées dans le présent règlement, sans compromettre leurs propres droits de propriété intellectuelle ou secrets commerciaux.
1. Tout distributeur, importateur, déployeur ou autre tiers est considéré comme un fournisseur d’un système d’authentification à haut risque aux fins du présent règlement et est soumis aux obligations du fournisseur visées à l’article 16, dans l’une ou l’autre des circonstances suivantes :
(a) ils apposent leur nom ou leur marque sur un système d’intelligence artificielle à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles stipulant que les obligations sont attribuées autrement ;
(b) ils apportent une modification substantielle à un système d’intelligence artificielle à haut risque qui a déjà été mis sur le marché ou qui a déjà été mis en service de telle manière qu’il reste un système d’intelligence artificielle à haut risque conformément à l’article 6 ;
(c) ils modifient l’objectif prévu d’un système d’intelligence artificielle, y compris un système d’intelligence artificielle à usage général, qui n’a pas été classé à haut risque et qui a déjà été mis sur le marché ou en service de telle manière que le système d’intelligence artificielle concerné devient un système d’intelligence artificielle à haut risque conformément à l’article 6.
(84) Afin d’assurer la sécurité juridique, il est nécessaire de préciser que, sous certaines conditions spécifiques, tout distributeur, importateur, déployeur ou autre tiers devrait être considéré comme un fournisseur d’un système d’intelligence artificielle à haut risque et assumer par conséquent toutes les obligations pertinentes. Ce serait le cas si cette partie apposait son nom ou sa marque sur un système d’intelligence artificielle à haut risque déjà mis sur le marché ou en service, sans préjudice des dispositions contractuelles stipulant que les obligations sont attribuées d’une autre manière. Ce serait également le cas si cette partie apporte une modification substantielle à un système d’intelligence artificielle à haut risque qui a déjà été mis sur le marché ou mis en service de manière à ce qu’il reste un système d’intelligence artificielle à haut risque conformément au présent règlement, ou si elle modifie l’objectif prévu d’un système d’intelligence artificielle, y compris un système d’intelligence artificielle à usage général qui n’a pas été classé comme étant à haut risque et qui a déjà été mis sur le marché ou mis en service, de manière à ce que le système d’intelligence artificielle devienne un système d’intelligence artificielle à haut risque conformément au présent règlement. Ces dispositions devraient s’appliquer sans préjudice des dispositions plus spécifiques établies dans certaines législations d’harmonisation de l’Union basées sur le nouveau cadre législatif, avec lesquelles le présent règlement devrait s’appliquer. Par exemple, l’article 16(2) du règlement (UE) 2017/745, qui établit que certains changements ne doivent pas être considérés comme des modifications d’un dispositif susceptibles d’affecter sa conformité aux exigences applicables, devrait continuer à s’appliquer aux systèmes d’IA à haut risque qui sont des dispositifs médicaux au sens dudit règlement.
2. Lorsque les circonstances visées au paragraphe 1 se présentent, le fournisseur initial qui a mis le système d’authentification sur le marché ou en service n’est plus considéré comme un fournisseur de ce système d’authentification spécifique aux fins du présent règlement. Ce fournisseur initial coopère étroitement avec les nouveaux fournisseurs et met à disposition les informations nécessaires et fournit l’accès technique et les autres formes d’assistance raisonnablement attendues qui sont nécessaires pour remplir les obligations prévues par le présent règlement, en particulier en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes IA à haut risque. Le présent paragraphe ne s’applique pas aux cas où le fournisseur initial a clairement indiqué que son système d’IA n’est pas destiné à être transformé en un système d’IA à haut risque et n’est donc pas soumis à l’obligation de fournir la documentation.
(86) Lorsque, dans les conditions prévues par le présent règlement, le fournisseur qui a initialement mis le système d’intelligence artificielle sur le marché ou en service ne devrait plus être considéré comme le fournisseur aux fins du présent règlement, et lorsque ce fournisseur n’a pas expressément exclu la transformation du système d’intelligence artificielle en un système d’intelligence artificielle à haut risque, l’ancien fournisseur devrait néanmoins coopérer étroitement et fournir les informations nécessaires ainsi que l’accès technique et les autres formes d’assistance raisonnablement escomptées nécessaires pour satisfaire aux obligations prévues par le présent règlement, en particulier en ce qui concerne la conformité à l’évaluation de la conformité des systèmes d’intelligence artificielle à haut risque.
3. Dans le cas de systèmes d’alarme à haut risque qui sont des composants de sécurité de produits couverts par la législation d’harmonisation de l’Union énumérée dans la section A de l’annexe I, le fabricant du produit est considéré comme le fournisseur du système d’alarme à haut risque et est soumis aux obligations prévues à l’article 16 dans l’une ou l’autre des circonstances suivantes :
(a) le système IA à haut risque est placé sur le marché avec le produit sous le nom ou la marque du fabricant du produit ;
(b) le système IA à haut risque est mis en service sous le nom ou la marque du fabricant du produit après que le produit a été mis sur le marché.
(87) En outre, lorsqu’un système d’intelligence artificielle à haut risque qui constitue un composant de sécurité d’un produit relevant du champ d’application de la législation d’harmonisation de l’Union basée sur le nouveau cadre législatif n’est pas mis sur le marché ou mis en service indépendamment du produit, le fabricant du produit défini dans cette législation devrait se conformer aux obligations du fournisseur établies dans le présent règlement et, en particulier, s’assurer que le système d’intelligence artificielle intégré dans le produit final est conforme aux exigences du présent règlement.
4. Le fournisseur d’un système d’intelligence artificielle à haut risque et le tiers qui fournit un système d’intelligence artificielle, des outils, des services, des composants ou des processus utilisés ou intégrés dans un système d’intelligence artificielle à haut risque précisent, par accord écrit, les informations, les capacités, l’accès technique et les autres formes d’assistance nécessaires, sur la base de l’état de l’art généralement reconnu, afin de permettre au fournisseur du système d’intelligence artificielle à haut risque de se conformer pleinement aux obligations prévues par le présent règlement. Le présent paragraphe ne s’applique pas aux tiers qui mettent à la disposition du public des outils, des services, des processus ou des composants, autres que des modèles d’IA à usage général, sous une licence libre et ouverte.
L’AI Office peut élaborer et recommander des modèles de clauses volontaires pour les contrats entre les fournisseurs de systèmes d’intelligence artificielle à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus utilisés pour ou intégrés dans des systèmes d’intelligence artificielle à haut risque. Lors de l’élaboration de ces modèles volontaires, le Bureau AI tiendra compte des éventuelles exigences contractuelles applicables dans des secteurs ou des cas d’espèce. Les termes du modèle volontaire doivent être publiés et mis à disposition gratuitement dans un format électronique facile à utiliser.
(89) Les tiers qui rendent accessibles au public des outils, services, processus ou composants d’IA autres que des modèles d’IA à usage général ne devraient pas être tenus de se conformer aux exigences visant les responsabilités le long de la chaîne de valeur de l’IA, en particulier vis-à-vis du fournisseur qui les a utilisés ou intégrés, lorsque ces outils, services, processus ou composants d’IA sont rendus accessibles sous une licence libre et ouverte. Les développeurs d’outils, de services, de processus ou de composants d’IA libres et à source ouverte autres que les modèles d’IA à usage général devraient être encouragés à mettre en œuvre des pratiques de documentation largement adoptées, telles que des cartes de modèles et des fiches de données, comme moyen d’accélérer le partage d’informations le long de la chaîne de valeur de l’IA, permettant la promotion de systèmes d’IA fiables dans l’Union.
(90) La Commission pourrait élaborer et recommander des modèles de contrats volontaires entre les fournisseurs de systèmes d’intelligence artificielle à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus utilisés ou intégrés dans des systèmes d’intelligence artificielle à haut risque, afin de faciliter la coopération tout au long de la chaîne de valeur. Lors de l’élaboration de contrats types volontaires, la Commission devrait également prendre en considération les éventuelles exigences contractuelles applicables dans des secteurs ou des cas d’espèce.
5. Les paragraphes 2 et 3 s’appliquent sans préjudice de la nécessité d’observer et de protéger les droits de propriété intellectuelle, les informations commerciales confidentielles et les secrets commerciaux conformément au droit de l’Union et au droit national.
(91) Compte tenu de la nature des systèmes d’intelligence artificielle et des risques pour la sécurité et les droits fondamentaux éventuellement associés à leur utilisation, y compris en ce qui concerne la nécessité d’assurer un suivi adéquat des performances d’un système d’intelligence artificielle dans un contexte réel, il est approprié de définir des responsabilités spécifiques pour les déployeurs. Les déployeurs devraient en particulier prendre des mesures techniques et organisationnelles appropriées pour s’assurer qu’ils utilisent les systèmes d’IA à haut risque conformément aux instructions d’utilisation et certaines autres obligations devraient être prévues en ce qui concerne le contrôle du fonctionnement des systèmes d’IA et en ce qui concerne la tenue des registres, le cas échéant. En outre, les déployeurs devraient veiller à ce que les personnes chargées de mettre en œuvre les instructions d’utilisation et la surveillance humaine prévues par le présent règlement disposent des compétences nécessaires, notamment d’un niveau suffisant de culture générale, de formation et d’autorité, pour s’acquitter correctement de ces tâches. Ces obligations ne devraient pas porter préjudice aux autres obligations des déployeurs en matière de systèmes d’intelligence artificielle à haut risque en vertu du droit de l’Union ou du droit national.
(92) Le présent règlement ne porte pas atteinte aux obligations des employeurs d’informer ou d’informer et de consulter les travailleurs ou leurs représentants en vertu de la législation et de la pratique de l’Union ou nationales, y compris la directive 2002/14/CE du Parlement européen et du Conseil , sur les décisions de mettre en service ou d’utiliser des systèmes d’intelligence artificielle. Il reste nécessaire d’assurer l’information des travailleurs et de leurs représentants sur le déploiement prévu de systèmes d’intelligence artificielle à haut risque sur le lieu de travail lorsque les conditions de cette information ou les obligations d’information et de consultation prévues par d’autres instruments juridiques ne sont pas remplies. En outre, ce droit à l’information est accessoire et nécessaire à l’objectif de protection des droits fondamentaux qui sous-tend ce règlement. Par conséquent, une exigence d’information à cet effet devrait être prévue dans le présent règlement, sans porter atteinte aux droits existants des travailleurs.
1. Les déployeurs de systèmes d’intelligence artificielle à haut risque doivent prendre les mesures techniques et organisationnelles appropriées pour s’assurer qu’ils utilisent ces systèmes conformément aux instructions d’utilisation qui les accompagnent, conformément aux paragraphes 3 et 6.
2. Les Déployeurs doivent confier la supervision humaine à des personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires, ainsi que de l’assistance requise.
3. Les obligations énoncées aux paragraphes 1 et 2 s’appliquent sans préjudice des autres obligations incombant au détaché en vertu du droit de l’Union ou du droit national et de la liberté du détaché d’organiser ses propres ressources et activités dans le but de mettre en œuvre les mesures de supervision humaine indiquées par le fournisseur.
4. Sans préjudice des paragraphes 1 et 2, dans la mesure où le déployeur exerce un contrôle sur les données d’entrée, il s’assure que les données d’entrée sont pertinentes et suffisamment représentatives compte tenu de l’objectif visé par le système d’IA à haut risque.
5. Les déployeurs surveillent le fonctionnement du système d’intelligence artificielle à haut risque sur la base des instructions d’utilisation et, le cas échéant, informent les fournisseurs conformément à l’article 72. Si les déployeurs ont des raisons de penser que l’utilisation du système d’intelligence artificielle à haut risque conformément aux instructions peut avoir pour conséquence que ce système présente un risque au sens de l’article 79(1), ils en informent sans délai le fournisseur ou le distributeur et l’autorité de surveillance du marché concernée et suspendent l’utilisation de ce système. Lorsque les déployeurs ont identifié un incident grave, ils doivent également en informer immédiatement le fournisseur, puis l’importateur ou le distributeur et les autorités de surveillance du marché concernées. Si le déployeur n’est pas en mesure d’atteindre le fournisseur, l’article 73 s’applique mutatis mutandis. Cette obligation ne doit pas couvrir les données opérationnelles sensibles des déployeurs de systèmes d’intelligence artificielle qui sont des autorités chargées de faire respecter la loi.
Pour les détachés qui sont des institutions financières soumises à des exigences concernant leur gouvernance interne, leurs arrangements ou leurs processus en vertu de la législation de l’Union relative aux services financiers, l’obligation de surveillance prévue au premier alinéa est réputée satisfaite par la conformité aux règles relatives aux arrangements, processus et mécanismes de gouvernance interne prévues par la législation pertinente relative aux services financiers.
6. Les déployeurs de systèmes d’intelligence artificielle à haut risque doivent conserver les enregistrements générés automatiquement par ce système d’intelligence artificielle à haut risque, dans la mesure où ces enregistrements sont sous leur contrôle, pendant une période appropriée à l’usage prévu du système d’intelligence artificielle à haut risque, d’au moins six mois, sauf disposition contraire du droit de l’Union ou du droit national applicable, en particulier du droit de l’Union relatif à la protection des données à caractère personnel.
Les délégués qui sont des institutions financières soumises à des exigences concernant leur gouvernance interne, leurs arrangements ou leurs processus en vertu de la législation de l’Union sur les services financiers doivent conserver les journaux en tant que partie de la documentation conservée conformément à la législation pertinente de l’Union sur les services financiers.
7. Avant de mettre en service ou d’utiliser un système d’intelligence artificielle à haut risque sur le lieu de travail, les employeurs qui détachent des travailleurs doivent informer les représentants des travailleurs et les travailleurs concernés qu’ils seront soumis à l’utilisation du système d’intelligence artificielle à haut risque. Cette information doit être fournie, le cas échéant, conformément aux règles et procédures prévues par la législation et la pratique de l’Union et des États membres en matière d’information des travailleurs et de leurs représentants.
8. Les déployeurs de systèmes d’intelligence artificielle à haut risque qui sont des autorités publiques ou des institutions, organes, bureaux ou agences de l’Union se conforment aux obligations d’enregistrement visées à l’article 49. Si ces déployeurs découvrent que le système d’intelligence artificielle à haut risque qu’ils envisagent d’utiliser n’a pas été enregistré dans la base de données de l’Union européenne visée à l’article 71, ils ne doivent pas utiliser ce système et doivent en informer le fournisseur ou le distributeur.
9. Le cas échéant, les déployeurs de systèmes d’intelligence artificielle à haut risque utilisent les informations prévues à l’article 13 du présent règlement pour se conformer à leur obligation d’effectuer une évaluation de l’impact sur la protection des données conformément à l’article 35 du règlement (UE) 2016/679 ou à l’article 27 de la directive (UE) 2016/680.
10. Sans préjudice de la directive (UE) 2016/680, dans le cadre d’une enquête visant à la recherche ciblée d’une personne suspectée ou condamnée pour avoir commis une infraction pénale, le déployeur d’un système d’IA à haut risque pour l’identification biométrique post-remise doit demander l’autorisation, ex ante ou sans délai et au plus tard dans les 48 heures, d’une autorité judiciaire ou administrative dont la décision est contraignante et soumise à un contrôle juridictionnel, pour utiliser ce système, sauf si celui-ci est utilisé pour l’identification initiale d’un suspect potentiel sur la base d’éléments objectifs et vérifiables directement liés à l’infraction. Toute utilisation doit être limitée à ce qui est strictement nécessaire pour l’enquête relative à une infraction pénale spécifique.
Si l’autorisation demandée en vertu du premier alinéa est rejetée, l’utilisation du système d’identification biométrique post-remise lié à cette autorisation demandée doit être arrêtée avec effet immédiat et les données à caractère personnel liées à l’utilisation du système d’IA à haut risque pour lequel l’autorisation a été demandée doivent être supprimées.
En aucun cas, un tel système d’IA à haut risque pour l’identification biométrique post-remise ne doit être utilisé à des fins d’application de la loi d’une manière non ciblée, sans aucun lien avec une infraction pénale, une procédure pénale, une menace réelle et présente ou réelle et prévisible d’infraction pénale, ou la recherche d’une personne spécifiquement manquante. Il convient de veiller à ce qu’aucune décision produisant un effet juridique négatif sur une personne ne puisse être prise par les autorités chargées de faire respecter la loi sur la seule base de la production de ces systèmes d’identification biométrique post-remise.
Le présent paragraphe s’applique sans préjudice de l’article 9 du règlement (UE) 2016/679 et de l’article 10 de la directive (UE) 2016/680 pour le traitement des données biométriques.
Quel qu’en soit l’objet ou le déploiement, toute utilisation de ces systèmes d’intelligence artificielle à haut risque doit être consignée dans le fichier de police pertinent et être mise à la disposition de l’autorité de surveillance du marché concernée et de l’autorité nationale chargée de la protection des données sur demande, à l’exception de la divulgation de données opérationnelles sensibles relatives à l’application de la loi. Le présent paragraphe s’applique sans préjudice des pouvoirs conférés par la directive (UE) 2016/680 aux autorités de contrôle.
Les déployeurs soumettent des rapports annuels aux autorités nationales compétentes en matière de surveillance du marché et de protection des données sur leur utilisation des systèmes d’identification biométrique post-remise, à l’exclusion de la divulgation de données opérationnelles sensibles liées à l’application de la loi. Les rapports peuvent être agrégés pour couvrir plus d’un déploiement.
Les États membres peuvent introduire, conformément à la législation de l’Union, des lois plus restrictives concernant l’utilisation de systèmes d’identification biométrique post-remise.
(95) Sans préjudice du droit de l’Union applicable, en particulier du règlement (UE) 2016/679 et de la directive (UE) 2016/680, compte tenu du caractère intrusif des systèmes d’identification biométrique post-remise, l’utilisation de systèmes d’identification biométrique post-remise devrait être soumise à des garanties. Les systèmes d’identification biométrique à distance devraient toujours être utilisés de manière proportionnée, légitime et strictement nécessaire, et donc ciblée, en termes d’individus à identifier, de lieu, de portée temporelle et sur la base d’un ensemble de données fermé de séquences vidéo légalement acquises. En tout état de cause, les systèmes d’identification biométrique post-remote ne devraient pas être utilisés dans le cadre de l’application de la loi pour conduire à une surveillance indiscriminée. Les conditions de l’identification biométrique à distance ne devraient en aucun cas fournir une base permettant de contourner les conditions de l’interdiction et des exceptions strictes pour l’identification biométrique à distance en temps réel.
11. Sans préjudice de l’article 50 du présent règlement, les personnes qui déploient les systèmes d’intelligence artificielle à haut risque visés à l’annexe III et qui prennent ou aident à prendre des décisions concernant des personnes physiques informent ces personnes physiques qu’elles sont soumises à l’utilisation du système d’intelligence artificielle à haut risque. L’article 13 de la directive (UE) 2016/680 s’applique aux systèmes d’intelligence artificielle à haut risque utilisés à des fins d’application de la loi.
(93) Alors que les risques liés aux systèmes d’intelligence artificielle peuvent résulter de la manière dont ces systèmes sont conçus, les risques peuvent également provenir de la manière dont ces systèmes d’intelligence artificielle sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle critique dans la garantie que les droits fondamentaux sont protégés, en complément des obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera concrètement utilisé et peuvent donc identifier des risques potentiels importants qui n’avaient pas été prévus lors de la phase de développement, grâce à une connaissance plus précise du contexte d’utilisation, des personnes ou des groupes de personnes susceptibles d’être affectés, y compris les groupes vulnérables. Les déployeurs de systèmes d’intelligence artificielle à haut risque énumérés dans une annexe au présent règlement jouent également un rôle essentiel dans l’information des personnes physiques et devraient, lorsqu’ils prennent des décisions ou aident à prendre des décisions concernant des personnes physiques, le cas échéant, informer ces personnes qu’elles sont soumises à l’utilisation du système d’intelligence artificielle à haut risque. Cette information devrait inclure l’objectif visé et le type de décisions qu’il prend. Le délégué doit également informer les personnes physiques de leur droit à l’explication prévue par le présent règlement. En ce qui concerne les systèmes d’intelligence artificielle à haut risque utilisés à des fins d’application de la loi, cette obligation devrait être mise en œuvre conformément à l’article 13 de la directive (UE) 2016/680.
12. Les déployeurs coopèrent avec les autorités compétentes concernées pour toute action de ces autorités concernant le système d’intelligence artificielle à haut risque en vue de l’application du présent règlement.
1. Avant de déployer un système d’intelligence artificielle à haut risque visé à l’article 6, paragraphe 2, à l’exception des systèmes d’intelligence artificielle à haut risque destinés à être utilisés dans la zone visée au point 2 de l’annexe III, les déployeurs qui sont des organismes régis par le droit public ou des entités privées fournissant des services publics, et les déployeurs de systèmes d’intelligence artificielle à haut risque visés aux points 5 (b) et (c) de l’annexe III, doivent procéder à une évaluation de l’impact sur les droits fondamentaux que l’utilisation de ce système peut produire. A cette fin, les déployeurs doivent procéder à une évaluation consistant en :
(a) une description des processus du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à son objectif ;
(b) une description de la période de temps au cours de laquelle, et la fréquence à laquelle, chaque système IA à haut risque est destiné à être utilisé ;
(c) les catégories de personnes physiques et de groupes susceptibles d’être affectés par son utilisation dans le contexte spécifique ;
(d) les risques spécifiques de préjudice susceptibles d’avoir un impact sur les catégories de personnes physiques ou les groupes de personnes identifiés conformément au point (c) du présent paragraphe, en tenant compte des informations fournies par le fournisseur conformément à l’article 13 ;
(e) une description de la mise en œuvre des mesures de surveillance humaine, conformément aux instructions d’utilisation ;
(f) les mesures à prendre en cas de matérialisation de ces risques, y compris les dispositifs de gouvernance interne et les mécanismes de recours.
2. L’obligation énoncée au paragraphe 1 s’applique à la première utilisation du système d’intelligence artificielle à haut risque. Le déployeur peut, dans des cas similaires, se fonder sur des évaluations d’impact sur les droits fondamentaux réalisées précédemment ou sur des évaluations d’impact existantes effectuées par le fournisseur. Si, au cours de l’utilisation du système d’IA à haut risque, le déployeur estime que l’un des éléments énumérés au paragraphe 1 a été modifié ou n’est plus à jour, le déployeur doit prendre les mesures nécessaires pour mettre à jour les informations.
3. Une fois que l’évaluation visée au paragraphe 1 du présent article a été effectuée, le déployeur notifie ses résultats à l’autorité de surveillance du marché, en joignant à sa notification le modèle de fiche de sortie visé au paragraphe 5 du présent article. Dans le cas visé à l’article 46, paragraphe 1, le déclarant peut être exempté de cette obligation de notification.
4. Si l’une des obligations énoncées dans le présent article est déjà remplie par l’évaluation de l’impact sur la protection des données réalisée conformément à l’article 35 du règlement (UE) 2016/679 ou à l’article 27 de la directive (UE) 2016/680, l’évaluation de l’impact sur les droits fondamentaux mentionnée au paragraphe 1 du présent article complète cette évaluation de l’impact sur la protection des données.
5. L’AI Office élabore un modèle de questionnaire, y compris par le biais d’un outil automatisé, afin de faciliter le respect, par les personnes détachées, des obligations qui leur incombent en vertu du présent article, de manière simplifiée.
(96) Afin de garantir efficacement la protection des droits fondamentaux, les déployeurs de systèmes d’intelligence artificielle à haut risque qui sont des entités régies par le droit public ou des entités privées fournissant des services publics et les déployeurs de certains systèmes d’intelligence artificielle à haut risque énumérés dans une annexe au présent règlement, tels que les entités bancaires ou d’assurance, devraient procéder à une évaluation de l’impact sur les droits fondamentaux avant de les mettre en œuvre. Les services importants pour les individus qui sont de nature publique peuvent également être fournis par des entités privées. Les entités privées fournissant de tels services publics sont liées à des tâches d’intérêt public, par exemple dans les domaines de l’éducation, de la santé, des services sociaux, du logement, de l’administration de la justice. L’objectif de l’évaluation d’impact sur les droits fondamentaux est pour le déployeur d’identifier les risques spécifiques pour les droits des individus ou des groupes d’individus susceptibles d’être affectés, d’identifier les mesures à prendre en cas de matérialisation de ces risques. L’évaluation d’impact devrait être effectuée avant le déploiement du système d’IA à haut risque et devrait être mise à jour lorsque le déployeur estime que l’un des facteurs pertinents a changé. L’évaluation d’impact devrait identifier les processus pertinents du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à son objectif, et devrait inclure une description de la période de temps et de la fréquence auxquelles le système est prévu d’être utilisé, ainsi que des catégories spécifiques de personnes physiques et de groupes susceptibles d’être affectés dans le contexte spécifique de son utilisation.
L’évaluation devrait également inclure l’identification des risques spécifiques de préjudice susceptibles d’avoir un impact sur les droits fondamentaux de ces personnes ou groupes. En effectuant cette évaluation, le déployeur devrait prendre en compte les informations pertinentes pour une évaluation correcte de l’impact, y compris, mais sans s’y limiter, les informations fournies par le fournisseur du système IA à haut risque dans les instructions d’utilisation. A la lumière des risques identifiés, les déployeurs devraient déterminer les mesures à prendre en cas de matérialisation de ces risques, y compris, par exemple, les arrangements de gouvernance dans ce contexte d’utilisation spécifique, tels que les arrangements pour la surveillance humaine conformément aux instructions d’utilisation ou, le traitement des plaintes et les procédures de recours, car ils pourraient être instrumentaux pour atténuer les risques pour les droits fondamentaux dans des cas d’utilisation concrets. Après avoir effectué cette évaluation d’impact, le déployeur devrait informer l’autorité de surveillance du marché concernée. Le cas échéant, afin de recueillir les informations pertinentes nécessaires à la réalisation de l’évaluation d’impact, les déployeurs de systèmes d’IA à haut risque, en particulier lorsque les systèmes d’IA sont utilisés dans le secteur public, pourraient impliquer les parties prenantes concernées, y compris les représentants des groupes de personnes susceptibles d’être affectées par le système d’IA, des experts indépendants et des organisations de la société civile dans la réalisation de ces évaluations d’impact et la conception des mesures à prendre en cas de matérialisation des risques. Le Bureau européen de l’intelligence artificielle (AI Office) devrait élaborer un modèle de questionnaire afin de faciliter la conformité et de réduire la charge administrative pour les déployeurs.
1. Chaque État membre désigne ou établit au moins une autorité de notification responsable de l’établissement et de la mise en œuvre des procédures nécessaires à l’évaluation, à la désignation et à la notification des organismes d’évaluation de la conformité, ainsi qu’au contrôle de ces organismes. Ces procédures doivent être élaborées en coopération entre les autorités de notification de tous les États membres.
2. Les États membres peuvent décider que l’évaluation et le contrôle visés au paragraphe 1 sont effectués par un organisme national d’accréditation au sens du règlement (CE) n° 765/2008 et conformément à celui-ci.
3. Les autorités de notification sont établies, organisées et fonctionnent de manière à éviter tout conflit d’intérêt avec les organismes d’évaluation de la conformité et à garantir l’objectivité et l’impartialité de leurs activités.
4. Les autorités de notification doivent être organisées de telle sorte que les décisions relatives à la notification des organismes d’évaluation de la conformité soient prises par des personnes compétentes différentes de celles qui ont procédé à l’évaluation de ces organismes.
5. Les autorités notifiantes ne proposent ni ne fournissent aucune des activités que les organismes d’évaluation de la conformité exercent, ni aucun des services de conseil sur une base commerciale ou concurrentielle.
6. Les autorités notifiantes garantissent la confidentialité des informations qu’elles obtiennent, conformément à l’article 78.
7. Les autorités notifiantes doivent disposer d’un personnel compétent en nombre suffisant pour s’acquitter correctement de leurs tâches. Le personnel compétent doit disposer de l’expertise nécessaire, le cas échéant, pour sa fonction, dans des domaines tels que les technologies de l’information, l’intelligence artificielle et le droit, y compris la surveillance des droits fondamentaux.
1. Les organismes d’évaluation de la conformité soumettent une demande de notification à l’autorité de notification de l’État membre dans lequel ils sont établis.
2. La demande de notification est accompagnée d’une description des activités d’évaluation de la conformité, du ou des modules d’évaluation de la conformité et des types de systèmes d’assurance qualité pour lesquels l’organisme d’évaluation de la conformité se déclare compétent, ainsi que d’un certificat d’accréditation, s’il en existe un, délivré par un organisme national d’accréditation attestant que l’organisme d’évaluation de la conformité satisfait aux exigences énoncées à l’article 31.
Tout document valide relatif aux désignations existantes de l’organisme notifié demandeur en vertu de toute autre législation d’harmonisation de l’Union doit être ajouté.
3. Lorsque l’organisme d’évaluation de la conformité concerné n’est pas en mesure de délivrer un certificat d’accréditation, il fournit à l’autorité notifiante toutes les preuves documentaires nécessaires à la vérification, à la reconnaissance et au contrôle régulier de sa conformité aux exigences énoncées à l’article 31.
4. Pour les organismes notifiés qui sont désignés en vertu d’une autre législation d’harmonisation de l’Union, tous les documents et certificats liés à ces désignations peuvent être utilisés, le cas échéant, à l’appui de leur procédure de désignation en vertu du présent règlement. L’organisme notifié met à jour la documentation visée aux paragraphes 2 et 3 du présent article chaque fois que des changements pertinents interviennent, afin de permettre à l’autorité responsable des organismes notifiés de contrôler et de vérifier le respect permanent de toutes les exigences énoncées à l’article 31.
1. Les autorités de notification ne peuvent notifier que les organismes d’évaluation de la conformité qui ont satisfait aux exigences énoncées à l’article 31.
2. Les autorités de notification notifient à la Commission et aux autres États membres, au moyen de l’outil de notification électronique mis au point et géré par la Commission, chaque organisme d’évaluation de la conformité visé au paragraphe 1.
3. La notification visée au paragraphe 2 du présent article contient des détails complets sur les activités d’évaluation de la conformité, le ou les modules d’évaluation de la conformité, les types de systèmes d’assurance qualité concernés et l’attestation de compétence pertinente. Lorsqu’une notification n’est pas fondée sur un certificat d’accréditation tel que visé à l’article 29, paragraphe 2, l’autorité notifiante fournit à la Commission et aux autres États membres des preuves documentaires attestant de la compétence de l’organisme d’évaluation de la conformité et des dispositions mises en place pour assurer que cet organisme fait l’objet d’un suivi régulier et continue de satisfaire aux exigences énoncées à l’article 31.
4. L’organisme d’évaluation de la conformité concerné ne peut exercer les activités d’un organisme notifié que si aucune objection n’est soulevée par la Commission ou les autres États membres dans un délai de deux semaines à compter de la notification par une autorité notifiante si elle comprend un certificat d’accréditation visé à l’article 29(2), ou dans un délai de deux mois à compter de la notification par l’autorité notifiante si elle comprend des preuves documentaires visées à l’article 29(3).
5. Lorsque des objections sont soulevées, la Commission entame sans délai des consultations avec les États membres concernés et l’organisme d’évaluation de la conformité. En conséquence, la Commission décide si l’autorisation est justifiée. La Commission communique sa décision à l’État membre concerné et à l’organisme d’évaluation de la conformité compétent.
1. Un organisme notifié doit être établi en vertu du droit national d’un État membre et doit avoir la personnalité juridique.
2. Les organismes notifiés doivent satisfaire aux exigences en matière d’organisation, de gestion de la qualité, de ressources et de processus qui sont nécessaires à l’accomplissement de leurs tâches, ainsi qu’à des exigences de cybersécurité appropriées.
3. La structure organisationnelle, l’attribution des responsabilités, les lignes directrices en matière de rapports et le fonctionnement des organismes notifiés doivent garantir la confiance dans leurs performances et dans les résultats des activités d’évaluation de la conformité qu’ils mènent.
4. Les organismes notifiés doivent être indépendants du fournisseur d’un système d’assurance qualité à haut risque par rapport auquel ils effectuent des activités d’évaluation de la conformité. Les organismes notifiés doivent également être indépendants de tout autre opérateur ayant un intérêt économique dans les systèmes d’IA à haut risque évalués, ainsi que de tout concurrent du fournisseur. Cela n’empêche pas l’utilisation de systèmes d’intelligence artificielle à haut risque évalués qui sont nécessaires aux opérations de l’organisme d’évaluation de la conformité, ni l’utilisation de ces systèmes à haut risque à des fins personnelles.
5. Ni un organisme d’évaluation de la conformité, ni ses cadres supérieurs, ni le personnel responsable de l’exécution de ses tâches d’évaluation de la conformité ne doivent être directement impliqués dans la conception, le développement, la commercialisation ou l’utilisation de systèmes d’intelligence artificielle à haut risque, ni représenter les parties engagées dans ces activités. Ils ne doivent s’engager dans aucune activité susceptible de porter atteinte à leur indépendance de jugement ou à leur intégrité en ce qui concerne les activités d’évaluation de la conformité pour lesquelles ils sont notifiés. Cela s’applique en particulier aux services de conseil.
6. Les organismes notifiés doivent être organisés et fonctionner de manière à garantir l’indépendance, l’objectivité et l’impartialité de leurs activités. Les organismes notifiés doivent documenter et mettre en œuvre une structure et des procédures visant à garantir l’impartialité et à promouvoir et appliquer les principes d’impartialité tout au long de leur organisation, de leur personnel et de leurs activités d’évaluation.
7. Les organismes notifiés doivent mettre en place des procédures documentées garantissant que leur personnel, leurs comités, leurs filiales, leurs sous-traitants et tout organisme associé ou personnel d’organismes extérieurs maintiennent, conformément à l’article 78, la confidentialité des informations dont ils disposent au cours de l’exécution des activités d’évaluation de la conformité, sauf si leur divulgation est requise par la loi. Le personnel des organismes notifiés est tenu d’observer le secret professionnel à l’égard de toute information obtenue dans l’exécution de ses tâches en vertu du présent règlement, sauf à l’égard des autorités notifiantes de l’État membre dans lequel ses activités sont exercées.
8. Les organismes notifiés doivent avoir des procédures d’exécution des activités qui tiennent dûment compte de la taille d’un prestataire, du secteur dans lequel il opère,
sa structure, et le degré de complexité du système IA concerné.
9. Les organismes notifiés prennent une assurance responsabilité appropriée pour leurs activités d’évaluation de la conformité, sauf si cette responsabilité est assumée par l’État membre dans lequel ils sont établis conformément à la législation nationale ou si cet État membre est lui-même directement responsable de l’évaluation de la conformité.
10. Les organismes notifiés doivent être en mesure d’exécuter toutes les tâches qui leur incombent en vertu du présent règlement avec le plus haut degré d’intégrité professionnelle et les compétences requises dans le domaine spécifique, que ces tâches soient exécutées par les organismes notifiés eux-mêmes ou en leur nom et sous leur responsabilité.
11. Les organismes notifiés doivent disposer de compétences internes suffisantes pour être en mesure d’évaluer efficacement les tâches effectuées par des parties externes en leur nom. L’organisme notifié doit disposer en permanence d’un personnel administratif, technique, juridique et scientifique suffisant, ayant l’expérience et les connaissances des types de systèmes d’intelligence artificielle, de données et d’informatique concernés, et des exigences énoncées à la section 2.
12. Les organismes notifiés participent aux activités de coordination visées à l’article 38. Ils participent également, directement ou par l’intermédiaire de représentants, aux organisations européennes de normalisation ou veillent à ce qu’ils soient informés et à jour en ce qui concerne les normes pertinentes.
Lorsqu’un organisme d’évaluation de la conformité démontre sa conformité aux critères énoncés dans les normes harmonisées pertinentes ou dans des parties de celles-ci, dont les références ont été publiées au Journal officiel de l’Union européenne, il est présumé satisfaire aux exigences énoncées à l’article 31, dans la mesure où les normes harmonisées applicables couvrent ces exigences.
1. Lorsqu’un organisme notifié sous-traite des tâches spécifiques liées à l’évaluation de la conformité ou a recours à une filiale, il s’assure que le sous-traitant ou la filiale respecte les exigences énoncées à l’article 31 et en informe l’autorité notifiante.
2. Les organismes notifiés assument l’entière responsabilité des tâches exécutées par tout sous-traitant ou toute filiale.
3. Les activités ne peuvent être sous-traitées ou exécutées par une filiale qu’avec l’accord du fournisseur. Les organismes notifiés doivent mettre à la disposition du public une liste de leurs filiales.
4. Les documents pertinents concernant l’évaluation des qualifications du sous-traitant ou de la filiale et les travaux effectués par ceux-ci en vertu du présent règlement sont conservés par l’autorité de notification pendant une période de cinq ans à compter de la date d’expiration du contrat de sous-traitance.
1. Les organismes notifiés doivent vérifier la conformité des systèmes d’alarme à haut risque conformément aux procédures d’évaluation de la conformité prévues à l’article 43.
2. Les organismes notifiés évitent d’imposer des charges inutiles aux prestataires dans l’exercice de leurs activités et tiennent dûment compte de la taille du prestataire, du secteur dans lequel il opère, de sa structure et du degré de complexité du système d’assurance à haut risque concerné, notamment en vue de réduire au minimum les charges administratives et les coûts de mise en conformité pour les micro et petites entreprises au sens de la recommandation 2003/361/CE. L’organisme notifié doit néanmoins respecter le degré de rigueur et le niveau de protection requis pour la conformité du système d’assurance à haut risque avec les exigences du présent règlement.
3. Les organismes notifiés mettent à la disposition de l’autorité notifiante visée à l’article 28, et lui soumettent sur demande, toute la documentation pertinente, y compris celle des fournisseurs, afin de permettre à cette autorité de mener à bien ses activités d’évaluation, de désignation, de notification et de suivi, et de faciliter l’évaluation visée dans la présente section.
1. La Commission attribue un numéro d’identification unique à chaque organisme notifié, même si un organisme est notifié en vertu de plus d’un acte de l’Union.
2. La Commission met à la disposition du public la liste des organismes notifiés en vertu du présent règlement, y compris leur numéro d’identification et les activités pour lesquelles ils ont été notifiés. La Commission veille à ce que cette liste soit tenue à jour.
1. L’autorité notifiante informe la Commission et les autres États membres de toute modification pertinente de la notification d’un organisme notifié au moyen de l’outil de notification électronique visé à l’article 30, paragraphe 2.
2. Les procédures prévues aux articles 29 et 30 s’appliquent aux extensions de la portée de la notification.
Pour les modifications apportées à la notification autres que les extensions de son champ d’application, les procédures prévues aux paragraphes (3) à (9) s’appliquent.
3. Lorsqu’un organisme notifié décide d’interrompre ses activités d’évaluation de la conformité, il en informe l’autorité de notification et les fournisseurs concernés dès que possible et, dans le cas d’une cessation prévue, au moins un an avant de cesser ses activités. Les certificats de l’organisme notifié peuvent rester valables pendant une période de neuf mois après la cessation des activités de l’organisme notifié, à condition qu’un autre organisme notifié ait confirmé par écrit qu’il assumera des responsabilités pour les systèmes IA à haut risque couverts par ces certificats. L’organisme notifié suivant doit procéder à une évaluation complète des systèmes d’IA à haut risque affectés à la fin de cette période de neuf mois avant de délivrer de nouveaux certificats pour ces systèmes. Si l’organisme notifié a cessé ses activités, l’autorité de notification retire la désignation.
4. Lorsqu’une autorité notifiante a des raisons suffisantes de penser qu’un organisme notifié ne satisfait plus aux exigences énoncées à l’article 31 ou qu’il ne remplit pas ses obligations, elle examine la question avec la plus grande diligence et sans délai. Dans ce contexte, elle informe l’organisme notifié concerné des objections soulevées et lui donne la possibilité de faire connaître son point de vue. Si l’autorité de notification parvient à la conclusion que l’organisme notifié ne satisfait plus aux exigences énoncées à l’article 31 ou qu’il ne remplit pas ses obligations, elle limite, suspend ou retire la désignation, selon le cas, en fonction de la gravité de l’incapacité à satisfaire à ces exigences ou à remplir ces obligations. Il en informe immédiatement la Commission et les autres États membres.
5. Si sa désignation a été suspendue, restreinte ou retirée en tout ou en partie, l’organisme notifié en informe les fournisseurs concernés dans un délai de 10 jours.
6. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité de notification prend les mesures appropriées pour assurer la conservation des dossiers de l’organisme notifié concerné et les mettre à la disposition des autorités de notification d’autres États membres et des autorités de surveillance du marché, à leur demande.
7. En cas de restriction, de suspension ou de retrait d’une désignation, l’autorité notifiante doit
(a) évaluer l’impact sur les certificats délivrés par l’organisme notifié ;
(b) soumet un rapport sur ses conclusions à la Commission et aux autres États membres dans un délai de trois mois à compter de la notification des modifications apportées à la désignation ;
(c) exiger de l’organisme notifié qu’il suspende ou retire, dans un délai raisonnable fixé par l’autorité, tout certificat qui a été délivré de manière irrégulière, afin d’assurer la conformité continue des systèmes IA à haut risque sur le marché ;
(d) informe la Commission et les États membres des certificats de suspension ou de retrait qu’il a exigés ;
(e) fournissent aux autorités nationales compétentes de l’État membre dans lequel le fournisseur a son siège social toutes les informations pertinentes concernant les certificats dont il a demandé la suspension ou le retrait ; cette autorité prend les mesures appropriées, le cas échéant, pour éviter tout risque potentiel pour la santé, la sécurité ou les droits fondamentaux.
8. A l’exception des certificats non délivrés et des cas où une désignation a été suspendue ou limitée, les certificats restent valables dans l’une des circonstances suivantes :
(a) l’autorité de notification a confirmé, dans un délai d’un mois à compter de la suspension ou de la restriction, qu’il n’y a pas de risque pour la santé, la sécurité ou les droits fondamentaux en ce qui concerne les certificats concernés par la suspension ou la restriction, et l’autorité de notification a établi un calendrier d’actions pour remédier à la suspension ou à la restriction ; ou
(b) l’autorité notifiante a confirmé qu’aucun certificat pertinent pour la suspension ne sera émis, modifié ou réédité pendant la durée de la suspension ou de la restriction, et indique si l’organisme notifié a la capacité de continuer à surveiller et à rester responsable des certificats existants émis pendant la durée de la suspension ou de la restriction ; dans le cas où l’autorité de notification détermine que l’organisme notifié n’a pas la capacité de prendre en charge les certificats émis existants, le fournisseur du système couvert par le certificat doit confirmer par écrit aux autorités nationales compétentes de l’État membre dans lequel il a son siège d’exploitation enregistré, dans un délai de trois mois à compter de la suspension ou de la restriction, qu’un autre organisme notifié qualifié assume temporairement les fonctions de l’organisme notifié pour surveiller et rester responsable des certificats pendant la période de suspension ou de restriction.
9. A l’exception des certificats non délivrés et des cas où une désignation a été retirée, les certificats restent valables pendant une période de neuf mois dans les conditions suivantes :
(a) l’autorité nationale compétente de l’État membre dans lequel le fournisseur du système d’IA à haut risque couvert par le certificat a son siège social a confirmé qu’il n’existe aucun risque pour la santé, la sécurité ou les droits fondamentaux associé aux systèmes d’IA à haut risque concernés ; et
(b) un autre organisme notifié a confirmé par écrit qu’il assumera immédiatement la responsabilité de ces systèmes IA et qu’il achèvera son évaluation dans les 12 mois suivant le retrait de la désignation.
Dans les circonstances visées au premier alinéa, l’autorité nationale compétente de l’État membre dans lequel le prestataire du système couvert par le certificat a son siège d’exploitation peut proroger la validité provisoire des certificats pour des périodes supplémentaires de trois mois, qui ne peuvent excéder douze mois au total.
L’autorité nationale compétente ou l’organisme notifié qui assume les fonctions de l’organisme notifié concerné par le changement de désignation en informe immédiatement la Commission, les autres États membres et les autres organismes notifiés.
1. La Commission examine, si nécessaire, tous les cas où il y a des raisons de douter de la compétence d’un organisme notifié ou du maintien par un organisme notifié du respect des exigences énoncées à l’article 31 et de ses responsabilités applicables.
2. L’autorité notifiante doit, sur demande, fournir à la Commission toutes les informations pertinentes relatives à la notification ou au maintien de la compétence de l’organisme notifié concerné.
3. La Commission veille à ce que toutes les informations sensibles obtenues dans le cadre des enquêtes qu’elle mène en vertu du présent article soient traitées de manière confidentielle, conformément à l’article 78.
4. Si la Commission constate qu’un organisme notifié ne satisfait pas ou ne satisfait plus aux exigences de sa notification, elle en informe l’État membre qui a fait la notification et lui demande de prendre les mesures correctives nécessaires, y compris, le cas échéant, la suspension ou le retrait de la notification. Si l’État membre ne prend pas les mesures correctives nécessaires, la Commission peut, au moyen d’un acte d’exécution, suspendre, restreindre ou retirer la désignation. Cet acte d’exécution est adopté conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
1. La Commission veille à ce que, en ce qui concerne les systèmes d’assurance qualité à haut risque, une coordination et une coopération appropriées entre les organismes notifiés participant aux procédures d’évaluation de la conformité en vertu du présent règlement soient mises en place et fonctionnent correctement sous la forme d’un groupe sectoriel d’organismes notifiés.
2. Chaque autorité notifiante veille à ce que les organismes qu’elle a notifiés participent aux travaux d’un groupe visé au paragraphe 1, directement ou par l’intermédiaire de représentants désignés.
3. La Commission doit assurer l’échange de connaissances et de bonnes pratiques entre les autorités de notification.
Les organismes d’évaluation de la conformité établis en vertu de la législation d’un pays tiers avec lequel l’Union a conclu un accord peuvent être autorisés à exercer les activités des organismes notifiés en vertu du présent règlement, à condition qu’ils satisfassent aux exigences énoncées à l’article 31 ou qu’ils assurent un niveau de conformité équivalent.
1. Les systèmes IA à haut risque ou les modèles IA à usage général qui sont conformes à des normes harmonisées ou à des parties de ces normes dont les références ont été publiées au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012 sont présumés conformes aux exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées au chapitre V, sections 2 et 3, du présent règlement, dans la mesure où ces normes couvrent ces exigences ou obligations.
2. Conformément à l’article 10 du règlement (UE) (n°) 1025/2012, la Commission émet, sans délai, des demandes de normalisation couvrant toutes les exigences énoncées à la section 2 du présent chapitre et, le cas échéant, des demandes de normalisation couvrant les obligations énoncées au chapitre V, sections 2 et 3, du présent règlement. La demande de normalisation doit également porter sur des éléments livrables concernant les processus de rapport et de documentation visant à améliorer les performances des systèmes d’intelligence artificielle en matière de ressources, tels que la réduction de la consommation d’énergie et d’autres ressources des systèmes d’intelligence artificielle à haut risque au cours de leur cycle de vie, ainsi que sur le développement à faible consommation d’énergie de modèles d’intelligence artificielle à usage général. Lors de l’élaboration d’une demande de normalisation, la Commission doit consulter le Conseil et les parties prenantes concernées, y compris le forum consultatif.
Lorsqu’elle adresse une demande de normalisation aux organismes européens de normalisation, la Commission précise que les normes doivent être claires, cohérentes, y compris avec les normes élaborées dans les différents secteurs pour les produits couverts par l’actuelle législation d’harmonisation de l’Union énumérée à l’annexe I, et viser à garantir que les systèmes d’IA à haut risque ou les modèles d’IA à usage général mis sur le marché ou en service dans l’Union satisfont aux exigences ou obligations pertinentes énoncées dans le présent règlement.
La Commission peut demander aux organismes européens de normalisation de fournir la preuve de leurs meilleurs efforts pour atteindre les objectifs mentionnés aux premier et deuxième alinéas du présent paragraphe, conformément à l’article 24 du règlement (UE) no 1025/2012.
3. Les participants au processus de normalisation s’efforcent de promouvoir l’investissement et l’innovation dans le domaine de l’intelligence artificielle, notamment en améliorant la sécurité juridique, ainsi que la compétitivité et la croissance du marché de l’Union, de contribuer au renforcement de la coopération mondiale en matière de normalisation et à la prise en compte des normes internationales existantes dans le domaine de l’intelligence artificielle qui sont compatibles avec les valeurs, les droits fondamentaux et les intérêts de l’Union, et d’améliorer la gouvernance multipartite en assurant une représentation équilibrée des intérêts et la participation effective de toutes les parties prenantes concernées, conformément aux articles 5, 6 et 7 du règlement (UE) n° 1025/2012.
1. La Commission peut adopter, mettre en œuvre des actes établissant des spécifications communes pour les exigences énoncées à la section 2 o
f du présent chapitre ou, le cas échéant, pour les obligations énoncées aux sections 2 et 3 du chapitre V si les conditions suivantes ont été remplies :
(a) la Commission a demandé, conformément à l’article 10, paragraphe 1, du règlement (UE) n° 1025/2012, à un ou plusieurs organismes européens de normalisation de rédiger une norme harmonisée pour les exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, pour les obligations énoncées aux sections 2 et 3 du chapitre V, et :
(i) la demande n’a pas été acceptée par l’un des organismes européens de normalisation ; ou
(ii) les normes harmonisées répondant à cette demande ne sont pas livrées dans le délai fixé conformément à l’article 10, paragraphe 1, du règlement (UE) n° 1025/2012 ; ou
(iii) the relevant harmonised standards insufficiently address fundamental rights concerns ; or
(iv) the harmonised standards do not comply with the request ; and
(b) aucune référence à des normes harmonisées couvrant les exigences visées à la section 2 du présent chapitre ou, le cas échéant, les obligations visées aux sections 2 et 3 du chapitre V n’a été publiée au Journal officiel de l’Union européenne conformément au règlement (UE) no 1025/2012, et aucune référence de ce type ne devrait être publiée dans un délai raisonnable.
Lors de l’élaboration des spécifications communes, la Commission consulte le forum consultatif visé à l’article 67.
Les actes d’exécution mentionnés au premier alinéa du présent paragraphe sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
2. Avant d’élaborer un projet d’acte d’exécution, la Commission informe le comité visé à l’article 22 du règlement (UE) no 1025/2012 qu’elle estime que les conditions énoncées au paragraphe 1 du présent article sont remplies.
3. Les systèmes IA à haut risque ou les modèles IA à usage général qui sont conformes aux spécifications communes visées au paragraphe 1, ou à des parties de ces spécifications, sont réputés conformes aux exigences énoncées à la section 2 du présent chapitre ou, le cas échéant, aux obligations énoncées aux sections 2 et 3 du chapitre V, dans la mesure où ces spécifications communes couvrent ces exigences ou ces obligations.
4. Lorsqu’une norme harmonisée est adoptée par un organisme européen de normalisation et proposée à la Commission en vue de la publication de sa référence au Journal officiel de l’Union européenne, la Commission évalue la norme harmonisée conformément au règlement (UE) n° 1025/2012. Lorsqu’une référence à une norme harmonisée est publiée au Journal officiel de l’Union européenne, la Commission réitère les actes d’exécution visés au paragraphe 1 ou les parties de ceux-ci qui couvrent les mêmes exigences que celles énoncées à la section 2 du présent chapitre ou, le cas échéant, les mêmes obligations que celles énoncées aux sections 2 et 3 du chapitre V.
5. Lorsque les fournisseurs de systèmes d’intelligence artificielle à haut risque ou de modèles d’intelligence artificielle à usage général ne respectent pas les spécifications communes visées au paragraphe 1, ils justifient dûment qu’ils ont adopté des solutions techniques qui satisfont aux exigences visées à la section 2 du présent chapitre ou, le cas échéant, qu’ils se conforment aux obligations énoncées aux sections 2 et 3 du chapitre V à un niveau au moins équivalent à celles-ci.
6. Lorsqu’un État membre estime qu’une spécification commune ne satisfait pas entièrement aux exigences énoncées à la section 2 ou, le cas échéant, qu’elle ne respecte pas les obligations énoncées aux sections 2 et 3 du chapitre V, il en informe la Commission en lui fournissant une explication détaillée. La Commission évalue cette information et, le cas échéant, modifie l’acte d’exécution établissant la spécification commune concernée.
1. Les systèmes d’intelligence artificielle à haut risque qui ont été formés et testés sur des données reflétant le contexte géographique, comportemental, contextuel ou fonctionnel spécifique dans lequel ils sont destinés à être utilisés doivent être présumés conformes aux exigences pertinentes énoncées à l’article 10(4).
2. Les systèmes d’intelligence artificielle à haut risque qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée en vertu d’un régime de cybersécurité conformément au règlement (UE) 2019/881 et dont les références ont été publiées au Journal officiel de l’Union européenne sont présumés conformes aux exigences de cybersécurité énoncées à l’article 15 du présent règlement, dans la mesure où le certificat de cybersécurité ou la déclaration de conformité ou des parties de ceux-ci couvrent ces exigences.
(122) Il convient que, sans préjudice de l’utilisation de normes harmonisées et de spécifications communes, les fournisseurs d’un système d’IA à haut risque qui a été formé et testé sur des données reflétant l’environnement géographique, comportemental, contextuel ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé, soient censés se conformer à la mesure pertinente prévue dans le cadre de l’exigence de gouvernance des données énoncée dans le présent règlement. Sans préjudice des exigences relatives à la robustesse et à l’exactitude énoncées dans le présent règlement, conformément à l’article 54, paragraphe 3, du règlement (UE) 2019/881, les systèmes d’IA à haut risque qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée dans le cadre d’un régime de cybersécurité conformément au présent règlement et dont les références ont été publiées au Journal officiel de l’Union européenne devraient être présumés conformes à l’exigence de cybersécurité du présent règlement, dans la mesure où le certificat de cybersécurité ou la déclaration de conformité ou des parties de ceux-ci couvrent l’exigence de cybersécurité du présent règlement. Cela reste sans préjudice de la nature volontaire de ce régime de cybersécurité.
(123) Afin d’assurer un haut niveau de fiabilité des systèmes d’intelligence artificielle à haut risque, ces systèmes devraient être soumis à une évaluation de conformité avant leur mise sur le marché ou leur mise en service.
1. Pour les systèmes d’alarme à haut risque énumérés au point 1 de l’annexe III, lorsque, pour démontrer la conformité d’un système d’alarme à haut risque aux exigences énoncées à la section 2, le fournisseur a appliqué des normes harmonisées visées à l’article 40 ou, le cas échéant, des spécifications communes visées à l’article 41, le fournisseur doit opter pour l’une des procédures d’évaluation de la conformité suivantes, fondées sur :
(a) le contrôle interne visé à l’annexe VI ; ou
(b) l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique, avec la participation d’un organisme notifié, mentionné à l’annexe VII.
Pour démontrer la conformité d’un système IA à haut risque avec les exigences énoncées à la section 2, le fournisseur doit suivre la procédure d’évaluation de la conformité prévue à l’annexe VII où :
(a) les normes harmonisées visées à l’article 40 n’existent pas et les spécifications communes visées à l’article 41 ne sont pas disponibles ;
(b) le prestataire n’a pas appliqué, ou n’a appliqué que partiellement, la norme harmonisée ;
(c) les spécifications communes mentionnées au point (a) existent, mais le fournisseur ne les a pas appliquées ;
(d) une ou plusieurs des normes harmonisées mentionnées au point (a) ont été publiées avec une restriction, et uniquement sur la partie de la norme qui a été restreinte.
Aux fins de la procédure d’évaluation de la conformité visée à l’annexe VII, le prestataire peut choisir n’importe lequel des organismes notifiés. Toutefois, lorsque le système IA à haut risque est destiné à être mis en service par les autorités chargées de l’application de la loi, de l’immigration ou de l’asile ou par des institutions, organes, bureaux ou agences de l’Union, l’autorité de surveillance du marché visée à l’article 74, paragraphes 8 ou 9, le cas échéant, agit en tant qu’organisme notifié.
2. Pour les systèmes IA à haut risque visés aux points 2 à 8 de l’annexe III, les fournisseurs doivent suivre la procédure d’évaluation de la conformité basée sur le contrôle interne visée à l’annexe VI, qui ne prévoit pas l’intervention d’un organisme notifié.
3. Pour les systèmes d’alarme à haut risque couverts par la législation d’harmonisation de l’Union énumérée dans la section A de l’annexe I, le fournisseur suit la procédure d’évaluation de la conformité pertinente requise par ces actes législatifs. Les exigences énoncées à la section 2 du présent chapitre s’appliquent à ces systèmes IA à haut risque et doivent faire partie de cette évaluation. Les points 4.3, 4.4, 4.5 et le cinquième paragraphe du point 4.6 de l’annexe VII s’appliquent également.
Aux fins de cette évaluation, les organismes notifiés qui ont été notifiés en vertu de ces actes juridiques sont habilités à contrôler la conformité des systèmes IA à haut risque avec les exigences énoncées à la section 2, à condition que la conformité de ces organismes notifiés avec les exigences énoncées à l’article 31, paragraphes 4, 5, 10 et 11, ait été évaluée dans le cadre de la procédure de notification prévue par ces actes juridiques.
Lorsqu’un acte juridique énuméré à la section A de l’annexe I permet au fabricant d’un produit de ne pas procéder à une évaluation tierce de la conformité, à condition que ce fabricant ait appliqué toutes les normes harmonisées couvrant toutes les exigences pertinentes, ce fabricant ne peut recourir à cette option que s’il a également appliqué des normes harmonisées ou, le cas échéant, des spécifications communes visées à l’article 41, couvrant toutes les exigences énoncées à la section 2 du présent chapitre.
(124) Il convient, afin de réduire au minimum la charge pesant sur les opérateurs et d’éviter toute duplication éventuelle, que, pour les systèmes d’intelligence artificielle à haut risque associés à des produits couverts par la législation d’harmonisation de l’Union existante basée sur le nouveau cadre législatif, la conformité de ces systèmes d’intelligence artificielle aux exigences du présent règlement soit évaluée dans le cadre de l’évaluation de conformité déjà prévue par cette législation. L’applicabilité des exigences du présent règlement ne devrait donc pas affecter la logique, la méthodologie ou la structure générale spécifiques de l’évaluation de la conformité dans le cadre de la législation d’harmonisation de l’Union concernée.
(125) Compte tenu de la complexité des systèmes d’intelligence artificielle à haut risque et des risques qui leur sont associés, il est important de mettre au point une procédure d’évaluation de la conformité appropriée pour les systèmes d’intelligence artificielle à haut risque impliquant des organismes notifiés, ce que l’on appelle l’évaluation de la conformité par des tiers. Toutefois, compte tenu de l’expérience actuelle des certificateurs professionnels avant commercialisation dans le domaine de la sécurité des produits et de la nature différente des risques impliqués, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application de l’évaluation de la conformité par des tiers pour les systèmes d’IA à haut risque autres que ceux liés aux produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait être effectuée en règle générale par le fournisseur sous sa propre responsabilité, à l’exception des systèmes d’IA destinés à être utilisés à des fins biométriques.
(126) Afin de pouvoir procéder à des évaluations de la conformité par des tiers lorsque cela est nécessaire, les organismes notifiés doivent être notifiés par les autorités nationales compétentes conformément au présent règlement, à condition qu’ils satisfassent à un certain nombre d’exigences, notamment en matière d’indépendance, de compétence, d’absence de conflits d’intérêts et d’exigences appropriées en matière de cybersécurité. La notification de ces organismes doit être envoyée par les autorités nationales compétentes à la Commission et aux autres États membres au moyen de l’outil de notification électronique mis au point et géré par la Commission conformément à l’article R23 de l’annexe I de la décision no 768/2008/CE.
(127) Conformément aux engagements pris par l’Union dans le cadre de l’accord de l’Organisation mondiale du commerce sur les obstacles techniques au commerce, il est approprié de faciliter la reconnaissance mutuelle des résultats des évaluations de la conformité effectuées par des organismes d’évaluation de la conformité compétents, indépendants du territoire sur lequel ils sont établis, à condition que ces organismes d’évaluation de la conformité établis en vertu de la législation d’un pays tiers satisfassent aux exigences applicables du présent règlement et que l’Union ait conclu un accord en ce sens. Dans ce contexte, la Commission devrait explorer activement les instruments internationaux possibles à cette fin et, en particulier, poursuivre la conclusion d’accords de reconnaissance mutuelle avec des pays tiers.
4. Les systèmes d’intelligence artificielle à haut risque qui ont déjà été soumis à une procédure d’évaluation de la conformité doivent faire l’objet d’une nouvelle procédure d’évaluation de la conformité en cas de modification substantielle, que le système modifié soit destiné à être distribué ultérieurement ou qu’il continue d’être utilisé par le déployeur actuel.
Pour les systèmes d’intelligence artificielle à haut risque qui continuent d’apprendre après avoir été mis sur le marché ou mis en service, les modifications apportées au système d’intelligence artificielle à haut risque et à ses performances, qui ont été prédéfinies par le fournisseur au moment de l’évaluation initiale de la conformité et qui font partie des informations contenues dans la documentation technique visée au point 2(f) de l’annexe IV, ne constituent pas une modification substantielle.
(128) Conformément à la notion communément admise de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, il est approprié de considérer que chaque fois qu’un changement susceptible d’affecter la conformité d’un système IA à haut risque avec le présent règlement intervient (par exemple, changement de système d’exploitation ou d’architecture logicielle), ou lorsque l’objectif prévu du système change, ce système IA devrait être considéré comme un nouveau système IA qui devrait faire l’objet d’une nouvelle évaluation de conformité. Toutefois, les modifications apportées à l’algorithme et aux performances des systèmes d’intelligence artificielle qui continuent d’ ”apprendre” après leur mise sur le marché ou leur mise en service, c’est-à-dire qui adaptent automatiquement la manière dont les fonctions sont exécutées, ne devraient pas constituer une modification substantielle, à condition que ces modifications aient été prédéfinies par le fournisseur et évaluées au moment de l’évaluation de la conformité.
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier les annexes VI et VII en les actualisant en fonction des progrès techniques.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier les paragraphes 1 et 2 du présent article ou de soumettre les systèmes d’assurance qualité à haut risque visés aux points 2 à 8 de l’annexe III à la procédure d’évaluation de la conformité visée à l’annexe VII ou à certaines parties de celle-ci. La Commission adopte de tels actes délégués en tenant compte de l’efficacité de la procédure d’évaluation de la conformité fondée sur le contrôle interne visé à l’annexe VI pour prévenir ou réduire au minimum les risques pour la santé et la sécurité et la protection des droits fondamentaux que présentent de tels systèmes, ainsi que de la disponibilité de capacités et de ressources adéquates parmi les organismes notifiés.
1. Les certificats délivrés par les organismes notifiés conformément à l’annexe VII sont rédigés dans une langue qui peut être aisément comprise par les autorités compétentes de l’État membre dans lequel l’organisme notifié est établi.
2. Les certificats sont valables pour la période qu’ils indiquent, qui ne doit pas dépasser cinq ans pour les systèmes IA couverts par l’annexe I et quatre ans pour les systèmes IA couverts par l’annexe III. À la demande du fournisseur, la validité d’un certificat peut être prolongée pour des périodes supplémentaires, chacune ne dépassant pas cinq ans pour les systèmes IA couverts par l’annexe I et quatre ans pour les systèmes IA couverts par l’annexe III, sur la base d’une réévaluation conformément aux procédures d’évaluation de la conformité applicables. Tout supplément à un certificat reste valable, à condition que le certificat qu’il complète soit valable.
3. Lorsqu’un organisme notifié constate qu’un système d’assurance qualité ne satisfait plus aux exigences énoncées à la section 2, il suspend ou retire le certificat délivré ou impose des restrictions à son égard, en tenant compte du principe de proportionnalité, à moins que le respect de ces exigences ne soit assuré par une action corrective appropriée entreprise par le fournisseur du système dans un délai raisonnable fixé par l’organisme notifié. L’organisme notifié motive sa décision.
Une procédure de recours contre les décisions des organismes notifiés, y compris sur les certificats de conformité délivrés, doit être disponible.
1. Les organismes notifiés doivent informer l’autorité notifiante des éléments suivants :
(a) tout certificat d’évaluation de la documentation technique de l’Union, tout complément à ces certificats et toute approbation du système de gestion de la qualité délivrés conformément aux exigences de l’annexe VII ;
(b) tout refus, restriction, suspension ou retrait d’un certificat d’évaluation de la documentation technique de l’Union ou d’une approbation du système de gestion de la qualité délivré conformément aux exigences de l’annexe VII ;
(c) toute circonstance affectant la portée de la notification ou les conditions de celle-ci ;
(d) toute demande d’informations qu’ils ont reçues des autorités de surveillance du marché concernant les activités d’évaluation de la conformité ;
(e) sur demande, les activités d’évaluation de la conformité effectuées dans le cadre de leur notification et toute autre activité effectuée, y compris les activités transfrontalières et la sous-traitance.
2. Chaque organisme notifié doit informer les autres organismes notifiés de :
(a) des approbations de système de gestion de la qualité qu’il a refusées, suspendues ou retirées et, sur demande, des approbations de système de qualité qu’il a délivrées ;
(b) Union des certificats d’évaluation de la documentation technique ou de tout complément à ceux-ci qu’elle a refusés, retirés, suspendus ou soumis à d’autres restrictions, et, sur demande, des certificats et/ou compléments à ceux-ci qu’elle a délivrés.
3. Chaque organisme notifié doit fournir aux autres organismes notifiés exerçant des activités d’évaluation de la conformité portant sur les mêmes types de systèmes d’assurance qualité des informations pertinentes sur les questions relatives aux résultats négatifs et, sur demande, positifs de l’évaluation de la conformité.
4. Les organismes notifiés garantissent la confidentialité des informations qu’ils obtiennent, conformément à l’article 78.
1. Par dérogation à l’article 43 et sur demande dûment justifiée, toute autorité de surveillance du marché peut autoriser la mise sur le marché ou la mise en service de systèmes spécifiques d’IA à haut risque sur le territoire de l’État membre concerné, pour des raisons exceptionnelles de sécurité publique ou de protection de la vie et de la santé des personnes, de protection de l’environnement ou de protection d’actifs industriels et d’infrastructures essentiels. Cette autorisation est accordée pour une durée limitée, pendant laquelle les procédures d’évaluation de la conformité nécessaires sont effectuées, en tenant compte des raisons exceptionnelles justifiant la dérogation. L’achèvement de ces procédures doit être effectué sans retard injustifié.
2. Dans une situation d’urgence dûment justifiée pour des raisons exceptionnelles de sécurité publique ou en cas de menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques, les autorités chargées de l’application de la loi ou de la protection civile peuvent mettre en service un système IA à haut risque spécifique sans l’autorisation visée au paragraphe 1, à condition que cette autorisation soit demandée pendant ou après l’utilisation sans délai. En cas de refus de l’autorisation visée au paragraphe 1, l’utilisation du système IA à haut risque est immédiatement suspendue et tous les résultats de cette utilisation sont immédiatement effacés.
3. L’autorisation visée au paragraphe 1 n’est délivrée que si l’autorité de surveillance du marché conclut que le système d’assurance-invalidité à haut risque satisfait aux exigences de la section 2. L’autorité de surveillance du marché informe la Commission et les autres États membres de toute autorisation délivrée conformément aux paragraphes 1 et 2. Cette obligation ne couvre pas les données opérationnelles sensibles relatives aux activités des autorités chargées de faire respecter la loi.
4. Si, dans un délai de 15 jours calendaires à compter de la réception des informations visées au paragraphe 3, aucune objection n’a été soulevée par un État membre ou par la Commission à l’encontre d’une autorisation délivrée par une autorité de surveillance du marché d’un État membre conformément au paragraphe 1, cette autorisation est réputée justifiée.
5. Si, dans les 15 jours calendaires suivant la réception de la notification visée au paragraphe 3, un État membre soulève des objections à l’encontre d’une autorisation délivrée par une autorité de surveillance du marché d’un autre État membre, ou si la Commission estime que l’autorisation est contraire au droit de l’Union, ou si la conclusion des États membres quant à la conformité du système visé au paragraphe 3 est infondée, la Commission entame sans délai des consultations avec l’État membre concerné. Les exploitants concernés sont consultés et ont la possibilité de présenter leur point de vue. A cet égard, la Commission détermine si l’autorisation est justifiée. La Commission communique sa décision à l’État membre concerné et aux opérateurs concernés.
6. Si la Commission estime que l’autorisation n’est pas justifiée, elle est retirée par l’autorité de surveillance du marché de l’État membre concerné.
7. Pour les systèmes IA à haut risque relatifs à des produits couverts par la législation d’harmonisation de l’Union énumérée dans la section A de l’annexe I, seules les dérogations à l’évaluation de la conformité établies dans cette législation d’harmonisation de l’Union s’appliquent.
(130) Dans certaines conditions, la mise à disposition rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes, la protection de l’environnement et le changement climatique, et pour la société dans son ensemble. Il est donc approprié que, pour des raisons exceptionnelles de sécurité publique ou de protection de la vie et de la santé de personnes physiques, de protection de l’environnement et de protection d’actifs industriels et d’infrastructures essentiels, les autorités de surveillance du marché puissent autoriser la mise sur le marché ou la mise en service de systèmes d’intelligence artificielle qui n’ont pas fait l’objet d’une évaluation de la conformité. Dans des situations dûment justifiées, telles que prévues par le présent règlement, les autorités chargées de l’application de la loi ou de la protection civile peuvent mettre en service un système d’IA spécifique à haut risque sans l’autorisation de l’autorité de surveillance du marché, à condition que cette autorisation soit demandée pendant ou après l’utilisation sans retard injustifié.
1. Le fournisseur doit établir une déclaration de conformité UE écrite, lisible par machine, signée physiquement ou électroniquement, pour chaque système d’IA à haut risque, et ke
la conserver à la disposition des autorités nationales compétentes pendant 10 ans après que le système d’alarme à haut risque a été mis sur le marché ou mis en service. La déclaration UE de conformité doit identifier le système d’alarme à haut risque pour lequel elle a été établie. Une copie de la déclaration de conformité UE doit être transmise sur demande aux autorités nationales compétentes concernées.
2. La déclaration UE de conformité doit indiquer que le système d’alarme à haut risque concerné satisfait aux exigences énoncées à la section 2. La déclaration UE de conformité doit contenir les informations énoncées à l’annexe V et être traduite dans une langue aisément compréhensible par les autorités nationales compétentes des États membres dans lesquels le système d’alarme à haut risque est mis sur le marché ou à disposition.
3. Lorsque les systèmes d’alarme à haut risque sont soumis à une autre législation d’harmonisation de l’Union qui requiert également une déclaration de conformité de l’UE, une déclaration de conformité unique de l’UE doit être établie pour l’ensemble du droit de l’Union applicable au système d’alarme à haut risque. La déclaration doit contenir toutes les informations nécessaires pour identifier la législation d’harmonisation de l’Union à laquelle la déclaration se rapporte.
4. En établissant la déclaration de conformité UE, le fournisseur assume la responsabilité de la conformité aux exigences énoncées à la section 2. Le fournisseur doit tenir à jour la déclaration de conformité UE, le cas échéant.
5. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier l’annexe V en actualisant le contenu de la déclaration UE de conformité prévue dans cette annexe, afin d’introduire des éléments devenus nécessaires à la lumière du progrès technique.
1. Le marquage CE doit être soumis aux principes généraux énoncés à l’article 30 du règlement (CE) no 765/2008.
2. Pour les systèmes IA à haut risque fournis sous forme numérique, un marquage CE numérique ne doit être utilisé que s’il est facilement accessible via l’interface à partir de laquelle le système est accessible ou via un code lisible par machine facilement accessible ou d’autres moyens électroniques.
3. Le marquage CE doit être apposé de manière visible, légitime et indiscutable sur les systèmes d’alarme à haut risque. Si cela n’est pas possible ou garanti en raison de la nature du système IA à haut risque, il doit être apposé sur l’emballage ou sur la documentation d’accompagnement, selon le cas.
4. Le cas échéant, le marquage CE doit être suivi du numéro d’identification de l’organisme notifié responsable des procédures d’évaluation de la conformité visées à l’article 43. Le numéro d’identification de l’organisme notifié doit être apposé par l’organisme lui-même ou, sous sa direction, par le fournisseur ou par le représentant agréé du fournisseur. Le numéro d’identification doit également être indiqué dans tout matériel promotionnel qui mentionne que le système d’alarme à haut risque satisfait aux exigences du marquage CE.
5. Lorsque les systèmes d’intelligence artificielle à haut risque sont soumis à une autre législation de l’Union qui prévoit également l’apposition du marquage CE, ce dernier doit indiquer que le système d’intelligence artificielle à haut risque satisfait également aux exigences de cette autre législation.
(129) Les systèmes d’intelligence artificielle à haut risque doivent porter le marquage CE pour indiquer leur conformité au présent règlement, de sorte qu’ils puissent se déplacer librement sur le marché intérieur. Pour les systèmes d’IA à haut risque intégrés dans un produit, un marquage CE physique doit être apposé et peut être complété par un marquage CE numérique. Pour les systèmes IA à haut risque fournis uniquement sous forme numérique, un marquage CE numérique devrait être utilisé. Les États membres ne devraient pas créer d’obstacles injustifiés à la mise sur le marché ou à la mise en service de systèmes d’intelligence artificielle à haut risque qui satisfont aux exigences énoncées dans le présent règlement et qui portent le marquage CE.
1. Avant de mettre sur le marché ou en service un système d’assurance maladie à haut risque visé à l’annexe III, à l’exception des systèmes d’assurance maladie à haut risque visés au point 2 de l’annexe III, le fournisseur ou, le cas échéant, le représentant agréé s’enregistre lui-même ainsi que son système dans la base de données de l’Union européenne visée à l’article 71.
2. Avant de mettre sur le marché ou de mettre en service un système d’assurance invalidité pour lequel le fournisseur a conclu qu’il ne présentait pas de risque élevé au sens de l’article 6, paragraphe 3, ce fournisseur ou, le cas échéant, le représentant agréé s’inscrit lui-même et inscrit ce système dans la base de données de l’Union européenne visée à l’article 71.
3. Avant de mettre en service ou d’utiliser un système d’IA à haut risque visé à l’annexe III, à l’exception des systèmes d’IA à haut risque visés au point 2 de l’annexe III, les déployeurs qui sont des autorités publiques, des institutions de l’Union, des organes, des bureaux ou des agences, ou des personnes agissant en leur nom, s’enregistrent eux-mêmes, sélectionnent le système et enregistrent son utilisation dans la base de données de l’Union européenne visée à l’article 71.
4. Pour les systèmes d’IA à haut risque visés aux points 1, 6 et 7 de l’annexe III, dans les domaines de l’application de la loi, de la migration, de l’asile et de la gestion des contrôles aux frontières, l’enregistrement visé aux paragraphes 1, 2 et 3 du présent article est effectué dans une section sécurisée et non publique de la base de données de l’UE visée à l’article 71 et ne contient que les informations suivantes, selon le cas :
(a) section A, points 1 à 10, de l’annexe VIII, à l’exception des points 6, 8 et 9 ;
(b) Section B, points 1 à 5, et points 8 et 9 de l’annexe VIII ;
(c) section C, points 1 à 3, de l’annexe VIII ;
(d) points 1, 2, 3 et 5, de l’annexe IX.
Seules la Commission et les autorités nationales visées à l’article 74, paragraphe 8, ont accès aux sections restreintes respectives de la base de données de l’Union européenne énumérées au premier alinéa du présent paragraphe.
5. Les systèmes d’IA à haut risque visés au point 2 de l’annexe III doivent être enregistrés au niveau national.
(131) Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’intelligence artificielle et d’accroître la transparence vis-à-vis du public, les fournisseurs de systèmes d’intelligence artificielle à haut risque autres que ceux liés aux produits relevant du champ d’application de la législation d’harmonisation de l’Union existante pertinente, ainsi que les fournisseurs qui considèrent qu’un système d’intelligence artificielle figurant dans les cas d’utilisation à haut risque annexés au présent règlement ne présente pas de risque élevé sur la base d’une dérogation, devraient être tenus de s’inscrire et de fournir des informations sur leur système d’intelligence artificielle dans une base de données de l’Union européenne, qui sera établie et gérée par la Commission. Avant d’utiliser un système d’intelligence artificielle figurant dans la liste des cas d’utilisation à haut risque annexée au présent règlement, les utilisateurs de systèmes d’intelligence artificielle à haut risque qui sont des autorités publiques, des agences ou des organismes devraient s’enregistrer dans une telle base de données et sélectionner le système qu’ils envisagent d’utiliser.
Les autres détachés devraient avoir le droit de le faire volontairement. Cette section de la base de données de l’UE devrait être accessible au public, sans frais, et les informations devraient être facilement navigables, compréhensibles et lisibles par machine. La base de données de l’UE devrait également être conviviale, par exemple en proposant des fonctionnalités de recherche, y compris par mots-clés, permettant au grand public de trouver des informations pertinentes à soumettre lors de l’enregistrement des systèmes d’intelligence artificielle à haut risque et sur le cas d’utilisation des systèmes d’intelligence artificielle à haut risque, défini dans une annexe au présent règlement, auquel les systèmes d’intelligence artificielle à haut risque correspondent. Toute modification substantielle des systèmes d’IA à haut risque doit également être enregistrée dans la base de données de l’UE. Pour les systèmes d’IA à haut risque dans le domaine de l’application de la loi, de la migration, de l’asile et de la gestion des contrôles aux frontières, les obligations d’enregistrement doivent être remplies dans une section sécurisée non publique de la base de données de l’UE. L’accès à la section sécurisée non publique devrait être strictement limité à la Commission ainsi qu’aux autorités de surveillance du marché pour ce qui concerne leur section nationale de cette base de données. Les systèmes d’intelligence artificielle à haut risque dans le domaine de l’infrastructure critique ne devraient être enregistrés qu’au niveau national. La Commission devrait être le contrôleur de la base de données de l’UE, conformément au règlement (UE) 2018/1725. Afin d’assurer la pleine fonctionnalité de la base de données de l’UE lorsqu’elle est déployée, la procédure de mise en place de la base de données devrait inclure le développement de spécifications fonctionnelles par la Commission et un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité lorsqu’elle s’acquitte de ses tâches de contrôleur de données sur la base de données de l’UE. Afin de maximiser la disponibilité et l’utilisation de la base de données de l’UE par le public, la base de données de l’UE, y compris les informations mises à disposition par son intermédiaire, devrait être conforme aux exigences de la directive (UE) 2019/882.
1. Les fournisseurs doivent veiller à ce que les systèmes d’intelligence artificielle destinés à interagir directement avec des personnes physiques soient conçus et développés de manière à ce que les personnes physiques concernées soient informées qu’elles interagissent avec un système d’intelligence artificielle, à moins que cela ne soit évident du point de vue d’une personne physique raisonnablement bien informée, consciente et prudente, compte tenu des circonstances et du contexte de l’utilisation. Cette obligation ne s’applique pas aux systèmes d’intelligence artificielle autorisés par la loi à détecter, prévenir, enquêter ou poursuivre des infractions pénales, sous réserve de garanties appropriées pour les droits et libertés des tiers, à moins que ces systèmes ne soient à la disposition du public pour signaler une infraction pénale.
(132) Certains systèmes d’intelligence artificielle destinés à interagir avec des personnes physiques ou à générer du contenu peuvent présenter des risques spécifiques d’impersonnalisation ou de déception, qu’ils soient ou non considérés comme à haut risque. Dans certaines circonstances, l’utilisation de ces systèmes devrait donc être soumise à des obligations de transparence spécifiques, sans préjudice des exigences et des obligations applicables aux systèmes d’IA à haut risque, et faire l’objet d’exceptions ciblées pour tenir compte des besoins particuliers de l’application de la loi. En particulier, les personnes physiques devraient être informées qu’elles interagissent avec un système d’IA, sauf si cela est évident du point de vue d’une personne physique raisonnablement bien informée, observatrice et prudente, qui tient compte des circonstances et du contexte de l’utilisation. Lors de la mise en œuvre de cette obligation, les caractéristiques des personnes physiques appartenant à des groupes vulnérables en raison de leur âge ou de leur handicap devraient être prises en compte dans la mesure où le système d’IA est destiné à interagir avec ces groupes également. En outre, les personnes physiques devraient être informées lorsqu’elles sont exposées à des systèmes d’IA qui, par le traitement de leurs données biométriques, peuvent identifier ou inférer les émotions ou les intentions de ces personnes ou les affecter à des catégories spécifiques. Ces catégories spécifiques peuvent concerner des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les caractéristiques personnelles, l’origine ethnique, les préférences et les intérêts personnels. Ces informations et notifications devraient être fournies dans des formats accessibles aux personnes handicapées.
2. Les fournisseurs de systèmes d’intelligence artificielle, y compris les systèmes d’intelligence artificielle à usage général, qui génèrent du contenu synthétique audio, image, vidéo ou texte, doivent s’assurer que les sorties du système d’intelligence artificielle sont marquées dans un format lisible par une machine et qu’elles peuvent être détectées comme étant générées ou manipulées artificiellement. Les fournisseurs doivent s’assurer que leurs solutions techniques sont efficaces, interopérables, robustes et fiables dans la mesure où cela est techniquement possible, en tenant compte des spécificités et des limitations des différents types de contenu, des coûts de mise en œuvre et de l’état de l’art généralement reconnu, tel qu’il peut être reflété dans les normes techniques pertinentes. Cette obligation ne s’applique pas dans la mesure où les systèmes d’IA exercent une fonction d’assistance à l’édition standard ou ne modifient pas substantiellement les données d’entrée fournies par le déployeur ou la sémantique de celles-ci, ou lorsqu’ils sont autorisés par la loi à détecter, à prévenir, à enquêter ou à poursuivre des infractions pénales.
3. Les déployeurs d’un système de reconnaissance des émotions ou d’un système de catégorisation biométrique doivent informer les personnes physiques exposées du fonctionnement du système et traiter les données à caractère personnel conformément aux règlements (UE) 2016/679 et (UE) 2018/1725 et à la directive (UE) 2016/680, selon le cas. Cette obligation ne s’applique pas aux systèmes d’intelligence artificielle utilisés pour la catégorisation biométrique et la reconnaissance des émotions, qui sont autorisés par la loi pour détecter, prévenir ou enquêter sur des infractions pénales, sous réserve de garanties appropriées pour les droits et libertés des tiers, et conformément au droit de l’Union.
(94) Tout traitement de données biométriques impliqué dans l’utilisation de systèmes d’intelligence artificielle pour l’identification biométrique à des fins d’application de la loi doit être conforme à l’article 10 de la directive (UE) 2016/680, qui autorise un tel traitement uniquement lorsqu’il est strictement nécessaire, sous réserve de garanties appropriées pour les droits et libertés du sujet des données, et lorsqu’il est autorisé par le droit de l’Union ou des États membres. Une telle utilisation, lorsqu’elle est autorisée, doit également respecter les principes énoncés à l’article 4 (1) de la directive (UE) 2016/680, y compris la légalité, l’équité et la transparence, la limitation des finalités, l’exactitude et la limitation du stockage.
4. Les utilisateurs d’un système d’intelligence artificielle qui génère ou manipule des images, des sons ou des vidéos constituant un faux en profondeur doivent révéler que le contenu a été généré ou manipulé artificiellement. Cette obligation ne s’applique pas lorsque l’utilisation est autorisée par la loi pour détecter, prévenir, enquêter ou poursuivre des infractions pénales. Lorsque le contenu fait partie d’une œuvre ou d’un programme manifestement artistique, créatif, satirique, fictionnel ou analogue, les obligations de transparence énoncées dans le présent paragraphe se limitent à la divulgation de l’existence d’un tel contenu généré ou manipulé d’une manière appropriée qui n’entrave pas la visualisation ou la jouissance de l’œuvre.
Les exploitants d’un système d’intelligence artificielle qui génère ou manipule des textes publiés dans le but d’informer le public sur des questions d’intérêt public doivent révéler que le texte a été généré ou manipulé artificiellement. Cette obligation ne s’applique pas lorsque l’utilisation est autorisée par la loi pour détecter, prévenir, enquêter ou poursuivre des infractions pénales ou lorsque le contenu généré par IA a fait l’objet d’un processus de révision humaine ou d’un contrôle éditorial et lorsqu’une personne physique ou morale assume la responsabilité éditoriale de la publication du contenu.
(133) Une variété de systèmes d’IA peut générer de grandes quantités de contenu synthétique qu’il devient de plus en plus difficile pour l’homme de distinguer du contenu authentique et généré par l’homme. La large disponibilité et les capacités croissantes de ces systèmes ont un impact significatif sur l’intégrité et la confiance dans l’écosystème de l’information, créant de nouveaux risques de désinformation et de manipulation à grande échelle, de fraude, d’impersonnalisation et de tromperie des consommateurs. Compte tenu de ces impacts, de la rapidité du rythme technologique et du besoin de nouvelles méthodes et techniques pour retracer l’origine des informations, il est approprié d’exiger des fournisseurs de ces systèmes qu’ils intègrent des solutions techniques qui permettent de marquer dans un format lisible par une machine et de détecter que la sortie a été générée ou manipulée par un système IA et non par un humain. Ces techniques et méthodes devraient être suffisamment fiables, interopérables, efficaces et robustes dans la mesure où cela est techniquement possible, en tenant compte des techniques disponibles ou d’une combinaison de telles techniques, telles que les filigranes, l’identification des métadonnées, les méthodes cryptographiques de preuve et d’authenticité du contenu, les méthodes d’enregistrement, les empreintes digitales ou d’autres techniques, selon le cas. Lors de la mise en œuvre de cette obligation, les fournisseurs devraient également tenir compte des spécificités et des limites des différents types de contenu et des évolutions technologiques et commerciales pertinentes dans ce domaine, telles qu’elles sont reflétées dans l’état de l’art généralement reconnu. Ces techniques et méthodes peuvent être mises en œuvre au niveau du système d’intelligence artificielle ou au niveau du modèle d’intelligence artificielle, y compris des modèles d’intelligence artificielle à usage général générant du contenu, facilitant ainsi le respect de cette obligation par le fournisseur en aval du système d’intelligence artificielle. Pour rester proportionné, il convient d’envisager que cette obligation de marquage ne couvre pas les systèmes d’IA ayant principalement une fonction d’assistance à l’édition standard ou les systèmes d’IA qui ne modifient pas substantiellement les données d’entrée fournies par le déployeur ou la sémantique de ces données.
(134) En plus des solutions techniques employées par les fournisseurs du système d’intelligence artificielle, les déployeurs qui utilisent un système d’intelligence artificielle pour générer ou manipuler des images, des sons ou des vidéos qui ressemblent de manière significative à des personnes, des objets, des lieux, des entités ou des événements existants et qui paraîtraient faussement authentiques ou véridiques à une personne (fausses informations), devraient également indiquer clairement et de manière distincte que le contenu a été créé ou manipulé artificiellement en étiquetant la sortie du système d’intelligence artificielle en conséquence et en révélant son origine artificielle. Le respect de cette obligation de transparence ne doit pas être interprété comme l’indication que l’utilisation du système IA ou de sa production entrave le droit à la liberté d’expression et le droit à la liberté des arts et des sciences garantis par la Charte, en particulier lorsque le contenu fait partie d’une œuvre ou d’un programme manifestement créatif, satirique, artistique, fictionnel ou analogue, sous réserve de garanties appropriées pour les droits et libertés des tiers. Dans ces cas, l’obligation de transparence pour les fakes profonds prévue par le présent règlement est limitée à la divulgation de l’existence d’un tel contenu généré ou manipulé d’une manière appropriée qui n’entrave pas la présentation ou la jouissance de l’œuvre, y compris son exploitation et son utilisation normales, tout en préservant l’utilité et la qualité de l’œuvre. En outre, il est également approprié d’envisager une obligation de divulgation similaire en ce qui concerne le texte généré ou manipulé par l’IA, dans la mesure où il est publié dans le but d’informer le public sur des questions d’intérêt public, à moins que le contenu généré par l’IA n’ait fait l’objet d’un processus de révision humaine ou d’un contrôle éditorial et qu’une personne physique ou morale n’assume la responsabilité éditoriale de la publication du contenu.
5. Les informations visées aux paragraphes 1 à 4 sont fournies aux personnes physiques concernées de manière claire et facilement identifiable, au plus tard au moment de la première interaction ou exposition. Les informations doivent être conformes aux exigences applicables en matière d’accessibilité.
(136) Les obligations imposées aux fournisseurs et aux déployeurs de certains systèmes d’intelligence artificielle par le présent règlement de permettre la détection et la divulgation du fait que les résultats de ces systèmes sont générés ou manipulés de manière artificielle sont particulièrement pertinentes pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela s’applique en particulier en ce qui concerne les obligations des fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne d’identifier et d’atténuer les risques systémiques qui pourraient découler de la diffusion de contenus qui ont été générés ou manipulés artificiellement, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat civique et les processus électoraux, y compris par le biais de la désinformation. L’obligation d’étiqueter le contenu généré par les systèmes d’intelligence artificielle en vertu du présent règlement est sans préjudice de l’obligation prévue à l’article 16, paragraphe 6, du règlement (UE) 2022/2065 pour les fournisseurs de services d’hébergement de traiter les notifications de contenus illicites reçues conformément à l’article 16, paragraphe 1, dudit règlement et ne devrait pas influencer l’évaluation et la décision concernant le caractère illicite du contenu spécifique. Cette évaluation doit être effectuée uniquement en référence aux règles régissant la légalité du contenu.
6. Les paragraphes 1 à 4 n’affectent pas les exigences et obligations énoncées au chapitre III et ne portent pas atteinte aux autres obligations de transparence prévues par le droit de l’Union ou le droit national pour les personnes qui déploient des systèmes d’identification automatique.
(137) Le respect des obligations de transparence pour les systèmes d’intelligence artificielle couverts par le présent règlement ne doit pas être interprété comme une indication que l’utilisation du système d’intelligence artificielle ou de ses résultats est licite au regard du présent règlement ou d’autres législations de l’Union et des États membres, et ne doit pas porter préjudice aux autres obligations de transparence imposées aux fournisseurs de systèmes d’intelligence artificielle par la législation de l’Union ou la législation nationale.
7. L’AI Office encourage et facilite l’élaboration de codes de bonnes pratiques au niveau de l’Union afin de faciliter la mise en œuvre effective des obligations en matière de détection et d’étiquetage des contenus créés ou manipulés artificiellement. La Commission peut adopter des actes d’exécution pour approuver ces codes de conduite conformément à la procédure prévue à l’article 56, paragraphe 6. Si elle estime que le code n’est pas adéquat, la Commission peut adopter un acte d’exécution précisant les règles communes pour la mise en œuvre de ces obligations, conformément à la procédure d’examen prévue à l’article 98, paragraphe 2.
(135) Sans préjudice du caractère obligatoire et de la pleine applicabilité des obligations de transparence, la Commission peut également encourager et faciliter l’élaboration de codes de conduite au niveau de l’Union afin de faciliter la mise en œuvre effective des obligations relatives à la détection et à l’étiquetage des contenus créés ou manipulés artificiellement, y compris pour soutenir des arrangements pratiques visant à rendre, le cas échéant, les mécanismes de détection accessibles et à faciliter la coopération avec d’autres acteurs tout au long de la chaîne de valeur, à diffuser des contenus ou à vérifier leur authenticité et leur provenance afin de permettre au public de distinguer efficacement les contenus générés par des moyens artificiels.
1. Un modèle d’AI à usage général doit être classé comme modèle d’AI à usage général présentant un risque systémique s’il remplit l’une des conditions suivantes :
(a) il a des capacités d’impact élevé évaluées sur la base d’outils techniques et de méthodologies appropriés, y compris des indicateurs et des critères de référence ;
(b) based on a decision of the Commission, ex officio or following a qualified alert from the scientific panel, it has capabilities or an impact equivalent to those set out in point (a) having regard to the criteria set out in Annex XIII.
2. Un modèle d’IA à usage général est présumé avoir des capacités d’impact élevé conformément au paragraphe 1, point (a), si la quantité cumulée de calcul utilisée pour son entraînement, mesurée dans des opérations à point flottant, est supérieure à 1025.
3. La Commission adopte des actes délégués conformément à l’article 97 pour modifier les seuils visés aux paragraphes 1 et 2 du présent article, ainsi que pour compléter, si nécessaire, les critères et indicateurs de référence à la lumière de l’évolution des technologies, comme les améliorations algorithmiques ou l’accroissement de l’efficacité du matériel, afin que ces seuils reflètent l’état de l’art.
(110) Les modèles d’IA à usage général pourraient poser des risques systémiques qui incluent, mais ne sont pas limités à, tout effet négatif réel ou prévisible en rapport avec des accidents majeurs, des perturbations de secteurs critiques et des conséquences sérieuses pour la santé et la sécurité publiques ; tout effet négatif réel ou prévisible sur les processus démocratiques, la sécurité publique et économique ; la diffusion de contenus illégaux, faux ou discriminatoires. Les risques systémiques doivent être considérés comme augmentant avec les capacités et la portée du modèle, peuvent survenir tout au long du cycle de vie du modèle, et sont influencés par les conditions d’abus, la fiabilité du modèle, l’équité et la sécurité du modèle, le niveau d’autonomie du modèle, son accès aux outils, les modalités nouvelles ou combinées, les stratégies de diffusion et de distribution, le potentiel de suppression des garde-fous et d’autres facteurs. In particular, international approaches have identified up to the need to pay attention to risks from potential intentional misuse or unintended issues of control relating to alignment with human intent ; chemical, biological, radiological, and nuclear risks, such as the ways in which barriers to entry can be lowered, including for weapons development, design acquisition, or use ; offensive cyber capabilities, such as the ways in vulnerability discovery, exploitation, or operational use can be enabled ; the effects of interaction and tool use, including for example the capacity to control physical systems and interfere with critical infrastructure ; risks from models of making copies of themselves or ’self-replicating’ or training other models ; the ways in which models can give rise to harmful bias and discrimination with risks to individuals, communities or societies ; the facilitation of disinformation or harming privacy with threats to democratic values and human rights ; risk that a particular event could lead to a chain reaction with considerable negative effects that could affect up to an entire city, an entire domain activity or an entire community.
(111) Il est approprié d’établir une méthodologie pour la classification des modèles d’IA à usage général en tant que modèles d’IA à usage général présentant des risques systémiques. Étant donné que les risques systémiques résultent de capacités particulièrement élevées, un modèle d’IA à usage général devrait être considéré comme présentant des risques systémiques s’il possède des capacités à fort impact, évaluées sur la base d’outils techniques et de méthodologies appropriés, ou un impact significatif sur le marché interne en raison de sa portée. Les capacités à fort impact dans les modèles d’IA à usage général sont des capacités qui correspondent ou dépassent les capacités enregistrées dans les modèles d’IA à usage général les plus avancés. La gamme complète des capacités d’un modèle pourrait être mieux comprise après sa mise sur le marché ou lorsque les déployeurs interagissent avec le modèle. Selon l’état de l’art au moment de l’entrée en vigueur du présent règlement, la quantité cumulée de calcul utilisée pour l’entraînement du modèle d’IA à usage général mesurée dans des opérations à points flottants est l’une des approximations pertinentes pour les capacités du modèle. La quantité cumulée de calcul utilisée pour l’entraînement comprend le calcul utilisé dans le cadre des activités et des méthodes destinées à améliorer les capacités du modèle avant le déploiement, telles que le pré-entraînement, la génération de données synthétiques et le réglage fin. Par conséquent, un seuil initial d’opérations à point flottant devrait être fixé, qui, s’il est atteint par un modèle d’IA à usage général, conduit à une présomption que le modèle est un modèle d’IA à usage général présentant des risques systémiques. Ce seuil devrait être ajusté au fil du temps pour refléter les changements technologiques et industriels, tels que les améliorations algorithmiques ou l’augmentation de l’efficacité du matériel, et devrait être complété par des points de référence et des indicateurs de la capacité du modèle.
Pour ce faire, le Bureau AI devrait s’engager avec la communauté scientifique, l’industrie, la société civile et d’autres experts. Les seuils, ainsi que les outils et les critères de référence pour l’évaluation des capacités à fort impact, devraient être des prédicteurs forts de la généralité, de ses capacités et du risque systémique associé des modèles d’IA à usage général, et pourraient prendre en compte la manière dont le modèle sera placé sur le marché ou le nombre d’utilisateurs qu’il pourrait affecter. Pour compléter ce système, il devrait être possible pour la Commission de prendre des décisions individuelles désignant un modèle d’IA à usage général comme modèle d’IA à risque systémique s’il est constaté que ce modèle a des capacités ou un impact équivalents à ceux capturés par le seuil fixé. Cette décision devrait être prise sur la base d’une évaluation globale des critères de désignation d’un modèle d’IA à usage général présentant un risque systémique énoncés dans une annexe au présent règlement, tels que la qualité ou la taille de l’ensemble de données de formation, le nombre d’utilisateurs professionnels et finaux, ses modalités d’entrée et de sortie, son niveau d’autonomie et d’évolutivité, ou les outils auxquels il a accès.
Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’IA à usage général présentant un risque systémique, la Commission devrait prendre en compte la demande et pourrait décider de réévaluer si le modèle d’IA à usage général peut encore être considéré comme présentant des risques systémiques.
1. Lorsqu’un modèle d’IA à usage général remplit la condition visée à l’article 51, paragraphe 1, point a), le fournisseur concerné doit en informer la Commission sans délai et, en tout état de cause, dans les deux semaines suivant la mise en œuvre de cette exigence ou la prise de connaissance de sa mise en œuvre. Cette notification comprend les informations nécessaires pour démontrer que l’exigence pertinente a été respectée. Si la Commission prend connaissance d’un modèle d’IA à usage général présentant des risques systémiques dont elle n’a pas été informée, elle peut décider de le désigner comme un modèle présentant un risque systémique.
2. Le fournisseur d’un modèle d’IA à usage général qui remplit la condition visée à l’article 51(1), point (a), peut présenter, lors de sa notification, des arguments suffisamment étayés pour démontrer que, exceptionnellement, bien qu’il remplisse cette exigence, le modèle d’IA à usage général ne présente pas, en raison de ses caractéristiques spécifiques, de risques systémiques et ne devrait donc pas être classé comme modèle d’IA à usage général présentant un risque systémique.
3. Si la Commission conclut que les arguments présentés conformément au paragraphe 2 ne sont pas suffisamment étayés et que le fournisseur concerné n’a pas été en mesure de démontrer que le modèle d’IA à usage général ne présente pas, en raison de ses caractéristiques spécifiques, de risques systémiques, elle rejette ces arguments, et le modèle d’IA à usage général est considéré comme un modèle d’IA à usage général présentant un risque systémique.
4. La Commission peut désigner un modèle d’IA à usage général comme présentant des risques systémiques, d’office ou à la suite d’une alerte qualifiée du groupe scientifique conformément à l’article 90, paragraphe 1, point (a), sur la base des critères énoncés à l’annexe XIII.
La Commission est habilitée à adopter des actes délégués conformément à l’article 97 en vue de modifier l’annexe XIII en précisant et en actualisant les critères énoncés dans cette annexe.
5. Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’AI à vocation générale présentant un risque systémique conformément au paragraphe 4, la Commission prend en considération la demande et peut décider de réévaluer si le modèle d’AI à vocation générale peut encore être considéré comme présentant des risques systémiques sur la base des critères énoncés à l’annexe XIII. Cette demande doit comporter des motifs objectifs, détaillés et nouveaux qui ont pris naissance depuis la décision de désignation. Les fournisseurs peuvent demander une réévaluation au plus tôt six mois après la décision de désignation. Si, à la suite de sa réévaluation, la Commission décide de maintenir la désignation en tant que modèle d’AI à usage général présentant un risque systémique, les fournisseurs peuvent demander une réévaluation au plus tôt six mois après cette décision.
6. La Commission veille à ce qu’une liste des modèles d’IA à usage général présentant un risque systémique soit publiée et tient cette liste à jour, sans préjudice de la nécessité de respecter et de protéger les droits de propriété intellectuelle et les informations commerciales confidentielles ou les secrets commerciaux, conformément au droit de l’Union et au droit national.
(112) Il est également nécessaire de clarifier une procédure pour la classification d’un modèle d’IA à usage général présentant des risques systémiques. Un modèle d’IA à usage général qui répond au seuil applicable pour les capacités à fort impact devrait être présumé être un modèle d’IA à usage général présentant un risque systémique. Le fournisseur devrait informer l’AI Office au plus tard deux semaines après que les exigences ont été remplies ou qu’il est devenu évident qu’un modèle d’IA à usage général répondra aux exigences qui conduisent à la présomption. Ceci est particulièrement pertinent en ce qui concerne le seuil des opérations à points flottants, car l’entraînement des modèles d’IA à usage général nécessite une planification importante, qui inclut l’allocation en amont des ressources de calcul et, par conséquent, les fournisseurs de modèles d’IA à usage général sont en mesure de savoir si leur modèle atteindrait le seuil avant que l’entraînement ne soit achevé. Dans le cadre de cette notification, le fournisseur devrait être en mesure de démontrer que, en raison de ses caractéristiques spécifiques, un modèle d’IA à usage général ne présente pas de risques systémiques, et qu’il ne devrait donc pas être classé comme un modèle d’IA à usage général présentant des risques systémiques. Cette information est précieuse pour que l’AI Office puisse anticiper la mise sur le marché de modèles d’IA à usage général présentant des risques systémiques et que les fournisseurs puissent commencer à s’engager avec l’AI Office dès le début. Cette information est particulièrement importante en ce qui concerne les modèles d’IA à usage général dont la sortie en open source est prévue, étant donné qu’après la sortie du modèle en open source, les mesures nécessaires pour assurer la conformité avec les obligations prévues par le présent règlement peuvent être plus difficiles à mettre en œuvre.
(113) Si la Commission se rend compte qu’un modèle d’IA à usage général répond aux exigences pour être classé comme modèle d’IA à usage général présentant un risque systémique, ce qui n’était pas connu auparavant ou dont le fournisseur concerné n’a pas notifié la Commission, celle-ci devrait avoir le pouvoir de le désigner ainsi. Un système d’alertes qualifiées devrait garantir que l’AI Office soit informé par le panel scientifique des modèles d’IA à usage général qui pourraient éventuellement être classés comme modèles d’IA à usage général présentant un risque systémique, en plus des activités de surveillance de l’AI Office.
(101) Les fournisseurs de modèles d’IA à usage général ont un rôle et une responsabilité particuliers le long de la chaîne de valeur de l’IA, étant donné que les modèles qu’ils fournissent peuvent constituer la base d’une série de systèmes en aval, souvent fournis par des fournisseurs en aval, qui nécessitent une bonne compréhension des modèles et de leurs capacités, à la fois pour permettre l’intégration de ces modèles dans leurs produits et pour satisfaire à leurs obligations en vertu de la présente réglementation ou d’autres réglementations. Par conséquent, des mesures de transparence proportionnées devraient être mises en place, y compris l’établissement et le maintien à jour de la documentation, et la mise à disposition d’informations sur le modèle d’IA à usage général pour son utilisation par les fournisseurs en aval. La documentation technique doit être préparée et tenue à jour par le fournisseur du modèle d’IA à usage général dans le but d’être mise à la disposition, sur demande, de l’AI Office et des autorités nationales compétentes. L’ensemble minimal d’éléments à inclure dans cette documentation devrait être défini dans des annexes spécifiques au présent règlement. La Commission devrait être habilitée à modifier ces annexes par voie d’actes délégués à la lumière de l’évolution des technologies.
(109) La conformité avec les obligations applicables aux fournisseurs de modèles d’IA à usage général devrait être proportionnée au type de fournisseur de modèles, à l’exclusion de la nécessité de conformité pour les personnes qui développent ou utilisent des modèles à des fins de recherche non professionnelle ou scientifique, qui devraient néanmoins être encouragées à se conformer volontairement à ces obligations. Sans préjudice de la législation de l’Union sur les droits d’auteur, la conformité avec ces obligations devrait tenir dûment compte de la taille du fournisseur et permettre des moyens simplifiés de conformité pour les PME, y compris les start-ups, qui ne devraient pas représenter un coût excessif ni décourager l’utilisation de tels modèles. En cas de modification ou de mise au point d’un modèle, les obligations des fournisseurs de modèles d’IA à usage général devraient être limitées à cette modification ou à cette mise au point, par exemple en complétant la documentation technique existante par des informations sur les modifications, y compris de nouvelles sources de données de formation, en tant que moyen de satisfaire aux obligations relatives à la chaîne de valeur prévues par le présent règlement.
1. Les fournisseurs de modèles d’IA à usage général doivent :
(a) établissent et tiennent à jour la documentation technique du modèle, y compris son processus de formation et d’essai et les résultats de son évaluation, qui doit contenir au minimum les informations prévues à l’annexe XI, en vue de la mettre à la disposition, sur demande, de l’Office AI et des autorités nationales compétentes ;
(b) établir, tenir à jour et mettre à disposition des informations et de la documentation pour les fournisseurs de systèmes d’intelligence artificielle qui ont l’intention d’intégrer le modèle d’intelligence artificielle à usage général dans leurs systèmes d’intelligence artificielle. Sans préjudice de la nécessité d’observer et de protéger les droits de propriété intellectuelle et les informations commerciales confidentielles ou les secrets commerciaux conformément au droit de l’Union et au droit national, les informations et la documentation doivent :
(i) permettent aux fournisseurs de systèmes d’intelligence artificielle d’avoir une bonne compréhension des capacités et des limites du modèle d’intelligence artificielle à usage général et de se conformer aux obligations qui leur incombent en vertu du présent règlement ; et
(ii) contiennent, au minimum, les éléments définis à l’annexe XII ;
(c) met en place une politique visant à se conformer à la législation de l’Union européenne sur le droit d’auteur et les droits voisins, et en particulier à identifier et à se conformer, y compris par le biais de technologies de pointe, à une réserve de droits exprimée conformément à l’article 4(3) de la Directive (UE) 2019/790 ;
(105) Les modèles d’IA à usage général, en particulier les modèles d’IA génératifs de grande taille, capables de générer du texte, des images et d’autres contenus, présentent des opportunités d’innovation uniques, mais aussi des défis pour les artistes, auteurs et autres créateurs, ainsi que pour la manière dont leurs contenus créatifs sont créés, distribués, utilisés et consommés. Le développement et la formation de tels modèles nécessitent l’accès à de grandes quantités de textes, d’images, de vidéos et d’autres données. Les techniques d’exploration de texte et de données peuvent être largement utilisées dans ce contexte pour la récupération et l’analyse de ces contenus, qui peuvent être protégés par des droits d’auteur et des droits connexes. Toute utilisation de contenus protégés par des droits d’auteur requiert l’autorisation du titulaire des droits concerné, à moins que des exceptions et limitations pertinentes en matière de droits d’auteur ne s’appliquent. La directive (UE) 2019/790 a introduit des exceptions et des limitations permettant la reproduction et l’extraction d’œuvres ou d’autres sujets, à des fins d’exploration de texte et de données, sous certaines conditions. En vertu de ces règles, les titulaires de droits peuvent choisir de réserver leurs droits sur leurs œuvres ou autres sujets afin d’empêcher l’extraction de texte et de données, sauf si cela est fait à des fins de recherche scientifique. Lorsque le droit de dérogation a été expressément réservé de manière appropriée, les fournisseurs de modèles d’intelligence artificielle à usage général doivent obtenir l’autorisation des titulaires de droits s’ils souhaitent effectuer des recherches de texte et de données sur de telles œuvres.
(106) Les fournisseurs qui placent des modèles d’IA à usage général sur le marché de l’Union devraient assurer la conformité avec les obligations pertinentes du présent règlement. cet effet, les fournisseurs de modèles d’IA à usage général devraient mettre en place une politique de conformité avec la législation de l’Union sur le droit d’auteur et les droits connexes, en particulier pour identifier et respecter la réserve de droits exprimée par les titulaires de droits conformément à l’article 4, paragraphe 3, de la directive (UE) 2019/790. Tout fournisseur plaçant un modèle d’IA à usage général sur le marché de l’Union devrait se conformer à cette obligation, quelle que soit la juridiction dans laquelle se déroulent les actes relevant du droit d’auteur qui sous-tendent la formation de ces modèles d’IA à usage général. Ceci est nécessaire pour assurer un terrain d’égalité entre les fournisseurs de modèles d’IA à usage général, où aucun fournisseur ne devrait être en mesure de gagner un avantage concurrentiel sur le marché de l’Union en appliquant des normes de droit d’auteur inférieures à celles fournies dans l’Union.
(108) En ce qui concerne les obligations imposées aux fournisseurs de modèles d’IA à usage général de mettre en place une politique de conformité avec la législation de l’Union sur les droits d’auteur et de mettre à la disposition du public un résumé du contenu utilisé pour la formation, l’AI Office devrait contrôler si le fournisseur s’est acquitté de ces obligations sans vérifier ou procéder à une évaluation travail par travail des données de la formation en termes de conformité avec les droits d’auteur. Le présent règlement n’a pas d’incidence sur l’application des règles relatives au droit d’auteur telles qu’elles sont prévues par le droit de l’Union.
(d) élaborer et mettre à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour la formation au modèle d’intelligence artificielle à usage général, conformément à un modèle fourni par l’AI Office.
(107) Afin d’accroître la transparence des données utilisées dans la préformation et la formation des modèles d’intelligence artificielle à usage général, y compris les textes et les données protégés par le droit d’auteur, il est suffisant que les fournisseurs de ces modèles établissent et mettent à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour la formation du modèle d’intelligence artificielle à usage général. Tout en tenant compte de la nécessité de protéger les secrets commerciaux et les informations commerciales confidentielles, ce modèle devrait être généralement complet dans son champ d’application plutôt que techniquement détaillé pour permettre aux parties ayant des intérêts légitimes, y compris les détenteurs de droits d’auteur, d’exercer et d’appliquer leurs droits en vertu de la législation de l’Union, par exemple en énumérant les principales collections ou ensembles de données qui ont servi à la formation du modèle, tels que les grandes bases de données privées ou publiques ou les archives de données, et en fournissant une explication narrative sur les autres sources de données utilisées. Il est approprié pour l’AI Office de fournir un modèle pour le résumé, qui devrait être simple, efficace, et permettre au fournisseur de fournir le résumé requis sous forme narrative.
2. Les obligations énoncées au paragraphe 1, points (a) et (b), ne s’appliquent pas aux fournisseurs de modèles d’IA qui sont publiés sous une licence libre et ouverte permettant l’accès, l’utilisation, la modification et la distribution du modèle, et dont les paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont mis à la disposition du public. Cette exception ne s’applique pas aux modèles AI à usage général présentant des risques systémiques.
(102) Les logiciels et les données, y compris les modèles, publiés sous une licence libre et open source qui permette leur partage ouvert et où les utilisateurs puissent librement y accéder, les utiliser, les modifier et les redistribuer, ou des versions modifiées de ceux-ci, peuvent contribuer à la recherche et à l’innovation sur le marché et peuvent offrir des opportunités de croissance significatives pour l’économie de l’Union. Les modèles d’IA à usage général publiés sous des licences libres et à source ouverte devraient être considérés comme garantissant des niveaux élevés de transparence et d’ouverture si leurs paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle sont mis à la disposition du public. La licence devrait être considérée comme libre et open-source également lorsqu’elle permet aux utilisateurs d’exécuter, de copier, de distribuer, d’étudier, de modifier et d’améliorer des logiciels et des données, y compris des modèles, à condition que le fournisseur original du modèle soit crédité, que les conditions de distribution identiques ou comparables soient respectées.
3. Les fournisseurs de modèles d’IA à usage général coopèrent, en tant que de besoin, avec la Commission et les autorités nationales compétentes dans l’exercice des compétences et des pouvoirs qui leur sont conférés par le présent règlement.
4. Les fournisseurs de modèles d’IA à usage général peuvent se fonder sur des codes de bonne pratique au sens de l’article 56 pour démontrer leur conformité aux obligations énoncées au paragraphe 1 du présent article, jusqu’à ce qu’une norme harmonisée soit publiée. La conformité aux normes harmonisées européennes confère aux fournisseurs une présomption de conformité dans la mesure où ces normes couvrent ces obligations. Les fournisseurs de modèles d’IA à usage général qui n’adhèrent pas à un code de pratique approuvé ou qui ne respectent pas une norme harmonisée européenne doivent démontrer d’autres moyens adéquats de conformité en vue d’une évaluation par la Commission.
5. Afin de faciliter le respect de l’annexe XI, en particulier des points 2 (d) et (e) de celle-ci, la Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour détailler les méthodes de mesure et de calcul en vue de permettre une documentation comparable et vérifiable.
6. La Commission est habilitée à adopter des actes délégués conformément à l’article 97, paragraphe 2, afin de modifier les annexes XI et XII à la lumière de l’évolution des technologies.
7. Toute information ou documentation obtenue en vertu du présent article, y compris les secrets commerciaux, est traitée conformément aux obligations de confidentialité énoncées à l’article 78.
(85) Les systèmes d’IA à usage général peuvent être utilisés comme des systèmes d’IA à haut risque en tant que tels ou comme composants d’autres systèmes d’IA à haut risque. Par conséquent, en raison de leur nature particulière et afin d’assurer un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, les fournisseurs de ces systèmes devraient, indépendamment du fait qu’ils puissent être utilisés en tant que systèmes d’IA à haut risque en tant que tels par d’autres fournisseurs ou en tant que composants de systèmes d’IA à haut risque et sauf disposition contraire dans le présent règlement, coopérer étroitement avec les fournisseurs des systèmes d’IA à haut risque concernés afin d’assurer leur conformité avec les obligations pertinentes prévues par le présent règlement et avec les autorités compétentes établies en vertu du présent règlement.
1. Avant de mettre un modèle d’IA à usage général sur le marché de l’Union, les fournisseurs établis dans des pays tiers doivent, par mandat écrit, désigner un représentant autorisé établi dans l’Union.
2. Le fournisseur doit permettre à son représentant autorisé d’accomplir les tâches spécifiées dans le mandat reçu du fournisseur.
3. Le représentant autorisé doit exécuter les tâches spécifiées dans le mandat reçu du prestataire. Sur demande, il fournit une copie du mandat à l’Office AI dans l’une des langues officielles des institutions de l’Union. Aux fins du présent règlement, le mandat doit habiliter le représentant autorisé à effectuer les tâches suivantes :
(a) vérifient que la documentation technique spécifiée à l’annexe XI a été établie et que toutes les obligations visées à l’article 53 et, le cas échéant, à l’article 55 ont été remplies par le fournisseur ;
(b) conservent une copie de la documentation technique spécifiée à l’annexe XI à la disposition de l’AI Office et des autorités nationales compétentes, pendant une période de 10 ans après que le modèle d’AI à usage général a été mis sur le marché, ainsi que les coordonnées du fournisseur qui a désigné le représentant agréé ;
(c) fournir à l’AI Office, sur demande motivée, toutes les informations et la documentation, y compris celles mentionnées au point (b), nécessaires pour démontrer le respect des obligations prévues par le présent chapitre ;
(d) coopèrent avec l’AI Office et les autorités compétentes, sur demande motivée, pour toute action qu’ils entreprennent en relation avec le modèle d’IA à usage général, y compris lorsque le modèle est intégré dans des systèmes d’IA mis sur le marché ou mis en service dans l’Union.
4. Le mandat doit permettre au représentant autorisé d’être contacté, en plus ou à la place du fournisseur, par l’AI Office ou les autorités compétentes, pour toutes les questions relatives au respect du présent règlement.
5. Le représentant autorisé met fin au mandat s’il considère ou a des raisons de considérer que le prestataire agit contrairement aux obligations qui lui incombent en vertu du présent règlement. Dans un tel cas, il doit également informer immédiatement l’AI Office de la résiliation du mandat et des raisons qui la motivent.
6. L’obligation énoncée dans le présent article ne s’applique pas aux fournisseurs de modèles d’IA à usage général qui sont publiés sous une licence libre et ouverte permettant l’accès, l’utilisation, la modification et la distribution du modèle, et dont les paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont mis à la disposition du public, à moins que les modèles d’IA à usage général ne présentent des risques systémiques.
(114) Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient être soumis, en plus des obligations imposées aux fournisseurs de modèles d’IA à usage général, à des obligations visant à identifier et à atténuer ces risques et à assurer un niveau adéquat de protection contre la cybersécurité, qu’ils soient fournis sous la forme d’un modèle autonome ou intégrés dans un système ou un produit d’IA. Pour atteindre ces objectifs, ce règlement devrait exiger des fournisseurs qu’ils procèdent aux évaluations nécessaires des modèles, en particulier avant leur première mise sur le marché, y compris la réalisation et la documentation de tests adverses des modèles, y compris, le cas échéant, par des tests internes ou externes indépendants. En outre, les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer en permanence les risques systémiques, par exemple en mettant en place des politiques de gestion des risques, telles que des processus de responsabilité et de gouvernance, en mettant en œuvre un suivi post-commercialisation, en prenant des mesures appropriées tout au long du cycle de vie du modèle et en coopérant avec les acteurs concernés tout au long de la chaîne de valeur de l’IA.
1. En plus des obligations énumérées aux articles 53 et 54, les fournisseurs de modèles d’IA à usage général présentant un risque systémique doivent
(a) effectuent l’évaluation du modèle conformément à des protocoles et outils standardisés reflétant l’état de l’art, y compris la réalisation et la documentation de tests adverses du modèle en vue d’identifier et d’atténuer les risques systémiques ;
(b) évaluer et atténuer les risques systémiques potentiels au niveau de l’Union, y compris leurs sources, qui peuvent provenir du développement, de la mise sur le marché ou de l’utilisation de modèles d’IA à usage général présentant un risque systémique ;
(c) suivre, documenter et rapporter, sans délai, au Bureau de l’AI et, le cas échéant, aux autorités nationales compétentes, les informations pertinentes concernant les incidents graves et les mesures correctives possibles pour y remédier ;
(d) assurer un niveau de protection adéquat en matière de cybersécurité pour le modèle d’IA à usage général présentant un risque systémique et l’infrastructure physique du modèle.
2. Les fournisseurs de modèles d’IA à usage général présentant un risque systémique peuvent se fonder sur des codes de bonnes pratiques au sens de l’article 56 pour démontrer leur conformité aux obligations énoncées au paragraphe 1 du présent article, jusqu’à ce qu’une norme harmonisée soit publiée. La conformité aux normes harmonisées européennes confère aux fournisseurs une présomption de conformité dans la mesure où ces normes couvrent ces obligations. Les fournisseurs de modèles d’IA à usage général présentant un risque systémique qui n’adhèrent pas à un code de pratique approuvé ou qui ne respectent pas une norme harmonisée européenne doivent démontrer d’autres moyens adéquats de conformité en vue de leur évaluation par la Commission.
3. Toute information ou documentation obtenue en vertu du présent article, y compris les secrets commerciaux, est traitée conformément aux obligations de confidentialité énoncées à l’article 78.
(115) Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer les risques systémiques potentiels. Si, malgré les efforts déployés pour identifier et prévenir les risques liés à un modèle d’IA à usage général susceptible de présenter des risques systémiques, le développement ou l’utilisation du modèle provoque un incident grave, le fournisseur de modèle d’IA à usage général doit, sans délai, suivre l’incident et communiquer toute information pertinente et toute mesure corrective éventuelle à la Commission et aux autorités nationales compétentes.
En outre, les fournisseurs devraient assurer un niveau adéquat de protection de cybersécurité pour le modèle et son infrastructure physique, le cas échéant, tout au long du cycle de vie du modèle. La protection de cybersécurité liée aux risques systémiques associés à l’utilisation malveillante ou aux attaques devrait tenir compte des fuites accidentelles de modèles, des sorties non autorisées, du contournement des mesures de sécurité et de la défense contre les cyberattaques, l’accès non autorisé ou le vol de modèles. That protection could be facilitated by securing model weights, algorithms, servers, and data sets, such as through operational security measures for information security, specific cybersecurity policies, adequate technical and established solutions, and cyber and physical access controls, appropriate to the relevant circumstances and the risks involved.
1. L’AI Office encourage et facilite l’élaboration de codes de bonnes pratiques au niveau de l’Union afin de contribuer à la bonne application du présent règlement, en tenant compte des approches internationales.
2. Le Bureau de l’AI et le Conseil s’efforcent de veiller à ce que les codes de pratique couvrent au moins les obligations prévues aux articles 53 et 55, y compris les questions suivantes :
(a) les moyens de garantir que les informations visées à l’article 53, paragraphe 1, points (a) et (b), sont tenues à jour compte tenu de l’évolution du marché et de la technologie ;
(b) le niveau de détail adéquat pour le résumé du contenu utilisé pour la formation ;
(c) l’identification du type et de la nature des risques systémiques au niveau de l’Union, y compris de leurs sources, le cas échéant ;
(d) les mesures, procédures et modalités d’évaluation et de gestion des risques systémiques au niveau de l’Union, y compris la documentation y afférente, qui doivent être proportionnées aux risques, tenir compte de leur sévérité et de leur probabilité et prendre en considération les défis spécifiques que pose la gestion de ces risques, compte tenu des modalités selon lesquelles ces risques peuvent apparaître et se matérialiser tout au long de la chaîne de valeur de l’assurance invalidité.
3. L’AI Office peut inviter tous les fournisseurs de modèles d’IA à usage général, ainsi que les autorités nationales compétentes, à participer à l’élaboration de codes de bonnes pratiques. Les organisations de la société civile, l’industrie, le monde universitaire et d’autres acteurs concernés, tels que les fournisseurs en aval et les experts indépendants, peuvent soutenir le processus.
4. Le Bureau de l’AI et le Conseil s’efforcent de veiller à ce que les codes de pratique définissent clairement leurs objectifs spécifiques et comportent des engagements ou des mesures, y compris des indicateurs clés de performance le cas échéant, pour assurer la réalisation de ces objectifs, et qu’ils tiennent dûment compte des besoins et des intérêts de toutes les parties intéressées, y compris les personnes concernées, au niveau de l’Union.
Le Bureau de l’AI doit s’efforcer de veiller à ce que les participants aux codes de pratique fassent régulièrement rapport au Bureau de l’AI sur la mise en œuvre des engagements et des mesures prises et sur leurs résultats, y compris, le cas échéant, par rapport aux indicateurs de performance clés. Les indicateurs de performance clés et les engagements en matière de rapports doivent refléter les différences de taille et de capacité entre les différents participants.
6. L’AI Office et le Conseil contrôlent et évaluent régulièrement la réalisation des objectifs des codes de pratique par les participants et leur contribution à la bonne application du présent règlement. L’AI Office et le conseil d’administration évaluent si les codes de pratique couvrent les obligations prévues aux articles 53 et 55, et ils contrôlent et évaluent régulièrement la réalisation de leurs objectifs. Ils publient leur évaluation de l’adéquation des codes de pratique.
La Commission peut, par voie d’acte d’exécution, adopter un code de bonne pratique et lui donner une validité générale dans l’Union. Cet acte d’exécution est adopté conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
7. L’AI Office peut inviter tous les fournisseurs de modèles d’IA à usage général à adhérer au code de pratique. Pour les fournisseurs de modèles d’IA à usage général ne présentant pas de risques systémiques, cette adhésion peut être limitée aux obligations prévues à l’article 53, à moins qu’ils ne déclarent explicitement leur intérêt à adhérer au code complet.
8. Le Bureau AI doit également, le cas échéant, encourager et faciliter la révision et l’adaptation des codes de pratique, en particulier à la lumière des normes émergentes. L’AI Office doit contribuer à l’évaluation des normes disponibles.
9. Les codes de pratique doivent être prêts au plus tard le … [neuf mois à compter de la date d’entrée en vigueur du présent règlement]. L’AI Office prend les mesures nécessaires, notamment en invitant les fournisseurs conformément au paragraphe 7.
Si, d’ici … [12 mois à compter de la date d’entrée en vigueur], un code de pratique ne peut être finalisé ou si l’AI Office estime qu’il n’est pas suffisant à la suite de son évaluation en vertu du paragraphe 6 du présent article, la Commission peut prévoir, au moyen d’actes d’exécution, des règles communes pour la mise en œuvre des obligations prévues aux articles 53 et 55, y compris les matières énumérées au paragraphe 2 du présent article. Ces actes d’exécution sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
(116) L’AI Office devrait encourager et faciliter l’élaboration, la révision et l’adaptation de codes de pratique, en tenant compte des approches internationales. Tous les fournisseurs de modèles d’IA à usage général pourraient être invités à participer. Afin de garantir que les codes de pratique reflètent l’état de l’art et tiennent dûment compte d’un ensemble diversifié de perspectives, l’AI Office devrait collaborer avec les autorités nationales compétentes et pourrait, le cas échéant, consulter les organisations de la société civile et d’autres parties prenantes et experts concernés, y compris le groupe scientifique, pour l’élaboration de ces codes. Les codes de pratique devraient couvrir les obligations des fournisseurs de modèles d’IA à usage général et de modèles d’IA à usage général présentant des risques systémiques. En outre, en ce qui concerne les risques systémiques, les codes de pratique devraient aider à établir une taxonomie des risques du type et de la nature des risques systémiques au niveau de l’Union, y compris leurs sources. Les codes de pratique devraient également être axés sur l’évaluation spécifique des risques et les mesures d’atténuation.
(117) Les codes de pratique devraient constituer un outil central pour la conformité correcte avec les obligations prévues par le présent règlement pour les fournisseurs de modèles d’IA à usage général. Les fournisseurs devraient pouvoir se fonder sur des codes de pratique pour démontrer leur conformité aux obligations. Par voie d’actes d’exécution, la Commission peut décider d’approuver un code de pratique et de lui conférer une validité générale dans l’Union ou, à défaut, de prévoir des règles communes pour la mise en œuvre des obligations pertinentes si, au moment où le présent règlement devient applicable, un code de pratique ne peut être finalisé ou n’est pas jugé adéquat par l’AI Office. Dès lors qu’une norme harmonisée est publiée et jugée apte à couvrir les obligations pertinentes par l’AI Office, la conformité à une norme harmonisée européenne devrait conférer aux fournisseurs la présomption de conformité. Les fournisseurs de modèles d’IA à usage général devraient en outre être en mesure de démontrer leur conformité par d’autres moyens appropriés, si des codes de pratique ou des normes harmonisées ne sont pas disponibles ou s’ils choisissent de ne pas s’y référer.
1. Les États membres veillent à ce que leurs autorités compétentes établissent au moins une boîte à outils réglementaire en matière d’assurance invalidité au niveau national, qui doit être opérationnelle d’ici … [24 mois à compter de la date d’entrée en vigueur du présent règlement]. Cette boîte à outils peut également être établie conjointement avec les autorités compétentes d’autres États membres. La Commission peut fournir une assistance technique, des conseils et des outils pour la mise en place et le fonctionnement de sandboxes réglementaires en matière d’intelligence artificielle.
L’obligation visée au premier alinéa peut également être satisfaite par la participation à un cantonnement existant, dans la mesure où cette participation assure un niveau de couverture nationale équivalent pour les États membres participants.
(138) L’IA est une famille de technologies en évolution rapide qui nécessite une surveillance réglementaire et un espace sûr et contrôlé pour l’expérimentation, tout en garantissant une innovation responsable et l’intégration de garanties appropriées et de mesures d’atténuation des risques. Afin d’assurer un cadre juridique qui favorise l’innovation, soit à l’épreuve du temps et résiste aux perturbations, les États membres devraient veiller à ce que leurs autorités nationales compétentes établissent au moins un “bac à sable” réglementaire en matière d’IA au niveau national pour faciliter le développement et le test de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou autrement mis en service. Les États membres pourraient également s’acquitter de cette obligation en participant à des “sandboxes” réglementaires existantes ou en établissant conjointement une “sandbox” avec une ou plusieurs autorités compétentes des États membres, dans la mesure où cette participation offre un niveau de couverture nationale équivalent pour les États membres participants. Les boîtes à outils réglementaires en matière d’IA pourraient être établies sous forme physique, numérique ou hybride et pourraient accueillir des produits physiques ou numériques. Les autorités chargées de la mise en place devraient également veiller à ce que les “sandboxes” réglementaires en matière d’IA disposent des ressources adéquates pour leur fonctionnement, y compris des ressources financières et humaines.
2. Des “sandboxes” réglementaires AI supplémentaires au niveau régional ou local, ou établis conjointement avec les autorités compétentes d’autres États membres, peuvent également être mis en place.
3. Le Contrôleur européen de la protection des données peut également établir une boîte à outils réglementaire AI pour les institutions, organes, bureaux et agences de l’Union et peut exercer les rôles et les fonctions des autorités nationales compétentes conformément au présent chapitre.
4. Les États membres veillent à ce que les autorités compétentes mentionnées aux paragraphes 1 et 2 allouent des ressources suffisantes pour se conformer au présent article de manière effective et en temps voulu. Le cas échéant, les autorités nationales compétentes coopèrent avec d’autres autorités compétentes et peuvent permettre la participation d’autres acteurs de l’écosystème AI. Le présent article n’affecte pas les autres sandboxes réglementaires établies en vertu du droit de l’Union ou du droit national. Les États membres veillent à ce qu’il y ait un niveau de coopération approprié entre les autorités chargées de la surveillance de ces autres “sandboxes” et les autorités nationales compétentes.
5. Les “sandboxes” réglementaires en matière d’IA établies en vertu du paragraphe 1 fournissent un environnement contrôlé qui favorise l’innovation et facilite le développement, la formation, les essais et la validation de systèmes d’IA innovants pendant une période limitée avant leur mise sur le marché ou leur mise en service, conformément à un plan de sandboxing spécifique convenu entre les fournisseurs ou les fournisseurs potentiels et l’autorité compétente. Ces “sandboxes” peuvent inclure des tests dans des conditions réelles, supervisés par ces derniers.
6. Les autorités compétentes fournissent, le cas échéant, des conseils, une supervision et une assistance dans le cadre du cadre réglementaire de l’intelligence artificielle, en vue d’identifier les risques, en particulier pour les droits fondamentaux, la santé et la sécurité, les tests, les mesures de mitigation et leur efficacité par rapport aux obligations et exigences du présent règlement et, le cas échéant, des autres législations nationales et de l’Union supervisées dans le cadre du cadre réglementaire.
7. Les autorités compétentes doivent fournir aux fournisseurs et aux fournisseurs potentiels participant à l’AI regulatory sandbox des conseils sur les attentes réglementaires et sur la manière de se conformer aux exigences et aux obligations prévues par le présent règlement.
la demande du fournisseur ou du fournisseur potentiel du système d’intelligence artificielle, l’autorité compétente doit fournir une preuve écrite des activités menées avec succès dans le bac à sable. L’autorité compétente doit également fournir un rapport de sortie détaillant les activités menées dans le sandbox ainsi que les résultats et les acquis d’apprentissage correspondants. Les fournisseurs peuvent utiliser cette documentation pour démontrer leur conformité au présent règlement par le biais du processus d’évaluation de la conformité ou d’activités de surveillance du marché pertinentes. À cet égard, les rapports de sortie et la preuve écrite fournie par l’autorité nationale compétente doivent être pris en compte de manière positive par les autorités de surveillance du marché et les organismes notifiés, dans le but d’accélérer dans une mesure raisonnable les procédures d’évaluation de la conformité.
8. Sous réserve des dispositions de l’article 78 relatives à la confidentialité et avec l’accord du fournisseur ou du candidat fournisseur, la Commission et le conseil d’administration sont autorisés à accéder aux rapports de sortie et en tiennent compte, le cas échéant, dans l’exercice de leurs fonctions au titre du présent règlement. Si le fournisseur ou le prospect et l’autorité nationale compétente en conviennent explicitement, le rapport de sortie peut être mis à la disposition du public par l’intermédiaire de la plateforme d’information unique visée au présent article.
9. La mise en place de sandboxes réglementaires en matière d’IA doit viser à contribuer aux objectifs suivants :
(a) d’améliorer la sécurité juridique afin d’assurer la conformité réglementaire avec le présent règlement ou, le cas échéant, avec les autres législations nationales et de l’Union applicables ;
(b) soutenir le partage des meilleures pratiques par le biais d’une coopération avec les autorités impliquées dans la boîte à outils réglementaire de l’IA ;
(c) promouvoir l’innovation et la compétitivité et faciliter le développement d’un écosystème AI ;
(d) contribuant à l’apprentissage réglementaire fondé sur des données probantes ;
(e) faciliter et accélérer l’accès au marché de l’Union pour les systèmes d’intelligence artificielle, en particulier lorsqu’ils sont fournis par des PME, y compris des start-ups.
10. Les autorités nationales compétentes veillent à ce que, dans la mesure où les systèmes d’intelligence artificielle innovants impliquent le traitement de données à caractère personnel ou relèvent d’une autre manière du contrôle d’autres autorités nationales ou d’autorités compétentes fournissant ou facilitant l’accès aux données, les autorités nationales chargées de la protection des données et ces autres autorités nationales ou compétentes soient associées au fonctionnement de la boîte noire réglementaire de l’intelligence artificielle et participent à la supervision de ces aspects dans la mesure de leurs tâches et compétences respectives.
11. Les sandboxes réglementaires en matière d’IA ne doivent pas affecter les pouvoirs de surveillance ou de correction des autorités compétentes qui supervisent les sandboxes, y compris au niveau régional ou local. Tout risque significatif pour la santé, la sécurité et les droits fondamentaux identifié lors du développement et des essais de ces systèmes d’intelligence artificielle doit faire l’objet d’une atténuation appropriée.
Les autorités nationales compétentes ont le pouvoir de suspendre temporairement ou définitivement le processus de test ou la participation à la boîte à outils si aucune atténuation efficace n’est possible, et elles informent l’AI Office de cette décision. Les autorités nationales compétentes exercent leurs pouvoirs de surveillance dans les limites de la législation applicable, en utilisant leurs pouvoirs discrétionnaires lors de la mise en œuvre des dispositions légales relatives à un projet de boîte à outils réglementaire spécifique en matière d’intelligence artificielle, dans le but de soutenir l’innovation en matière d’intelligence artificielle dans l’Union.
12. Les fournisseurs et les fournisseurs potentiels participant au cantonnement réglementaire de l’IA restent responsables, conformément au droit de l’Union et au droit national applicable en matière de responsabilité, de tout dommage causé à des tiers à la suite de l’expérimentation menée dans le cantonnement. Toutefois, pour autant que les candidats observent le plan spécifique et les modalités et conditions de leur participation et suivent de bonne foi les conseils donnés par l’autorité nationale compétente, aucune sanction administrative ne sera imposée par les autorités en cas de violation du présent règlement. Lorsque d’autres autorités compétentes responsables d’autres législations de l’Union et nationales ont participé activement à la supervision du système d’assurance-invalidité dans le cadre du cantonnement et ont fourni des conseils sur la conformité, aucune sanction administrative n’est imposée au regard de ces législations.
Les boîtes à outils réglementaires de l’AI doivent être conçues et mises en œuvre de manière à faciliter, le cas échéant, la coopération transfrontalière entre les autorités nationales compétentes.
14. Les autorités nationales compétentes doivent coordonner leurs activités et coopérer dans le cadre du Conseil.
15. Les autorités nationales compétentes informent l’AI Office et le Conseil de l’établissement d’une boîte à outils et peuvent leur demander assistance et conseils. L’AI Office met à la disposition du public une liste des “sandboxes” prévus et existants et la tient à jour afin d’encourager une plus grande interaction dans les “sandboxes” réglementaires en matière d’IA et la coopération transfrontalière.
16. Les autorités nationales compétentes soumettent des rapports annuels au Bureau de l’AI et au Conseil d’administration, à partir d’un an après la mise en place de la boîte à outils réglementaire de l’AI et chaque année par la suite jusqu’à la fin de celle-ci, ainsi qu’un rapport final. Ces rapports fournissent des informations sur l’état d’avancement et les résultats de la mise en œuvre de ces cantonnements, y compris les meilleures pratiques, les incidents, les enseignements tirés et les recommandations concernant leur mise en place et, le cas échéant, sur l’application et la révision éventuelle du présent règlement, y compris ses actes délégués et d’exécution, et sur l’application d’autres législations de l’Union supervisées par les autorités compétentes au sein du cantonnement. Les autorités nationales compétentes mettent ces rapports annuels ou des extraits de ceux-ci à la disposition du public, en ligne. La Commission tient compte, le cas échéant, des rapports annuels dans l’exercice de ses fonctions au titre du présent règlement.
17. La Commission doit développer une interface unique et dédiée contenant toutes les informations pertinentes relatives aux “sandboxes” réglementaires en matière d’intelligence artificielle, afin de permettre aux parties prenantes d’interagir avec les “sandboxes” réglementaires en matière d’intelligence artificielle et de soulever des questions auprès des autorités compétentes, et de rechercher des conseils non contraignants sur la conformité des produits, services et modèles d’entreprise innovants intégrant des technologies d’intelligence artificielle, conformément à l’article 62(1), point (c). La Commission assure une coordination proactive avec les autorités nationales compétentes, le cas échéant.
(139) Les objectifs des sandboxes réglementaires IA devraient être de stimuler l’innovation IA en établissant un environnement d’expérimentation et de test contrôlé dans la phase de développement et de pré-commercialisation en vue d’assurer la conformité des systèmes IA innovants avec le présent règlement et les autres législations nationales et de l’Union pertinentes. En outre, les “sandboxes” réglementaires en matière d’IA devraient viser à accroître la sécurité juridique pour les innovateurs ainsi que la surveillance et la compréhension par les autorités compétentes des possibilités, des risques émergents et des incidences de l’utilisation de l’IA, à faciliter l’apprentissage réglementaire pour les autorités et les entreprises, y compris en vue d’adaptations futures du cadre juridique, à soutenir la coopération et le partage des meilleures pratiques avec les autorités impliquées dans le “sandbox” réglementaire en matière d’IA, et à accélérer l’accès aux marchés, y compris en supprimant les obstacles pour les PME, y compris les start-ups. Les “bacs à sable” réglementaires en matière d’IA devraient être largement disponibles dans toute l’Union, et une attention particulière devrait être accordée à leur accessibilité pour les PME, y compris les start-ups. La participation à la boîte à outils réglementaire de l’IA devrait se concentrer sur les questions qui soulèvent des incertitudes juridiques pour les fournisseurs et les fournisseurs potentiels afin d’innover, d’expérimenter l’IA dans l’Union et de contribuer à l’apprentissage réglementaire fondé sur des données probantes. La supervision des systèmes d’intelligence artificielle dans le cadre de l’AI regulatory sandbox devrait donc couvrir leur développement, leur formation, leurs tests et leur validation avant que les systèmes ne soient mis sur le marché ou en service, ainsi que la notion et l’occurrence de modifications substantielles qui pourraient nécessiter une nouvelle procédure d’évaluation de la conformité. Tout risque important identifié au cours du développement et des essais de ces systèmes d’intelligence artificielle doit faire l’objet d’une atténuation appropriée et, à défaut, d’une suspension du processus de développement et d’essai.
Le cas échéant, les autorités nationales compétentes chargées de l’établissement de “sandboxes” réglementaires pour l’IA devraient coopérer avec d’autres autorités compétentes, y compris celles chargées de la protection des droits fondamentaux, et pourraient permettre la participation d’autres acteurs de l’écosystème de l’IA, tels que des organismes nationaux ou européens de normalisation, des organismes notifiés, des installations de test et d’expérimentation, des laboratoires de recherche et d’expérimentation, des plateformes européennes d’innovation numérique et des organisations pertinentes de parties prenantes et de la société civile. Afin d’assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en œuvre des sandboxes réglementaires IA et un cadre de coopération entre les autorités compétentes impliquées dans la supervision des sandboxes. Les sandboxes réglementaires pour l’IA établies en vertu du présent règlement ne devraient pas porter préjudice à d’autres législations permettant l’établissement d’autres sandboxes visant à assurer la conformité avec des législations autres que le présent règlement. Le cas échéant, les autorités compétentes chargées de ces autres “sandboxes” réglementaires devraient examiner les avantages de l’utilisation de ces “sandboxes” également dans le but d’assurer la conformité des systèmes d’IA au présent règlement. En cas d’accord entre les autorités nationales compétentes et les participants à la boîte à outils réglementaire pour l’IA, les tests en conditions réelles peuvent également être effectués et supervisés dans le cadre de la boîte à outils réglementaire pour l’IA.
1. Afin d’éviter la fragmentation dans l’Union, la Commission adopte des actes d’exécution précisant les modalités détaillées de création, d’élaboration, de mise en œuvre, de fonctionnement et de contrôle des “boîtes à outils” réglementaires en matière d’intelligence artificielle. Les actes d’exécution doivent inclure des principes communs sur les questions suivantes :
(a) eligibility and selection criteria for participation in the AI regulatory sandbox ;
(b) les procédures d’application, de participation, de suivi, de sortie et d’arrêt de la boîte à outils réglementaire de l’IA, y compris le plan de la boîte à outils et le rapport de sortie ;
(c) les termes et conditions applicables aux participants.
Ces actes d’exécution sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
2. Les actes d’exécution visés au paragraphe 1 veillent à ce que
(a) que les boîtes à outils réglementaires en matière d’IA soient ouvertes à tout fournisseur candidat ou potentiel d’un système d’IA qui satisfait aux critères d’admissibilité et de sélection, qui doivent être transparents et équitables, et que les autorités nationales compétentes informent les demandeurs de leur décision dans un délai de trois mois à compter de la demande ;
(b) que les “sandboxes” réglementaires en matière d’IA permettent un accès large et égal et répondent à la demande de participation ; les fournisseurs et les fournisseurs potentiels peuvent également soumettre des applications en partenariat avec des déployeurs et d’autres tiers concernés ;
(c) que les dispositions détaillées relatives aux “sandboxes” réglementaires en matière d’IA et les conditions qui s’y rapportent offrent, dans la mesure du possible, une certaine souplesse aux autorités nationales compétentes pour l’établissement et le fonctionnement de leurs “sandboxes” réglementaires en matière d’IA ;
(d) que l’accès aux boîtes à outils réglementaires en matière d’IA soit gratuit pour les PME, y compris les jeunes pousses, sans préjudice des coûts exceptionnels que les autorités compétentes nationales peuvent recouvrer de manière juste et proportionnée ;
(e) qu’ils facilitent la mise en conformité des fournisseurs et des fournisseurs potentiels avec les obligations d’évaluation de la conformité prévues par le présent règlement et l’application volontaire des codes de conduite visés à l’article 95, par le biais des résultats d’apprentissage des bancs d’essai réglementaires en matière d’intelligence artificielle ;
(f) que les “boîtes à outils” réglementaires en matière d’IA facilitent la participation d’autres acteurs pertinents de l’écosystème de l’IA, tels que les organismes notifiés et les organismes de normalisation, les PME, y compris les jeunes pousses, les entreprises, les innovateurs, les installations de test et d’expérimentation, les laboratoires de recherche et d’expérimentation et les centres européens d’innovation numérique, les centres d’excellence, les chercheurs individuels, afin de permettre et de faciliter la coopération avec les secteurs public et privé ;
(142) Afin de garantir que l’IA débouche sur des résultats socialement et écologiquement bénéfiques, les États membres sont encouragés à soutenir et à promouvoir la recherche et le développement de solutions d’IA en faveur de résultats socialement et écologiquement bénéfiques, tels que des solutions basées sur l’IA permettant d’améliorer l’accessibilité pour les personnes handicapées, de lutter contre les inégalités socio-économiques ou de réaliser des objectifs environnementaux, en allouant des ressources suffisantes, y compris un financement public et communautaire, et, le cas échéant et à condition que les critères d’admissibilité et de sélection soient remplis, en considérant en particulier les projets qui poursuivent de tels objectifs. De tels projets devraient être fondés sur le principe de la coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et de droits numériques, ainsi que les universitaires.
(g) que les procédures, processus et exigences administratives pour l’application, la sélection, la participation et la sortie du cadre réglementaire de l’IA soient simples, faciles à comprendre et clairement communiqués afin de faciliter la participation des PME, y compris des start-ups, dont les capacités juridiques et administratives sont limitées, et qu’ils soient rationalisés dans toute l’Union, afin d’éviter la fragmentation, et que la participation à un cadre réglementaire de l’IA établi par un État membre ou par le Contrôleur européen de la protection des données soit reconnue mutuellement et uniformément et produise les mêmes effets juridiques dans toute l’Union ;
(143) Afin de promouvoir et de protéger l’innovation, il est important de prendre en compte les intérêts des PME, y compris les start-ups, qui fournissent ou déploient des systèmes IA. Pour ce faire, les États membres devraient développer des initiatives ciblant ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. Les États membres devraient donner aux PME, y compris aux start-ups, qui ont un bureau enregistré ou une succursale dans l’Union, un accès prioritaire aux “boîtes à outils” réglementaires en matière d’IA, à condition qu’elles remplissent les conditions d’admissibilité et les critères de sélection, et sans empêcher d’autres fournisseurs et fournisseurs potentiels d’accéder aux “boîtes à outils”, pour autant que les mêmes conditions et critères soient remplis. Les États membres devraient utiliser les canaux existants et, le cas échéant, en établir de nouveaux pour communiquer avec les PME, y compris les jeunes pousses, les entreprises en phase de démarrage, les autres innovateurs et, le cas échéant, les autorités publiques locales, afin de soutenir les PME tout au long de leur parcours de développement en les guidant et en répondant à leurs questions sur la mise en œuvre du présent règlement. Le cas échéant, ces canaux devraient coopérer afin de créer des synergies et d’assurer l’homogénéité de leurs conseils aux PME, y compris aux jeunes pousses, et aux entreprises en phase de démarrage. En outre, les États membres devraient faciliter la participation des PME et des autres parties prenantes concernées aux processus d’élaboration des normes. En outre, les intérêts et les besoins spécifiques des fournisseurs qui sont des PME, y compris les start-ups, devraient être pris en compte lorsque les organismes notifiés fixent les frais d’évaluation de la conformité. La Commission devrait évaluer régulièrement les coûts de certification et de conformité pour les PME, y compris les start-ups, par le biais de consultations transparentes et devrait travailler avec les États membres pour réduire ces coûts.
Par exemple, les coûts de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent constituer un coût important pour les fournisseurs et les autres opérateurs, en particulier ceux à petite échelle. Les États membres devraient éventuellement veiller à ce que l’une des langues qu’ils déterminent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit celle qui est largement comprise par le plus grand nombre possible de déployeurs transfrontaliers. Afin de répondre aux besoins spécifiques des PME, y compris des jeunes pousses, la Commission devrait fournir des modèles standardisés pour les domaines couverts par le présent règlement, à la demande du conseil d’administration. En outre, la Commission devrait compléter les efforts des États membres en fournissant une plate-forme d’information unique contenant des informations faciles à utiliser sur le présent règlement pour tous les fournisseurs et les déployeurs, en organisant des campagnes de communication appropriées pour sensibiliser aux obligations découlant du présent règlement, et en évaluant et en encourageant la convergence des meilleures pratiques dans les procédures de marchés publics en ce qui concerne les systèmes d’intelligence artificielle. Les moyennes entreprises qui ont récemment été qualifiées de petites entreprises au sens de l’annexe de la recommandation 2003/361/CE de la Commission devraient avoir accès à ces mesures de soutien, car ces nouvelles moyennes entreprises peuvent parfois ne pas disposer des ressources juridiques et de la formation nécessaires pour assurer une bonne compréhension du présent règlement et sa conformité avec celui-ci.
(h) que la participation à l’AI regulatory sandbox est limitée à une période adaptée à la complexité et à l’échelle du projet et qui peut être prolongée par l’autorité nationale compétente ;
(i) que les sandboxes réglementaires IA facilitent le développement d’outils et d’une infrastructure pour tester, étalonner, évaluer et expliquer les dimensions des systèmes IA pertinentes pour l’apprentissage réglementaire, telles que l’exactitude, la robustesse et la cybersécurité, ainsi que les mesures visant à atténuer les risques pour les droits fondamentaux et la société en général.
Les fournisseurs potentiels dans la “boîte à outils” réglementaire de l’IA, en particulier les PME et les jeunes pousses, doivent être orientés, le cas échéant, vers des services de pré-déploiement tels que des conseils sur la mise en œuvre du présent règlement, vers d’autres services à valeur ajoutée tels que l’aide pour les documents de normalisation et la certification, les installations de test et d’expérimentation, les centres européens d’innovation numérique et les centres d’excellence.
4. Lorsque des autorités nationales envisagent d’autoriser des essais dans des conditions réelles, supervisés dans le cadre d’un banc d’essai réglementaire pour l’IA, à établir en vertu du présent article, elles définissent spécifiquement les termes et conditions de ces essais et, en particulier, les garanties appropriées avec les participants, dans le but de protéger les droits fondamentaux, la santé et la sécurité. Le cas échéant, ils coopèrent avec d’autres autorités nationales compétentes en vue d’assurer la cohérence des pratiques dans l’ensemble de l’Union.
dans l’intérêt du public dans la boîte à outils réglementaire de l’IA
1. Dans la sandbox réglementaire AI, les données à caractère personnel collectées légalement à d’autres fins peuvent être traitées uniquement dans le but de développer, de former et de tester certains systèmes AI dans la sandbox si toutes les conditions suivantes sont remplies :
(a) Les systèmes d’intelligence artificielle doivent être développés pour la sauvegarde d’un intérêt public substantiel par une autorité publique ou une autre personne physique ou morale et dans un ou plusieurs des domaines suivants :
(i) la sécurité publique et la santé publique, y compris la détection des maladies, la prévention des diagnostics, le contrôle et le traitement, ainsi que l’amélioration des systèmes de soins de santé ;
(ii) un niveau élevé de protection et d’amélioration de la qualité de l’environnement, la protection de la biodiversité, la protection contre la pollution, des mesures de transition écologique, des mesures d’atténuation du changement climatique et des mesures d’adaptation ;
(iii) durabilité énergétique ;
(iv) la sécurité et la résilience des systèmes de transport et de la mobilité, des infrastructures critiques et des réseaux ;
(v) l’efficacité et la qualité de l’administration publique et des services publics ;
(b) les données traitées sont nécessaires pour satisfaire à une ou plusieurs des exigences mentionnées au chapitre III, section 2, lorsque ces exigences ne peuvent être satisfaites efficacement par le traitement de données anonymes, synthétiques ou autres données non personnelles ;
(c) il existe des mécanismes de contrôle efficaces permettant d’identifier tout risque élevé pour les droits et libertés des personnes concernées, tel que mentionné à l’article 35 du règlement (UE) 2016/679 et à l’article 39 du règlement (UE) 2018/1725, qui pourrait survenir au cours de l’expérimentation sandbox, ainsi que des mécanismes de réponse permettant d’atténuer rapidement ces risques et, le cas échéant, de mettre fin au traitement ;
(d) toutes les données à caractère personnel à traiter dans le cadre du sandbox se trouvent dans un environnement de traitement des données fonctionnellement distinct, isolé et protégé, sous le contrôle du prospect, et seules les personnes autorisées ont accès à ces données ;
(e) les fournisseurs ne peuvent continuer à partager les données collectées à l’origine que conformément à la législation de l’Union sur la protection des données ; toute donnée personnelle créée dans le bac à sable ne peut être partagée en dehors du bac à sable ;
(f) tout traitement de données à caractère personnel dans le cadre du cantonnement ne donne lieu à aucune mesure ou décision affectant les personnes concernées, ni n’affecte l’application de leurs droits tels que définis par la législation de l’Union européenne en matière de protection des données à caractère personnel ;
(g) toutes les données à caractère personnel traitées dans le cadre du sandbox sont protégées par des mesures techniques et organisationnelles appropriées et sont supprimées dès que la participation au sandbox a pris fin ou que les données à caractère personnel ont atteint la fin de leur période de conservation ;
(h) les journaux du traitement des données à caractère personnel dans le cadre du bac à sable sont conservés pendant la durée de la participation au bac à sable, sauf disposition contraire de l’Union ou de la législation nationale ;
(i) une description complète et détaillée du processus et de la raison d’être de la formation, des essais et de la validation du système d’identification automatique est conservée avec les résultats des essais dans le cadre de la documentation technique mentionnée à l’annexe IV ;
(j) a short summary of the AI project developed in the sandbox, its objectives and expected results is published on the website of the competent authorities ; this obligation shall not cover sensitive operational data in relation to the activities of law enforcement, border control, immigration or asylum authorities.
(140) Le présent règlement devrait fournir la base juridique permettant aux fournisseurs et aux fournisseurs potentiels de la zone de réglementation de l’IA d’utiliser les données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA dans l’intérêt public au sein de la zone de réglementation de l’IA, uniquement dans des conditions spécifiées, conformément à l’article 6, paragraphe 4, et à l’article 9, paragraphe 2, point (g), du règlement (UE) 2016/679, et aux articles 5, 6 et 10 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, et de l’article 10 de la directive (UE) 2016/680. Toutes les autres obligations des contrôleurs de données et les droits des personnes concernées en vertu des Règlements (UE) 2016/679 et (UE) 2018/1725 et de la Directive (UE) 2016/680 restent applicables. En particulier, le présent règlement ne devrait pas fournir de base légale au sens de l’article 22(2), point (b), du règlement (UE) 2016/679 et de l’article 24(2), point (b), du règlement (UE) 2018/1725. Les fournisseurs et les fournisseurs potentiels dans la sandbox réglementaire IA devraient assurer des garanties appropriées et coopérer avec les autorités compétentes, y compris en suivant leurs conseils et en agissant promptement et de bonne foi pour atténuer de manière adéquate tout risque significatif identifié pour la sécurité, la santé et les droits fondamentaux qui pourrait survenir au cours du développement, des tests et de l’expérimentation dans cette sandbox.
2. Aux fins de la prévention, de la recherche, de la détection ou de la poursuite d’infractions pénales ou de l’exécution de sanctions pénales, y compris la prévention et la protection contre les menaces à la sécurité publique, sous le contrôle et la responsabilité des autorités chargées de l’application des lois, le traitement de données à caractère personnel dans des cachettes réglementaires pour l’IA est fondé sur une législation spécifique de l’Union ou nationale et est soumis aux mêmes conditions cumulatives que celles visées au paragraphe 1.
3. Le paragraphe 1 s’applique sans préjudice du droit de l’Union ou du droit national qui exclut le traitement de données à caractère personnel à d’autres fins que celles explicitement mentionnées dans ce droit, ainsi que du droit de l’Union ou du droit national établissant la base du traitement des données à caractère personnel nécessaire aux fins du développement, des tests ou de la formation de systèmes d’intelligence artificielle innovants ou de toute autre base juridique, conformément au droit de l’Union sur la protection des données à caractère personnel.
La Commission précise, au moyen d’actes d’exécution, les éléments détaillés du plan d’essai en situation réelle. Ces actes d’exécution sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
Le présent paragraphe s’applique sans préjudice de la législation de l’Union ou de la législation nationale relative aux essais en conditions réelles des systèmes d’intelligence artificielle à haut risque concernant les produits couverts par la législation d’harmonisation de l’Union énumérée à l’annexe I.
2. Les fournisseurs ou les fournisseurs potentiels peuvent effectuer des tests sur les systèmes d’intelligence artificielle à haut risque mentionnés à l’annexe III dans des conditions réelles à tout moment avant la mise sur le marché ou la mise en service du système d’intelligence artificielle, de leur propre initiative ou en partenariat avec un ou plusieurs déployeurs ou fournisseurs potentiels.
3. L’expérimentation de systèmes d’intelligence artificielle à haut risque dans des conditions réelles en vertu du présent article ne doit pas porter préjudice à tout examen éthique requis par le droit de l’Union ou le droit national.
4. Les fournisseurs ou les fournisseurs potentiels ne peuvent effectuer le test dans des conditions réelles que si toutes les conditions suivantes sont remplies :
(a) le fournisseur ou le fournisseur potentiel a élaboré un plan de test en conditions réelles et l’a soumis à l’autorité de surveillance du marché de l’État membre où le test en conditions réelles doit être effectué ;
(b) l’autorité de surveillance du marché de l’État membre où le test en conditions réelles doit être effectué a approuvé le test en conditions réelles et le plan de test en conditions réelles ; si l’autorité de surveillance du marché n’a pas fourni de réponse dans un délai de 30 jours, le test en conditions réelles et le plan de test en conditions réelles sont réputés avoir été approuvés ; si le droit national ne prévoit pas d’approbation tacite, le test en conditions réelles reste soumis à une autorisation ;
(c) le fournisseur ou le fournisseur potentiel, à l’exception des fournisseurs ou fournisseurs potentiels de systèmes d’intelligence artificielle à haut risque visés aux points 1, 6 et 7 de l’annexe III dans les domaines de l’application de la loi, de l’immigration, de l’asile et de la gestion des contrôles aux frontières, et des systèmes d’intelligence artificielle à haut risque visés au point 2 de l’annexe III, a enregistré le test dans des conditions de monde réel conformément à l’article 71, paragraphe 4, avec un numéro d’identification unique valable dans toute l’Union et avec les informations spécifiées à l’annexe IX ; le fournisseur ou fournisseur potentiel de systèmes d’intelligence artificielle à haut risque visés aux points
1, 6 et 7 de l’annexe III dans les domaines de l’application de la loi, de la migration, de l’asile et de la gestion des contrôles aux frontières, a enregistré le test en conditions réelles dans la section sécurisée non publique de la base de données de l’UE conformément à l’article 49(4), point (d), avec un numéro d’identification unique valable dans toute l’Union et avec les informations spécifiées dans ce numéro ; le fournisseur ou le fournisseur potentiel de systèmes d’IA à haut risque visé au point 2 de l’annexe III a enregistré le test en conditions réelles conformément à l’article 49(5) ;
(d) le fournisseur ou le fournisseur potentiel effectuant le test en conditions réelles est établi dans l’Union ou a désigné un représentant légal établi dans l’Union ;
(e) les données collectées et traitées dans le but d’être testées dans des conditions réelles ne doivent être transférées vers des pays tiers que si des garanties appropriées et applicables en vertu du droit de l’Union sont mises en œuvre ;
(f) le test en conditions réelles ne dure pas plus longtemps que nécessaire pour atteindre ses objectifs et, en tout état de cause, pas plus de six mois, qui peuvent être prolongés pour une période supplémentaire de six mois, sous réserve d’une notification préalable par le fournisseur ou le fournisseur potentiel à l’autorité de surveillance du marché, accompagnée d’une explication de la nécessité d’une telle prolongation ;
(g) les sujets du test en conditions réelles, qui sont des personnes appartenant à des groupes vulnérables en raison de leur âge ou de leur handicap, soient protégés de manière adéquate ;
(h) lorsqu’un fournisseur ou un prestataire potentiel organise le test en conditions réelles en coopération avec un ou plusieurs déployeurs ou déployés potentiels, ces derniers ont été informés de tous les aspects du test pertinents pour leur décision de participer et ont reçu les instructions pertinentes pour l’utilisation du système d’IA visé à l’article 13 ; le fournisseur ou le prestataire potentiel et le déployeur ou le déployé potentiel concluent un accord précisant leurs rôles et responsabilités respectifs en vue d’assurer le respect des dispositions relatives au test en conditions réelles prévues par le présent règlement et par toute autre législation communautaire ou nationale applicable ;
(i) les sujets du test en conditions réelles ont donné leur consentement éclairé conformément à l’article 61 ou, en cas d’application de la loi, lorsque la recherche du consentement éclairé empêcherait le système IA d’être testé, le test lui-même et le résultat du test en conditions réelles n’ont aucun effet négatif sur les sujets, et leurs données à caractère personnel sont supprimées après que le test a été effectué ;
(j) le test en conditions réelles est effectivement supervisé par le fournisseur ou le fournisseur potentiel, ainsi que par des déployeurs ou des déployeurs potentiels par l’intermédiaire de personnes dûment qualifiées dans le domaine concerné et disposant des capacités, de la formation et de l’autorité nécessaires pour accomplir leurs tâches ;
(k) les prédictions, recommandations ou décisions du système d’IA peuvent être efficacement inversées et désavouées.
5. Toute personne soumise à un test en conditions réelles, ou son représentant légalement désigné, le cas échéant, peut, sans préjudice et sans avoir à fournir de justification, se retirer du test à tout moment en révoquant son consentement éclairé et peut demander la suppression immédiate et permanente de ses données à caractère personnel. Le retrait du consentement éclairé n’affecte pas les activités déjà réalisées.
6. Conformément à l’article 75, les États membres confèrent à leurs autorités de surveillance du marché le pouvoir d’exiger des fournisseurs et des fournisseurs potentiels qu’ils fournissent des informations, de procéder à des inspections à distance ou sur place non annoncées, et d’effectuer des contrôles sur le déroulement des essais en conditions réelles et sur les systèmes d’IA à haut risque correspondants. Les autorités de surveillance du marché doivent utiliser ces pouvoirs pour assurer le développement sûr des tests dans les conditions du monde réel.
7. Tout incident grave identifié au cours de l’essai en conditions réelles doit être signalé à l’autorité nationale de surveillance du marché conformément à l’article 73. Le prestataire ou le candidat prestataire doit adopter des mesures d’atténuation immédiates ou, à défaut, suspendre l’essai en conditions réelles jusqu’à ce qu’une telle atténuation ait lieu ou, à défaut, y mettre fin. Le fournisseur ou le fournisseur potentiel doit mettre en place une procédure de rappel rapide du système d’identification automatique à la suite de l’arrêt des tests en conditions réelles.
8. Les fournisseurs ou les fournisseurs potentiels notifient à l’autorité nationale de surveillance du marché de l’État membre où le test en conditions réelles doit être effectué la suspension ou l’interruption du test en conditions réelles et les résultats finaux.
9. Le fournisseur ou le fournisseur potentiel est responsable, conformément au droit de l’Union et au droit national applicable en matière de responsabilité, de tout dommage causé au cours de leurs essais dans des conditions réelles.
(141) Afin d’accélérer le processus de développement et la mise sur le marché des systèmes d’intelligence artificielle à haut risque énumérés dans une annexe au présent règlement, il est important que les fournisseurs ou les fournisseurs potentiels de ces systèmes puissent également bénéficier d’un régime spécifique pour tester ces systèmes dans des conditions réelles, sans participer à un panel réglementaire d’intelligence artificielle. Toutefois, dans de tels cas, compte tenu des conséquences possibles de tels tests sur les individus, il convient de s’assurer que des garanties et des conditions appropriées et suffisantes sont introduites par le présent règlement pour les fournisseurs ou les fournisseurs potentiels. De telles garanties devraient inclure, entre autres, la demande de consentement éclairé des personnes physiques pour participer à des tests dans des conditions réelles, à l’exception de l’application de la loi où la demande de consentement éclairé empêcherait le système IA d’être testé. Le consentement des personnes concernées à participer à de tels tests en vertu du présent règlement est distinct, et sans préjudice, du consentement des personnes concernées au traitement de leurs données à caractère personnel en vertu de la législation applicable en matière de protection des données.
It is also important to minimize the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. En outre, il convient d’envisager des garanties supplémentaires pour s’assurer que les prédictions, recommandations ou décisions du système d’intelligence artificielle peuvent être effectivement inversées et ignorées et que les données à caractère personnel sont protégées et détruites lorsque les sujets ont retiré leur consentement à participer au test sans préjudice de leurs droits en tant que sujets de données en vertu de la législation de l’Union en matière de protection des données. En ce qui concerne le transfert de données, il est également approprié d’envisager que les données collectées et traitées à des fins de test dans des conditions réelles ne soient transférées vers des pays tiers que si des garanties appropriées et applicables en vertu du droit de l’Union sont mises en œuvre, en particulier conformément aux bases pour le transfert de données à caractère personnel en vertu du droit de l’Union sur la protection des données, tandis que pour les données non personnelles, des garanties appropriées sont mises en place conformément au droit de l’Union, tels que les règlements (UE) 2022/868 et (UE) 2023/2854 du Parlement européen et du Conseil.
1. Aux fins des tests en conditions réelles visés à l’article 60, le consentement libre et éclairé des sujets de recherche doit être obtenu avant leur participation à de tels tests et après qu’ils ont été dûment informés au moyen d’informations concises, claires, pertinentes et compréhensibles sur les sujets concernés :
(a) la nature et les objectifs du test dans des conditions réelles et l’inconvénient éventuel lié à leur participation ;
(b) les conditions dans lesquelles le test en conditions réelles doit être réalisé, y compris la durée prévue de la participation du sujet ou des sujets ;
(c) leurs droits, et les garanties concernant leur participation, en particulier leur droit de refuser de participer, et le droit de se retirer, des tests dans les conditions du monde réel à tout moment sans aucun préjudice résultant et sans avoir à fournir de justification ;
(d) les modalités de demande d’annulation ou de désaveu des prédictions, recommandations ou décisions du système d’information sur les accidents ;
(e) le numéro d’identification unique, valable dans toute l’Union, du test en conditions réelles, conformément à l’article 60, paragraphe 4, point (c), et les coordonnées du fournisseur ou de son représentant légal auprès duquel des informations complémentaires peuvent être obtenues.
2. Le consentement éclairé doit être daté et documenté, et une copie doit être remise aux sujets de l’essai ou à leur représentant légal.
1. Les États membres prennent les mesures suivantes :
(a) accordent aux PME, y compris aux jeunes pousses, qui ont un bureau enregistré ou une succursale dans l’Union, un accès prioritaire au cadre réglementaire de l’AI, pour autant qu’elles remplissent les conditions d’admissibilité et les critères de sélection ; cet accès prioritaire ne doit pas empêcher les autres PME, y compris les jeunes pousses, autres que celles visées au présent paragraphe, d’accéder au cadre réglementaire de l’AI, à condition qu’elles remplissent également les conditions d’admissibilité et les critères de sélection ;
(b) organisent des activités spécifiques de sensibilisation et de formation sur l’application du présent règlement, adaptées aux besoins des PME, y compris les jeunes pousses, les travailleurs détachés et, le cas échéant, les autorités publiques locales ;
(c) utiliser les canaux dédiés existants et, le cas échéant, en créer de nouveaux pour communiquer avec les PME, y compris les jeunes pousses, les déployeurs, les autres innovateurs et, le cas échéant, les autorités publiques locales, afin de fournir des conseils et de répondre aux questions concernant la mise en œuvre du présent règlement, y compris en ce qui concerne la participation aux “sandboxes” réglementaires en matière d’IA ;
(d) facilitent la participation des PME et des autres parties prenantes concernées au processus d’élaboration des normes.
2. Les intérêts et besoins spécifiques des fournisseurs de PME, y compris les jeunes pousses, sont pris en compte lors de la fixation des redevances pour l’évaluation de la conformité visée à l’article 43, en réduisant ces redevances proportionnellement à leur taille, à la taille de leur marché et à d’autres indicateurs pertinents.
3. Le bureau de l’AI doit prendre les mesures suivantes :
(a) fournir des modèles standardisés pour les domaines couverts par le présent règlement, comme spécifié par le Conseil dans sa demande ;
(b) développent et maintiennent une plate-forme d’information unique fournissant à tous les opérateurs de l’Union des informations faciles à utiliser en rapport avec le présent règlement ;
(c) organise des campagnes de communication appropriées afin de sensibiliser aux obligations découlant du présent règlement ;
(d) évaluer et promouvoir la convergence des meilleures pratiques dans les procédures de marchés publics en relation avec les systèmes d’IA.
1. Les microentreprises au sens de la recommandation 2003/361/CE peuvent se conformer de manière simplifiée à certains éléments du système de gestion de la qualité requis par l’article 17 du présent règlement, à condition qu’elles n’aient pas d’entreprises partenaires ou liées au sens de ladite recommandation. cette fin, la Commission élabore des lignes directrices sur les éléments du système de gestion de la qualité qui peuvent être respectés de manière simplifiée, en tenant compte des besoins des microentreprises, sans porter atteinte au niveau de protection ou à la nécessité de se conformer aux exigences relatives aux systèmes d’assurance qualité à haut risque.
(146) En outre, compte tenu de la très petite taille de certains opérateurs et afin d’assurer la proportionnalité en ce qui concerne les coûts de l’innovation, il est approprié de permettre aux micro-entreprises de remplir l’une des obligations les plus coûteuses, à savoir l’établissement d’un système de gestion de la qualité, d’une manière simplifiée qui réduirait la charge administrative et les coûts pour ces entreprises sans affecter le niveau de protection et le besoin de conformité avec les exigences des systèmes d’IA à haut risque. La Commission devrait élaborer des lignes directrices précisant les éléments du système de gestion de la qualité qui doivent être remplis de cette manière simplifiée par les micro-entreprises.
2. Le paragraphe 1 du présent article ne peut être interprété comme dispensant ces opérateurs de satisfaire à toute autre exigence ou obligation prévue par le présent règlement, y compris celles énoncées aux articles 9, 10, 11, 12, 13, 14, 15, 72 et 73.
1. La Commission doit développer l’expertise et les capacités de l’Union dans le domaine de l’intelligence artificielle par l’intermédiaire de l’AI Office.
2. Les États membres facilitent les tâches confiées à l’AI Office, telles qu’elles sont définies dans le présent règlement.
(148) Le présent règlement devrait établir un cadre de gouvernance qui permette à la fois de coordonner et de soutenir l’application du présent règlement au niveau national, de renforcer les capacités au niveau de l’Union et d’intégrer les parties prenantes dans le domaine de l’IA. La mise en œuvre et l’application effectives de ce règlement requièrent un cadre de gouvernance qui permette de coordonner et de développer une expertise centrale au niveau de l’Union. L’AI Office a été créé par décision de la Commission et a pour mission de développer l’expertise et les capacités de l’Union dans le domaine de l’IA et de contribuer à la mise en œuvre de la législation de l’Union en la matière. Les États membres devraient faciliter les tâches de l’Office AI dans le but de soutenir le développement de l’expertise et des capacités de l’Union au niveau de l’Union et de renforcer le fonctionnement du marché unique numérique. En outre, il convient d’établir un conseil composé de représentants des États membres, un panel scientifique pour intégrer la communauté scientifique et un forum consultatif pour contribuer à la mise en œuvre du présent règlement, au niveau de l’Union et au niveau national. Le développement de l’expertise et des capacités de l’Union devrait également inclure l’utilisation des ressources et de l’expertise existantes, notamment par le biais de synergies avec les structures mises en place dans le cadre de l’application d’autres lois au niveau de l’Union et de synergies avec des initiatives connexes au niveau de l’Union, telles que l’Entreprise commune EuroHPC et les installations de test et d’expérimentation IA dans le cadre du programme Europe numérique.
1. Un conseil européen de l’intelligence artificielle (le “conseil”) est institué par les présentes.
2. Le conseil d’administration est composé d’un représentant par État membre. Le Contrôleur européen de la protection des données y participe en tant qu’observateur. Le Bureau de l’AI peut également assister aux réunions du Conseil, sans prendre part aux votes. D’autres autorités, organes ou experts nationaux et de l’Union peuvent être invités aux réunions par le conseil d’administration, au cas par cas, lorsque les questions discutées sont pertinentes pour eux.
3. Chaque représentant est désigné par son État membre pour une période de trois ans, renouvelable une fois.
4. Les États membres veillent à ce que leurs représentants au sein du conseil d’administration :
(a) ont les compétences et les pouvoirs appropriés dans leur État membre pour contribuer activement à la réalisation des tâches du Conseil visées à l’article 66 ;
(b) sont désignés comme point de contact unique vis-à-vis du Conseil et, le cas échéant, en tenant compte des besoins des États membres, comme point de contact unique pour les parties prenantes ;
(c) sont habilités à faciliter la cohérence et la coordination entre les autorités nationales compétentes de leur État membre en ce qui concerne la mise en œuvre du présent règlement, y compris par la collecte des données et informations pertinentes aux fins de l’accomplissement de leurs tâches au sein du conseil d’administration.
5. Les représentants désignés des États membres adoptent les règles de procédure du Conseil à la majorité des deux tiers. Les règles de procédure fixent, en particulier, les modalités de la procédure de sélection, la durée du mandat du président et les spécifications de ses tâches, les modalités détaillées du vote et l’organisation des activités du Conseil et de ses sous-groupes.
6. Le Conseil doit établir deux sous-groupes permanents afin de fournir une plate-forme de coopération et d’échange entre les autorités de surveillance du marché et les autorités de notification sur les questions relatives à la surveillance du marché et aux organismes notifiés, respectivement.
Le sous-groupe permanent de surveillance du marché devrait agir en tant que groupe de coopération administrative (ADCO) pour le présent règlement, conformément à l’article 30 du règlement (UE) 2019/1020.
Le conseil d’administration peut créer d’autres sous-groupes permanents ou temporaires appropriés pour l’examen de questions spécifiques. Le cas échéant, des représentants du forum consultatif visé à l’article 67 peuvent être invités à participer à de tels sous-groupes ou à des réunions spécifiques de ces sous-groupes en qualité d’observateurs.
7. Le conseil d’administration est organisé et fonctionne de manière à garantir l’objectivité et l’impartialité de ses activités.
8. Le Conseil est présidé par un des représentants des États membres. Le Bureau de l’AI assure le secrétariat du Conseil, convoque les réunions à la demande du président et en prépare l’ordre du jour conformément aux tâches qui lui incombent en vertu du présent règlement et de ses règles de procédure.
(149) Afin de faciliter une mise en œuvre souple, efficace et harmonisée du présent règlement, il convient d’instituer un conseil. Le conseil devrait refléter les différents intérêts de l’écosystème AI et être composé de représentants des États membres. Le conseil devrait être responsable d’un certain nombre de tâches consultatives, y compris l’émission d’avis, de recommandations, de conseils ou la contribution à l’orientation sur des questions liées à la mise en œuvre du présent règlement, y compris sur des questions d’application, des spécifications techniques ou des normes existantes concernant les exigences établies dans le présent règlement, et la fourniture de conseils à la Commission et aux États membres et à leurs autorités nationales compétentes sur des questions spécifiques liées à l’IA. Afin de donner aux États membres une certaine souplesse dans la désignation de leurs représentants au sein du conseil, ces représentants peuvent être des personnes appartenant à des entités publiques qui devraient avoir les compétences et les pouvoirs nécessaires pour faciliter la coordination au niveau national et contribuer à la réalisation des tâches du conseil. Le Conseil devrait établir deux sous-groupes permanents afin de fournir une plate-forme de coopération et d’échange entre les autorités de surveillance du marché et de notification aux autorités des questions relatives, respectivement, à la surveillance du marché et aux organismes notifiés. Le sous-groupe permanent de surveillance du marché devrait agir en tant que groupe de coopération administrative (ADCO) pour le présent règlement au sens de l’article 30 du règlement (UE) 2019/1020. Conformément à l’article 33 dudit règlement, la Commission devrait soutenir les activités du sous-groupe permanent de surveillance du marché en réalisant des évaluations ou des études de marché, notamment en vue d’identifier les aspects du présent règlement qui nécessitent une coordination spécifique et urgente entre les autorités de surveillance du marché. Le conseil d’administration peut créer d’autres sous-groupes permanents ou temporaires, le cas échéant, afin d’examiner des questions spécifiques. Le Conseil devrait également coopérer, le cas échéant, avec les organes, groupes d’experts et réseaux de l’Union concernés, actifs dans le cadre de la législation européenne pertinente, y compris, en particulier, ceux qui sont actifs en vertu de la législation européenne pertinente en matière de données, de produits et de services numériques.
Le Conseil conseille et assiste la Commission et les États membres en vue de faciliter l’application cohérente et effective du présent règlement. À cette fin, le Conseil peut notamment
(a) contribuent à la coordination entre les autorités nationales compétentes chargées de l’application du présent règlement et, en coopération avec les autorités de surveillance du marché concernées et sous réserve de leur accord, soutiennent les activités communes des autorités de surveillance du marché visées à l’article 74, paragraphe 11 ;
(b) recueillir et partager l’expertise technique et réglementaire et les meilleures pratiques entre les États membres ;
(c) fournissent des conseils sur la mise en œuvre du présent règlement, en particulier en ce qui concerne l’application des règles relatives aux modèles d’intelligence artificielle à usage général ;
(d) contribuent à l’harmonisation des pratiques administratives dans les États membres, y compris en ce qui concerne la dérogation aux procédures d’évaluation de la conformité visée à l’article 46, le fonctionnement des sandboxes réglementaires en matière d’IA et les essais en conditions réelles visés aux articles 57, 59 et 60 ;
(e) à la demande de la Commission ou de sa propre initiative, émettre des recommandations et des avis écrits sur toute question pertinente relative à la mise en œuvre du présent règlement et à son application cohérente et effective, notamment
(i) sur l’élaboration et l’application de codes de conduite et de codes de bonnes pratiques en vertu du présent règlement, ainsi que des lignes directrices de la Commission ;
(ii) l’évaluation et le réexamen du présent règlement conformément à l’article 112, y compris en ce qui concerne les rapports d’incidents graves visés à l’article 73, et le fonctionnement de la base de données de l’Union visée à l’article 71, la préparation des actes délégués ou d’exécution, et en ce qui concerne les alignements éventuels du présent règlement sur la législation d’harmonisation de l’Union énumérée à l’annexe I ;
(iii) sur les spécifications techniques ou les normes existantes concernant les exigences énoncées au chapitre III, section 2 ;
(iv) sur l’utilisation de normes harmonisées ou de spécifications communes visées aux articles 40 et 41 ;
(v) les tendances, telles que la compétitivité mondiale de l’Europe en matière d’IA, la montée en puissance de l’IA dans l’Union et le développement des compétences numériques ;
(vi) tendances sur l’évolution de la typologie des chaînes de valeur IA, en particulier sur les implications qui en découlent en termes de responsabilité ;
(vii) sur le besoin potentiel de modifier l’annexe III conformément à l’article 7, et sur le besoin potentiel de réviser l’article 5 conformément à l’article 112, en tenant compte des éléments de preuve pertinents disponibles et des dernières évolutions technologiques ;
(f) aider la Commission à promouvoir l’alphabétisation en matière d’IA, la sensibilisation du public et la compréhension des avantages, des risques, des garanties et des droits et obligations liés à l’utilisation des systèmes d’IA ;
(g) facilitent l’élaboration de critères communs et une compréhension partagée entre les opérateurs du marché et les autorités compétentes des concepts pertinents prévus par le présent règlement, y compris en contribuant à l’élaboration de critères de référence ;
(h) coopèrent, le cas échéant, avec d’autres institutions, organes, bureaux et agences de l’Union, ainsi qu’avec les groupes et réseaux d’experts de l’Union concernés, en particulier dans les domaines de la sécurité des produits, de la cybersécurité, de la concurrence, des services numériques et médiatiques, des services financiers, de la protection des consommateurs, des données et de la protection des droits fondamentaux ;
(i) contribuent à une coopération efficace avec les autorités compétentes des pays tiers et avec les organisations internationales ;
(j) assistent les autorités nationales compétentes et la Commission dans le développement des compétences organisationnelles et techniques nécessaires à la mise en œuvre du présent règlement, y compris en contribuant à l’évaluation des besoins en matière de formation du personnel des États membres participant à la mise en œuvre du présent règlement ;
(k) assistera l’AI Office en soutenant les autorités nationales compétentes dans la mise en place et le développement de “sandboxes” réglementaires en matière d’intelligence artificielle, et facilitera la coopération et le partage d’informations entre les “sandboxes” réglementaires en matière d’intelligence artificielle ;
(l) contribuer à, et fournir des conseils pertinents sur, l’élaboration de documents d’orientation ;
(m) conseiller la Commission sur les questions internationales relatives à l’IA ;
(n) fournir des avis à la Commission sur les alertes qualifiées concernant les modèles d’IA à usage général ;
(o) recevoir les avis des États membres sur les alertes qualifiées concernant les modèles d’IA à usage général, ainsi que sur les expériences et les pratiques nationales en matière de surveillance et d’application des systèmes d’IA, en particulier les systèmes intégrant les modèles d’IA à usage général.
1. Un forum consultatif est mis en place pour fournir une expertise technique et des conseils au conseil d’administration et à la Commission, et pour contribuer à leurs tâches au titre du présent règlement.
2. L’adhésion au forum consultatif doit représenter une sélection équilibrée de parties prenantes, y compris l’industrie, les start-ups, les PME, la société civile et le monde universitaire. La participation au forum consultatif doit être équilibrée en ce qui concerne les intérêts commerciaux et non commerciaux et, dans la catégorie des intérêts commerciaux, en ce qui concerne les PME et les autres entreprises.
3. La Commission désigne les membres du forum consultatif, conformément aux critères énoncés au paragraphe 2, parmi les parties prenantes dont l’expertise dans le domaine de l’IA est reconnue.
4. La durée du mandat des membres du forum consultatif est de deux ans, qui peut être prolongée jusqu’à quatre ans au maximum.
5. L’Agence des droits fondamentaux, l’ENISA, le Comité européen de normalisation (CEN), le Comité européen de normalisation électrotechnique (CENELEC) et l’Institut européen des normes de télécommunication (ETSI) doivent être membres permanents du forum consultatif.
6. Le forum consultatif établit ses règles de procédure. Il élit deux co-conseillers parmi ses membres, conformément aux critères énoncés au paragraphe 2. La durée du mandat des co-conseillers est de deux ans, renouvelable une fois.
7. Le forum consultatif se réunit au moins deux fois par an. Le forum consultatif peut inviter des experts et d’autres parties prenantes à ses réunions.
8. Le forum consultatif peut préparer des avis, des recommandations et des contributions écrites à la demande du conseil d’administration ou de la Commission.
9. Le forum consultatif peut créer des sous-groupes permanents ou temporaires, le cas échéant, afin d’examiner des questions spécifiques en rapport avec les objectifs du présent règlement.
10. Le forum consultatif prépare un rapport annuel sur ses activités. Ce rapport est mis à la disposition du public.
(150) Afin d’assurer la participation des parties prenantes à la mise en œuvre et à l’application du présent règlement, un forum consultatif devrait être créé pour fournir des conseils et une expertise technique au conseil d’administration et à la Commission. Afin d’assurer une représentation diversifiée et équilibrée des parties prenantes entre les intérêts commerciaux et non commerciaux et, dans la catégorie des intérêts commerciaux, en ce qui concerne les PME et les autres entreprises, le forum consultatif devrait comprendre, entre autres, l’industrie, les start-ups, les PME, le monde universitaire, la société civile, y compris les partenaires sociaux, ainsi que l’Agence des droits fondamentaux, l’ENISA, le Comité européen de normalisation (CEN), le Comité européen de normalisation électrotechnique (CENELEC) et l’Institut européen des normes de télécommunication (ETSI).
1. La Commission adopte, au moyen d’un acte d’exécution, des dispositions relatives à la création d’un groupe scientifique d’experts indépendants (le “groupe scientifique”) chargé de soutenir les activités d’exécution du présent règlement. Cet acte d’exécution est adopté conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
2. Le groupe scientifique est composé d’experts choisis par la Commission sur la base d’une expertise scientifique ou technique actualisée dans le domaine de l’intelligence artificielle, nécessaire pour les tâches visées au paragraphe 3, et doit être en mesure de démontrer qu’il remplit toutes les conditions suivantes :
(a) ayant une expertise et des compétences particulières et une expertise scientifique ou technique dans le domaine de l’IA ;
(b) l’indépendance vis-à-vis de tout fournisseur de systèmes d’intelligence artificielle ou de modèles d’intelligence artificielle à usage général ;
(c) une capacité à effectuer des activités de manière diligente, précise et objective.
La Commission, en consultation avec le conseil d’administration, détermine le nombre d’experts du groupe spécial en fonction des besoins et assure une représentation équitable des hommes et des femmes ainsi qu’une représentation géographique.
3. Le groupe scientifique est chargé de conseiller et d’assister le Bureau de l’AI, en particulier en ce qui concerne les tâches suivantes :
(a) soutenir la mise en œuvre et l’application du présent règlement en ce qui concerne les modèles et les systèmes d’intelligence artificielle à usage général, notamment par :
(i) alerter l’AI Office d’éventuels risques systémiques au niveau de l’Union de modèles d’AI à usage général, conformément à l’article 90 ;
(ii) contribuer au développement d’outils et de méthodologies pour l’évaluation des capacités des modèles et des systèmes d’IA à usage général, y compris par le biais de critères de référence ;
(iii) fournir des conseils sur la classification des modèles d’IA à usage général présentant un risque systémique ;
(iv) fournir des conseils sur la classification de divers modèles et systèmes d’IA à usage général ;
(v) contribuer au développement d’outils et de modèles ;
(b) soutenir le travail des autorités de surveillance du marché, à leur demande ;
(c) soutenir les activités transfrontalières de surveillance du marché visées à l’article 74, paragraphe 11, sans préjudice des pouvoirs des autorités de surveillance du marché ;
(d) d’assister l’Office AI dans l’exercice de ses fonctions dans le cadre de la procédure de sauvegarde de l’Union visée à l’article 81.
(163) Dans le but de compléter les systèmes de gouvernance pour les modèles d’intelligence artificielle à usage général, le groupe scientifique devrait soutenir les activités de suivi de l’AI Office et peut, dans certains cas, fournir des alertes qualifiées à l’AI Office qui déclenchent des suivis, tels que des enquêtes. Ce devrait être le cas lorsque le panel scientifique a des raisons de penser qu’un modèle d’IA à usage général présente un risque concret et identifiable au niveau de l’Union. En outre, ce devrait être le cas lorsque le panel scientifique a des raisons de penser qu’un modèle d’AI à usage général répond aux critères qui conduiraient à une classification en tant que modèle d’AI à usage général présentant un risque systémique. Afin de fournir au groupe scientifique les informations nécessaires à l’accomplissement de ces tâches, il devrait exister un mécanisme par lequel le groupe scientifique peut demander à la Commission de demander de la documentation ou des informations à un fournisseur.
4. Les experts du groupe scientifique s’acquittent de leurs tâches en toute impartialité et objectivité et garantissent la confidentialité des informations et des données recueillies dans l’exercice de leurs fonctions et activités. Ils ne sollicitent ni n’acceptent d’instructions de quiconque dans l’exercice des tâches visées au paragraphe 3. Chaque expert établit une déclaration d’intérêts qui est rendue publique. L’AI Office met en place des systèmes et des procédures pour gérer et prévenir activement les conflits d’intérêts potentiels.
5. L’acte d’exécution visé au paragraphe 1 comprend des dispositions relatives aux conditions, aux procédures et aux modalités détaillées selon lesquelles le groupe scientifique et ses membres peuvent émettre des alertes et demander l’assistance de l’AI Office pour l’exécution des tâches du groupe scientifique.
(151) Pour soutenir la mise en œuvre et l’application du présent règlement, en particulier les activités de suivi de l’AI Office en ce qui concerne les modèles d’intelligence artificielle à usage général, il convient d’établir un panel scientifique d’experts indépendants. Les experts indépendants constituant le groupe scientifique devraient être choisis sur la base d’une expertise scientifique ou technique actualisée dans le domaine de l’IA et devraient s’acquitter de leurs tâches avec impartialité et objectivité et garantir la confidentialité des informations et des données obtenues dans l’exercice de leurs fonctions et de leurs activités. Afin de permettre le renforcement des capacités nationales nécessaires à l’application effective du présent règlement, les États membres devraient pouvoir demander l’assistance du groupe d’experts constituant le groupe scientifique pour leurs activités d’exécution.
1. Les États membres peuvent faire appel aux experts du groupe scientifique pour les aider dans leurs activités d’exécution en vertu du présent règlement.
2. Les États membres peuvent être tenus de payer des frais pour les conseils et l’assistance fournis par les experts. La structure et le niveau des redevances ainsi que l’échelle et la structure des coûts récupérables sont fixés dans l’acte d’exécution visé à l’article 68, paragraphe 1, en tenant compte des objectifs d’une mise en œuvre appropriée du présent règlement, du rapport coût-efficacité et de la nécessité d’assurer un accès effectif aux experts pour tous les États membres.
3. La Commission facilite l’accès rapide des États membres aux experts, en tant que de besoin, et veille à ce que la combinaison des activités de soutien menées par l’Union AI testing support visée à l’article 84 et par les experts visés au présent article soit organisée de manière efficace et apporte la meilleure valeur ajoutée possible.
1. Chaque État membre établit ou désigne comme autorités nationales compétentes au moins une autorité de notification et au moins une autorité de surveillance du marché aux fins du présent règlement. Ces autorités nationales compétentes exercent leurs pouvoirs de manière indépendante, impartiale et non biaisée, afin de garantir l’objectivité de leurs activités et de leurs tâches et d’assurer l’application et la mise en œuvre du présent règlement. Les membres de ces autorités s’abstiennent de toute action incompatible avec leurs fonctions. Sous réserve du respect de ces principes, ces activités et ces tâches peuvent être exercées par une ou plusieurs autorités désignées, en fonction des besoins organisationnels de l’État membre.
(153) Les États membres jouent un rôle essentiel dans l’application et le respect du présent règlement. À cet égard, chaque État membre devrait désigner au moins une autorité de notification et au moins une autorité de surveillance du marché en tant qu’autorités nationales compétentes pour superviser l’application et la mise en œuvre du présent règlement. Les États membres peuvent décider de désigner tout type d’entité publique pour exécuter les tâches des autorités compétentes nationales dans le cadre du présent règlement, en fonction de leurs caractéristiques et besoins organisationnels nationaux spécifiques. Afin d’accroître l’efficacité organisationnelle du côté des États membres et de mettre en place un point de contact unique vis-à-vis du public et d’autres interlocuteurs au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité de surveillance du marché pour agir en tant que point de contact unique.
(154) Les autorités nationales compétentes devraient exercer leurs pouvoirs de manière indépendante, impartiale et non biaisée, afin de garantir les principes d’objectivité de leurs activités et de leurs tâches et d’assurer l’application et la mise en œuvre du présent règlement. Les membres de ces autorités devraient s’abstenir de toute action incompatible avec leurs fonctions et devraient être soumis aux règles de confidentialité prévues par le présent règlement.
(156) Afin d’assurer une mise en œuvre appropriée et efficace des exigences et des obligations prévues par le présent règlement, qui est une législation d’harmonisation de l’Union, le système de surveillance du marché et de conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Les autorités de surveillance du marché désignées en vertu du présent règlement devraient disposer de tous les pouvoirs d’exécution prévus par le présent règlement et par le règlement (UE) 2019/1020 et devraient exercer leurs pouvoirs et s’acquitter de leurs tâches de manière indépendante, impartiale et non biaisée. Bien que la majorité des systèmes d’information financière ne soient pas soumis à des exigences et obligations spécifiques en vertu du présent règlement, les autorités de surveillance du marché peuvent prendre des mesures concernant tous les systèmes d’information financière lorsqu’ils présentent un risque conformément au présent règlement. En raison de la nature spécifique des institutions, agences et organismes de l’Union relevant du champ d’application du présent règlement, il convient de désigner le Contrôleur européen de la protection des données comme autorité de surveillance du marché compétente pour eux. Cela devrait se faire sans préjudice de la désignation d’autorités compétentes nationales par les États membres. Les activités de surveillance du marché ne devraient pas affecter la capacité des entités contrôlées à s’acquitter de leurs tâches de manière indépendante, lorsque cette indépendance est requise par le droit de l’Union.
2. Les États membres communiquent à la Commission l’identité des autorités de notification et des autorités de surveillance du marché et les tâches de ces autorités, ainsi que toute modification ultérieure de celles-ci. Les États membres rendent publiques les informations sur la manière dont les autorités compétentes et les guichets uniques peuvent être contactés, par des moyens électroniques, d’ici … [12 mois à compter de la date d’entrée en vigueur du présent règlement]. Les États membres désignent une autorité de surveillance du marché pour agir en tant que point de contact unique pour le présent règlement et notifient à la Commission l’identité de ce point de contact unique. La Commission met à la disposition du public une liste des points de contact uniques.
3. Les États membres veillent à ce que leurs autorités nationales compétentes disposent des ressources techniques, financières et humaines ainsi que de l’infrastructure adéquates pour s’acquitter efficacement de leurs tâches en vertu du présent règlement. En particulier, les autorités nationales compétentes doivent disposer en permanence d’un nombre suffisant de personnel dont les compétences et l’expertise doivent inclure une connaissance approfondie des technologies IA, de l’informatique et des données, de la protection des données personnelles, de la cybersécurité, des droits fondamentaux, des risques pour la santé et la sécurité, ainsi qu’une connaissance des normes et des exigences légales existantes. Les États membres évaluent et, le cas échéant, mettent à jour sur une base annuelle les compétences et les ressources requises mentionnées dans le présent paragraphe.
4. Les autorités nationales compétentes prennent les mesures appropriées pour assurer un niveau de cybersécurité adéquat.
5. Dans l’exercice de leurs fonctions, les autorités nationales compétentes agissent conformément aux obligations de confidentialité prévues à l’article 78.
6. Au … [un an à compter de la date d’entrée en vigueur du présent règlement], et une fois tous les deux ans par la suite, les États membres font rapport à la Commission sur l’état des ressources financières et humaines des autorités nationales compétentes, avec une évaluation de leur adéquation. La Commission transmet ces informations au Conseil pour discussion et recommandations éventuelles.
7. La Commission facilite l’échange d’expériences entre les autorités nationales compétentes.
8. Les autorités nationales compétentes peuvent fournir des orientations et des conseils sur la mise en œuvre du présent règlement, en particulier aux PME, y compris aux jeunes pousses, en tenant compte, le cas échéant, des orientations et des conseils du Conseil et de la Commission. Chaque fois que les autorités nationales compétentes envisagent de fournir des conseils et des avis sur un système d’assurance invalidité dans des domaines couverts par une autre législation de l’Union, les autorités nationales compétentes en vertu de cette législation sont consultées, le cas échéant.
9. Lorsque les institutions, organes, bureaux ou agences de l’Union entrent dans le champ d’application du présent règlement, le Contrôleur européen de la protection des données agit en tant qu’autorité compétente pour leur contrôle.
(157) Le présent règlement ne porte pas atteinte aux compétences, aux tâches, aux pouvoirs et à l’indépendance des autorités ou des organismes publics nationaux compétents qui contrôlent l’application de la législation de l’Union en matière de protection des droits fondamentaux, y compris les organismes chargés de l’égalité et les autorités chargées de la protection des données. Lorsque cela est nécessaire à leur mandat, ces autorités ou organismes publics nationaux devraient également avoir accès à toute documentation créée en vertu du présent règlement. Une procédure de sauvegarde spécifique devrait être mise en place pour garantir une application adéquate et rapide contre les systèmes d’intelligence artificielle présentant un risque pour la santé, la sécurité et les droits fondamentaux. La procédure applicable à ces systèmes d’IA présentant un risque devrait être appliquée aux systèmes d’IA à haut risque présentant un risque, aux systèmes interdits qui ont été mis sur le marché, mis en service ou utilisés en violation des pratiques interdites énoncées dans le présent règlement et aux systèmes d’IA qui ont été mis à disposition en violation des exigences de transparence énoncées dans le présent règlement et qui présentent un risque.
1. La Commission, en coopération avec les États membres, établit et tient à jour une base de données de l’Union européenne contenant les informations visées aux paragraphes 2 et 3 du présent article concernant les systèmes d’assurance-invalidité à haut risque visés à l’article 6, paragraphe 2, qui sont enregistrés conformément aux articles 49 et 60, et les systèmes d’assurance-invalidité qui ne sont pas considérés comme à haut risque au sens de l’article 6, paragraphe 3, et qui sont enregistrés conformément à l’article 6, paragraphe 4, et à l’article 49. Lors de l’établissement des spécifications fonctionnelles de cette base de données, la Commission consulte les experts concernés et, lors de la mise à jour des spécifications fonctionnelles de cette base de données, la Commission consulte le Conseil.
2. Les données énumérées aux sections A et B de l’annexe VIII sont introduites dans la base de données de l’UE par le fournisseur ou, le cas échéant, par le représentant autorisé.
3. Les données énumérées à la section C de l’annexe VIII sont introduites dans la base de données de l’UE par le déclarant qui est, ou qui agit pour le compte d’une autorité, d’une agence ou d’un organisme public, conformément à l’article 49, paragraphes 3 et 4.
4. À l’exception de la section mentionnée à l’article 49, paragraphe 4, et à l’article 60, paragraphe 4, point c), les informations contenues dans la base de données de l’Union européenne enregistrée conformément à l’article 49 sont accessibles et mises à la disposition du public d’une manière conviviale. Les informations doivent être facilement navigables et lisibles par machine. Les informations enregistrées conformément à l’article 60 ne sont accessibles qu’aux autorités de surveillance du marché et à la Commission, à moins que le fournisseur ou le prestataire potentiel n’ait donné son accord pour que ces informations soient également accessibles au public.
5. La base de données de l’UE ne doit contenir des données à caractère personnel que dans la mesure où elles sont nécessaires à la collecte et au traitement des informations conformément au présent règlement. Ces informations comprennent les noms et les coordonnées des personnes physiques responsables de l’enregistrement du système et ayant l’autorité légale pour représenter le fournisseur ou le déployeur, selon le cas.
6. La Commission doit être le contrôleur de la base de données de l’UE. Elle doit mettre à la disposition des fournisseurs, des fournisseurs potentiels et des déployeurs un soutien technique et administratif approprié. La base de données de l’Union européenne doit être conforme aux exigences applicables en matière d’accessibilité.
1. Les fournisseurs doivent établir et documenter un système de surveillance post-commercialisation d’une manière proportionnée à la nature des technologies d’intelligence artificielle et aux risques du système d’intelligence artificielle à haut risque.
2. Le système de surveillance post-commercialisation doit collecter, documenter et analyser activement et systématiquement les données pertinentes qui peuvent être fournies par les déployeurs ou qui peuvent être recueillies par d’autres sources sur les performances des systèmes d’IA à haut risque tout au long de leur durée de vie, et qui permettent au fournisseur d’évaluer la conformité continue des systèmes d’IA aux exigences énoncées au chapitre III, section 2. Le cas échéant, la surveillance post-commercialisation doit inclure une analyse de l’interaction avec d’autres systèmes d’IA. Cette obligation ne doit pas couvrir les données opérationnelles sensibles des déployeurs qui sont des autorités chargées de faire respecter la loi.
3. Le système de surveillance post-commercialisation doit être fondé sur un plan de surveillance post-commercialisation. Le plan de surveillance post-commercialisation fait partie de la documentation technique visée à l’annexe IV. La Commission adopte un acte de mise en œuvre fixant des dispositions détaillées établissant un modèle pour le plan de surveillance post-commercialisation et la liste des éléments à inclure dans ce plan d’ici … [18 mois après l’entrée en vigueur du présent règlement]. Cet acte d’exécution est adopté conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
4. Pour les systèmes d’assurance-invalidité à haut risque couverts par la législation d’harmonisation de l’Union visée à la section A de l’annexe I, lorsqu’un système et un plan de surveillance post-commercialisation sont déjà établis en vertu de cette législation, afin d’assurer la cohérence, d’éviter les doubles emplois et de réduire au minimum les charges supplémentaires, les fournisseurs ont le choix d’intégrer, le cas échéant, les éléments nécessaires décrits aux paragraphes 1, 2 et 3 dans les systèmes et les plans déjà existants en vertu de cette législation, en utilisant le modèle visé au paragraphe 3, à condition que cela permette d’atteindre un niveau de protection équivalent.
Le premier alinéa du présent paragraphe s’applique également aux systèmes d’assurance-invalidité à haut risque visés au point 5 de l’annexe III qui sont mis sur le marché ou mis en service par des établissements financiers soumis aux exigences de la législation de l’Union relative aux services financiers en ce qui concerne leur gouvernance interne, leurs dispositions ou leurs processus.
(155) Afin de garantir que les fournisseurs de systèmes d’IA à haut risque puissent prendre en compte l’expérience acquise sur l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement ou prendre toute mesure corrective possible en temps utile, tous les fournisseurs devraient disposer d’un système de surveillance post-commercialisation en place. Le cas échéant, la surveillance post-commercialisation devrait inclure une analyse de l’interaction avec d’autres systèmes IA, y compris d’autres dispositifs et logiciels. La surveillance post-commercialisation ne doit pas couvrir les données opérationnelles sensibles des déployeurs qui sont des autorités chargées de l’application de la loi. Ce système est également essentiel pour garantir que les risques éventuels émergeant des systèmes IA qui continuent à “apprendre” après avoir été placés sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus d’avoir un système en place pour signaler aux autorités compétentes tout incident grave résultant de l’utilisation de leurs systèmes d’IA, notamment un incident ou un dysfonctionnement ayant entraîné la mort ou de graves dommages à la santé, une perturbation grave et irréversible de la gestion et du fonctionnement d’infrastructures critiques, des violations des obligations prévues par la législation de l’Union européenne en matière de protection des droits fondamentaux ou des dommages graves aux biens ou à l’environnement.
1. Les fournisseurs de systèmes d’intelligence artificielle à haut risque placés sur le marché de l’Union signalent tout incident grave aux autorités de surveillance du marché des États membres où cet incident s’est produit.
2. Le rapport visé au paragraphe 1 est établi immédiatement après que le fournisseur a établi un lien de causalité entre le système d’assurance qualité et l’incident grave ou la probabilité raisonnable d’un tel lien et, en tout état de cause, au plus tard 15 jours après que le fournisseur ou, le cas échéant, le délégué, a pris connaissance de l’incident grave.
La période de déclaration mentionnée au premier alinéa doit tenir compte de la gravité de l’incident grave.
3. Nonobstant le paragraphe 2 du présent article, en cas de violation généralisée ou d’incident grave tel que défini à l’article 3, point (49) (b), le rapport visé au paragraphe 1 du présent article est fourni immédiatement et au plus tard deux jours après que le fournisseur ou, le cas échéant, le délégué a pris connaissance de cet incident.
4. Nonobstant le paragraphe 2, en cas de décès d’une personne, le rapport est fourni immédiatement après que le prestataire ou le déployeur a établi, ou dès qu’il soupçonne, un lien de causalité entre le système IA à haut risque et l’incident grave, mais pas plus tard que dix jours après la date à laquelle le prestataire ou, le cas échéant, le déployeur a pris connaissance de l’incident grave.
5. Lorsque cela s’avère nécessaire pour assurer une notification en temps utile, le fournisseur ou, le cas échéant, le déployeur, peut soumettre un rapport initial incomplet suivi d’un rapport complet.
6. Après la notification d’un incident grave conformément au paragraphe 1, le prestataire procède, sans délai, aux investigations nécessaires concernant l’incident grave et le système d’IA concerné. Ces investigations comprennent une évaluation des risques liés à l’incident et des mesures correctives.
Le prestataire coopère avec les autorités compétentes et, le cas échéant, avec l’organisme notifié concerné, au cours des enquêtes mentionnées au premier alinéa, et s’abstient de mener toute enquête impliquant une modification du système d’alarme sociale concerné d’une manière susceptible d’affecter toute évaluation ultérieure des causes de l’incident avant d’informer les autorités compétentes d’une telle action.
7. Lorsqu’elle reçoit une notification relative à un incident grave visé à l’article 3, point (49)(c), l’autorité de surveillance du marché concernée informe les autorités publiques nationales ou les organismes visés à l’article 77(1). La Commission élabore des orientations spécifiques pour faciliter le respect des obligations énoncées au paragraphe 1 du présent article. Ces orientations sont publiées au plus tard le … [12 mois après l’entrée en vigueur du présent règlement] et font l’objet d’une évaluation régulière.
8. L’autorité de surveillance du marché prend les mesures appropriées prévues à l’article 19 du règlement (UE) 2019/1020 dans un délai de sept jours à compter de la date à laquelle elle a reçu la notification visée au paragraphe 1 du présent article, et suit les procédures de notification prévues par ledit règlement.
9. Pour les systèmes d’authentification à haut risque visés à l’annexe III qui sont mis sur le marché ou mis en service par des fournisseurs soumis à des instruments législatifs de l’Union imposant des obligations de déclaration équivalentes à celles prévues par le présent règlement , la notification des incidents graves est limitée à ceux visés à l’article 3, point (49)(c).
10. Pour les systèmes d’intelligence artificielle à haut risque qui sont des composants de sécurité de dispositifs, ou qui sont eux-mêmes des dispositifs, couverts par les règlements (UE) 2017/745 et (UE) 2017/746, la notification des incidents graves est limitée à ceux visés à l’article 3, point (49)(c), du présent règlement et est faite à l’autorité nationale compétente choisie à cette fin par les États membres où l’incident s’est produit.
11. Les autorités nationales compétentes notifient immédiatement à la Commission tout incident grave, qu’elles aient ou non pris des mesures à son égard, conformément à l’article 20 du règlement (UE) 2019/1020.
1. Le règlement (UE) 2019/1020 s’applique aux systèmes d’assurance invalidité couverts par le présent règlement. Aux fins de l’application effective du présent règlement :
(a) toute référence à un opérateur économique au titre du règlement (UE) 2019/1020 s’entend comme incluant tous les opérateurs identifiés à l’article 2, paragraphe 1, du présent règlement ;
(b) toute référence à un produit au titre du règlement (UE) 2019/1020 s’entend comme incluant tous les systèmes d’intelligence artificielle relevant du champ d’application du présent règlement.
2. Dans le cadre de leurs obligations d’information en vertu de l’article 34, paragraphe 4, du règlement (UE) 2019/1020, les autorités de surveillance du marché font rapport chaque année à la Commission et aux autorités nationales compétentes en matière de concurrence sur toute information identifiée au cours de leurs activités de surveillance du marché qui pourrait présenter un intérêt potentiel pour l’application du droit de l’Union relatif aux règles de concurrence. Elles font également rapport chaque année à la Commission sur l’utilisation de pratiques interdites au cours de l’année en question et sur les mesures prises.
3. Pour les systèmes d’IA à haut risque relatifs aux produits couverts par la législation d’harmonisation de l’Union énumérée à la section A de l’annexe I, l’autorité de surveillance du marché aux fins du présent règlement est l’autorité responsable des activités de surveillance du marché désignée en vertu de ces actes législatifs.
Par dérogation au premier alinéa, et dans des circonstances appropriées, les États membres peuvent désigner une autre autorité compétente pour agir en tant qu’autorité de surveillance du marché, à condition qu’ils assurent la coordination avec les autorités sectorielles de surveillance du marché concernées chargées de l’application de la législation d’harmonisation de l’Union énumérée à l’annexe I.
4. Les procédures visées aux articles 79 à 83 du présent règlement ne s’appliquent pas aux systèmes d’assurance invalidité relatifs aux produits couverts par la législation d’harmonisation de l’Union énumérée à la section A de l’annexe I, lorsque ces actes législatifs prévoient déjà des procédures garantissant un niveau de protection équivalent et poursuivant le même objectif. Dans de tels cas, les procédures sectorielles pertinentes s’appliquent à la place.
5. Sans préjudice des pouvoirs des autorités de surveillance du marché visés à l’article 14 du règlement (UE) 2019/1020, dans le but d’assurer l’application effective du présent règlement, les autorités de surveillance du marché peuvent exercer à distance, le cas échéant, les pouvoirs visés à l’article 14, paragraphe 4, points (d) et (j), dudit règlement.
6. Pour les systèmes d’information financière à haut risque placés sur le marché, mis en service ou utilisés par des établissements financiers régis par la législation de l’Union sur les services financiers, l’autorité de surveillance du marché aux fins du présent règlement est l’autorité nationale compétente chargée de la surveillance financière de ces établissements en vertu de cette législation, dans la mesure où le placement sur le marché, la mise en service ou l’utilisation du système d’information financière est directement lié à la fourniture de ces services financiers.
(157) Le présent règlement ne porte pas atteinte aux compétences, aux tâches, aux pouvoirs et à l’indépendance des autorités ou des organismes publics nationaux compétents qui contrôlent l’application de la législation de l’Union en matière de protection des droits fondamentaux, y compris les organismes chargés de l’égalité et les autorités chargées de la protection des données. Lorsque cela est nécessaire à leur mandat, ces autorités ou organismes publics nationaux devraient également avoir accès à toute documentation créée en vertu du présent règlement. Une procédure de sauvegarde spécifique devrait être mise en place pour garantir une application adéquate et rapide contre les systèmes d’intelligence artificielle présentant un risque pour la santé, la sécurité et les droits fondamentaux. La procédure applicable à ces systèmes d’IA présentant un risque devrait être appliquée aux systèmes d’IA à haut risque présentant un risque, aux systèmes interdits qui ont été mis sur le marché, mis en service ou utilisés en violation des pratiques interdites énoncées dans le présent règlement et aux systèmes d’IA qui ont été mis à disposition en violation des exigences de transparence énoncées dans le présent règlement et qui présentent un risque.
(158) La législation de l’Union sur les services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils utilisent des systèmes d’information financière. Afin d’assurer une application et une exécution cohérentes des obligations prévues par le présent règlement et des règles et exigences pertinentes des actes juridiques de l’Union relatifs aux services financiers, les autorités compétentes pour la surveillance et l’exécution de ces actes juridiques, en particulier les autorités compétentes telles que définies dans le règlement (UE) n° 575/2013 du Parlement européen et du Conseil46 et les directives 2008/48/CE47, 2009/138/CE48, 2013/36/UE49, 2014/17/UE50 et (UE) 2016/9751 du Parlement européen et du Conseil, devraient être désignées, dans le cadre de leurs compétences respectives, comme autorités compétentes aux fins du contrôle de l’application du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et contrôlés, à moins que les États membres ne décident de désigner une autre autorité pour s’acquitter de ces tâches de surveillance du marché.
Ces autorités compétentes devraient disposer de tous les pouvoirs prévus par le présent règlement et par le règlement (UE) 2019/1020 pour appliquer les exigences et les obligations prévues par le présent règlement, y compris pour mener des activités de surveillance du marché ex post qui peuvent, le cas échéant, être intégrées dans leurs mécanismes et procédures de surveillance existants en vertu de la législation pertinente de l’Union en matière de services financiers. Il convient d’envisager que, lorsqu’elles agissent en tant qu’autorités de surveillance du marché en vertu du présent règlement, les autorités nationales chargées de la surveillance des établissements de crédit régis par la directive 2013/36/UE qui participent au mécanisme de surveillance unique établi par le règlement du Conseil (UE) n° 1024/2013 , communiquent sans délai à la Banque centrale européenne toute information identifiée au cours de leurs activités de surveillance du marché qui pourrait présenter un intérêt potentiel pour les missions de surveillance prudentielle de la Banque centrale européenne telles que définies dans ledit règlement.
Afin de renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE, il est également approprié d’intégrer certaines des obligations procédurales des prestataires en matière de gestion des risques, de surveillance post-commercialisation et de documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient également être envisagées en ce qui concerne le système de gestion de la qualité des prestataires et l’obligation de surveillance imposée aux fournisseurs de systèmes d’IA à haut risque, dans la mesure où ceux-ci s’appliquent aux établissements de crédit régis par la directive 2013/36/UE. Le même régime devrait s’appliquer aux compagnies d’assurance et de réassurance et aux sociétés holding d’assurance visées par la directive 2009/138/CE et aux intermédiaires d’assurance visés par la directive (UE) 2016/97, ainsi qu’à d’autres types d’institutions financières soumises à des exigences en matière de gouvernance interne, d’arrangements ou de procédures établies conformément à la législation pertinente de l’Union en matière de services financiers, afin de garantir la cohérence et l’égalité de traitement dans le secteur financier.
7. Par dérogation au paragraphe 6, dans des circonstances appropriées et pour autant que la coordination soit assurée, une autre autorité compétente peut être désignée par l’État membre comme autorité de surveillance du marché aux fins du présent règlement.
Les autorités nationales de surveillance du marché qui supervisent des établissements de crédit réglementés régis par la directive 2013/36/UE et qui participent au mécanisme de surveillance unique établi par le règlement (UE) no 1024/2013 doivent communiquer sans délai à la Banque centrale européenne toute information identifiée dans le cadre de leurs activités de surveillance du marché qui pourrait présenter un intérêt potentiel pour les tâches de surveillance prudentielle de la Banque centrale européenne telles que définies dans ledit règlement.
8. Pour les systèmes d’intelligence artificielle à haut risque énumérés au point 1 de l’annexe III du présent règlement, dans la mesure où ces systèmes sont utilisés à des fins d’application de la loi, de gestion des frontières et de justice et de démocratie, et pour les systèmes d’intelligence artificielle à haut risque énumérés aux points 6, 7 et 8 de l’annexe III du présent règlement, les États membres désignent comme autorités de surveillance du marché aux fins du présent règlement soit les autorités compétentes en matière de protection des données en vertu du règlement (UE) 2016/679 ou de la directive (UE) 2016/680, soit toute autre autorité désignée selon les mêmes conditions énoncées aux articles 41 à 44 de la directive (UE) 2016/680. Les activités de surveillance du marché ne doivent en aucun cas affecter l’indépendance des autorités judiciaires ou interférer de quelque manière que ce soit avec leurs activités lorsqu’elles agissent dans leur capacité judiciaire.
(159) Chaque autorité de surveillance du marché des systèmes d’intelligence artificielle à haut risque dans le domaine de la biométrie, tels qu’énumérés dans une annexe au présent règlement, dans la mesure où ces systèmes sont utilisés à des fins d’application de la loi, de gestion des migrations, de l’asile et du contrôle des frontières, ou d’administration de la justice et des processus démocratiques, devrait disposer de pouvoirs effectifs d’investigation et de correction, y compris, au moins, du pouvoir d’accéder à toutes les données à caractère personnel en cours de traitement et à toutes les informations nécessaires à l’accomplissement de ses tâches. Les autorités de surveillance du marché devraient être en mesure d’exercer leurs pouvoirs en toute indépendance. Toute limitation de leur accès à des données opérationnelles sensibles en vertu du présent règlement devrait être sans préjudice des pouvoirs qui leur sont conférés par la directive (UE) 2016/680. Aucune exclusion de la divulgation de données aux autorités nationales chargées de la protection des données en vertu du présent règlement ne devrait affecter les pouvoirs actuels ou futurs de ces autorités au-delà du champ d’application du présent règlement.
9. Lorsque les institutions, organes, bureaux ou agences de l’Union entrent dans le champ d’application du présent règlement, le Contrôleur européen de la protection des données agit en tant qu’autorité de surveillance du marché, sauf en ce qui concerne la Cour de justice de l’Union européenne agissant dans le cadre de sa compétence judiciaire.
10. Les États membres facilitent la coordination entre les autorités de surveillance du marché désignées en vertu du présent règlement et les autres autorités ou organismes nationaux compétents chargés de contrôler l’application de la législation d’harmonisation de l’Union énumérée à l’annexe I ou de toute autre législation de l’Union susceptible d’être pertinente pour les systèmes d’assurance-invalidité à haut risque visés à l’annexe III.
11. Les autorités de surveillance du marché et la Commission peuvent proposer des activités conjointes, y compris des enquêtes conjointes, à mener par les autorités de surveillance du marché ou par les autorités de surveillance du marché conjointement avec la Commission, dans le but de promouvoir la conformité, d’identifier les cas de non-conformité, de détecter les cas de non-conformité ou de fournir des orientations en ce qui concerne le présent règlement pour des catégories spécifiques de systèmes d’information financière à haut risque qui sont considérés comme présentant un risque sérieux dans deux États membres ou plus, conformément à l’article 9 du règlement (UE) 2019/1020. Le Bureau de l’information financière fournit un soutien à la coordination des enquêtes conjointes.
(160) Les autorités de surveillance du marché et la Commission devraient pouvoir proposer des activités conjointes, y compris des enquêtes conjointes, à mener par les autorités de surveillance du marché ou par les autorités de surveillance du marché conjointement avec la Commission, dans le but de promouvoir la conformité, d’identifier les cas de non-conformité, de mettre en évidence les cas de non-conformité et de fournir des orientations en rapport avec le présent règlement en ce qui concerne des catégories spécifiques de systèmes d’information financière à haut risque qui se révèlent présenter un risque grave dans deux États membres ou plus. Les activités conjointes de promotion de la conformité devraient être menées conformément à l’article 9 du règlement (UE) 2019/1020. L’AI Office devrait fournir un soutien à la coordination des enquêtes conjointes.
12. Sans préjudice des pouvoirs prévus par le règlement (UE) 2019/1020 et, le cas échéant, dans la limite de ce qui est nécessaire à l’accomplissement de leurs tâches, les autorités de surveillance du marché doivent avoir pleinement accès, de la part des fournisseurs, à la documentation ainsi qu’à l’ensemble des données de formation, de validation et de test utilisées pour le développement de systèmes d’intelligence artificielle à haut risque, y compris, le cas échéant et sous réserve de garanties de sécurité, par le biais d’interfaces de programmation d’applications (API) ou d’autres moyens et outils techniques pertinents permettant un accès à distance.
13. Les autorités de surveillance du marché doivent être autorisées à accéder au code source du système d’intelligence artificielle à haut risque sur demande motivée et uniquement si les deux conditions suivantes sont remplies :
(a) l’accès au code source est nécessaire pour évaluer la conformité d’un système d’intelligence artificielle à haut risque avec les exigences énoncées au chapitre III, section 2 ; et,
(b) les procédures de test ou d’audit et les vérifications basées sur les données et la documentation fournies par le fournisseur ont été épuisées ou se sont révélées insuffisantes.
14. Toute information ou documentation obtenue par les autorités de surveillance du marché est traitée conformément aux obligations de confidentialité énoncées à l’article 78.
1. Lorsqu’un système d’intelligence artificielle est basé sur un modèle d’intelligence artificielle à usage général et que le modèle et le système sont développés par le même fournisseur, l’AI Office doit avoir le pouvoir de contrôler et de superviser la conformité de ce système d’intelligence artificielle aux obligations prévues par le présent règlement. Pour s’acquitter de ses tâches de suivi et de contrôle, l’AI Office dispose de tous les pouvoirs d’une autorité de surveillance du marché prévus par la présente section et le règlement (UE) 2019/1020.
(162) Afin de tirer le meilleur parti de l’expertise centralisée de l’Union et des synergies au niveau de l’Union, le pouvoir de contrôle et d’exécution des obligations sur les fournisseurs de modèles d’IA à usage général devrait être une compétence de la Commission. L’Office AI devrait être en mesure d’entreprendre toutes les actions nécessaires pour contrôler la mise en œuvre effective du présent règlement en ce qui concerne les modèles d’IA à usage général. Il devrait être en mesure d’enquêter sur d’éventuelles infractions aux règles applicables aux fournisseurs de modèles d’IA à usage général, soit de sa propre initiative, soit à la suite des résultats de ses activités de surveillance, soit à la demande des autorités de surveillance du marché, conformément aux conditions fixées dans le présent règlement. Afin de soutenir un contrôle efficace de l’AI Office, celui-ci devrait prévoir la possibilité pour les fournisseurs en aval de déposer des plaintes concernant d’éventuelles infractions aux règles applicables aux fournisseurs de modèles et de systèmes d’IA à usage général.
(164) L’AI Office devrait être en mesure de prendre les mesures nécessaires pour contrôler la mise en œuvre effective et le respect des obligations imposées aux fournisseurs de modèles d’IA à usage général par le présent règlement. L’AI Office devrait être en mesure d’enquêter sur d’éventuelles infractions conformément aux pouvoirs prévus par le présent règlement, notamment en demandant de la documentation et des informations, en procédant à des évaluations, ainsi qu’en demandant aux fournisseurs de modèles d’IA à usage général de prendre des mesures. Lors de la réalisation d’évaluations, afin de bénéficier d’une expertise indépendante, l’AI Office devrait être en mesure de faire appel à des experts indépendants pour effectuer les évaluations en son nom. Le respect des obligations devrait être exécutable, entre autres, par des demandes de prise de mesures appropriées, y compris des mesures d’atténuation des risques en cas de risques systémiques identifiés ainsi que par la restriction de la mise à disposition sur le marché, le retrait ou le rappel du modèle. En tant que garantie, si nécessaire au-delà des droits procéduraux prévus par le présent règlement, les fournisseurs de modèles d’IA à usage général devraient disposer des droits procéduraux prévus à l’article 18 du règlement (UE) 2019/1020, qui devraient s’appliquer mutatis mutandis, sans préjudice des droits procéduraux plus spécifiques prévus par le présent règlement.
2. Lorsque les autorités de surveillance du marché concernées ont des raisons suffisantes de considérer que les systèmes d’intelligence artificielle à usage général qui peuvent être utilisés directement par les déployeurs pour au moins une finalité classée à haut risque conformément au présent règlement ne sont pas conformes aux exigences énoncées dans le présent règlement, elles coopèrent avec l’AI Office pour effectuer des évaluations de conformité et informent le Conseil et les autres autorités de surveillance du marché en conséquence.
3. Lorsqu’une autorité de surveillance du marché n’est pas en mesure de conclure son enquête sur le système d’intelligence artificielle à haut risque en raison de son impossibilité d’accéder à certaines informations relatives au modèle d’intelligence artificielle à usage général, après avoir déployé tous les efforts raisonnables pour obtenir ces informations, elle peut soumettre une demande motivée à l’AI Office, par laquelle l’accès à ces informations sera exigé. Dans ce cas, l’AI Office doit fournir à l’autorité requérante, sans délai et en tout état de cause dans les 30 jours, toute information que l’AI Office juge pertinente pour établir si un système d’intelligence artificielle à haut risque est non conforme. Les autorités de surveillance du marché préservent la confidentialité des informations qu’elles obtiennent conformément à l’article 78 du présent règlement. La procédure prévue au chapitre VI du règlement (UE) 2019/1020 s’applique mutatis mutandis.
(161) Il est nécessaire de clarifier les responsabilités et les compétences au niveau de l’Union et au niveau national en ce qui concerne les systèmes d’intelligence artificielle basés sur des modèles d’intelligence artificielle à usage général. Afin d’éviter le chevauchement des compétences, lorsqu’un système d’intelligence artificielle est basé sur un modèle d’intelligence artificielle générique et que le modèle et le système sont fournis par le même fournisseur, la supervision devrait avoir lieu au niveau de l’Union par l’intermédiaire de l’AI Office, qui devrait avoir les compétences d’une autorité de surveillance du marché au sens du règlement (UE) 2019/1020 à cette fin. Dans tous les autres cas, les autorités nationales de surveillance du marché restent responsables de la surveillance des systèmes d’IA. Toutefois, pour les systèmes d’IA à usage général qui peuvent être utilisés directement par les déployeurs pour au moins un usage classé à haut risque, les autorités de surveillance du marché devraient coopérer avec l’AI Office pour effectuer des évaluations de conformité et informer le Conseil et les autres autorités de surveillance du marché en conséquence. En outre, les autorités de surveillance du marché devraient pouvoir demander l’assistance de l’AI Office lorsque l’autorité de surveillance du marché n’est pas en mesure de conclure une enquête sur un système d’IA à haut risque en raison de son impossibilité d’accéder à certaines informations relatives au modèle d’IA à usage général sur lequel le système d’IA à haut risque est construit. Dans de tels cas, la procédure relative à l’assistance mutuelle dans les affaires transfrontalières prévue au chapitre VI du règlement (UE) 2019/1020 devrait s’appliquer mutatis mutandis.
1. Les autorités de surveillance du marché doivent avoir les compétences et les pouvoirs nécessaires pour s’assurer que les tests effectués dans les conditions réelles du marché sont conformes au présent règlement.
2. Lorsque des tests en situation réelle sont effectués pour des systèmes d’intelligence artificielle qui sont contrôlés dans un cadre réglementaire d’intelligence artificielle au sens de l’article 58, les autorités de surveillance du marché vérifient le respect de l’article 60 dans le cadre de leur rôle de surveillance du cadre réglementaire d’intelligence artificielle. Ces autorités peuvent, le cas échéant, permettre que le test en conditions réelles soit effectué par le fournisseur ou le fournisseur potentiel, par dérogation aux conditions énoncées à l’article 60(4), points (f) et (g).
3. Lorsqu’une autorité de surveillance du marché a été informée par le fournisseur potentiel, le fournisseur ou un tiers d’un incident grave ou a d’autres raisons de penser que les conditions énoncées aux articles 60 et 61 ne sont pas remplies, elle peut prendre l’une ou l’autre des décisions suivantes sur son territoire, selon le cas :
(a) de suspendre ou d’interrompre le test dans des conditions réelles ;
(b) d’exiger du fournisseur ou du fournisseur potentiel et du déployeur ou du déployeur potentiel qu’ils modifient tout aspect du test dans les conditions du monde réel.
4. Lorsqu’une autorité de surveillance du marché a pris une décision visée au paragraphe 3 du présent article ou a émis une objection au sens de l’article 60(4), point (b), la décision ou l’objection indique les raisons qui la motivent et la manière dont le fournisseur ou le fournisseur potentiel peut contester la décision ou l’objection.
5. Le cas échéant, lorsqu’une autorité de surveillance du marché a pris une décision visée au paragraphe 3, elle en communique les motifs aux autorités de surveillance du marché d’autres États membres dans lesquels le système IA a été testé conformément au plan d’essai.
1. Les autorités ou organismes publics nationaux qui contrôlent ou font respecter les obligations prévues par le droit de l’Union en matière de protection des droits fondamentaux, y compris le droit à la non-discrimination, en ce qui concerne l’utilisation des systèmes d’IA à haut risque visés à l’annexe III, ont le droit de demander et d’obtenir l’accès à toute documentation créée ou conservée en vertu du présent règlement, dans une langue et un format accessibles, lorsque l’accès à cette documentation est nécessaire à l’accomplissement effectif de leurs missions dans les limites de leur compétence. L’autorité ou l’organisme public concerné informe l’autorité de surveillance du marché de l’État membre concerné de toute demande de ce type.
2. Au plus tard … [trois mois après l’entrée en vigueur du présent règlement], chaque État membre identifie les autorités publiques ou les organismes visés au paragraphe 1 et en dresse la liste, qui est rendue publique. Les États membres notifient la liste à la Commission et aux autres États membres et la tiennent à jour.
3. Lorsque les documents visés au paragraphe 1 sont insuffisants pour déterminer si un manquement aux obligations prévues par le droit de l’Union en matière de protection des droits fondamentaux a eu lieu, l’autorité ou l’organisme public visé au paragraphe 1 peut adresser une demande motivée à l’autorité de surveillance du marché pour qu’elle organise des tests du système d’intelligence artificielle à haut risque par des moyens techniques. L’autorité de surveillance du marché organise les tests avec la participation étroite de l’autorité ou de l’organisme public requérant dans un délai raisonnable après la demande.
4. Toute information ou documentation obtenue par les autorités ou organismes publics nationaux visés au paragraphe 1 du présent article en vertu du présent article est traitée conformément aux obligations de confidentialité énoncées à l’article 78.
La Commission, les autorités de surveillance du marché et les organismes notifiés ainsi que toute autre personne physique ou morale participant à l’application du présent règlement respectent, conformément au droit de l’Union ou au droit national, la confidentialité des informations et des données obtenues dans l’exercice de leurs fonctions et de leurs activités de manière à les protéger, en particulier :
(a) les droits de propriété intellectuelle et les informations commerciales confidentielles ou les secrets commerciaux d’une personne physique ou morale, y compris les codes sources, sauf dans les cas visés à l’article 5 de la directive (UE) 2016/943 du Parlement européen et du Conseil ;
(b) la mise en œuvre effective du présent règlement, en particulier à des fins d’inspection, d’enquête ou d’audit ;
(c) les intérêts publics et de sécurité nationale ;
(d) le déroulement de procédures pénales ou administratives ;
(e) informations classifiées conformément au droit de l’Union ou au droit national.
2. Les autorités impliquées dans l’application du présent règlement en vertu du paragraphe 1 ne demandent que les données strictement nécessaires à l’évaluation du risque posé par les systèmes d’intelligence artificielle et à l’exercice de leurs pouvoirs conformément au présent règlement et au règlement (UE) 2019/1020. Elles mettent en place des mesures de cybersécurité appropriées et efficaces pour protéger la sécurité et la confidentialité des informations et des données obtenues et détruisent les données collectées dès qu’elles ne sont plus nécessaires aux fins pour lesquelles elles ont été obtenues, conformément au droit communautaire ou national applicable.
3. Sans préjudice des paragraphes 1 et 2, les informations échangées sur une base confidentielle entre les autorités nationales compétentes ou entre les autorités nationales compétentes et la Commission ne sont pas divulguées sans consultation préalable de l’autorité nationale compétente d’origine et du destinataire lorsque des systèmes d’intelligence artificielle à haut risque visés aux points 1, 6 ou 7 de l’annexe III sont utilisés par les autorités chargées de l’application de la loi, du contrôle des frontières, de l’immigration ou de l’asile et lorsque cette divulgation porterait atteinte aux intérêts publics et à la sécurité nationale. Cet échange d’informations ne doit pas couvrir les données opérationnelles sensibles relatives aux activités des autorités chargées de l’application de la loi, du contrôle des frontières, de l’immigration ou de l’asile.
Lorsque les autorités chargées de l’application de la loi, de l’immigration ou de l’asile fournissent des systèmes d’identification automatique à haut risque visés aux points 1, 6 ou 7 de l’annexe III, la documentation technique visée à l’annexe IV doit rester dans les locaux de ces autorités. Ces autorités veillent à ce que les autorités de surveillance du marché visées à l’article 74, paragraphes 8 et 9, le cas échéant, puissent, sur demande, accéder immédiatement à la documentation ou en obtenir une copie. Seul le personnel de l’autorité de surveillance du marché disposant du niveau de sécurité approprié est autorisé à accéder à cette documentation ou à toute copie de celle-ci.
4. Les paragraphes 1, 2 et 3 n’affectent pas les droits ou obligations de la Commission, des États membres et de leurs autorités compétentes, ainsi que des organismes notifiés, en ce qui concerne l’échange d’informations et la diffusion d’alertes, y compris dans le cadre de la coopération transfrontalière, ni les obligations des parties concernées de fournir des informations en vertu du droit pénal des États membres.
5. La Commission et les États membres peuvent, si nécessaire et conformément aux dispositions pertinentes des accords internationaux et commerciaux, échanger des informations confidentielles avec les autorités réglementaires de pays tiers avec lesquelles ils ont conclu des accords de confidentialité bilatéraux ou multilatéraux garantissant un niveau de confidentialité approprié.
(167) Afin d’assurer une coopération loyale et constructive entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties concernées par l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans l’exercice de leurs fonctions, conformément au droit de l’Union ou au droit national. Elles devraient s’acquitter de leurs tâches et activités de manière à protéger, en particulier, les droits de propriété intellectuelle, les informations commerciales confidentielles et les secrets commerciaux, la mise en œuvre effective du présent règlement, les intérêts de la sécurité publique et nationale, l’intégrité des procédures pénales et administratives et l’intégrité des informations classifiées.
1. Les systèmes d’IA présentant un risque doivent être considérés comme un “produit présentant un risque” tel que défini à l’article 3, point 19, du règlement (UE) 2019/1020, dans la mesure où ils présentent des risques pour la santé ou la sécurité, ou pour les droits fondamentaux, des personnes.
2. Lorsque l’autorité de surveillance du marché d’un État membre a des raisons suffisantes de considérer qu’un système d’information financière présente un risque tel que visé au paragraphe 1 du présent article, elle procède à une évaluation du système d’information financière concerné quant à sa conformité avec l’ensemble des exigences et obligations énoncées dans le présent règlement. Une attention particulière est accordée aux systèmes d’AI présentant un risque pour les groupes vulnérables. Lorsque des risques pour les droits fondamentaux sont identifiés, l’autorité de surveillance du marché doit également informer et coopérer pleinement avec les autorités publiques nationales compétentes ou les organismes visés à l’article 77(1). Les opérateurs concernés coopèrent en tant que de besoin avec l’autorité de surveillance du marché et avec les autres autorités ou organismes publics nationaux visés à l’article 77(1).
Si, au cours de cette évaluation, l’autorité de surveillance du marché ou, le cas échéant, l’autorité de surveillance du marché en coopération avec l’autorité publique nationale visée à l’article 77(1), constate que le système d’information financière ne respecte pas les exigences et obligations prévues par le présent règlement, elle exige sans délai de l’opérateur concerné qu’il prenne toutes les mesures correctives appropriées pour mettre le système d’information financière en conformité, pour le retirer du marché ou pour le rappeler dans un délai que l’autorité de surveillance du marché peut prescrire et, en tout état de cause, dans un délai inférieur à 15 jours ouvrables, ou tel que prévu par la législation d’harmonisation de l’Union pertinente.
L’autorité de surveillance du marché informe l’organisme notifié concerné en conséquence. L’article 18 du règlement (UE) 2019/1020 s’applique aux mesures visées au deuxième alinéa du présent paragraphe.
3. Si l’autorité de surveillance du marché estime que la non-conformité n’est pas limitée à son territoire national, elle informe sans délai la Commission et les autres États membres des résultats de l’évaluation et des mesures qu’elle a demandé à l’opérateur de prendre.
4. L’exploitant doit veiller à ce que toutes les mesures correctives appropriées soient prises à l’égard de tous les systèmes IA concernés qu’il a mis à disposition sur le marché de l’Union.
5. Si l’exploitant d’un système d’identification automatique ne prend pas de mesures correctives appropriées dans le délai visé au paragraphe 2, l’autorité de surveillance du marché prend toutes les mesures provisoires appropriées pour interdire ou restreindre la mise à disposition du système d’identification automatique sur son marché national ou sa mise en service, pour retirer le produit ou le système d’identification automatique autonome de ce marché ou pour le récupérer. Cette autorité informe sans délai la Commission et les autres États membres de ces mesures.
6. La notification visée au paragraphe 5 contient tous les détails disponibles, notamment les informations nécessaires à l’identification du système IA non conforme, l’origine du système IA et de la chaîne d’approvisionnement, la nature de la non-conformité constatée et le risque encouru, la nature et la durée des mesures nationales prises et les arguments avancés par l’opérateur concerné. En particulier, les autorités de surveillance du marché doivent indiquer si la non-conformité est due à l’un ou plusieurs des éléments suivants :
(a) la non-conformité avec l’interdiction des pratiques d’IA mentionnées à l’article 5 ;
(b) un défaut de conformité d’un système d’intelligence artificielle à haut risque avec les exigences énoncées au chapitre III, section 2 ;
(c) des lacunes dans les normes harmonisées ou les spécifications communes visées aux articles 40 et 41, qui confèrent une présomption de conformité ;
(d) la non-conformité à l’article 50.
7. Les autorités de surveillance du marché autres que l’autorité de surveillance du marché de l’État membre qui a engagé la procédure informent sans délai la Commission et les autres États membres de toute mesure adoptée et de toute information supplémentaire à leur disposition concernant la non-conformité du système d’assurance invalidité concerné et, en cas de désaccord avec la mesure nationale notifiée, de leurs objections.
8. Si, dans un délai de trois mois à compter de la réception de la notification visée au paragraphe 5 du présent article, aucune objection n’a été soulevée par une autorité de surveillance du marché d’un État membre ou par la Commission à l’égard d’une mesure provisoire prise par une autorité de surveillance du marché d’un autre État membre, cette mesure est réputée justifiée. Ceci est sans préjudice des droits procéduraux de l’opérateur concerné conformément à l’article 18 du règlement (UE) 2019/1020. La période de trois mois visée au présent paragraphe est réduite à 30 jours en cas de non-conformité avec l’interdiction des pratiques AI visée à l’article 5 du présent règlement.
9. Les autorités de surveillance du marché veillent à ce que des mesures restrictives appropriées soient prises à l’égard du produit ou du système IA concerné, telles que le retrait du produit ou du système IA de leur marché, sans retard injustifié.
1. Lorsqu’une autorité de surveillance du marché a des raisons suffisantes de penser qu’un système d’IA classé par le fournisseur comme ne présentant pas de risque élevé conformément à l’article 6, paragraphe 3, présente en fait un risque élevé, l’autorité de surveillance du marché procède à une évaluation du système d’IA concerné en ce qui concerne sa classification comme système d’IA à haut risque sur la base des conditions énoncées à l’article 6, paragraphe 3, et des lignes directrices de la Commission.
2. Si, au cours de cette évaluation, l’autorité de surveillance du marché constate que le système d’information financière concerné présente un risque élevé, elle exige sans délai du fournisseur concerné qu’il prenne toutes les mesures nécessaires pour mettre le système d’information financière en conformité avec les exigences et les obligations prévues par le présent règlement, ainsi que pour prendre les mesures correctives appropriées dans un délai que l’autorité de surveillance du marché peut prescrire.
3. Si l’autorité de surveillance du marché estime que l’utilisation du système d’identification automatique concerné n’est pas limitée à son territoire national, elle informe sans délai la Commission et les autres États membres des résultats de l’évaluation et des mesures qu’elle a demandé au fournisseur de prendre.
4. Le fournisseur veille à ce que toutes les mesures nécessaires soient prises pour mettre le système d’assurance invalidité en conformité avec les exigences et les obligations énoncées dans le présent règlement. Si le fournisseur d’un système d’assurance invalidité concerné ne met pas le système d’assurance invalidité en conformité avec ces exigences et obligations dans le délai visé au paragraphe 2 du présent article, le fournisseur est passible des sanctions prévues à l’article 99.
5. Le fournisseur doit veiller à ce que toutes les mesures correctives appropriées soient prises à l’égard de tous les systèmes d’intelligence artificielle concernés qu’il a mis à disposition sur le marché de l’Union.
6. Si le fournisseur du système d’assurance invalidité concerné ne prend pas les mesures correctives appropriées dans le délai visé au paragraphe 2 du présent article, l’article 79, paragraphes 5 à 9, s’applique.
7. Si, au cours de l’évaluation visée au paragraphe 1 du présent article, l’autorité de surveillance du marché établit que le système d’assurance-invalidité a été mal classé par le fournisseur comme ne présentant pas de risque élevé afin de contourner l’application des exigences prévues au chapitre III, section 2, le fournisseur est passible des sanctions prévues à l’article 99.
Dans l’exercice de leur pouvoir de contrôle de l’application du présent article, et conformément à l’article 11 du règlement (UE) 2019/1020, les autorités de surveillance du marché peuvent procéder à des vérifications appropriées, en tenant compte en particulier des informations stockées dans la base de données de l’Union européenne visée à l’article 71 du présent règlement.
1. Si, dans les trois mois suivant la réception de la notification visée à l’article 79, paragraphe 5, ou dans les 30 jours en cas de non-respect de l’interdiction des pratiques d’initiés visée à l’article 5, des objections sont soulevées par l’autorité de surveillance du marché d’un État membre à l’encontre d’une mesure prise par une autre autorité de surveillance du marché, ou si la Commission considère que la mesure est contraire au droit de l’Union, la Commission entre sans délai en consultation avec l’autorité de surveillance du marché de l’État membre concerné et le ou les opérateurs, et évalue la mesure nationale. Sur la base des résultats de cette évaluation, la Commission décide, dans un délai de six mois, ou de 60 jours en cas de non-conformité avec l’interdiction des pratiques d’IA visée à l’article 5, à compter de la notification visée à l’article 79, paragraphe 5, si la mesure nationale est justifiée et notifie sa décision à l’autorité de surveillance du marché de l’État membre concerné. La Commission informe également de sa décision toutes les autres autorités de surveillance du marché.
2. Si la Commission estime que la mesure prise par l’État membre concerné est justifiée, tous les États membres s’assurent qu’ils prennent des mesures restrictives appropriées à l’égard du système d’AI concerné, telles que l’obligation de retirer sans délai le système d’AI de leur marché, et en informent la Commission. Si la Commission estime que la mesure nationale est injustifiée, l’État membre concerné retire la mesure et en informe la Commission.
3. Lorsque la mesure nationale est jugée justifiée et que la non-conformité du système d’assurance invalidité est attribuée à des lacunes dans les normes harmonisées ou les spécifications communes visées aux articles 40 et 41 du présent règlement, la Commission applique la procédure prévue à l’article 11 du règlement (UE) n° 1025/2012.
1. Si, après avoir procédé à une évaluation conformément à l’article 79 et après avoir consulté l’autorité publique nationale compétente visée à l’article 77(1), l’autorité de surveillance du marché d’un État membre constate que, bien qu’un système IA à haut risque soit conforme au présent règlement, il présente néanmoins un risque pour la santé ou la sécurité des personnes, pour les droits fondamentaux ou pour d’autres aspects de la protection de l’intérêt public, elle exige de l’opérateur concerné qu’il prenne toutes les mesures appropriées pour faire en sorte que le système IA en question, une fois mis sur le marché ou en service, ne présente plus ce risque sans retard injustifié, dans un délai qu’elle peut prescrire.
2. Le fournisseur ou autre opérateur concerné veille à ce que des mesures correctives soient prises à l’égard de tous les systèmes d’identification automatique qu’il a mis à disposition sur le marché de l’Union dans les délais prescrits par l’autorité de surveillance du marché de l’État membre visé au paragraphe 1.
3. Les États membres informent immédiatement la Commission et les autres États membres de toute découverte visée au paragraphe 1. Ces informations comprennent tous les détails disponibles, en particulier les données nécessaires à l’identification du système d’identification automatique concerné, l’origine et la chaîne d’approvisionnement du système d’identification automatique, la nature du risque encouru ainsi que la nature et la durée des mesures nationales prises.
4. La Commission entre sans délai en consultation avec les États membres concernés et les opérateurs pertinents, et évalue les mesures nationales prises. Sur la base des résultats de cette évaluation, la Commission détermine si la mesure est justifiée et, le cas échéant, propose d’autres mesures appropriées.
La Commission communique immédiatement sa décision aux États membres concernés et aux opérateurs concernés. Elle en informe également les autres États membres.
1. Lorsque l’autorité de surveillance du marché d’un État membre fait l’une des constatations suivantes, elle exige du fournisseur concerné qu’il mette fin à la non-conformité en question dans le délai qu’elle peut prescrire :
(a) le marquage CE a été apposé en violation de l’article 48 ;
(b) le marquage CE n’a pas été apposé ;
(c) la déclaration UE de conformité visée à l’article 47 n’a pas été établie ;
(d) la déclaration UE de conformité visée à l’article 47 n’a pas été établie correctement ;
(e) l’enregistrement dans la base de données de l’Union européenne visée à l’article 71 n’a pas été effectué ;
(f) where applicable, no authorised representative has been appointed ;
(g) la documentation technique n’est pas disponible.
2. Si la non-conformité visée au paragraphe 1 persiste, l’autorité de surveillance du marché de l’État membre concerné prend des mesures appropriées et proportionnées pour restreindre ou interdire la mise à disposition sur le marché du système IA à haut risque ou pour assurer son rappel ou son retrait du marché sans délai.
1. La Commission désigne une ou plusieurs structures d’appui aux essais d’IA de l’Union pour exécuter les tâches énumérées à l’article 21, paragraphe 6, du règlement (UE) 2019/1020 dans le domaine de l’IA.
2. Sans préjudice des tâches visées au paragraphe 1, les structures d’appui aux essais de l’Union AI peuvent également fournir des conseils techniques ou scientifiques indépendants à la demande du Conseil, de la Commission ou des autorités de surveillance du marché.
(152) Afin de soutenir une mise en œuvre adéquate en ce qui concerne les systèmes d’intelligence artificielle et de renforcer les capacités des États membres, des structures d’appui aux tests d’intelligence artificielle de l’Union devraient être établies et mises à la disposition des États membres.
Sans préjudice d’autres recours administratifs ou judiciaires, toute personne physique ou morale ayant des raisons de penser qu’il y a eu violation des dispositions du présent règlement peut soumettre une plainte à l’autorité de surveillance du marché concernée.
Conformément au règlement (UE) 2019/1020, ces plaintes doivent être prises en compte dans le but de mener des activités de surveillance du marché, et doivent être traitées conformément aux procédures spécifiques établies à cet effet par les autorités de surveillance du marché.
(170) L’Union et le droit national offrent déjà des voies de recours effectives aux personnes physiques et morales dont les droits et libertés sont défavorablement affectés par l’utilisation de systèmes d’intelligence artificielle. Sans préjudice de ces recours, toute personne physique ou morale qui a des raisons de penser qu’il y a eu violation du présent règlement devrait avoir le droit de déposer une plainte auprès de l’autorité de surveillance du marché compétente.
1. Toute personne affectée par une décision prise par le déclarant sur la base des résultats d’un système d’identification à haut risque figurant sur la liste de l’annexe III, à l’exception des systèmes énumérés au point 2 de celle-ci, et qui produit des effets juridiques ou affecte de manière similaire et significative cette personne d’une manière qu’ils estiment préjudiciable à sa santé, à sa sécurité ou à ses droits fondamentaux, a le droit d’obtenir du déclarant des explications claires et pertinentes sur le rôle du système d’identification à haut risque dans le processus de décision et sur les principaux éléments de la décision prise.
2. Le paragraphe 1 ne s’applique pas à l’utilisation de systèmes d’intelligence artificielle pour lesquels des exceptions ou des restrictions à l’obligation prévue dans ce paragraphe découlent du droit de l’Union ou du droit national, conformément au droit de l’Union.
3. Le présent article ne s’applique que dans la mesure où le droit visé au paragraphe 1 n’est pas prévu autrement par le droit de l’Union.
(171) Les personnes concernées devraient avoir le droit d’obtenir une explication sur le fait que la décision d’un déployeur se fonde principalement sur les résultats de certains systèmes d’intelligence artificielle à haut risque relevant du champ d’application du présent règlement, et que cette décision produit des effets juridiques ou affecte de manière similaire ces personnes de façon significative, de sorte qu’elles considèrent qu’elle a un impact négatif sur leur santé, leur sécurité ou leurs droits fondamentaux. Cette explication doit être claire et pertinente et doit fournir une base sur laquelle les personnes concernées peuvent exercer leurs droits. Le droit d’obtenir une explication ne devrait pas s’appliquer à l’utilisation de systèmes d’intelligence artificielle pour lesquels des exceptions ou des restrictions découlent du droit de l’Union ou du droit national et ne devrait s’appliquer que dans la mesure où ce droit n’est pas déjà prévu par le droit de l’Union. Les personnes agissant en tant que dénonciateurs des violations du présent règlement devraient être protégées en vertu du droit de l’Union. La directive (UE) 2019/1937 du Parlement européen et du Conseil54 devrait donc s’appliquer à la dénonciation des infractions au présent règlement et à la protection des personnes dénonçant de telles infractions.
La directive (UE) 2019/1937 s’applique à la notification des infractions au présent règlement et à la protection des personnes qui signalent de telles infractions.
(172) Les personnes agissant en tant que dénonciateurs des violations du présent règlement devraient être protégées en vertu du droit de l’Union. La directive (UE) 2019/1937 du Parlement européen et du Conseil54 devrait donc s’appliquer à la dénonciation des infractions au présent règlement et à la protection des personnes dénonçant de telles infractions.
1. La Commission a des pouvoirs exclusifs de surveillance et d’exécution du chapitre V, compte tenu des garanties procédurales prévues à l’article 94. La Commission confie l’exécution de ces tâches à l’Office AI, sans préjudice des pouvoirs d’organisation de la Commission et de la répartition des compétences entre les États membres et l’Union en vertu des traités.
2. Sans préjudice de l’article 75, paragraphe 3, les autorités de surveillance du marché peuvent demander à la Commission d’exercer les pouvoirs prévus par la présente section, lorsque cela est nécessaire et proportionné pour les aider dans l’accomplissement de leurs tâches au titre du présent règlement.
1. Aux fins de l’exécution des tâches qui lui sont assignées en vertu de la présente section, l’AI Office peut prendre les mesures nécessaires pour contrôler la mise en œuvre effective et le respect du présent règlement par les fournisseurs de modèles d’IA à usage général, y compris leur adhésion à des codes de pratique approuvés.
2. Les fournisseurs en aval ont le droit de déposer une plainte pour infraction au présent règlement. Une plainte doit être dûment motivée et indiquer au moins
(a) le point de contact du fournisseur du modèle d’IA à usage général concerné ;
(b) une description des faits pertinents, les dispositions du présent règlement concernées, et la raison pour laquelle le fournisseur en aval estime que le fournisseur du modèle d’IA à usage général concerné a enfreint le présent règlement ;
(c) toute autre information que le fournisseur en aval qui a envoyé la demande juge pertinente, y compris, le cas échéant, les informations recueillies de sa propre initiative.
1. Le panel scientifique peut fournir une alerte qualifiée au bureau de l’AI s’il a des raisons de le suspecter :
(a) a general-purpose AI model poses concrete identifiable risk at Union level ; or,
(b) un modèle d’AI à usage général remplit les conditions visées à l’article 51.
2. Sur la base de cette alerte qualifiée, la Commission, par l’intermédiaire de l’AI Office et après en avoir informé le Conseil, peut exercer les pouvoirs prévus dans la présente section aux fins de l’évaluation de la question. L’AI Office informe le conseil d’administration de toute mesure prise conformément aux articles 91 à 94.
3. Une alerte qualifiée doit être dûment justifiée et indiquer au moins
(a) le point de contact du fournisseur du modèle d’AI à usage général avec risque systémique concerné ;
(b) une description des faits pertinents et des raisons de l’alerte émise par le panel scientifique ;
(c) toute autre information que le groupe scientifique juge pertinente, y compris, le cas échéant, les informations recueillies à sa propre initiative.
1. La Commission peut demander au fournisseur du modèle d’IA à usage général concerné de lui fournir la documentation qu’il a établie conformément aux articles 53 et 55, ou toute autre information nécessaire à l’évaluation de la conformité du fournisseur au présent règlement.
2. Avant d’envoyer la demande d’informations, le bureau AI peut engager un dialogue structuré avec le fournisseur du modèle AI à usage général.
3. Sur demande dûment motivée du groupe scientifique, la Commission peut adresser une demande d’information à un fournisseur d’un modèle d’IA à usage général, lorsque l’accès à l’information est nécessaire et proportionné à l’accomplissement des tâches du groupe scientifique visées à l’article 68, paragraphe 2.
4. La demande d’information indique la base juridique et le but de la demande, précise les informations requises, fixe un délai dans lequel les informations doivent être fournies et indique les sanctions prévues à l’article 101 en cas de fourniture d’informations inexactes, incomplètes ou dénaturées.
5. Le fournisseur du modèle d’AI à usage général concerné, ou son représentant, doit fournir les informations demandées. Dans le cas de personnes morales, de sociétés ou d’entreprises, ou lorsque le fournisseur n’a pas de personnalité juridique, les personnes autorisées à les représenter en vertu de la loi ou de leurs statuts doivent fournir les informations demandées pour le compte du fournisseur du modèle d’IA à usage général concerné. Les avocats dûment habilités à agir peuvent fournir des informations au nom de leurs clients. Les clients restent néanmoins entièrement responsables si les informations fournies sont incomplètes, erronées ou mensongères.
1. L’AI Office, après avoir consulté le conseil d’administration, peut procéder à des évaluations du modèle d’AI à usage général concerné :
(a) pour évaluer le respect par le prestataire des obligations prévues par le présent règlement, lorsque les informations recueillies en vertu de l’article 91 sont insuffisantes ; ou,
(b) d’examiner les risques systémiques au niveau de l’Union des modèles d’IA à usage général présentant un risque systémique, en particulier à la suite d’une alerte qualifiée du groupe scientifique conformément à l’article 90(1), point (a).
2. La Commission peut décider de désigner des experts indépendants pour effectuer des évaluations en son nom, y compris des experts du groupe scientifique institué en vertu de l’article 68. Les experts indépendants désignés pour cette tâche doivent satisfaire aux critères énoncés à l’article 68, paragraphe 2.
3. Aux fins du paragraphe 1, la Commission peut demander l’accès au modèle d’IA à usage général concerné par le biais d’API ou d’autres moyens et outils techniques appropriés, y compris le code source.
4. La demande d’accès indique la base juridique, le but et les motifs de la demande et fixe le délai dans lequel l’accès doit être fourni, ainsi que les sanctions prévues à l’article 101 en cas de non-accès.
5. Le fournisseur du modèle d’IA à usage général concerné ou son représentant doit fournir les informations demandées. Dans le cas de personnes morales, de sociétés ou d’entreprises, ou lorsque le fournisseur n’a pas de personnalité juridique, les personnes autorisées à les représenter en vertu de la loi ou de leurs statuts doivent fournir l’accès demandé au nom du fournisseur du modèle d’IA à usage général concerné.
6. La Commission adopte des actes d’exécution fixant les modalités et conditions détaillées des évaluations, y compris les modalités détaillées de recours à des experts indépendants, ainsi que la procédure de sélection de ces derniers. Ces actes d’exécution sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
7. Avant de demander l’accès au modèle d’IA à usage général concerné, l’AI Office peut engager un dialogue structuré avec le fournisseur du modèle d’IA à usage général afin de recueillir davantage d’informations sur le test interne du modèle, les garanties internes visant à prévenir les risques systémiques et les autres procédures et mesures internes que le fournisseur a prises pour atténuer ces risques.
1. Lorsque cela est nécessaire et approprié, la Commission peut demander aux fournisseurs de :
(a) prennent les mesures appropriées pour se conformer aux obligations énoncées aux articles 53 et 54 ;
(b) mettent en œuvre des mesures d’atténuation lorsque l’évaluation effectuée conformément à l’article 92 a mis en évidence un risque systémique grave et avéré au niveau de l’Union ;
(c) restreindre la fabrication disponible sur le marché, retirer ou rappeler le modèle.
2. Avant de demander une mesure, l’AI Office peut entamer un dialogue structuré avec le fournisseur du modèle d’AI à usage général.
3. Si, au cours du dialogue structuré visé au paragraphe 2, le fournisseur du modèle d’AI à vocation générale présentant un risque systémique s’engage à mettre en œuvre des mesures d’atténuation pour traiter un risque systémique au niveau de l’Union, la Commission peut, par décision, rendre ces engagements contraignants et déclarer qu’il n’y a plus lieu d’agir.
L’article 18 du règlement (UE) 2019/1020 s’applique mutatis mutandis aux fournisseurs du modèle d’IA à usage général, sans préjudice des droits procéduraux plus spécifiques prévus par le présent règlement.
1. L’AI Office et les États membres encouragent et facilitent l’élaboration de codes de conduite, y compris de mécanismes de gouvernance connexes, visant à promouvoir l’application volontaire aux systèmes d’intelligence artificielle, autres que les systèmes d’intelligence artificielle à haut risque, de tout ou partie des exigences énoncées à la section 2 du chapitre III, en tenant compte des solutions techniques disponibles et des meilleures pratiques du secteur permettant l’application de ces exigences.
2. L’AI Office et les États membres facilitent l’élaboration de codes de conduite concernant l’application volontaire, y compris par les déployeurs, d’exigences spécifiques à tous les systèmes d’IA, sur la base d’objectifs clairs et d’indicateurs de performance clés permettant de mesurer la réalisation de ces objectifs, y compris des éléments tels que, mais pas exclusivement
(a) les éléments applicables prévus dans les lignes directrices éthiques de l’Union pour une IA de confiance ;
(b) évaluer et minimiser l’impact des systèmes d’intelligence artificielle sur la durabilité environnementale, y compris en ce qui concerne la programmation à faible consommation d’énergie et les techniques pour la conception, la formation et l’utilisation efficaces de l’intelligence artificielle ;
(c) promouvoir l’alphabétisation en matière d’IA, en particulier celle des personnes impliquées dans le développement, le fonctionnement et l’utilisation de l’IA ;
(d) faciliter une conception inclusive et diversifiée des systèmes d’IA, notamment par la mise en place d’équipes de développement inclusives et diversifiées et la promotion de la participation des parties prenantes à ce processus ;
(e) évaluer et prévenir l’impact négatif des systèmes d’AI sur les personnes ou les groupes de personnes vulnérables, y compris en ce qui concerne l’accessibilité pour les personnes handicapées, ainsi que sur l’égalité des sexes.
3. Les codes de conduite peuvent être élaborés par des fournisseurs ou des déployeurs individuels de systèmes d’intelligence artificielle ou par des organisations les représentant, ou par les deux, y compris avec la participation de toute partie prenante intéressée et de ses organisations représentatives, y compris les organisations de la société civile et le monde universitaire. Les codes de conduite peuvent couvrir un ou plusieurs systèmes d’intelligence artificielle, en tenant compte de la similitude des objectifs des systèmes concernés.
4. L’AI Office et les États membres tiennent compte des intérêts et des besoins spécifiques des PME, y compris des jeunes pousses, lorsqu’ils encouragent et facilitent l’élaboration de codes de conduite.
(165) Le développement de systèmes d’IA autres que les systèmes d’IA à haut risque conformément aux exigences du présent règlement peut conduire à une plus grande adoption de l’IA éthique et fiable dans l’Union. Les fournisseurs de systèmes d’IA qui ne sont pas à haut risque devraient être encouragés à élaborer des codes de conduite, y compris des mécanismes de gouvernance connexes, visant à promouvoir l’application volontaire de tout ou partie des exigences obligatoires applicables aux systèmes d’IA à haut risque, adaptées en fonction de l’objectif des systèmes et du risque moindre impliqué, et en tenant compte des solutions techniques disponibles et des meilleures pratiques du secteur, telles que les cartes de modèle et de données. Les fournisseurs et, le cas échéant, les déployeurs de tous les systèmes et modèles d’IA, à haut risque ou non, devraient également être encouragés à appliquer, sur une base volontaire, des exigences supplémentaires liées, par exemple, aux éléments des lignes directrices éthiques de l’Union pour une IA de confiance, à la durabilité environnementale, aux mesures d’éducation à l’IA, à la conception et au développement inclusifs et diversifiés des systèmes d’IA, y compris l’attention portée aux personnes vulnérables et l’accessibilité aux personnes handicapées, la participation des parties prenantes avec l’implication, le cas échéant, des parties prenantes pertinentes telles que les entreprises et les organisations de la société civile, les universités, les organismes de recherche, les syndicats et les organisations de protection des consommateurs dans la conception et le développement des systèmes d’IA, et la diversité des équipes de développement, y compris l’équilibre entre les sexes. Pour garantir l’efficacité des codes de conduite volontaires, ceux-ci devraient être fondés sur des objectifs clairs et des indicateurs de performance clés permettant de mesurer la réalisation de ces objectifs. Ils devraient également être élaborés de manière inclusive, le cas échéant, avec la participation des parties prenantes concernées, telles que les entreprises et les organisations de la société civile, les universités, les organismes de recherche, les syndicats et les organisations de protection des consommateurs. La Commission peut développer des initiatives, y compris de nature sectorielle, pour faciliter l’abaissement des obstacles techniques qui entravent l’échange transfrontalier de données pour le développement de l’IA, y compris sur l’infrastructure d’accès aux données, l’interopérabilité sémantique et technique des différents types de données.
1. La Commission élabore des lignes directrices concernant la mise en œuvre pratique du présent règlement, et en particulier
(a) l’application des exigences et obligations visées aux articles 8 à 15 et à l’article 25 ;
(b) les pratiques interdites mentionnées à l’article 5 ;
(c) la mise en œuvre pratique des dispositions relatives à la modification substantielle ;
(d) la mise en œuvre pratique des obligations de transparence énoncées à l’article 50 ;
(e) des informations détaillées sur les relations du présent règlement avec la législation d’harmonisation de l’Union énumérée à l’annexe I, ainsi qu’avec d’autres législations pertinentes de l’Union, y compris en ce qui concerne la cohérence de leur mise en œuvre ;
(f) l’application de la définition d’un système d’assurance invalidité telle que définie à l’article 3, point (1).
Lors de l’élaboration de ces lignes directrices, la Commission accorde une attention particulière aux besoins des PME, y compris des jeunes pousses, des autorités publiques locales et des secteurs les plus susceptibles d’être affectés par le présent règlement.
Les lignes directrices visées au premier alinéa du présent paragraphe tiennent dûment compte de l’état de l’art généralement reconnu en matière d’intelligence artificielle, ainsi que des normes harmonisées et des spécifications communes pertinentes visées aux articles 40 et 41, ou des normes harmonisées ou des spécifications techniques établies en vertu de la législation d’harmonisation de l’Union.
2. la demande des États membres ou de l’AI Office, ou de sa propre initiative, la Commission met à jour les lignes directrices précédemment adoptées lorsque cela est jugé nécessaire.
1. Le pouvoir d’adopter des actes délégués est conféré à la Commission sous réserve des conditions énoncées dans le présent article.
2. Le pouvoir d’adopter les actes délégués visés à l’article 6, paragraphes 6 et 7, à l’article 7, paragraphes 1 et 3, à l’article 11, paragraphe 3, à l’article 43, paragraphes 5 et 6, à l’article 47, paragraphe 5, à l’article 51, paragraphe 3, à l’article 52, paragraphe 4, et à l’article 53, paragraphes 5 et 6, est conféré à la Commission pour une période de cinq ans à compter du … [date d’entrée en vigueur du présent règlement]. La Commission établit un rapport sur la délégation de pouvoir au plus tard neuf mois avant la fin de la période de cinq ans. La délégation de pouvoir peut être prorogée tacitement pour des périodes de durée identique, sauf si le Parlement européen ou le Conseil s’oppose à cette prorogation au plus tard trois mois avant la fin de chaque période.
3. La délégation de pouvoir visée à l’article 6, paragraphes 6 et 7, à l’article 7, paragraphes 1 et 3, à l’article 11, paragraphe 3, à l’article 43, paragraphes 5 et 6, à l’article 47, paragraphe 5, à l’article 51, paragraphe 3, à l’article 52, paragraphe 4, et à l’article 53, paragraphes 5 et 6, peut être révoquée à tout moment par le Parlement européen ou par le Conseil. Une décision de révocation met fin à la délégation de pouvoir indiquée dans cette décision. Elle prend effet le lendemain de sa publication au Journal officiel de l’Union européenne ou à une date ultérieure précisée dans celui-ci. Elle n’affecte pas la validité des actes délégués déjà en vigueur.
4. Avant d’adopter un acte délégué, la Commission consulte des experts désignés par chaque État membre, conformément aux principes énoncés dans l’accord interinstitutionnel du 13 avril 2016 sur l’amélioration de la législation.
5. Dès qu’elle adopte un acte délégué, la Commission le notifie simultanément au Parlement européen et au Conseil.
6. Tout acte délégué adopté en vertu des articles 6(6) ou (7), 7(1) ou (3), 11(3), 43(5) ou (6), 47(5), 51(3), L’article 52(4) ou l’article 53(5) ou (6) n’entre en vigueur que si aucune objection n’a été formulée par le Parlement européen ou le Conseil dans un délai de trois mois à compter de la notification de cet acte au Parlement européen et au Conseil ou si, avant l’expiration de ce délai, le Parlement européen et le Conseil ont tous deux informé la Commission de leur intention de ne pas s’y opposer. Ce délai est prorogé de trois mois à l’initiative du Parlement européen ou du Conseil.
(173) Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du TFEU devrait être délégué à la Commission pour modifier les conditions dans lesquelles un système IA n’est pas considéré comme présentant un risque élevé, la liste des systèmes IA à haut risque, les dispositions relatives à la documentation technique, le contenu de la déclaration UE de conformité et les dispositions relatives aux procédures d’évaluation de la conformité, les dispositions établissant les systèmes d’IA à haut risque auxquels la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique devrait s’appliquer, le seuil, les critères et les indicateurs, y compris en complétant ces critères et indicateurs, dans les règles de classification des modèles d’IA à usage général présentant un risque systémique, les critères de désignation des modèles d’IA à usage général présentant un risque systémique, la documentation technique pour les fournisseurs de modèles d’IA à usage général et les informations de transparence pour les fournisseurs de modèles d’IA à usage général. Il est particulièrement important que la Commission procède à des consultations appropriées au cours de ses travaux préparatoires, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes énoncés dans l’accord interinstitutionnel du 13 avril 2016 sur l’amélioration de la législation . En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission traitant de la préparation des actes délégués.
(175) Afin d’assurer des conditions uniformes de mise en œuvre du présent règlement, il convient d’attribuer des pouvoirs d’exécution à la Commission. Il convient que ces pouvoirs soient exercés conformément au règlement (UE) no 182/2011 du Parlement européen et du Conseil.
1. La Commission est assistée par un comité. Ce comité est un comité au sens du règlement (UE) n° 182/2011.
2. Lorsqu’il est fait référence au présent paragraphe, l’article 5 du règlement (UE) no 182/2011 s’applique.
1. Conformément aux conditions énoncées dans le présent règlement, les États membres établissent les règles relatives aux sanctions et autres mesures d’exécution, qui peuvent également comprendre des avertissements et des mesures non pécuniaires, applicables aux violations du présent règlement par les opérateurs, et prennent toutes les mesures nécessaires pour garantir leur mise en œuvre correcte et effective, en tenant compte des lignes directrices établies par la Commission conformément à l’article 96. Les sanctions prévues sont effectives, proportionnées et dissuasives. Elles tiennent compte des intérêts des PME, y compris des jeunes pousses, et de leur viabilité économique.
2. Les États membres notifient à la Commission, sans délai et au plus tard à la date d’entrée en vigueur, les règles relatives aux sanctions et aux autres mesures d’exécution visées au paragraphe 1 et l’informent sans délai de toute modification ultérieure les concernant.
3. Le non-respect de l’interdiction des pratiques d’initiés visée à l’article 5 est passible d’amendes administratives pouvant aller jusqu’à 35 000 000 EUR ou, si le contrevenant est une entreprise, jusqu’à 7 % de son chiffre d’affaires annuel mondial total pour l’année financière précédente, le montant le plus élevé étant retenu.
4. Le non-respect de l’une quelconque des dispositions suivantes concernant les opérateurs ou les organismes notifiés, autres que ceux visés aux articles 5 , est passible d’une amende administrative pouvant atteindre 15 000 000 EUR ou, si le contrevenant est une entreprise, 3 % de son chiffre d’affaires annuel mondial total pour l’année financière précédente, le montant le plus élevé étant retenu :
(a) obligations des fournisseurs conformément à l’article 16 ;
(b) obligations des représentants autorisés conformément à l’article 22 ;
(c) obligations des importateurs en vertu de l’article 23 ;
(d) obligations des distributeurs conformément à l’article 24 ;
(e) obligations des travailleurs détachés conformément à l’article 26 ;
(f) les exigences et obligations des organismes notifiés en vertu de l’article 31, de l’article 33, paragraphes 1, 3 et 4, ou de l’article 34 ;
(g) des obligations de transparence pour les fournisseurs et les déployeurs, conformément à l’article 50.
5. La fourniture d’informations inexactes, incomplètes ou dénaturées aux organismes notifiés ou aux autorités nationales compétentes en réponse à une demande est passible d’une amende administrative pouvant aller jusqu’à 7 500 000 EUR ou, si le contrevenant est une entreprise, jusqu’à 1 % de son chiffre d’affaires annuel mondial total pour l’exercice financier précédent, le montant le plus élevé étant retenu.
6. Dans le cas des PME, y compris des jeunes pousses, toute pénalité visée au présent article est égale ou supérieure au pourcentage ou au montant visé aux paragraphes 3, 4 et 5, le moins élevé de ces deux montants étant retenu.
Lorsqu’il est décidé d’infliger une sanction administrative et lorsqu’il est décidé du montant de la sanction administrative dans chaque cas individuel, il est tenu compte de toutes les circonstances pertinentes de la situation spécifique et, le cas échéant, les éléments suivants sont pris en considération :
(a) la nature, la gravité et la durée de l’infraction et de ses conséquences, en tenant compte de la finalité du système d’indemnisation, ainsi que, le cas échéant, du nombre de personnes affectées et du niveau de préjudice subi par celles-ci ;
(b) si des amendes administratives ont déjà été appliquées par d’autres autorités de surveillance du marché au même opérateur pour la même infraction ;
(c) si des amendes administratives ont déjà été appliquées par d’autres autorités au même opérateur pour des infractions à d’autres législations de l’Union ou nationales, lorsque ces infractions résultent de la même activité ou omission constituant une infraction pertinente au présent règlement ;
(d) la taille, le chiffre d’affaires annuel et la part de marché de l’opérateur commettant l’infraction ;
(e) tout autre facteur d’aggravation ou d’atténuation applicable aux circonstances de l’espèce, tel que les avantages financiers obtenus ou les pertes subies, directement ou indirectement, du fait de l’infraction ;
(f) le degré de coopération avec les autorités nationales compétentes, en vue de remédier à l’infraction et d’atténuer les éventuels effets négatifs de l’infraction ;
(g) le degré de responsabilité de l’exploitant, compte tenu des mesures techniques et organisationnelles qu’il met en œuvre ;
(h) la manière dont l’infraction a été portée à la connaissance des autorités nationales compétentes, en particulier si, et dans quelle mesure, l’opérateur a notifié l’infraction ;
(i) le caractère intentionnel ou involontaire de l’infraction ;
(j) toute action entreprise par l’opérateur pour atténuer les dommages subis par les personnes concernées.
8. Chaque État membre établit des règles sur la mesure dans laquelle des sanctions administratives peuvent être imposées aux autorités publiques et aux organismes établis dans cet État membre.
9. En fonction du système juridique des États membres, les règles relatives aux sanctions administratives peuvent être appliquées de manière à ce que les sanctions soient imposées par les juridictions nationales compétentes ou par d’autres organismes, comme cela est le cas dans ces États membres. L’application de ces règles dans ces États membres a un effet équivalent.
10. L’exercice des pouvoirs visés au présent article est subordonné à des garanties procédurales appropriées, conformément au droit de l’Union et au droit national, y compris des voies de recours judiciaires effectives et un procès équitable.
11. Les États membres font rapport, sur une base annuelle, à la Commission sur les sanctions administratives qu’ils ont infligées au cours de l’année, conformément au présent article, et sur toute procédure judiciaire ou contentieuse y afférente.
(168) Le respect du présent règlement devrait être assuré par l’imposition de sanctions et d’autres mesures d’exécution. Les États membres devraient prendre toutes les mesures nécessaires pour assurer la mise en œuvre des dispositions du présent règlement, notamment en prévoyant des sanctions effectives, proportionnées et dissuasives en cas d’infraction, et respecter le principe ne bis in idem. Afin de renforcer et d’harmoniser les sanctions administratives en cas d’infraction au présent règlement, il convient de fixer des limites supérieures pour la fixation des amendes administratives applicables à certaines infractions spécifiques. Lors de l’évaluation du montant des sanctions, les États membres devraient, dans chaque cas individuel, tenir compte de toutes les circonstances pertinentes de la situation spécifique, en accordant une attention particulière à la nature, à la gravité et à la durée de l’infraction et de ses conséquences, ainsi qu’à la taille du prestataire, en particulier si le prestataire est une PME, y compris une start-up. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’imposer des sanctions aux institutions, agences et organismes de l’Union relevant du champ d’application du présent règlement.
1. Le Contrôleur européen de la protection des données peut imposer des sanctions administratives aux institutions, organes, bureaux et agences de l’Union relevant du champ d’application du présent règlement. Lors de la décision d’infliger ou non une sanction administrative et de la détermination du montant de la sanction administrative dans chaque cas individuel, il convient de tenir compte de toutes les circonstances pertinentes de la situation spécifique et d’accorder une attention particulière aux éléments suivants :
(a) la nature, la gravité et la durée de l’infraction et de ses conséquences, en tenant compte de la finalité du système d’assurance invalidité concerné, ainsi que, le cas échéant, du nombre de personnes affectées et du niveau de préjudice subi par celles-ci ;
(b) le degré de responsabilité de l’institution, de l’organe, du bureau ou de l’agence de l’Union, en tenant compte des mesures techniques et organisationnelles mises en œuvre par ceux-ci ;
(c) toute action entreprise par l’institution, l’organe, le bureau ou l’agence de l’Union pour atténuer les dommages subis par les personnes affectées ;
(d) le degré de coopération avec le Contrôleur européen de la protection des données en vue de remédier à l’infraction et d’en atténuer les éventuels effets négatifs, y compris le respect de toute mesure précédemment ordonnée par le Contrôleur européen de la protection des données à l’encontre de l’institution, de l’organe, du bureau ou de l’agence de l’Union concerné(e) en ce qui concerne la même question ;
(e) toute infraction similaire commise précédemment par l’institution, l’organe, le bureau ou l’agence de l’Union ;
(f) la manière dont l’infraction a été portée à la connaissance du Contrôleur européen de la protection des données, en particulier si, et dans quelle mesure, l’institution, l’organe, le bureau ou l’agence de l’Union a notifié l’infraction ;
(g) le budget annuel de l’institution, de l’organe, du bureau ou de l’agence de l’Union.
2. Le non-respect de l’interdiction des pratiques d’IA visée à l’article 5 est passible d’amendes administratives pouvant aller jusqu’à 1 500 000 euros.
3. La non-conformité du système IA à toute exigence ou obligation prévue par le présent règlement, autre que celles énoncées à l’article 5 , est passible d’une amende administrative pouvant atteindre 750 000 EUR.
4. Avant de prendre des décisions en vertu du présent article, le Contrôleur européen de la protection des données donne à l’institution, l’organe, le bureau ou l’agence de l’Union qui fait l’objet de la procédure menée par le Contrôleur européen de la protection des données la possibilité d’être entendu sur la question relative à l’infraction éventuelle. Le Contrôleur européen de la protection des données ne fonde ses décisions que sur des éléments et des circonstances sur lesquels les parties concernées ont pu formuler des observations. Les plaignants, le cas échéant, doivent être étroitement associés à la procédure.
5. Les droits de la défense des parties concernées doivent être pleinement respectés dans le cadre de la procédure. Elles ont le droit d’accéder au dossier du Contrôleur européen de la protection des données, sous réserve de l’intérêt légitime des personnes ou des entreprises à la protection de leurs données à caractère personnel ou de leurs secrets d’affaires.
6. Les fonds collectés par l’imposition des taxes prévues au présent article contribuent au budget général de l’Union. Ces recettes ne doivent pas affecter le fonctionnement effectif de l’institution, de l’organe, du bureau ou de l’agence de l’Union.
7. Le Contrôleur européen de la protection des données notifie, sur une base annuelle, à la Commission les sanctions administratives qu’il a imposées en vertu du présent article et toute procédure judiciaire ou contentieuse qu’il a engagée.
(169) Le respect des obligations imposées aux fournisseurs de modèles d’IA à usage général en vertu du présent règlement doit pouvoir être imposé, entre autres, au moyen d’amendes. À cette fin, des niveaux de sanction appropriés devraient également être fixés en cas de non-respect de ces obligations, y compris en cas de non-respect des mesures demandées par la Commission conformément au présent règlement, sous réserve de périodes de limitation appropriées conformément au principe de proportionnalité. Toutes les décisions prises par la Commission en vertu du présent règlement sont soumises à l’examen de la Cour de justice de l’Union européenne conformément au TFEU, y compris la compétence illimitée de la Cour de justice en ce qui concerne les sanctions prévues à l’article 261 du TFEU.
1. La Commission peut imposer aux fournisseurs de modèles d’intelligence artificielle à usage général des amendes ne dépassant pas 3 % de leur chiffre d’affaires mondial annuel total pour l’année financière précédente ou 15 000 000 EUR, le montant le plus élevé étant retenu, si la Commission constate que le fournisseur a agi intentionnellement ou par négligence :
(a) a enfreint les dispositions pertinentes du présent règlement ;
(b) n’a pas réussi à répondre à une demande de document ou d’information conformément à
Article 91, ou a fourni des informations incorrectes, incomplètes ou mensongères ;
(c) n’a pas réussi à se conformer à une mesure demandée au titre de l’article 93 ;
(d) n’a pas mis à la disposition de la Commission l’accès au modèle d’AI à usage général ou au modèle d’AI à usage général présentant un risque systémique en vue de procéder à une évaluation conformément à l’article 92.
Pour fixer le montant de la sanction pécuniaire ou périodique, il convient de tenir compte de la nature, de la gravité et de la durée de l’infraction, en respectant les principes de proportionnalité et d’adéquation. La Commission tient également compte des engagements pris conformément à l’article 93, paragraphe 3, ou dans les codes de pratique pertinents conformément à l’article 56.
2. Avant d’adopter la décision visée au paragraphe 1, la Commission communique ses conclusions préliminaires au fournisseur du modèle d’IA à usage général et lui donne la possibilité d’être entendu.
3. Les sanctions imposées en vertu du présent article sont effectives, proportionnées et dissuasives.
4. Les informations relatives aux sanctions imposées en vertu du présent article sont également communiquées au conseil d’administration en tant que de besoin.
5. La Cour de justice de l’Union européenne a une compétence de pleine juridiction pour réexaminer les décisions de la Commission fixant une sanction en vertu du présent article. Elle peut annuler, réduire ou augmenter la sanction infligée.
6. La Commission adopte des actes d’exécution contenant des dispositions détaillées et des garanties procédurales pour les procédures en vue de l’adoption éventuelle de décisions conformément au paragraphe 1 du présent article. Ces actes d’exécution sont adoptés conformément à la procédure d’examen visée à l’article 98, paragraphe 2.
l’article 4, paragraphe 3, du règlement (CE) n° 300/2008, le paragraphe suivant est ajouté :
Lors de l’adoption de mesures détaillées concernant les spécifications techniques et les procédures d’approbation et d’utilisation des équipements de sécurité relatifs aux systèmes d’intelligence artificielle au sens du règlement (UE) 2024/… du Parlement européen et du Conseil+, il convient de tenir compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
À l’article 17, paragraphe 5, du règlement (UE) n° 167/2013, le paragraphe suivant est ajouté : “Lors de l’adoption d’actes délégués en vertu du premier paragraphe concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil+, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
À l’article 22, paragraphe 5, du règlement (UE) n° 168/2013, le paragraphe suivant est ajouté : “Lors de l’adoption d’actes délégués en vertu du premier paragraphe concernant les systèmes d’intelligence artificielle qui sont des composants de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil+, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
l’article 8 de la directive 2014/90/UE, le paragraphe suivant est ajouté :
5) Pour les systèmes d’intelligence artificielle qui sont des composants de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil+, lorsqu’elle exerce ses activités conformément au paragraphe 1 et lorsqu’elle adopte des spécifications techniques et des normes d’essai conformément aux paragraphes 2 et 3, la Commission tient compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
l’article 5 de la directive (UE) 2016/797, le paragraphe suivant est ajouté :
12) Lors de l’adoption des actes délégués visés au paragraphe 1 et des actes d’exécution visés au paragraphe 11 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil+, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
Le paragraphe suivant est ajouté à l’article 5 du règlement (UE) 2018/858 :
4) lors de l’adoption d’actes délégués en vertu du paragraphe 3 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
Le règlement (UE) 2018/1139 est modifié comme suit :
(1) à l’article 17, le paragraphe suivant est ajouté :
Sans préjudice du paragraphe 2, lors de l’adoption des actes d’exécution visés au paragraphe 1 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
(2) à l’article 19, le paragraphe suivant est ajouté :
4) lors de l’adoption des actes délégués visés aux paragraphes 1 et 2 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/…++, il est tenu compte des exigences énoncées à la section 2 du chapitre III dudit règlement ;
(3) à l’article 43, le paragraphe suivant est ajouté :
4. lors de l’adoption des actes d’exécution visés au paragraphe 1 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/…+, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement” ;
(4) à l’article 47, le paragraphe suivant est ajouté :
3) “Lors de l’adoption d’actes délégués en vertu des paragraphes 1 et 2 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/…+, il est tenu compte des exigences énoncées à la section 2 du chapitre III de ce règlement” ;
(5) à l’article 57, le paragraphe suivant est ajouté :
Lors de l’adoption de ces actes d’exécution concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/…+, les exigences énoncées au chapitre III, section 2, dudit règlement doivent être prises en compte” ;
(6) à l’article 58, le paragraphe suivant est ajouté :
3) “Lors de l’adoption d’actes délégués en vertu des paragraphes 1 et 2 concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/…+, il est tenu compte des exigences énoncées à la section 2 du chapitre III de ce règlement”.
l’article 11 du règlement (UE) 2019/2144, le paragraphe suivant est ajouté :
Lors de l’adoption des actes d’exécution visés au paragraphe 2, concernant les systèmes d’intelligence artificielle qui sont des éléments de sécurité au sens du règlement (UE) 2024/… du Parlement européen et du Conseil, il est tenu compte des exigences énoncées au chapitre III, section 2, dudit règlement.
Règlement (UE) 2024/… du Parlement européen et du Conseil du … établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) no 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (OJ L, …, ELI : …)”.
Dans l’annexe I de la directive (UE) 2020/1828 du Parlement européen et du Conseil58 , le point suivant est ajouté :
(68) Règlement (UE) 2024/… du Parlement européen et du Conseil du … + établissant des règles harmonisées relatives à l’intelligence artificielle et modifiant les règlements (CE) n° 300/2008, (UE) n° 167/2013, (UE) n° 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (loi sur l’intelligence artificielle) (JO L, …, ELI : …)”.
Directive (UE) 2020/1828 du Parlement européen et du Conseil du 25 novembre 2020 relative aux actions représentatives en matière de protection des intérêts collectifs des consommateurs et portant transposition de la directive 2009/22/CE (JO L 409 du 4.12.2020, p. 1).
placé sur la marque
1. Sans préjudice de l’application de l’article 5 visé à l’article 113, paragraphe 3, point (a), les systèmes d’intelligence artificielle qui font partie intégrante des systèmes d’information à grande échelle établis par les actes juridiques énumérés à l’annexe X et qui ont été mis sur le marché ou mis en service avant le … [36 mois à compter de la date d’entrée en vigueur du présent règlement] sont mis en conformité avec le présent règlement pour le 31 décembre 2030.
Les exigences énoncées dans le présent règlement sont prises en compte lors de l’évaluation de chaque système informatique à grande échelle établi par les actes juridiques énumérés à l’annexe X pour être mis en œuvre comme prévu dans ces actes juridiques et lorsque ces actes juridiques sont remplacés ou modifiés.
2. Sans préjudice de l’application de l’article 5 visé à l’article 113, paragraphe 3, point a), le présent règlement s’applique aux exploitants de systèmes d’intelligence artificielle à haut risque, autres que les systèmes visés au paragraphe 1 du présent article, qui ont été mis sur le marché ou mis en service avant le … [24 mois à compter de la date d’entrée en vigueur du présent règlement], uniquement si, à compter de cette date, ces systèmes sont soumis à des modifications importantes de leur conception. Dans tous les cas, les fournisseurs et les déployeurs de systèmes d’intelligence artificielle à haut risque destinés à être utilisés par les pouvoirs publics prennent les mesures nécessaires pour se conformer aux exigences et aux obligations du présent règlement d’ici …[ six ans à compter de la date d’entrée en vigueur du présent règlement].
3. Les fournisseurs de modèles d’IA à usage général qui ont été placés sur le marché avant …
[12 mois à compter de la date d’entrée en vigueur du présent règlement] prend les mesures nécessaires pour se conformer aux obligations énoncées dans le présent règlement au plus tard le … [36 mois à compter de la date d’entrée en vigueur du présent règlement].1. La Commission évalue la nécessité de modifier la liste figurant à l’annexe III et la liste des pratiques interdites en matière d’alcool prévues à l’article 5, une fois par an à compter de l’entrée en vigueur du présent règlement et jusqu’à la fin de la période de délégation de pouvoir prévue à l’article 97. La Commission présente les résultats de cette évaluation au Parlement européen et au Conseil.
2. Au … [quatre ans à compter de la date d’entrée en vigueur du présent règlement] et tous les quatre ans par la suite, la Commission évalue et fait rapport au Parlement européen et au Conseil sur ce qui suit :
(a) la nécessité d’apporter des modifications à l’extension des intitulés de domaines existants ou à l’ajout de nouveaux intitulés de domaines à l’annexe III ;
(b) les modifications apportées à la liste des systèmes d’assurance invalidité nécessitant des mesures de transparence supplémentaires à l’article 50 ;
(c) amendments enhancing the effectiveness of the supervision and governance system.
3. Par … [cinq ans à compter de la date d’entrée en vigueur du présent règlement] et tous les quatre ans
ensuite, la Commission soumet au Parlement européen et au Conseil un rapport sur l’évaluation et le réexamen du présent règlement. Ce rapport comprend une évaluation de la structure de mise en œuvre et de la nécessité éventuelle d’une agence de l’Union pour remédier aux éventuelles lacunes identifiées. Sur la base de ses conclusions, ce rapport est accompagné, le cas échéant, d’une proposition de modification du présent règlement. Les rapports sont rendus publics.
4. Les rapports visés au paragraphe 2 accordent une attention particulière aux points suivants :
(a) l’état des ressources financières, techniques et humaines des autorités nationales compétentes afin de leur permettre de s’acquitter efficacement des tâches qui leur sont assignées en vertu du présent règlement ;
(b) l’état des sanctions, en particulier des sanctions administratives visées à l’article 99, paragraphe 1, appliquées par les États membres en cas de violation du présent règlement ;
(c) adopté des normes harmonisées et des spécifications communes élaborées à l’appui du présent règlement ;
(d) le nombre d’entreprises qui entrent sur le marché après l’entrée en application du présent règlement, et combien d’entre elles sont des PME.
5. Au plus tard le … [quatre ans à compter de la date d’entrée en vigueur du présent règlement], la Commission évalue le fonctionnement de l’Office AI, détermine si l’Office AI a été doté de pouvoirs et de compétences suffisants pour s’acquitter de ses tâches et s’il serait pertinent et nécessaire, pour la bonne mise en œuvre et l’application du présent règlement, d’améliorer l’Office AI et ses compétences en matière d’exécution et d’accroître ses ressources. La Commission soumet un rapport sur son évaluation au Parlement européen et au Conseil.
6. Au plus tard [quatre ans à compter de la date d’entrée en vigueur du présent règlement] et tous les quatre ans par la suite, la Commission présente un rapport sur l’examen des progrès réalisés dans l’élaboration des normes relatives à l’efficacité énergétique des modèles d’IA d’usage général, et évalue la nécessité de mesures ou d’actions supplémentaires, y compris des mesures ou des actions contraignantes. Le rapport est soumis au Parlement européen et au Conseil et il est rendu public.
7. Au … [quatre ans à compter de la date d’entrée en vigueur du présent règlement] et tous les trois ans par la suite, la Commission évalue l’impact et l’efficacité des codes de conduite volontaires visant à promouvoir l’application des exigences énoncées à la section 2 du chapitre III pour les systèmes d’IA autres que les systèmes d’IA à haut risque et, le cas échéant, d’autres exigences supplémentaires pour les systèmes d’IA autres que les systèmes d’IA à haut risque, y compris en ce qui concerne la durabilité de l’environnement.
8. Aux fins des paragraphes 1 à 7, le Conseil, les États membres et les autorités nationales compétentes fournissent des informations à la Commission à la demande de celle-ci et sans retard injustifié.
9. Dans l’exécution des évaluations et des examens visés aux paragraphes 1 à 7, la Commission tient compte des positions et des conclusions du Conseil, du Parlement européen, du Conseil et des autres organes ou sources concernés.
10. La Commission présente, si nécessaire, des propositions appropriées en vue de modifier le présent règlement, en tenant compte notamment de l’évolution des technologies, de l’incidence des systèmes d’intelligence artificielle sur la santé et la sécurité, ainsi que sur les droits fondamentaux, et à la lumière de l’état d’avancement de la société de l’information.
Pour guider les évaluations et les examens visés aux paragraphes 1 à 7 du présent article, l’AI Office s’engage à élaborer une méthodologie objective et participative pour l’évaluation des niveaux de risque sur la base des critères énoncés dans les articles pertinents et de l’inclusion de nouveaux systèmes dans :
(a) la liste établie à l’annexe III, y compris l’extension des en-têtes de zone existants ou l’ajout de nouveaux en-têtes de zone dans cette annexe ;
(b) the list of prohibited practices set out in Article 5 ; and
(c) la liste des systèmes d’assurance invalidité nécessitant des mesures de transparence supplémentaires, conformément à l’article 50.
12. Toute modification du présent règlement en vertu du paragraphe 10, ou des actes délégués ou d’exécution pertinents, concernant la législation sectorielle d’harmonisation de l’Union énumérée à la section B de l’annexe I, tient compte des spécificités réglementaires de chaque secteur, ainsi que des mécanismes de gouvernance, d’évaluation de la conformité et d’application et des autorités qui y sont établis.
13. Au plus tard le … [sept ans à compter de la date d’entrée en vigueur du présent règlement], la Commission procède à une évaluation de l’application du présent règlement et présente un rapport à ce sujet au Parlement européen, au Conseil et au Comité économique et social européen, en tenant compte des premières années d’application du présent règlement. Sur la base des conclusions, ce rapport est accompagné, le cas échéant, d’une proposition de modification du présent règlement en ce qui concerne la structure de mise en œuvre et la nécessité d’une agence de l’Union pour remédier aux éventuelles lacunes constatées.
(174) Compte tenu de l’évolution rapide des technologies et de l’expertise technique nécessaire pour appliquer efficacement le présent règlement, la Commission devrait évaluer et réexaminer le présent règlement d’ici … [cinq ans à compter de la date d’entrée en vigueur du présent règlement] et tous les quatre ans par la suite et faire rapport au Parlement européen et au Conseil. En outre, compte tenu des implications pour le champ d’application du présent règlement, la Commission devrait procéder une fois par an à une évaluation de la nécessité de modifier la liste des systèmes d’intelligence artificielle à haut risque et la liste des pratiques interdites. En outre, au plus tard le … [quatre ans à compter de la date d’entrée en vigueur du présent règlement] et tous les quatre ans par la suite, la Commission évalue et fait rapport au Parlement européen et au Conseil sur la nécessité de modifier la liste des domaines à haut risque figurant en tête de l’annexe du présent règlement, les systèmes d’IA dans le cadre des obligations de transparence, l’efficacité du système de surveillance et de gouvernance et les progrès réalisés dans l’élaboration de livrables de normalisation sur le développement énergétiquement efficace de modèles d’IA à usage général, y compris la nécessité d’autres mesures ou actions. Enfin, d’ici … [quatre ans à compter de la date d’entrée en vigueur du présent règlement] et tous les trois ans par la suite, la Commission devrait évaluer l’impact et l’efficacité des codes de conduite volontaires visant à promouvoir l’application des exigences prévues pour les systèmes d’IA à haut risque dans le cas des systèmes d’IA autres que les systèmes d’IA à haut risque et, éventuellement, d’autres exigences supplémentaires pour ces systèmes d’IA.
Le présent règlement entre en vigueur le vingtième jour suivant celui de sa publication au Journal officiel de l’Union européenne.
Il s’applique à compter du … [24 mois à compter de la date d’entrée en vigueur du présent règlement].
However :
(a) Les chapitres I et II s’appliquent à compter du … [six mois à compter de la date d’entrée en vigueur du présent règlement] ;
(b) La section 4 du chapitre III, le chapitre V, le chapitre VII et le chapitre XII ainsi que l’article 78 s’appliquent à compter du … [12 mois à compter de la date d’entrée en vigueur du présent règlement], à l’exception de l’article 101 ;
(c) L’article 6, paragraphe 1, et les obligations correspondantes énoncées dans le présent règlement s’appliquent à compter du … [36 mois à compter de la date d’entrée en vigueur du présent règlement].
Le présent règlement est obligatoire dans son intégralité et directement applicable dans tous les États membres.
(177) Afin de garantir la sécurité juridique, d’assurer une période d’adaptation appropriée pour les opérateurs et d’éviter toute perturbation du marché, notamment en assurant la continuité de l’utilisation des systèmes d’intelligence artificielle, il convient que le présent règlement s’applique aux systèmes d’intelligence artificielle à haut risque qui ont été mis sur le marché ou mis en service avant la date d’application générale de ce règlement, uniquement si, à partir de cette date, ces systèmes sont soumis à des modifications importantes de leur conception ou de leur finalité. Il convient de préciser que, dans ce contexte, le concept de modification importante doit être considéré comme équivalent en substance à la notion de modification substantielle, qui n’est utilisée qu’en ce qui concerne les systèmes d’intelligence artificielle à haut risque conformément au présent règlement. Sur une base exceptionnelle et à la lumière de la responsabilité publique, les exploitants de systèmes d’intelligence artificielle qui font partie des systèmes d’information à grande échelle établis par les actes juridiques énumérés dans une annexe au présent règlement et les exploitants de systèmes d’intelligence artificielle à haut risque qui sont destinés à être utilisés par les pouvoirs publics devraient, respectivement, prendre les mesures nécessaires pour se conformer aux exigences du présent règlement d’ici la fin de 2030 et d’ici … [ six ans à compter de la date d’entrée en vigueur du présent règlement].
(178) Les fournisseurs de systèmes d’intelligence artificielle à haut risque sont encouragés à commencer à se conformer, sur une base volontaire, aux obligations pertinentes du présent règlement dès la période de transition.
(179) Le présent règlement devrait s’appliquer à partir du … [deux ans à compter de la date d’entrée en vigueur du présent règlement]. Toutefois, compte tenu du risque inacceptable lié à l’utilisation de l’intelligence artificielle de certaines manières, les interdictions ainsi que les dispositions générales du présent règlement devraient déjà s’appliquer à partir de … [six mois à compter de la date d’entrée en vigueur du présent règlement]. Bien que le plein effet de ces interdictions suive la mise en place de la gouvernance et de l’application du présent règlement, il est important d’anticiper l’application des interdictions afin de tenir compte des risques inacceptables et d’avoir un effet sur d’autres procédures, telles que le droit civil. En outre, l’infrastructure liée à la gouvernance et le système d’évaluation de la conformité devraient être opérationnels avant … [deux ans à compter de la date d’entrée en vigueur du présent règlement], par conséquent les dispositions relatives aux organismes notifiés et à la structure de gouvernance devraient s’appliquer à partir de … [ 12 mois à compter de la date d’entrée en vigueur du présent règlement]. Compte tenu de la rapidité des progrès technologiques et de l’adoption de modèles d’IA à usage général, les obligations imposées aux fournisseurs de modèles d’IA à usage général devraient s’appliquer à partir du … [12 mois à compter de la date d’entrée en vigueur du présent règlement]. Les codes de pratique devraient être prêts pour … [9 mois à compter de la date d’entrée en vigueur du présent règlement] afin de permettre aux fournisseurs de démontrer leur conformité en temps utile. L’AI Office devrait veiller à ce que les règles et procédures de classification soient mises à jour en fonction de l’évolution technologique. En outre, les États membres devraient établir et notifier à la Commission les règles relatives aux sanctions, y compris les amendes administratives, et veiller à ce qu’elles soient correctement et effectivement mises en œuvre à la date d’application du présent règlement. Par conséquent, les dispositions relatives aux sanctions devraient s’appliquer à partir de … [12 mois à compter de la date d’entrée en vigueur du présent règlement].
1. Directive 2006/42/CE du Parlement européen et du Conseil du 17 mai 2006 relative aux machines, et modifiant la directive 95/16/CE (JO L 157 du 9.6.2006, p. 24) [telle que modifiée par le règlement sur les machines] ;
2. Directive 2009/48/CE du Parlement européen et du Conseil du 18 juin 2009 relative à la sécurité des jouets (JO L 170 du 30.6.2009, p. 1) ;
3. Directive 2013/53/UE du Parlement européen et du Conseil du 20 novembre 2013 relative aux bateaux de plaisance et aux engins nautiques à usage personnel et portant transposition de la directive 94/25/CE (JO L 354 du 28.12.2013, p. 90) ;
4. Directive 2014/33/UE du Parlement européen et du Conseil du 26 février 2014 relative à l’harmonisation des législations des États membres concernant les ascenseurs et les composants de sécurité pour ascenseurs (JO L 96 du 29.3.2014, p. 251) ;
5. Directive 2014/34/UE du Parlement européen et du Conseil du 26 février 2014 relative à l’harmonisation des législations des États membres concernant les équipements et les systèmes de protection destinés à être utilisés en atmosphères potentiellement explosives (JO L 96 du 29.3.2014, p. 309) ;
6. Directive 2014/53/UE du Parlement européen et du Conseil du 16 avril 2014 relative à l’harmonisation des législations des États membres concernant la mise à disposition sur le marché des équipements radio et abrogeant la directive 1999/5/CE (JO L 153 du 22.5.2014, p. 62) ;
7. Directive 2014/68/UE du Parlement européen et du Conseil du 15 mai 2014 relative à l’harmonisation des législations des États membres concernant la mise à disposition sur le marché des équipements sous pression (JO L 189 du 27.6.2014, p. 164) ;
8. Règlement (UE) 2016/424 du Parlement européen et du Conseil du 9 mars 2016 concernant les installations de câbles et modifiant la directive 2000/9/CE (JO L 81 du 31.3.2016, p. 1) ;
9. Règlement (UE) 2016/425 du Parlement européen et du Conseil du 9 mars 2016 relatif aux équipements de protection individuelle et portant modification de la directive 89/686/CEE du Conseil (JO L 81 du 31.3.2016, p. 51) ;
10. Règlement (UE) 2016/426 du Parlement européen et du Conseil du 9 mars 2016 concernant les appareils utilisant des combustibles gazeux et abrogeant la directive 2009/142/CE (JO L 81 du 31.3.2016, p. 99) ;
11. Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, modifiant la directive 2001/83/CE, le règlement (CE) n° 178/2002 et le règlement (CE) n° 1223/2009 et abrogeant les directives 90/385/CEE et 93/42/CEE du Conseil (JO L 117 du 5.5.2017, p. 1) ;
12. Règlement (UE) 2017/746 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux de diagnostic in vitro et abrogeant la directive 98/79/CE et la décision 2010/227/UE de la Commission (JO L 117 du 5.5.2017, p. 176).
13. Règlement (CE) n° 300/2008 du Parlement européen et du Conseil du
11 mars 2008 établissant des règles communes dans le domaine de la sécurité de l’aviation civile et abrogeant le règlement (CE) n° 2320/2002 (JO L 97 du 9.4.2008, p. 72) ;
14. Règlement (UE) n° 168/2013 du Parlement européen et du Conseil du 15 janvier 2013 relatif à l’approbation et à la surveillance du marché des véhicules à deux ou trois roues et des quadricycles (JO L 60 du 2.3.2013, p. 52) ;
15. Règlement (UE) n° 167/2013 du Parlement européen et du Conseil du 5 février 2013 concernant l’approbation et la surveillance du marché des véhicules agricoles et forestiers (JO L 60 du 2.3.2013, p. 1) ;
16. Directive 2014/90/UE du Parlement européen et du Conseil du 23 juillet 2014 relative aux équipements marins et abrogeant la directive 96/98/CE du Conseil (JO L 257 du 28.8.2014, p. 146) ;
17. Directive (UE) 2016/797 du Parlement européen et du Conseil du 11 mai 2016 relative à l’interopérabilité du système ferroviaire au sein de l’Union européenne (JO L 138 du 26.5.2016, p. 44) ;
18. Règlement (UE) 2018/858 du Parlement européen et du Conseil du 30 mai 2018 relatif à la réception et à la surveillance du marché des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, modifiant les règlements (CE) n° 715/2007 et (CE) n° 595/2009 et abrogeant la directive 2007/46/CE (JO L 151 du 14.6.2018, p. 1) ;
19. Règlement (UE) 2019/2144 du Parlement européen et du Conseil du 27 novembre 2019 relatif aux exigences concernant la réception par type des véhicules à moteur et de leurs remorques, ainsi que des systèmes, composants et entités techniques distinctes destinés à ces véhicules, en ce qui concerne leur sécurité générale et la protection des occupants et des usagers vulnérables de la route, modifiant le règlement (UE) 2018/858 du Parlement européen et du Conseil et abrogeant le règlement (CE) n° 78/2009, (EC) No 79/2009 et (EC) No 661/2009 du Parlement européen et du Conseil et des règlements de la Commission (EC) No 631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No 1005/2010, (UE) No 1008/2010, (UE) No 1009/2010, (UE) No 19/2011, (UE) No 109/2011, (UE) No 458/2011, (UE) No 65/2012, (UE) No 130/2012, (UE) No 347/2012, (UE) No 351/2012, (UE) No 1230/2012 et (UE) 2015/166 (OJ L 325, 16.12.2019, p. 1) ;
20. Règlement (UE) 2018/1139 du Parlement européen et du Conseil du 4 juillet 2018 établissant des règles communes dans le domaine de l’aviation civile et instituant une Agence européenne de la sécurité aérienne, et modifiant les règlements (CE) n° 2111/2005, (CE) n° 1008/2008, (UE) n° 996/2010, (UE) n° 376/2014 et des directives 2014/30/UE et 2014/53/UE du Parlement européen et du Conseil, et réaffirmant les règlements (CE) n° 552/2004 et (CE) n° 216/2008 du Parlement européen et du Conseil et le règlement (CEE) n° 3922/91 du Conseil (JO L 212, 22.8.2018, p. 1), dans la mesure où la conception, la production et la mise sur le marché des aéronefs visés à l’article 2, paragraphe 1, points (a) et (b), de la présente directive, lorsqu’ils concernent les aéronefs non pilotés et leurs moteurs, hélices, pièces et équipements de commande à distance, sont concernées.
Infractions visées à l’article 5, paragraphe 1, premier alinéa, point (h)(iii) :
Les systèmes d’IA à haut risque visés à l’article 6, paragraphe 2, sont les systèmes d’IA répertoriés dans l’un des domaines suivants :
(a) systèmes d’identification biométrique à distance.
Cela n’inclut pas les systèmes d’intelligence artificielle destinés à être utilisés pour la vérification biométrique dans le seul but de confirmer qu’une personne physique spécifique est la personne qu’elle prétend être ;
(54) Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel, il est approprié de considérer comme à haut risque plusieurs cas d’utilisation critique de systèmes biométriques, dans la mesure où leur utilisation est autorisée par le droit communautaire et national applicable. Les inexactitudes techniques des systèmes d’intelligence artificielle destinés à l’identification biométrique à distance de personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Le risque de tels résultats biaisés et d’effets discriminatoires est particulièrement pertinent en ce qui concerne l’âge, l’ethnicité, la race, le sexe ou les handicaps. Les systèmes d’identification biométrique à distance devraient donc être classés comme étant à haut risque compte tenu des risques qu’ils présentent. Une telle classification exclut les systèmes d’IA destinés à être utilisés pour la vérification biométrique, y compris l’authentification, dont le seul but est de confirmer qu’une personne physique spécifique est qui cette personne prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un appareil ou d’avoir un accès sécurisé à des locaux. En outre, les systèmes d’intelligence artificielle destinés à être utilisés pour la catégorisation biométrique en fonction d’attributs ou de caractéristiques sensibles protégés en vertu de l’article 9, paragraphe 1, du règlement (UE) 2016/679 sur la base de données biométriques, dans la mesure où ils ne sont pas interdits par le présent règlement, et les systèmes de reconnaissance émotionnelle qui ne sont pas interdits par le présent règlement, devraient être classés comme étant à haut risque. Les systèmes biométriques qui sont destinés à être utilisés uniquement dans le but de mettre en place des mesures de cybersécurité et de protection des données personnelles ne doivent pas être considérés comme des systèmes d’IA à haut risque.
(b) Systèmes IA destinés à être utilisés pour la catégorisation biométrique, en fonction d’attributs ou de caractéristiques sensibles ou protégés, sur la base de l’inférence de ces attributs ou caractéristiques ;
(c) Systèmes IA destinés à être utilisés pour la reconnaissance des émotions.
(55) En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il est approprié de classer comme à haut risque les systèmes d’intelligence artificielle destinés à être utilisés comme composants de sécurité dans la gestion et l’exploitation des infrastructures numériques critiques énumérées au point (8) de l’annexe de la directive (UE) 2022/2557, le trafic routier et la fourniture d’eau, de gaz, de chauffage et d’électricité, car leur défaillance ou leur dysfonctionnement peut mettre en danger la vie et la santé des personnes à grande échelle et entraîner des perturbations notables dans le fonctionnement ordinaire des activités sociales et économiques. Les composants de sécurité de l’infrastructure critique, y compris l’infrastructure numérique critique, sont des systèmes utilisés pour protéger directement l’intégrité physique de l’infrastructure critique ou la santé et la sécurité des personnes et des biens, mais qui ne sont pas nécessaires au fonctionnement du système. La défaillance ou le dysfonctionnement de tels composants pourrait entraîner directement des risques pour l’intégrité physique de l’infrastructure critique et, par conséquent, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être qualifiés de composants de sécurité. Des exemples de composants de sécurité d’une telle infrastructure critique peuvent inclure des systèmes de surveillance de la pression de l’eau ou des systèmes de contrôle des alarmes incendie dans les centres informatiques en nuage.
(a) Systèmes d’AI destinés à être utilisés pour déterminer l’accès ou l’admission ou pour assigner des personnes physiques à des établissements d’enseignement et de formation professionnelle à tous les niveaux ;
(b) Systèmes d’IA destinés à être utilisés pour évaluer les résultats de l’apprentissage, y compris lorsque ces résultats sont utilisés pour guider le processus d’apprentissage des personnes physiques dans les établissements d’enseignement et de formation professionnelle à tous les niveaux ;
(c) Systèmes d’AI destinés à être utilisés dans le but d’évaluer le niveau d’éducation approprié qu’un individu recevra ou sera en mesure d’obtenir, dans le contexte ou au sein des établissements d’enseignement et de formation professionnelle à tous les niveaux ;
(d) Systèmes IA destinés à être utilisés pour surveiller et détecter le comportement des étudiants lors de tests dans le cadre ou au sein d’établissements d’enseignement et de formation professionnelle à tous les niveaux.
(56) Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et à tous les enseignants d’acquérir et de partager les compétences et les connaissances numériques nécessaires, y compris la littératie médiatique et la pensée critique, pour prendre une part active dans l’économie, la société et les processus démocratiques. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. Lorsqu’ils sont conçus et utilisés de manière improvisée, de tels systèmes peuvent être particulièrement intrusifs et peuvent violer le droit à l’éducation et à la formation ainsi que le droit à ne pas être discriminé contre et perpétuer des schémas historiques de discrimination, par exemple contre les femmes, certains groupes d’âge, les personnes handicapées ou les personnes de certaines origines raciales ou ethniques ou de l’orientation sexuelle.
(a) Systèmes IA destinés à être utilisés pour le recrutement ou la sélection de personnes physiques, en particulier pour placer des annonces d’emploi ciblées, pour analyser et filtrer les demandes d’emploi et pour évaluer les candidats ;
(b) Systèmes d’intelligence artificielle destinés à être utilisés pour prendre des décisions concernant les termes des relations de travail, la promotion ou la résiliation de relations contractuelles de travail, pour attribuer des tâches sur la base du comportement individuel ou de traits ou caractéristiques personnels, ou pour surveiller et évaluer les performances et le comportement de personnes dans de telles relations.
(57) Les systèmes d’intelligence artificielle utilisés dans le cadre de l’emploi, de la gestion des travailleurs et de l’accès à l’emploi indépendant, en particulier pour le recrutement et la sélection de personnes, pour la prise de décisions concernant les termes de la relation de travail, la promotion et la résiliation de la relation contractuelle de travail, pour l’attribution de tâches sur la base du comportement individuel, des traits personnels ou des caractéristiques, et pour le suivi ou l’évaluation des personnes dans les relations contractuelles de travail, devraient également être classés à haut risque, car ces systèmes peuvent avoir un impact significatif sur les perspectives de carrière futures, les moyens d’existence de ces personnes et les droits des travailleurs. Les relations contractuelles pertinentes liées au travail devraient impliquer, de manière appropriée, les employés et les personnes fournissant des services par le biais de plateformes telles que celles mentionnées dans le programme de travail 2021 de la Commission. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou de la rétention des personnes dans les relations contractuelles liées au travail, les systèmes peuvent perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou des personnes de certaines origines raciales ou ethniques ou de l’orientation sexuelle. Les systèmes d’intelligence artificielle utilisés pour surveiller les performances et le comportement de ces personnes peuvent également porter atteinte à leurs droits fondamentaux à la protection des données et à la vie privée.
(a) Systèmes d’IA destinés à être utilisés par les pouvoirs publics ou pour le compte de ceux-ci afin d’évaluer l’éligibilité de personnes physiques aux prestations et services essentiels d’assistance publique, y compris les services de santé, ainsi que d’octroyer, de réduire, de révoquer ou de recouvrer ces prestations et services ;
(b) les systèmes d’intelligence artificielle destinés à être utilisés pour évaluer la solvabilité de personnes physiques ou pour établir leur cote de crédit, à l’exception des systèmes d’intelligence artificielle utilisés à des fins de détection de la fraude financière ;
(c) Systèmes IA destinés à être utilisés pour l’évaluation des risques et la tarification en relation avec des personnes physiques dans le cas de l’assurance vie et de l’assurance santé ;
(d) Systèmes IA destinés à évaluer et à classer les appels d’urgence émanant de personnes physiques ou à être utilisés pour dispatcher, ou pour établir une priorité dans la dispatching de, services de première intervention d’urgence, y compris par la police, les pompiers et l’aide médicale, ainsi que de systèmes de triage des patients en matière de soins de santé d’urgence.
(58) Un autre domaine dans lequel l’utilisation de systèmes d’IA mérite une attention particulière est l’accès et la jouissance de certains services et avantages privés et publics essentiels nécessaires aux personnes pour participer pleinement à la société ou pour améliorer leur niveau de vie. En particulier, les personnes physiques demandant ou recevant des prestations et des services d’assistance publique essentiels de la part des autorités publiques, tels que les services de santé, les prestations de sécurité sociale, les services sociaux offrant une protection dans des cas tels que la maternité, la maladie, les accidents industriels, la dépendance ou la vieillesse et la perte d’emploi et l’assistance sociale et au logement, sont généralement dépendantes de ces prestations et services et se trouvent dans une position vulnérable par rapport aux autorités responsables. Si des systèmes d’IA sont utilisés pour déterminer si ces avantages et services doivent être accordés, refusés, réduits, annulés ou récupérés par les autorités, y compris si les bénéficiaires ont légitimement droit à ces avantages ou services, ces systèmes peuvent avoir un impact significatif sur le mode de vie des personnes et peuvent porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, à la non-discrimination, à la dignité humaine ou à un recours effectif, et devraient donc être considérés comme présentant un risque élevé. Néanmoins, ce règlement ne devrait pas entraver le développement et l’utilisation d’approches innovantes dans l’administration publique, qui bénéficieraient d’une utilisation plus large de systèmes d’intelligence artificielle conformes et sûrs, à condition que ces systèmes n’entraînent pas un risque élevé pour les personnes morales et physiques.
En outre, les systèmes d’IA utilisés pour évaluer la cote de crédit ou la solvabilité de personnes physiques devraient être considérés comme des systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes aux ressources financières ou aux services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à ces fins peuvent conduire à des discriminations entre les personnes ou les groupes et peuvent perpétuer des schémas historiques de discrimination, tels que ceux fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle, ou peuvent créer de nouvelles formes d’impact discriminatoire. Toutefois, les systèmes d’IA prévus par le droit de l’Union à des fins de détection de la fraude dans l’offre de services financiers et à des fins prudentielles pour le calcul des exigences de capital des établissements de crédit et des compagnies d’assurance ne devraient pas être considérés comme présentant un risque élevé au titre du présent règlement. En outre, les systèmes d’IA destinés à être utilisés pour l’évaluation des risques et la tarification en relation avec des personnes physiques pour la santé et l’assurance vie peuvent également avoir un impact significatif sur le mode de vie des personnes et, s’ils ne sont pas correctement conçus, développés et utilisés, peuvent porter atteinte à leurs droits fondamentaux et entraîner des conséquences graves pour la vie et la santé des personnes, y compris l’exclusion financière et la discrimination. Finally, AI systems used to evaluate and classify emergency calls by natural people or to dispatch or establish priority in the dispatching of emergency first response services, including police, firefighters and medical aid, as well as of emergency healthcare patient triage systems, should also be classified as high-risk since they make decisions in very critical situations for the life and health of persons and their property.
(a) Systèmes d’IA destinés à être utilisés par ou pour le compte des autorités chargées de l’application de la loi, ou par des institutions, organes, bureaux ou agences de l’Union au soutien des autorités chargées de l’application de la loi ou pour leur compte, afin d’évaluer le risque qu’une personne physique devienne la victime d’infractions pénales ;
(b) Systèmes d’IA destinés à être utilisés par ou pour le compte des autorités chargées de l’application de la loi ou par des institutions, organes, bureaux ou agences de l’Union en soutien aux autorités chargées de l’application de la loi, comme des polygraphes ou des outils similaires ;
(c) Systèmes d’IA destinés à être utilisés par ou pour le compte des autorités chargées de l’application de la loi, ou par des institutions, organes, bureaux ou agences de l’Union, en vue d’aider les autorités chargées de l’application de la loi à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites pénales ;
(d) Systèmes d’intelligence artificielle destinés à être utilisés par les autorités chargées de l’application de la loi ou pour leur compte, ou par des institutions, organes, bureaux ou agences de l’Union au soutien des autorités chargées de l’application de la loi, pour évaluer le risque qu’une personne physique commette ou commette à nouveau une infraction non seulement sur la base du profilage des personnes physiques tel que visé à l’article 3, paragraphe 4, de la directive (UE) 2016/680, ou pour évaluer les traits de personnalité et les caractéristiques ou le comportement criminel passé de personnes physiques ou de groupes ;
(e) Systèmes d’IA destinés à être utilisés par ou pour le compte des autorités chargées de l’application de la loi ou par des institutions, organes, bureaux ou agences de l’Union au soutien des autorités chargées de l’application de la loi pour le profilage de personnes physiques tel que visé à l’article 3, paragraphe 4, de la directive (UE) 2016/680 dans le cadre de la détection, de l’enquête ou de la poursuite d’infractions pénales.
(59) Compte tenu de leur rôle et de leur responsabilité, les actions des autorités chargées de l’application de la loi impliquant certaines utilisations de systèmes d’IA se caractérisent par un degré significatif de déséquilibre de pouvoir et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique, ainsi qu’à d’autres répercussions négatives sur les droits fondamentaux garantis par la Charte. En particulier, si le système d’intelligence artificielle n’est pas formé à des données de qualité, s’il ne répond pas à des exigences suffisantes en termes de performance, de précision ou de robustesse, ou s’il n’est pas correctement conçu et testé avant d’être mis sur le marché ou autrement mis en service, il peut sélectionner des personnes de manière discriminatoire ou autrement incorrecte ou injuste. En outre, l’exercice d’importants droits fondamentaux procéduraux, tels que le droit à un recours effectif et à un procès équitable, ainsi que le droit à la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il est donc approprié de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit communautaire et national pertinent, un certain nombre de systèmes d’IA destinés à être utilisés dans le contexte de l’application de la loi, où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des effets négatifs, maintenir la confiance du public et assurer la responsabilité et un recours effectif.
Compte tenu de la nature des activités et des risques qui y sont liés, ces systèmes d’IA à haut risque devraient inclure, en particulier, les systèmes d’IA destinés à être utilisés par ou pour le compte des autorités chargées de l’application de la loi ou par les institutions, organes, bureaux ou agences de l’Union soutenant les autorités chargées de l’application de la loi pour évaluer le risque qu’une personne physique devienne victime d’infractions pénales, tels que les polygraphes et autres outils similaires, pour l’évaluation de la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites en matière d’infractions pénales et, dans la mesure où cela n’est pas interdit par le présent règlement, pour l’évaluation du risque qu’une personne physique commette ou commette à nouveau des infractions, non seulement sur la base du profilage des personnes physiques ou de l’évaluation des traits de personnalité et des caractéristiques ou du comportement criminel passé de personnes physiques ou de groupes, mais aussi pour le profilage dans le cadre de la détection, de l’enquête ou de la poursuite d’infractions pénales. Les systèmes d’intelligence artificielle spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les unités de renseignement financier effectuant des tâches administratives d’analyse d’informations conformément au droit de l’Union relatif à la lutte contre le blanchiment d’argent ne devraient pas être considérés comme des systèmes d’intelligence artificielle à haut risque utilisés par les autorités chargées de l’application des lois aux fins de la prévention, de la détection, de l’enquête et de la poursuite d’infractions pénales. L’utilisation d’outils d’intelligence artificielle par les forces de l’ordre et les autres autorités compétentes ne devrait pas être un facteur d’inégalité ou d’exclusion. L’impact de l’utilisation d’outils d’intelligence artificielle sur les droits de défense des suspects ne devrait pas être ignoré, en particulier la difficulté d’obtenir des informations pertinentes sur le fonctionnement de ces systèmes et la difficulté qui en résulte à contester leurs résultats en justice, en particulier par des personnes physiques faisant l’objet d’une enquête.
(a) Systèmes IA destinés à être utilisés par ou pour le compte d’autorités publiques compétentes ou d’institutions, d’organes, d’offices ou d’agences de l’Union en tant que polygraphes ou outils similaires ;
(b) Systèmes d’AI destinés à être utilisés par ou pour le compte d’autorités publiques compétentes ou d’institutions, d’organes, d’offices ou d’agences de l’Union pour évaluer un risque, y compris un risque pour la sécurité, un risque de migration irrégulière ou un risque pour la santé, présenté par une personne physique qui a l’intention d’entrer ou qui est entrée sur le territoire d’un État membre ;
(c) les systèmes d’AI destinés à être utilisés par ou pour le compte d’autorités publiques compétentes ou d’institutions, d’organes, d’offices ou d’agences de l’Union pour assister les autorités publiques compétentes dans l’examen des demandes d’asile, de visa ou de permis de séjour et pour les recours connexes concernant l’éligibilité des personnes physiques demandant un statut, y compris les évaluations connexes de la fiabilité des preuves ;
(d) Systèmes d’IA destinés à être utilisés par ou pour le compte d’autorités publiques compétentes ou d’institutions, d’organes, d’offices ou d’agences de l’Union, dans le cadre de la gestion des migrations, de l’asile ou des contrôles aux frontières, aux fins de la détection, de la reconnaissance ou de l’identification de personnes physiques, à l’exception de la vérification des documents de voyage.
(60) Les systèmes d’IA utilisés dans la gestion de la migration, de l’asile et du contrôle des frontières affectent des personnes qui sont souvent dans une position particulièrement vulnérable et qui dépendent du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, en particulier leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données personnelles, à la protection internationale et à la bonne administration. Il est donc approprié de classer dans la catégorie des systèmes à haut risque, dans la mesure où leur utilisation est autorisée par le droit communautaire et national applicable, les systèmes d’identification automatique destinés à être utilisés par ou pour le compte des autorités publiques compétentes ou des institutions, organes, bureaux ou agences de l’Union chargés de tâches dans les domaines de l’immigration, de l’asile et de la gestion des contrôles aux frontières, tels que les polygraphes et outils similaires, pour évaluer certains risques posés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile, pour assister les autorités publiques compétentes dans l’examen, y compris l’évaluation pertinente de la fiabilité des preuves, des demandes d’asile, de visa et de permis de séjour et des plaintes y afférentes, dans le but d’établir l’éligibilité des personnes physiques demandant un statut, aux fins de la détection, de la reconnaissance ou de l’identification des personnes physiques dans le cadre de la gestion des migrations, de l’asile et des contrôles aux frontières, à l’exception de la vérification des documents de voyage.
Les systèmes d’IA dans le domaine de la gestion des migrations, de l’asile et des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par le règlement (CE) n° 810/2009 du Parlement européen et du Conseil , la directive 2013/32/UE du Parlement européen et du Conseil , et toute autre législation pertinente de l’Union. L’utilisation de systèmes d’identification automatique dans le cadre de la gestion des migrations, de l’asile et du contrôle des frontières ne devrait en aucun cas être utilisée par les États membres ou les institutions, organes, bureaux ou agences de l’Union comme un moyen de contourner les obligations internationales qui leur incombent en vertu de la convention des Nations unies relative au statut des réfugiés, signée à Genève le 28 juillet 1951 et modifiée par le protocole du 31 janvier 1967, ni de porter atteinte de quelque manière que ce soit au principe de non-refoulement ou de refuser des voies de passage légales sûres et effectives vers le territoire de l’Union, y compris le droit à la protection internationale.
(a) Systèmes d’IA destinés à être utilisés par une autorité judiciaire ou en son nom pour assister une autorité judiciaire dans la recherche et l’interprétation des faits et de la loi et dans l’application de la loi à un ensemble concret de faits, ou à être utilisés de manière similaire dans le règlement alternatif des litiges ;
(b) Les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement de vote de personnes physiques dans l’exercice de leur droit de vote lors d’élections ou de référendums. Cela n’inclut pas les systèmes d’intelligence artificielle dont les personnes physiques ne sont pas directement exposées, tels que les outils utilisés pour organiser, optimiser ou structurer des campagnes politiques d’un point de vue administratif ou logistique.
(61) Certains systèmes d’IA destinés à l’administration de la justice et aux processus démocratiques devraient être classés à haut risque, compte tenu de leur impact potentiellement significatif sur la démocratie, le respect du droit, les libertés individuelles ainsi que le droit à un recours effectif et à un procès équitable. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité potentiels, il est approprié de qualifier de systèmes d’IA à haut risque les systèmes destinés à être utilisés par une autorité judiciaire ou pour son compte afin d’assister les autorités judiciaires dans la recherche et l’interprétation des faits et du droit et dans l’application du droit à un ensemble concret de faits. Les systèmes d’IA destinés à être utilisés par des organismes de résolution alternative des litiges à ces fins devraient également être considérés comme présentant un risque élevé lorsque les résultats de la résolution alternative des litiges produisent des effets juridiques pour les parties. L’utilisation d’outils d’IA peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne doit pas les remplacer : la décision finale doit rester une activité humaine. La classification des systèmes d’IA comme étant à haut risque ne devrait toutefois pas s’étendre aux systèmes d’IA destinés à des activités administratives purement accessoires qui n’affectent pas l’administration réelle de la justice dans les cas individuels, telles que l’anonymisation ou la pseudonymisation des décisions, documents ou données judiciaires, la communication entre le personnel, les tâches administratives .
(62) Sans préjudice des règles prévues par le règlement (UE) 2024/… du Parlement européen et du Conseil34+, et afin de remédier aux risques d’interférences extérieures excessives avec le droit de vote consacré à l’article 39 de la Charte, et d’effets négatifs sur la démocratie et le respect du droit, Les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement de vote de personnes physiques dans l’exercice de leur droit de vote lors d’élections ou de référendums devraient être classés comme des systèmes d’IA à haut risque, à l’exception des systèmes d’IA dont la production n’expose pas directement les personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.
La documentation technique visée à l’article 11, paragraphe 1, doit contenir au moins les informations suivantes, selon le système d’assurance qualité concerné :
1. Une description générale du système d’IA, y compris :
(a) son but prévu, le nom du fournisseur et la version du système reflétant sa relation avec les versions précédentes ;
(b) comment le système IA interagit avec, ou peut être utilisé pour interagir avec, du matériel ou des logiciels, y compris d’autres systèmes IA qui ne font pas partie du système IA lui-même, le cas échéant ;
(c) les versions des logiciels ou des micrologiciels concernés, et toute exigence relative aux mises à jour des versions ;
(d) la description de toutes les formes sous lesquelles le système IA est mis sur le marché ou mis en service, telles que les progiciels intégrés dans le matériel, les téléchargements ou les API ;
(e) la description du matériel sur lequel le système IA est destiné à fonctionner ;
(f) lorsque le système IA fait partie intégrante de produits, des photographies ou des illustrations montrant les caractéristiques externes, le marquage et la présentation interne de ces produits ;
(g) une description de base de l’interface utilisateur fournie au déployeur ;
(h) des instructions d’utilisation pour le déployeur, et une description de base de l’interface utilisateur fournie au déployeur, le cas échéant ;
2. Une description détaillée des éléments du système IA et du processus de son développement, y compris :
(a) les méthodes et étapes mises en œuvre pour le développement du système d’intelligence artificielle, y compris, le cas échéant, le recours à des systèmes ou outils pré-conçus fournis par des tiers et la manière dont ceux-ci ont été utilisés, intégrés ou modifiés par le fournisseur ;
(b) les spécifications de conception du système, à savoir la logique générale du système IA et des algorithmes ; les principaux choix de conception, y compris les raisons et les hypothèses retenues, notamment en ce qui concerne les personnes ou les groupes de personnes à l’égard desquels le système est destiné à être utilisé ; les principaux choix de classification ; ce que le système est conçu pour optimiser, et la pertinence des différents paramètres ; la description de la qualité attendue de la production et de la sortie du système ; la décision relative à tout compromis éventuel concernant les solutions techniques adoptées pour satisfaire aux exigences énoncées au chapitre III, section 2 ;
(c) the description of the system architecture explaining how software components build on or feed into each other and integrate into the overall processing ; the computational resources used to develop, train, test and validate the AI system ;
(d) le cas échéant, les exigences en matière de données en termes de fiches décrivant les méthodologies et techniques de formation et les ensembles de données de formation utilisés, y compris une description générale de ces ensembles de données, des informations sur leur provenance, leur portée et leurs principales caractéristiques ; la manière dont les données ont été obtenues et sélectionnées ; les procédures d’étiquetage (par exemple, pour l’apprentissage supervisé), les méthodologies de nettoyage des données (par exemple, la détection des outliers) ;
(e) l’évaluation des mesures de contrôle humain nécessaires conformément à l’article 14, y compris une évaluation des mesures techniques nécessaires pour faciliter l’interprétation des résultats des systèmes IA par les déployeurs, conformément à l’article 13(3), point (d) ;
(f) le cas échéant, une description détaillée des modifications prédéfinies apportées au système d’identification automatique et à ses performances, ainsi que toutes les informations pertinentes relatives aux solutions techniques adoptées pour assurer la conformité permanente du système d’identification automatique avec les exigences pertinentes énoncées au chapitre III, section 2 ;
(g) les procédures de validation et d’essai utilisées, y compris les informations sur les données de validation et d’essai utilisées et leurs principales caractéristiques ; les mesures utilisées pour mesurer l’exactitude, la robustesse et la conformité avec d’autres exigences pertinentes énoncées au chapitre III, section 2, ainsi que les impacts potentiellement discriminatoires ; les protocoles d’essai et tous les rapports d’essai datés et signés par les personnes responsables, y compris en ce qui concerne les changements préétablis mentionnés au point (f) ;
(h) des mesures de cybersécurité mises en place ;
3. des informations détaillées sur la surveillance, le fonctionnement et le contrôle du système d’intelligence artificielle, en particulier en ce qui concerne : ses capacités et ses limites de performance, y compris le degré d’exactitude pour des personnes ou des groupes de personnes spécifiques sur lesquels le système est destiné à être utilisé et le niveau global d’exactitude attendu par rapport à son objectif prévu ; les résultats non escomptés et les sources de risques pour la santé et la sécurité, les droits fondamentaux et la discrimination au regard de l’objectif prévu du système IA ; les mesures de contrôle humain nécessaires conformément à l’article 14, y compris les mesures techniques mises en place pour faciliter l’interprétation des résultats des systèmes IA par les déployeurs ; les spécifications relatives aux données d’entrée, le cas échéant ;
4. Une description de l’adéquation des mesures de performance pour le système d’IA spécifique ;
5. Une description détaillée du système de gestion des risques conformément à l’article 9 ;
6. Une description des modifications pertinentes apportées par le fournisseur au système au cours de son cycle de vie ;
7. Une liste des normes harmonisées appliquées, en totalité ou en partie, dont les références ont été publiées au Journal officiel de l’Union européenne ; si aucune de ces normes harmonisées n’a été appliquée, une description détaillée des solutions adoptées pour satisfaire aux exigences énoncées au chapitre III, section 2, y compris une liste des autres normes et spécifications techniques pertinentes appliquées ;
8. Une copie de la déclaration de conformité de l’UE visée à l’article 47 ;
9. Une description détaillée du système en place pour évaluer les performances du système d’assurance invalidité au cours de la phase de post-commercialisation, conformément à l’article 72, y compris le plan de surveillance post-commercialisation visé à l’article 72, paragraphe 3.
La déclaration UE de conformité visée à l’article 47 doit contenir toutes les informations suivantes :
1. Nom et type du système d’intelligence artificielle et toute autre référence non ambiguë permettant l’identification et la traçabilité du système d’intelligence artificielle ;
2. Le nom et l’adresse du fournisseur ou, le cas échéant, de son représentant autorisé ;
3. Une déclaration selon laquelle la déclaration UE de conformité visée à l’article 47 est établie sous la seule responsabilité du fournisseur ;
4. Une déclaration selon laquelle le système IA est conforme au présent règlement et, le cas échéant, à toute autre législation de l’Union applicable qui prévoit la délivrance de la déclaration UE de conformité visée à l’article 47 ;
5. Lorsqu’un système d’intelligence artificielle implique le traitement de données à caractère personnel, une déclaration selon laquelle ce système d’intelligence artificielle est conforme aux règlements (UE) 2016/679 et (UE) 2018/1725 et à la directive (UE) 2016/680 ;
6. Références à toute norme harmonisée pertinente utilisée ou à toute autre spécification commune par rapport à laquelle la conformité est déclarée ;
7. Le cas échéant, le nom et le numéro d’identification de l’organisme notifié, une description de la procédure d’évaluation de la conformité effectuée et l’identification du certificat délivré ;
8. Le lieu et la date d’émission de la déclaration, le nom et la fonction de la personne qui l’a signée, ainsi qu’une indication de la personne qui a signé ou au nom de laquelle cette personne a signé.
1. La procédure d’évaluation de la conformité basée sur le contrôle interne est la procédure d’évaluation de la conformité basée sur les points 2, 3 et 4.
2. Le prestataire vérifie que le système de gestion de la qualité mis en place est conforme aux exigences de l’article 17.
3. Le prestataire examine les informations contenues dans la documentation technique afin d’évaluer la conformité du système AI avec les exigences essentielles pertinentes énoncées au chapitre III, section 2.
4. Le prestataire vérifie également que le processus de conception et de développement du système d’intelligence artificielle et son suivi après la mise sur le marché visé à l’article 72 sont conformes à la documentation technique.
1. Introduction
La conformité basée sur une évaluation du système de gestion de la qualité et une évaluation de la documentation technique est la procédure d’évaluation de la conformité basée sur les points 2 à 5.
2. Aperçu
Le système de gestion de la qualité approuvé pour la conception, le développement et les essais des systèmes d’assurance qualité visés à l’article 17 est examiné conformément au point 3 et fait l’objet d’une surveillance conformément au point 5. La documentation technique du système d’assurance qualité est examinée conformément au point 4.
3. Système de gestion de la qualité
3.1. La demande du prestataire doit inclure :
(a) le nom et l’adresse du prestataire et, si la demande est déposée par un représentant autorisé, également son nom et son adresse ;
(b) la liste des systèmes d’IA couverts par le même système de gestion de la qualité ;
(c) la documentation technique pour chaque système AI couvert par le même système de gestion de la qualité ;
(d) la documentation relative au système de gestion de la qualité, qui doit couvrir tous les aspects énumérés à l’article 17 ;
(e) une description des procédures en place pour s’assurer que le système de gestion de la qualité reste adéquat et efficace ;
(f) une déclaration écrite selon laquelle la même demande n’a pas été déposée auprès d’un autre organisme notifié.
3.2. Le système de gestion de la qualité est évalué par l’organisme notifié, qui détermine s’il satisfait aux exigences visées à l’article 17.
La décision doit être notifiée au fournisseur ou à son représentant autorisé.
La notification doit contenir les conclusions de l’évaluation du système de gestion de la qualité et la décision d’évaluation motivée.
3.3. Le système de gestion de la qualité tel qu’il a été approuvé doit continuer à être mis en œuvre et entretenu par le prestataire de manière à ce qu’il reste adéquat et efficace.
3.4. Toute modification envisagée du système de gestion de la qualité approuvé ou de la liste des systèmes d’assurance qualité couverts par ce dernier doit être portée à l’attention de l’organisme notifié par le fournisseur.
Les modifications proposées doivent être examinées par l’organisme notifié, qui doit décider si le système de gestion de la qualité modifié continue à satisfaire aux exigences mentionnées au point 3.2 ou si une réévaluation est nécessaire.
L’organisme notifié informe le fournisseur de sa décision. La notification doit contenir les conclusions de l’examen des modifications et la décision d’évaluation motivée.
4. Contrôle de la documentation technique.
4.1. En plus de la demande visée au point 3, une demande auprès d’un organisme notifié de son choix doit être déposée par le fournisseur pour l’évaluation de la documentation technique relative au système d’assurance qualité que le fournisseur a l’intention de mettre sur le marché ou en service et qui est couverte par le système de gestion de la qualité visé au point 3.
4.2. La demande doit inclure
(a) le nom et l’adresse du fournisseur ;
(b) une déclaration écrite selon laquelle la même demande n’a pas été déposée auprès d’un autre organisme notifié ;
(c) la documentation technique mentionnée à l’annexe IV.
4.3. La documentation technique doit être examinée par l’organisme notifié. Le cas échéant, et dans la limite de ce qui est nécessaire à l’accomplissement de ses tâches, l’organisme notifié doit avoir pleinement accès aux données de formation, de validation et d’essai utilisées, y compris, le cas échéant et sous réserve de garanties de sécurité, par le biais d’API ou d’autres moyens techniques et outils pertinents permettant un accès à distance.
4.4. Lors de l’examen de la documentation technique, l’organisme notifié peut exiger du fournisseur qu’il fournisse des preuves supplémentaires ou qu’il procède à des essais complémentaires afin de permettre une évaluation correcte de la conformité du système d’assurance qualité avec les exigences énoncées au chapitre III, section 2. Si l’organisme notifié n’est pas satisfait des essais effectués par le fournisseur, il procède lui-même directement à des essais appropriés, le cas échéant.
4.5. Si nécessaire, pour évaluer la conformité du système d’alarme à haut risque avec les exigences énoncées au chapitre III, section 2, après que tous les autres moyens raisonnables de vérifier la conformité ont été épuisés et se sont révélés insuffisants, et sur demande motivée, l’organisme notifié peut également avoir accès aux modèles de formation et d’entraînement du système d’alarme, y compris à ses paramètres pertinents. Cet accès est soumis à la législation existante de l’Union européenne en matière de protection de la propriété intellectuelle et des secrets commerciaux.
4.6. La décision de l’organisme notifié doit être notifiée au fournisseur ou à son représentant autorisé. La notification doit contenir les conclusions de l’évaluation de la documentation technique et la décision d’évaluation motivée.
Si le système d’alarme est conforme aux exigences énoncées au chapitre III, section 2, l’organisme notifié doit délivrer un certificat d’évaluation de la documentation technique de l’Union. Le certificat indique le nom et l’adresse du fournisseur, les conclusions de l’examen, les conditions (le cas échéant) de sa validité et les données nécessaires à l’identification du système IA.
Le certificat et ses annexes doivent contenir toutes les informations pertinentes pour permettre l’évaluation de la conformité du système d’alarme et pour permettre le contrôle du système d’alarme en cours d’utilisation, le cas échéant.
Lorsque le système d’assurance qualité n’est pas conforme aux exigences énoncées au chapitre III, section 2, l’organisme notifié refuse de délivrer un certificat d’évaluation de la documentation technique de l’Union et en informe le demandeur en lui fournissant des raisons détaillées pour son refus.
Si le système IA ne satisfait pas à l’exigence relative aux données utilisées pour l’entraîner, une nouvelle formation du système IA sera nécessaire avant la demande d’une nouvelle évaluation de la conformité. Dans ce cas, la décision d’évaluation motivée de l’organisme notifié refusant de délivrer le certificat d’évaluation de la documentation technique de l’Union doit contenir des considérations spécifiques sur les données de qualité utilisées pour l’entraînement du système IA, en particulier sur les raisons de la non-conformité.
4.7. Toute modification du système d’assurance qualité susceptible d’affecter la conformité du système d’assurance qualité aux exigences ou à son objectif doit être évaluée par l’organisme notifié qui a délivré le certificat d’évaluation de la documentation technique de l’Union. Le prestataire doit informer cet organisme notifié de son intention d’introduire l’une des modifications susmentionnées ou s’il prend connaissance de la survenance de telles modifications. Les modifications envisagées sont évaluées par l’organisme notifié, qui détermine si ces modifications nécessitent une nouvelle évaluation de la conformité conformément à l’article 43, paragraphe 4, ou si elles peuvent être abordées au moyen d’un complément au certificat d’évaluation de la documentation technique de l’Union. Dans ce dernier cas, l’organisme notifié évalue les modifications, informe le fournisseur de sa décision et, si les modifications sont acceptées, délivre au fournisseur un complément au certificat d’évaluation de la documentation technique de l’Union.
5. Surveillance du système de gestion de la qualité approuvé.
5.1. Le but de la surveillance effectuée par l’organisme notifié visé au point 3 est de
s’assurer que le prestataire respecte dûment les termes et conditions du système de gestion de la qualité approuvé.
5.2. Pour les besoins de l’évaluation, le fournisseur doit permettre à l’organisme notifié d’accéder aux locaux où se déroulent la conception, le développement et les essais des systèmes d’intelligence artificielle. Le fournisseur doit en outre partager avec l’organisme notifié toutes les informations nécessaires.
5.3. L’organisme notifié procède à des audits périodiques pour s’assurer que le prestataire maintient et applique le système de gestion de la qualité et fournit au prestataire un rapport d’audit. Dans le cadre de ces audits, l’organisme notifié peut effectuer des tests supplémentaires sur les systèmes d’assurance qualité pour lesquels un certificat d’évaluation de la documentation technique de l’Union a été délivré.
Les informations suivantes doivent être fournies et tenues à jour par la suite en ce qui concerne les systèmes d’assurance-invalidité à haut risque à enregistrer conformément à l’article 49, paragraphe 1 :
1. Le nom, l’adresse et les coordonnées du fournisseur ;
2. Lorsque la transmission d’informations est effectuée par une autre personne pour le compte du fournisseur, le nom, l’adresse et les coordonnées de cette personne ;
3. Le nom, l’adresse et les coordonnées du représentant autorisé, le cas échéant ;
4. Le nom commercial du système IA et toute autre référence non ambiguë permettant l’identification et la traçabilité du système IA ;
5. Une description de l’objectif visé par le système d’intelligence artificielle et des composants et fonctions pris en charge par ce système d’intelligence artificielle ;
6. Une description de base et concise des informations utilisées par le système (données, entrées) et de sa logique de fonctionnement ;
7. Le statut du système IA (sur le marché, ou en service ; plus placé sur le marché/en service, rappelé) ;
8. Le type, le numéro et la date d’expiration du certificat délivré par l’organisme notifié et le nom ou le numéro d’identification de cet organisme notifié, le cas échéant ;
9. Une copie scannée du certificat mentionné au point 8, le cas échéant ;
10. Tout État membre dans lequel le système IA a été mis sur le marché, mis en service ou mis à disposition dans l’Union ;
11. Une copie de la déclaration de conformité de l’UE visée à l’article 47 ;
12. Instructions électroniques d’utilisation ; ces informations ne doivent pas être fournies pour les systèmes d’IA à haut risque dans les domaines de l’application de la loi ou de la migration, de l’asile et de la gestion des contrôles aux frontières mentionnés à l’annexe III, points 1, 6 et 7 ;
13. Une URL pour des informations supplémentaires (facultatif).
Les informations suivantes doivent être fournies et tenues à jour en ce qui concerne les systèmes d’assurance invalidité à enregistrer conformément à l’article 49, paragraphe 2 :
1. Le nom, l’adresse et les coordonnées du fournisseur ;
2. Lorsque la transmission d’informations est effectuée par une autre personne pour le compte du fournisseur, le nom, l’adresse et les coordonnées de cette personne ;
3. Le nom, l’adresse et les coordonnées du représentant autorisé, le cas échéant ;
4. Le nom commercial du système IA et toute autre référence non ambiguë permettant l’identification et la traçabilité du système IA ;
5. Une description de l’objectif prévu du système AI ;
6. La ou les conditions visées à l’article 6, paragraphe 3, sur la base desquelles le système IA est considéré comme ne présentant pas de risque élevé ;
7. Un bref résumé des raisons pour lesquelles le système IA est considéré comme ne présentant pas de risque élevé en application de la procédure prévue à l’article 6, paragraphe 3 ;
8. Le statut du système IA (sur le marché, ou en service ; plus placé sur le marché/en service, rappelé) ;
9. Tout État membre dans lequel le système IA a été mis sur le marché, mis en service ou mis à disposition dans l’Union.
Les informations suivantes sont fournies et tenues à jour en ce qui concerne les systèmes d’assurance-invalidité à haut risque devant être enregistrés conformément à l’article 49 :
1. Le nom, l’adresse et les coordonnées du déployeur ;
2. Le nom, l’adresse et les coordonnées de la personne soumettant les informations pour le compte du déployeur ;
3. L’URL de l’entrée du système IA dans la base de données de l’UE par son fournisseur ;
4. Un résumé des résultats de l’évaluation de l’impact sur les droits fondamentaux réalisée conformément à l’article 27 ;
5. Un résumé de l’évaluation de l’impact sur la protection des données effectuée conformément à l’article 35 du règlement (UE) 2016/679 ou à l’article 27 de la directive (UE) 2016/680, tel que spécifié à l’article 26, paragraphe 8, du présent règlement, le cas échéant.
Les informations suivantes sont fournies et tenues à jour par la suite en ce qui concerne les essais en conditions réelles à enregistrer conformément à l’article 60 :
1. Un numéro d’identification unique dans toute l’Union du test en conditions réelles ;
2. Le nom et les coordonnées du fournisseur ou du fournisseur potentiel et des déployeurs impliqués dans les tests en conditions réelles ;
3. Une brève description du système d’IA, de son objectif prévu et d’autres informations nécessaires à l’identification du système ;
4. Un résumé des principales caractéristiques du plan de test dans les conditions du monde réel ;
5. Information sur la suspension ou l’arrêt du test dans les conditions du monde réel.
1. Système d’information Schengen
(a) Règlement (UE) 2018/1860 du Parlement européen et du Conseil du 28 novembre 2018 relatif à l’utilisation du système d’information Schengen pour le retour des ressortissants de pays tiers en séjour irrégulier (JO L 312 du 7.12.2018, p. 1).
(b) Règlement (UE) 2018/1861 du Parlement européen et du Conseil du 28 novembre 2018 sur l’établissement, le fonctionnement et l’utilisation du système d’information Schengen (SIS) dans le domaine des contrôles aux frontières, modifiant la convention d’application de l’accord de Schengen, et modifiant et remplaçant le règlement (CE) n° 1987/2006 (JO L 312 du 7.12.2018, p. 14).
(c) Règlement (UE) 2018/1862 du Parlement européen et du Conseil du 28 novembre 2018 sur l’établissement, le fonctionnement et l’utilisation du système d’information Schengen (SIS) dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, modifiant et abrogeant la décision 2007/533/JHA du Conseil, et abrogeant le règlement (CE) n° 1986/2006 du Parlement européen et du Conseil et la décision 2010/261/UE de la Commission (JO L 312 du 7.12.2018, p. 56).
2. Système d’information sur les visas
(a) Règlement (UE) 2021/1133 du Parlement européen et du Conseil du 7 juillet 2021 modifiant les règlements (UE) n° 603/2013, (UE) 2016/794, (UE) 2018/1862, (UE) 2019/816 et (UE) 2019/818 en ce qui concerne l’établissement des conditions d’accès à d’autres systèmes d’information de l’UE aux fins du système d’information sur les visas (JO L 248 du 13.7.2021, p. 1).
(b) Règlement (UE) 2021/1134 du Parlement européen et du Conseil du 7 juillet 2021 modifiant les règlements (CE) n° 767/2008, (CE) n° 810/2009, (UE) 2016/399, (UE) 2017/2226, (UE) 2018/1240, (UE) 2018/1860, (UE) 2018/1861, (UE) 2019/817 et (UE) 2019/1896 du Parlement européen et du Conseil et abrogeant les décisions du Conseil 2004/512/CE et 2008/633/JHA, aux fins de la réforme du système d’information sur les visas (OJ L 248, 13.7.2021, p. 11).
3. Eurodac
Règlement (UE) 2024/… du Parlement européen et du Conseil concernant la création du système “Eurodac” pour la comparaison des données biométriques en vue de l’application effective des règlements (UE) 2024/… et (UE) 2024/… du Parlement européen et du Conseil et de la directive 2001/55/CE du Conseil, et pour identifier les ressortissants de pays tiers et les apatrides en séjour irrégulier, et sur les demandes de comparaison avec les données Eurodac présentées par les autorités chargées de l’application des lois des États membres et Europol à des fins d’application de la loi, modifiant les règlements (UE) 2018/1240 et (UE) 2019/818 du Parlement européen et du Conseil et répétant le règlement (UE) n° 603/2013 du Parlement européen et du Conseil+.
4. Système d’entrée/sortie
Règlement (UE) 2017/2226 du Parlement européen et du Conseil du 30 novembre 2017 établissant un système d’entrée/sortie (SES) pour l’enregistrement des données d’entrée et de sortie et le refus des données d’entrée des ressortissants de pays tiers franchissant les frontières extérieures des États membres, et déterminant les conditions d’accès au SES à des fins d’application de la loi, et modifiant la convention d’application de l’accord de Schengen et les règlements (CE) n° 767/2008 et (UE) n° 1077/2011 (JO L 327 du 9.12.2017, p. 20).
5. Système européen d’information et d’autorisation de voyage
(a) Règlement (UE) 2018/1240 du Parlement européen et du Conseil du 12 septembre 2018 établissant un système européen d’information et d’autorisation de voyage (ETIAS) et modifiant les règlements (UE) n° 1077/2011, (UE) n° 515/2014, (UE) 2016/399, (UE) 2016/1624 et (UE) 2017/2226 (OJ L 236, 19.9.2018, p. 1).
(b) Règlement (UE) 2018/1241 du Parlement européen et du Conseil du
12 septembre 2018 modifiant le règlement (UE) 2016/794 en vue de l’établissement d’un système européen d’information et d’autorisation de voyage (ETIAS) (JO L 236 du 19.9.2018, p. 72).
6. Système européen d’information sur les dossiers criminels concernant les ressortissants de pays tiers et les apatrides
Règlement (UE) 2019/816 du Parlement européen et du Conseil du 17 avril 2019 établissant un système centralisé d’identification des États membres détenant des informations sur les condamnations de ressortissants de pays tiers et de personnes apatrides (ECRIS- TCN), destiné à compléter le système européen d’information sur les dossiers criminels et modifiant le règlement (UE) 2018/1726 (JO L 135 du 22.5.2019, p. 1).
7. Interopérabilité
(a) Règlement (UE) 2019/817 du Parlement européen et du Conseil du 20 mai 2019 établissant un cadre pour l’interopérabilité des systèmes d’information de l’UE dans le domaine des frontières et des visas et modifiant les règlements (CE) n° 767/2008, (UE) 2016/399, (UE) 2017/2226, (UE) 2018/1240, (UE) 2018/1726 et (UE) 2018/1861 du Parlement européen et du Conseil et les décisions du Conseil 2004/512/CE et 2008/633/JHA (JO L 135 du 22.5.2019, p. 27).
(b) Règlement (UE) 2019/818 du Parlement européen et du Conseil du 20 mai 2019 établissant un cadre pour l’interopérabilité des systèmes d’information de l’UE dans les domaines de la coopération policière et judiciaire, de l’asile et des migrations et modifiant les règlements (UE) 2018/1726, (UE) 2018/1862 et (UE) 2019/816 (JO L 135 du 22.5.2019, p. 85).
La documentation technique visée à l’article 53, paragraphe 1, point (a), doit contenir au moins les informations suivantes, adaptées à la taille et au profil de risque du modèle :
1. Une description générale du modèle d’IA à usage général, y compris :
(a) les tâches que le modèle est destiné à accomplir et le type et la nature des systèmes IA dans lesquels il peut être intégré ;
(b) les politiques d’utilisation acceptable applicables ;
(c) la date de publication et les méthodes de distribution ;
(d) l’architecture et le nombre de paramètres ;
(e) la modalité (par ex. texte, image) et le format des entrées et des sorties ;
(f) la licence.
2. Une description détaillée des éléments du modèle mentionné au point 1, et des informations pertinentes sur le processus de développement, y compris les éléments suivants :
(a) les moyens techniques (par ex. instructions d’utilisation, infrastructure, outils) nécessaires au modèle d’IA à usage général pour être intégré dans des systèmes d’IA ;
(b) les spécifications de conception du modèle et le processus de formation, y compris les méthodologies et techniques de formation, les principaux choix de conception, y compris la raison d’être et les hypothèses retenues ; ce que le modèle est conçu pour optimiser et la pertinence des différents paramètres, le cas échéant ;
(c) des informations sur les données utilisées pour la formation, les tests et la validation, le cas échéant, y compris le type et la provenance des données et les méthodes de curation (par exemple, nettoyage, filtrage, etc.), le nombre de points de données, leur portée et leurs principales caractéristiques ; la manière dont les données ont été obtenues et sélectionnées ainsi que toutes les autres mesures visant à détecter l’inadéquation des sources de données et des méthodes de détection des biais identifiables, le cas échéant ;
(d) les ressources informatiques utilisées pour former le modèle (par exemple, le nombre d’opérations de points flottants ), le temps de formation, et d’autres détails pertinents liés à la formation ;
(e) la consommation d’énergie connue ou estimée du modèle.
En ce qui concerne le point (e), où la consommation d’énergie du modèle est inconnue, la consommation d’énergie peut être basée sur des informations relatives aux ressources informatiques utilisées.
1. Une description détaillée des stratégies d’évaluation, y compris les résultats de l’évaluation, sur la base des protocoles et outils d’évaluation publics disponibles ou d’autres méthodologies d’évaluation. Les stratégies d’évaluation doivent inclure les critères d’évaluation, les métriques et la méthodologie d’identification des limitations.
2. Le cas échéant, une description détaillée des mesures mises en place dans le but de réaliser des tests d’adversité internes et/ou externes (par ex., red teaming), des adaptations du modèle, y compris l’alignement et le réglage fin.
3. Le cas échéant, une description détaillée de l’architecture du système expliquant comment les composants logiciels se construisent ou se nourrissent les uns les autres et s’intègrent dans le traitement global.
Les informations mentionnées à l’article 53(1), point (b), doivent contenir au moins les éléments suivants :
1. Une description générale du modèle d’IA à usage général, y compris :
(a) les tâches que le modèle est destiné à accomplir et le type et la nature des systèmes IA dans lesquels il peut être intégré ;
(b) les politiques d’utilisation acceptable applicables ;
(c) la date de publication et les méthodes de distribution ;
(d) comment le modèle interagit, ou peut être utilisé pour interagir, avec du matériel ou des logiciels qui ne font pas partie du modèle lui-même, le cas échéant ;
(e) les versions des logiciels pertinents liés à l’utilisation du modèle d’IA à usage général, le cas échéant ;
(f) l’architecture et le nombre de paramètres ;
(g) la modalité (par exemple, texte, image) et le format des entrées et des sorties ;
(h) la licence pour le modèle.
2. Une description des éléments du modèle et du processus de son développement, y compris :
(a) les moyens techniques (par exemple, instructions d’utilisation, infrastructure, outils) nécessaires pour intégrer le modèle d’IA à usage général dans les systèmes d’IA ;
(b) la modalité (par exemple, texte, image, etc.) et le format des entrées et des sorties et leur taille maximale (par exemple, longueur de la fenêtre contextuelle, etc.) ;
(c) des informations sur les données utilisées pour la formation, les tests et la validation, le cas échéant, y compris le type et la provenance des données et les méthodes de curation.
Afin de déterminer si un modèle d’IA à usage général a des capacités ou un impact équivalents à ceux définis à l’article 51(1), point (a), la Commission doit prendre en compte les critères suivants :
(a) le nombre de paramètres du modèle ;
(b) la qualité ou la taille de l’ensemble de données, par exemple mesurée par des jetons ;
(c) la quantité de calcul utilisée pour entraîner le modèle, mesurée en opérations à points flottants ou indiquée par une combinaison d’autres variables telles que le coût estimé de la formation, le temps estimé nécessaire à la formation ou la consommation d’énergie estimée pour la formation ;
(d) les modalités d’entrée et de sortie du modèle, telles que texte à texte (modèles en langage étendu), texte à image, multimodalité, et les seuils de l’état de l’art pour déterminer les capacités à fort impact pour chaque modalité, et le type spécifique d’entrées et de sorties (par exemple, séquences biologiques) ;
(e) les points de référence et les évaluations des capacités du modèle, y compris l’examen du nombre de tâches sans formation supplémentaire, l’adaptabilité à l’apprentissage de nouvelles tâches distinctes, son niveau d’autonomie et d’évolutivité, les outils auxquels il a accès ;
(f) s’il a un impact important sur le marché intérieur en raison de sa portée, qui doit être présumée lorsqu’il a été mis à la disposition d’au moins 10 000 utilisateurs professionnels enregistrés établis dans l’Union ;
(g) le nombre d’utilisateurs finaux inscrits.