FAQ sur l’AI Act

Par David Vasel­la, ver­si­on 1.0, 22 sep­tembre 2024

L’au­teur vous remer­cie pour vos pré­cieux con­seils Ami­na Cham­mah, Lena Göt­zin­ger, Han­nes Meyle et Ken­to Reu­ti­mann (tous Wal­der Wyss), et pour des dis­cus­sions fruc­tueu­ses David Rosen­thal (Vischer).

Pour signal­er des err­eurs à

nous som­mes reconnaissants.

Aper­çu

L’ap­pli­ca­bi­li­té de l’AI Act et la déter­mi­na­ti­on des rôles du four­nis­seur et du déployeur – il exi­ste éga­le­ment d’aut­res rôles – peu­vent être pré­sen­tées com­me suit :

Prin­cipes de base

1. quels sont les ter­mes uti­li­sés dans cet­te FAQ ?

Cet­te FAQ uti­li­se – out­re les ter­mes défi­nis par la loi (→ 8) – les abré­via­ti­ons suivantes :

AI: Intel­li­gence artificielle

AIA : AI Act (règle­ment sur les IC). Les réfé­ren­ces aux artic­les sans aut­re indi­ca­ti­on se rap­portent tou­jours à l’AIA.

AIS: Système AI (système d’in­tel­li­gence artificielle)

FOSS : Free and Open-Source Soft­ware (licence lib­re et open source)

GPAIGene­ral-Pur­po­se AI (IA à usa­ge général)

GPAIMGene­ral-Pur­po­se AI Model (modè­le d’IA à usa­ge général)

GPAISGene­ral-Pur­po­se AI System (système d’IA à usa­ge général)

HRAIS: High-Risk AIS (système d’IA à haut risque)

QMS: Système de gesti­on de la qualité

RMS: Système de gesti­on des risques

2. qu’est-ce que l’AIA ?

Le “Règle­ment (UE) 2024/1689 du 13 juin 2024 éta­blis­sant des règles har­mo­ni­sées en matiè­re d’in­tel­li­gence arti­fi­ci­el­le et modi­fi­ant […]”, le Règle­ment sur l’in­tel­li­gence arti­fi­ci­el­le, Règle­ment IA, AI Act ou AIA) est le cad­re régle­men­tai­re glo­bal par lequel l’UE (ou l’EEE, l’A­IA pré­sen­tant un inté­rêt pour l’EEE) régle­men­te l’uti­li­sa­ti­on des systè­mes d’in­tel­li­gence arti­fi­ci­el­le (systè­mes IA, AIS).

Une ver­si­on en ligne en anglais de l’A­IA, avec une attri­bu­ti­on non con­traignan­te des con­sidé­rants, est dis­po­ni­ble à l’adres­se sui­van­te droit des don­néesain­si qu’u­ne ver­si­on PDF.

Il s’a­git d’un règle­ment, donc direc­te­ment appli­ca­ble, com­me le RGPD. Les auto­ri­tés com­pé­ten­tes pour­ront tou­te­fois con­cré­ti­ser et modi­fier cer­ta­ins points (→ 51).

Sur le fond, l’A­IA défi­nit tout d’a­bord son champ d’ap­pli­ca­ti­on maté­ri­el et géo­gra­phi­que per­son­nel et fixe des règles pour le déve­lo­p­pe­ment et l’uti­li­sa­ti­on de l’A­IA, notam­ment pour les “systè­mes d’in­tel­li­gence arti­fi­ci­el­le à haut ris­que” (“High-Risk AI Systems”, “HRAIS”) et pour les AIS à voca­ti­on géné­ra­le (c’est-à-dire les AIS dia­gno­sti­ques à lar­ge échel­le et à cas d’uti­li­sa­ti­on – appelés “Gene­ral-Pur­po­se AI”, “GPAI” ; voir → 39). Cer­tai­nes pra­ti­ques par­ti­cu­liè­re­ment indé­si­ra­bles (use cases) sont en out­re inter­di­tes (→ 27).

3. où puis-je trou­ver plus d’in­for­ma­ti­ons sur l’AI Act ?

L’é­tu­de sci­en­ti­fi­que de l’AI Act est en cours, mais n’en est qu’à ses débuts. Par­mi la lit­té­ra­tu­re géné­ra­le sui­s­se, nous ren­vo­yons (de maniè­re incom­plè­te) aux con­tri­bu­ti­ons suivantes :

  • Rosen­thal, Le EU AI Act – Règle­ment sur l’in­tel­li­gence arti­fi­ci­el­le, Jus­let­ter du 5 août 2024 (https://dtn.re/tLrdFm)

  • Ario­li, Gesti­on des ris­ques selon le règle­ment de l’UE sur l’in­tel­li­gence arti­fi­ci­el­le, Jus­let­ter IT du 4 juil­let 2024 (https://dtn.re/7iE4zb)

  • Houdrouge/Kruglak, Are Swiss data pro­tec­tion rules rea­dy for AI ?, Jus­let­ter du 27 novembre 2023 (https://dtn.re/KvghSt)

  • Mull­er, L’Ar­ti­fi­ci­al Intel­li­gence Act de l’UE : une appro­che basée sur le ris­que pour la régle­men­ta­ti­on de l’in­tel­li­gence arti­fi­ci­el­le, EuZ 1/2022 (https://dtn.re/PafzEb)

On trouve de la lit­té­ra­tu­re spé­cia­li­sée notam­ment sur droit d’au­teur que­sti­ons liées à l’IA géné­ra­ti­ve (par ex. Thouvenin/Picht, AI & IP : Recom­man­da­ti­ons pour la légis­la­ti­on, l’ap­pli­ca­ti­on du droit et la recher­che sur les défis à l’in­ter­face de l’[IA et de la PI], sic ! 2023, 507 et suiv. Que­sti­ons de responsa­bi­li­té (par ex. Qua­dro­ni, Künst­li­che Intel­li­genz – prak­ti­sche Haf­tungs­fra­gen, HAVE 2021, 345 et suiv. droit du tra­vail Thè­mes (p. ex. Wild­ha­ber, Künst­li­che Intel­li­genz und Mit­wir­kung am Arbeits­platz, ARV 2024 1 ss).

De plus amp­les infor­ma­ti­ons sont dis­po­ni­bles en per­ma­nence sur www.datenrecht.ch et sur le blog de Vischer (https://dtn.re/BAG7Il).

Dans la lit­té­ra­tu­re juri­di­que étran­gè­re, nous ren­vo­yons notam­ment aux ouvra­ges suivants :

  • Voigt/HullenManu­el du règle­ment sur l’IA FAQ sur l’EU AI Act, 2024 (Kind­le E‑Book : https://dtn.re/bIwQg3)

  • Wendt/Wendt, Le nou­veau droit de l’in­tel­li­gence arti­fi­ci­el­le, 2024 (Kind­le E‑Book : https://dtn.re/kFmWjk)

Dans la lit­té­ra­tu­re non juri­di­que ou non prin­ci­pa­le­ment juri­di­que, nous ren­vo­yons à :

  • Gas­ser/­May­er-Schön­ber­ger, Guar­drails : Gui­ding Human Decis­i­ons in the Age of AI, 2024, une dis­cus­sion sur les cad­res (lois, nor­mes et tech­no­lo­gies) pour la pri­se de décis­i­on, les défis des décis­i­ons numé­ri­ques et les prin­cipes pos­si­bles pour les gar­de-fous (Kind­le E‑Book : https://dtn.re/nYx3pm)

  • Strüm­ke, Intel­li­gence arti­fi­ci­el­le (Kind­le E‑Book : https://dtn.re/eOI7vU); une intro­duc­tion assez com­plè­te et lisi­ble sur l’hi­stoire de la région, les que­sti­ons tech­ni­ques, les ris­ques et les points fai­bles et des spé­cu­la­ti­ons sur l’é­vo­lu­ti­on future.

4. com­ment s’est déroulée la négo­cia­ti­on de l’AI Act ?

La Com­mis­si­on euro­pé­en­ne a pré­sen­té sa pro­po­si­ti­on le 21 avril 2021 (pro­po­si­ti­on de la Com­mis­si­on euro­pé­en­ne du 21 avril 2021, https://dtn.re/JSQJtF), avec notam­ment des règles plus stric­tes en matiè­re de trans­pa­rence et de tra­ça­bi­li­té. La régle­men­ta­ti­on des modè­les d’IA adap­tés à une lar­ge uti­li­sa­ti­on (“Gene­ral-Pur­po­se AI Model”, GPAIM ; à l’é­po­que, plus sou­vent appelé “Foun­da­ti­on Model”) fai­sait déjà l’ob­jet d’in­ten­ses discussions.

Dans les Négo­cia­ti­ons en tri­lo­gueDans le cad­re de la pro­cé­du­re infor­mel­le de négo­cia­ti­on, au cours de laquel­le des repré­sen­tants du Par­le­ment, du Con­seil et de la Com­mis­si­on cher­chent un com­pro­mis, la que­sti­on des AMPI est restée un point de dis­cor­de jus­qu’à la fin, jus­qu’à ce qu’un com­pro­mis soit trou­vé le 9 décembre 2023. Ce dérou­le­ment expli­que la régle­men­ta­ti­on pro­pre et remar­qua­blem­ent suc­cinc­te de l’AM­PI au cha­pit­re V (→ 39 et suivantes).

Sur le site 21 mai 2024 le Con­seil a approu­vé le résul­tat des négo­cia­ti­ons. L’AI Act a été adop­té le 12 juil­let 2024 publié au Jour­nal offi­ci­el de l’U­ni­on euro­pé­en­ne (JO L, 2024/1689, https://dtn.re/0OYJXY).

5. quand l’A­IA pren­dra-t-il effet ?

L’AIA est entré en vigueur le 1er août 2024, 20 jours après sa publi­ca­ti­on au Jour­nal offi­ci­el. Ses dis­po­si­ti­ons pren­dront effet pro­gres­si­ve­ment (art. 113) :

  • 2 février 2025: les cha­pi­t­res I et II (dis­po­si­ti­ons géné­ra­les et pra­ti­ques inter­di­tes) pren­nent effet.

  • 2 août 2025Cer­tai­nes exi­gen­ces, y com­pris les obli­ga­ti­ons de noti­fi­ca­ti­on et les sanc­tions, devi­en­nent effec­ti­ves. Cela con­cer­ne les dis­po­si­ti­ons rela­ti­ves aux auto­ri­tés noti­fi­an­tes et aux orga­nis­mes noti­fi­és (cha­pit­re III, sec­tion 4), les exi­gen­ces rela­ti­ves à la GPAIM (cha­pit­re V), la gou­ver­nan­ce dans l’UE (cha­pit­re VII) et les sanc­tions (cha­pit­re XII), ain­si que les dis­po­si­ti­ons rela­ti­ves à l’ob­li­ga­ti­on de con­fi­den­tia­li­té des auto­ri­tés (art. 78) ;

  • 2 août 2026La plu­part des dis­po­si­ti­ons pren­nent effet, notam­ment cel­les rela­ti­ves à HRAIS, à l’ex­cep­ti­on de la suivante ;

  • 2 août 2027Les dis­po­si­ti­ons rela­ti­ves aux HRAIS pren­nent éga­le­ment effet dans le champ d’ap­pli­ca­ti­on de l’ar­tic­le 6, para­gra­phe 1, c’est-à-dire pour les AIS instal­lés en tant que com­po­sants de sécu­ri­té d’un pro­duit visé à l’an­ne­xe I ou uti­li­sés en tant que tels.

6. l’A­IA pré­voit-il des dis­po­si­ti­ons transitoires ?

Oui, peu, selon l’art. 111 :

  • En prin­ci­pe, l’A­IA ne s’ap­pli­quera aux opé­ra­teurs HRAIS qu’à par­tir du 2 août 2030, lorsque les HRAIS mis sur le mar­ché ou mis en ser­vice avant le 2 août 2026 ont été modi­fi­ées. Les modi­fi­ca­ti­ons sub­stan­ti­el­les ulté­ri­eu­res sont tou­te­fois réservées.

  • Four­nis­seurs de GPAIM ne seront cou­verts par l’EIA qu’à par­tir du 2 août 2027 si la GPAIM a été mise sur le mar­ché avant le 2 août 2025.

  • L’art. 111 pré­voit que les AIS uti­li­sés com­me com­po­sants dans des Systè­mes infor­ma­ti­ques à gran­de échel­le dans le domaine public selon l’an­ne­xe X, ne devront être con­for­mes que d’i­ci fin 2030. Il s’a­git du système d’in­for­ma­ti­on Schen­gen ou du système d’in­for­ma­ti­on sur les visas et de systè­mes similaires.

7. qu’est-ce que l’ ”intel­li­gence arti­fi­ci­el­le” (IA, AI) ?

Le ter­me “intel­li­gence arti­fi­ci­el­le” (“IA” ; “Arti­fi­ci­al Intel­li­gence”, “AI”) dési­gne un com­porte­ment d’un ordi­na­teur qui n’est pas et ne peut pas être intel­li­gent, mais qui, de l’ex­té­ri­eur, res­sem­ble à de l’in­tel­li­gence. Une défi­ni­ti­on du Par­le­ment euro­pé­en va éga­le­ment dans ce sens : “L’in­tel­li­gence arti­fi­ci­el­le est la capa­ci­té d’u­ne machi­ne à imi­ter les capa­ci­tés humain­es tel­les que la logi­que et la créa­ti­vi­té”. Par exemp­le, le célèb­re Test de Turing par le fait qu’un être humain ne peut plus recon­naît­re si son interlo­cu­teur est un être humain ou une machine.

La distinc­tion ent­re l’in­tel­li­gence arti­fi­ci­el­le et les systè­mes déter­mi­nés n’est donc pas qua­li­ta­ti­ve, mais fina­le­ment quan­ti­ta­ti­ve. L’in­tel­li­gence arti­fi­ci­el­le est ce qui en a l’air, par­ce qu’u­ne machi­ne par­vi­ent à un résul­tat qui n’a pas été déter­mi­né par un être humain – ou qui sem­ble l’êt­re : Les systè­mes com­ple­xes sont éga­le­ment déter­mi­nés – ils ne sem­blent intel­li­gents que par­ce que leur résul­tat est sur­prenant, ce qui s’ex­pli­que par le fait qu’u­ne décis­i­on pri­se par une machi­ne est impos­si­ble à prend­re en rai­son de la com­ple­xi­té par­ti­cu­liè­re et de l’ab­sence d’ac­cès aux don­nées d’en­traî­ne­ment de fait n’est pas com­pré­hen­si­ble en tout point. Cela rend dif­fi­ci­le l’in­ter­pré­ta­ti­on de la noti­on de modè­le d’IC selon l’A­IA (→ 13).

8. quels sont les ter­mes défi­nis par l’AIA ?

L’art. 2 de l’A­IA défi­nit 68 ter­mes. Ils sont ensuite uti­li­sés dans l’A­IA sans que l’ar­tic­le cor­re­spond­ant ne ren­voie expres­sé­ment à la défi­ni­ti­on – il faut donc sou­vent reve­nir à l’art. 2 lors de la lec­tu­re, d’autant plus que des ter­mes aux­quels on ne s’at­ten­drait pas for­cé­ment sont éga­le­ment défi­nis léga­le­ment (p. ex. “ris­que” ou “infrac­tion lar­ge­ment répandue”).

De plus, dans la pra­tique, cer­ta­ins ter­mes sont plutôt uti­li­sés en alle­mand (“Inver­kehr­brin­gen”) et d’aut­res plutôt en anglais (“Pro­vi­der”, “Deployer”), ce qui com­pli­que les cho­ses. C’est pour­quoi une com­pa­rai­son des équi­va­lents en alle­mand et en anglais se trouve en anne­xe de cet­te FAQ.

9. quel est le rôle des sta­ti­sti­ques dans le domaine de l’IA ?

Les rela­ti­ons ent­re les don­nées sont repré­sen­tées par des modè­les sta­ti­sti­ques. Cela ne signi­fie pas que les sta­ti­sti­ques con­sti­tu­ent en soi une for­me d’IA. Les métho­des sta­ti­sti­ques sont des modè­les mathé­ma­ti­ques qui sont uti­li­sés aus­si bien dans l’IA que dans les appro­ches déter­mi­ni­stes. Tou­te­fois, le Machi­ne Lear­ning (→ 10) et d’aut­res appro­ches uti­li­sent géné­ra­le­ment des métho­des statistiques.

Une métho­de importan­te de ce type est, par exemp­le, l’uti­li­sa­ti­on de la métho­de de l’ana­ly­se de l’im­pact. Ana­ly­se de régres­si­on. Elle déter­mi­ne les fac­teurs (varia­bles) qui sont déter­mi­nants pour un résul­tat (ou l’in­ten­si­té de l’in­fluence d’u­ne varia­ble sur un résul­tat), ce qui per­met de fai­re des pré­vi­si­ons cor­re­spond­an­tes. Si, sur un gra­phi­que, l’a­xe x est le nombre de visi­teurs lors d’u­ne expo­si­ti­on et l’a­xe y la plu­ie, les points sur le gra­phi­que indi­quent le nombre de visi­teurs en fonc­tion de la plu­ie. Si l’on trace une ligne qui cor­re­spond mathé­ma­ti­quement le mieux à tous les points (“ligne de régres­si­on”), elle expli­que la rela­ti­on ent­re les axes ou les varia­bles, c’est-à-dire ici com­ment la plu­ie affec­te le nombre de visi­teurs. Elle peut éga­le­ment indi­quer l’é­cart des points de don­nées par rap­port à la valeur thé­o­ri­que, c’est-à-dire la mar­ge d’err­eur de la ligne, la mar­ge de varia­ti­on, le degré de fia­bi­li­té de la ligne de régres­si­on (géné­ra­le­ment repré­sen­té par “R2” ou “r2” ; une valeur R2 de 0,73 signi­fie que 73% des don­nées sont expli­quées par la ligne de régression).

Une régres­si­on liné­ai­re se base sur l’hy­po­thè­se que la valeur cib­le (le volu­me de visi­teurs) dépend liné­ai­re­ment d’u­ne varia­ble (la plu­ie) ou que la valeur de mar­ché d’un bien immo­bi­lier réa­git à chaque fois de la même maniè­re à une modi­fi­ca­ti­on de la sur­face du ter­rain et de l’em­pla­ce­ment. Ici, une ligne droi­te est tra­cée à tra­vers les points de don­nées et d’aut­res valeurs (le nombre de visi­teurs, la valeur du bien immo­bi­lier) peu­vent être déter­mi­nées sur cet­te base. Des modè­les pré­vi­si­on­nels simp­les sont ain­si pos­si­bles. Dans le cas de la régres­si­on non liné­ai­re une ligne cour­be est for­mée, par exemp­le, par­ce qu’u­ne rela­ti­on non liné­ai­re doit être repré­sen­tée (par exemp­le, si le nombre de visi­teurs ne dimi­n­ue qu’en cas de for­tes plu­ies et non de brui­ne, ou si les chif­fres de ven­te dimi­nuent plus for­te­ment en cas de hausse des prix après un cer­tain prix – le seuil de prix). Ici aus­si, on tra­vail­le avec une logi­que déterminée.

D’aut­res métho­des sta­ti­sti­ques sont par exemp­le Ana­ly­ses de clu­sters. Il ne s’a­git pas d’u­ne rela­ti­on par­ti­cu­liè­re, liné­ai­re ou non, ent­re des varia­bles, mais de quan­ti­fier les rela­ti­ons ent­re les don­nées par des mesu­res de distance ou de simi­la­ri­té et de clas­ser les objets ayant une fai­ble mesu­re de distance dans un grou­pe com­mun. Dans le cas de don­nées bidi­men­si­on­nel­les ou mul­ti­di­men­si­on­nel­les (“nuages de don­nées”), les clu­sters ont un cent­re de gra­vi­té com­mun et les ana­ly­ses de clu­ste­ring ser­vent à trou­ver ces cen­tres de gra­vi­té et à clas­ser les don­nées dans le clu­ster dont le cent­re est le plus pro­che. Cela peut ser­vir, par exemp­le, à clas­ser les débi­teurs poten­tiels dans un clu­ster lors de l’oc­troi d’un cré­dit et à accor­der les con­di­ti­ons de cré­dit sur cet­te base.

Il est pos­si­ble de para­mé­tri­que de non para­mé­tri­ques les modè­les de régres­si­on. Dans la régres­si­on non para­mé­tri­que, la rela­ti­on ent­re les varia­bles n’est pas pré­dé­fi­nie, mais déduite selon dif­fér­ents critères à par­tir de don­nées exi­stan­tes, par exemp­le pour la modé­li­sa­ti­on de don­nées éco­no­mi­ques, l’é­tu­de des con­cen­tra­ti­ons de pol­lu­ants ou la pré­vi­si­on du cours des actions. La sta­ti­stique para­mé­tri­que sup­po­se en revan­che que les don­nées uti­li­sées cor­re­spon­dent à une dis­tri­bu­ti­on sta­ti­stique déter­mi­née, carac­té­ri­sée par un nombre fixe de paramètres.

10. qu’est-ce que le “Machi­ne Lear­ning” (ML) ?

D’un point de vue tech­ni­que, l’IA est la bran­che de l’in­for­ma­tique qui s’oc­cupe du déve­lo­p­pe­ment de systè­mes cor­re­spond­ants. La prin­ci­pa­le tech­no­lo­gie dans ce domaine est “App­ren­tis­sa­ge auto­ma­tique„, „App­ren­tis­sa­ge auto­ma­tique” ou “ML”. Il n’est pas syn­ony­me d’IA, car le ML sert essen­ti­el­le­ment à recon­naît­re des modè­les et à en dédui­re des pré­vi­si­ons sur la base de ces modè­les, tan­dis que l’IA ten­te de résoud­re une tâche.

Le ML doit per­mett­re à un ordi­na­teur d’ ”app­rend­re” sur la base de don­nées, c’est-à-dire de dédui­re des con­nais­sances à par­tir de don­nées. Le ter­me “con­nais­sance” n’est tou­te­fois pas appro­prié. L’an­ci­en­ne distinc­tion ent­re déduc­tion et induc­tion est ici importan­te : dans le cas des les rai­son­ne­ments déduc­tifs une règ­le don­née com­me vraie est appli­quée, et les résul­tats déri­vés de la règ­le peu­vent être con­sidé­rés com­me aus­si vrais que la règ­le elle-même (règ­le : tous les pois­sons peu­vent nager ; input : Wan­da est un pois­son ; résul­tat : Wan­da peut nager). Il exi­ste éga­le­ment la Abduc­tion. En effet, les maux de tête peu­vent avoir de nombreu­ses cau­ses ; l’in­fé­rence serait donc irre­ce­va­ble. L’ab­duc­tion tra­vail­le donc sur plu­sieurs chaî­nes cau­sa­les pos­si­bles afin de trou­ver la cau­se la plus pro­ba­ble. De tels systè­mes sont fré­quents ; un exemp­le con­nu est le système de dia­gno­stic “CADUCEUS”. Sur les con­clu­si­ons induc­ti­ves est, quant à lui, déduit d’in­for­ma­ti­ons une règ­le sup­po­sée. Le Machi­ne Lear­ning procè­de sou­vent de maniè­re induc­ti­ve : Des affir­ma­ti­ons sta­ti­sti­quement fon­dées sont géné­rées à par­tir de don­nées ; il s’a­git d’hy­po­thè­ses plus ou moins con­vain­can­tes, mais qui ne peu­vent pré­tendre à la véri­té ou à l’ob­jec­ti­vi­té. Les limi­tes sont tou­te­fois floues, car ces appro­ches peu­vent éga­le­ment être combinées.

Grâ­ce au ML, une machi­ne peut donc obser­ver des don­nées et, sur cet­te base, géné­rer des pré­vi­si­ons ou des hypo­thè­ses plus ou moins pro­ba­bles, c’est-à-dire qui cor­re­spon­dent plus ou moins bien aux don­nées d’en­trée. L’ex­pli­ca­ti­on de l’hy­po­thè­se ain­si for­mée – par exemp­le la con­clu­si­on d’u­ne cor­ré­la­ti­on à une cau­sa­li­té – se situe en dehors du ML ; il s’a­git d’u­ne for­me d’heu­ri­stique et non du ML. C’est pour­quoi le ML dépend sou­vent de gran­des quan­ti­tés de don­nées : Les modè­les éti­rés, les rela­ti­ons ent­re les don­nées, ne devi­en­nent obser­v­a­bles que dans la masse.

Recon­naît­re un modè­le, c’est le géné­ra­li­ser. Plus un modè­le – les modè­les sont des fonc­tions mathé­ma­ti­ques – est capa­ble de géné­ra­li­ser, plus il est per­for­mant. C’est à cela que sert l’en­traî­ne­ment, com­me nous l’a­vons dit. Si l’en­traî­ne­ment uti­li­se trop peu de don­nées, il ne peut pas tirer de con­clu­si­ons fia­bles – on par­le de sous-adap­t­ati­on ou de “under­fit­ting”. A l’in­ver­se, un modè­le peut trop bien app­rend­re les don­nées d’en­trée, dans le cas extrê­me, il les app­rend par cœur. Il s’ad­ap­te alors aux don­nées d’en­trée, mais peut mal géné­ra­li­ser, com­me un être humain qui a cer­tes une bon­ne mémoi­re, mais qui ne pen­se pas. Cet­te sur­ad­ap­t­ati­on est appelée “over­fit­ting”. Pour l’en­traî­ne­ment d’un ML, on uti­li­se donc, en plus des jeux de don­nées d’en­traî­ne­ment, des jeux de don­nées de vali­da­ti­on et de test, afin de rédui­re aus­si bien un over-fit­ting qu’un under-fit­ting et d’a­mé­lio­rer ou du moins d’e­sti­mer la per­ti­nence – la fia­bi­li­té de l’hy­po­thè­se généralisante.

Le ML uti­li­se des modè­les sta­ti­sti­ques (→ 9), par exemp­le la régres­si­on liné­ai­re, sur­tout pour l’app­ren­tis­sa­ge super­vi­sé, ou l’ana­ly­se de clu­sters pour l’app­ren­tis­sa­ge non super­vi­sé. Le ML peut uti­li­ser aus­si bien des métho­des para­mé­tri­ques que non para­mé­tri­ques. Les modè­les para­mé­tri­ques en ML uti­li­sent cer­tes une struc­tu­re de modè­le fixe, mais les valeurs des paramè­tres sont opti­mi­sées par un app­ren­tis­sa­ge. La régres­si­on liné­ai­re en est un exemp­le, lorsqu’un modè­le app­rend à pré­voir les prix de l’im­mo­bi­lier par­ce qu’il app­rend à recon­naît­re de maniè­re plus fia­ble les rela­ti­ons sta­ti­sti­ques ent­re cer­ta­ins paramè­tres et les prix au cours de l’app­ren­tis­sa­ge. Ces modè­les néces­si­tent donc que cer­tai­nes hypo­thè­ses sur les don­nées soi­ent appli­quées, mais n’ex­clu­ent pas un “app­ren­tis­sa­ge” par l’en­traî­ne­ment. En revan­che, les modè­les non para­mé­tri­ques dans le ML n’ont pas de struc­tu­re fixe ou de nombre fixe de paramè­tres. Les arbres de décis­i­on qui sont amé­lio­rés au cours de l’en­traî­ne­ment en sont des exemp­les. Ce sont éga­le­ment des modè­les sta­ti­sti­ques qui déter­mi­nent à chaque nœud le meil­leur “split” pos­si­ble sur la base de critères statistiques.

Un meil­leur critère pour distin­guer les appro­ches ML et déter­mi­ni­stes est donc l’appro­che fon­da­men­ta­le : Métho­des déduc­ti­ves uti­li­sent cer­tai­nes hypo­thè­ses de base et en tirent des con­clu­si­ons, tan­dis que métho­des induc­ti­ves géné­rer des règles pos­si­bles par un pro­ce­s­sus d’app­ren­tis­sa­ge avec une fia­bi­li­té crois­s­an­te. La géné­ra­ti­on de règles est donc un fac­teur essen­tiel pour distin­guer les appro­ches déter­mi­ni­stes des appro­ches non déter­mi­ni­stes. Les arbres de décis­i­on qui ne sont pas pré­dé­fi­nis mais géné­rés par un app­ren­tis­sa­ge en sont un exemp­le – le modè­le déter­mi­ne lors de l’app­ren­tis­sa­ge les règles qui sépa­rent ou expli­quent le mieux les don­nées d’app­ren­tis­sa­ge, c’est-à-dire cel­les qui ont la plus gran­de per­ti­nence pour une varia­ble cib­le (p. ex. la sol­va­bi­li­té). Ces règles peu­vent être inter­pré­tées et réuti­li­sées. Un aut­re exemp­le est l’ana­ly­se d’as­so­cia­ti­on, qui repré­sen­te des rela­ti­ons dans de gran­des quan­ti­tés de don­nées et génè­re des règles qui décri­vent des rela­ti­ons fré­quen­tes. Dans le cas de l’ana­ly­se du panier d’achat, il est par exemp­le pos­si­ble de géné­rer une règ­le du type “Celui qui achè­te des couch­es le vendre­di soir, achè­te éga­le­ment de la biè­re”. Ces règles sont éga­le­ment expli­ci­tes et peu­vent être interprétées.

Systè­mes experts sont des systè­mes qui con­ti­en­nent une base de con­nais­sances, par exemp­le des règles “si/alors” spé­ci­fi­ques à une appli­ca­ti­on. Le système appli­que des règles à cet­te base de con­nais­sances afin de dédui­re d’aut­res faits ou con­clu­si­ons (infé­rence). Le système peut indi­quer des pro­ba­bi­li­tés et, dans cer­ta­ins cas, tra­vail­ler avec des don­nées impré­cis­es (“logi­que floue”). Un exemp­le de système expert est le célèb­re “Mycin”, un système déve­lo­p­pé dans les années 70 à l’uni­ver­si­té de Stan­ford pour sou­te­nir l’uti­li­sa­ti­on d’an­ti­bio­ti­ques. Sur la base de paramè­tres tels que le type d’agent patho­gè­ne, l’é­vo­lu­ti­on de la mala­die et les don­nées de labo­ra­toire, le système pou­vait, grâ­ce à cer­tai­nes règles, prend­re ou prépa­rer des décis­i­ons sur la base de pro­ba­bi­li­tés et d’incertitudes.

Alors que les arbres décis­i­on­nels génè­rent des règles expli­ci­tes, les réseaux neu­ro­naux sont un exemp­le de géné­ra­ti­on de règles impli­ci­tes. Les réseaux neu­ro­naux app­ren­nent des modè­les com­ple­xes à par­tir des don­nées, mais les “règles” qu’ils appli­quent pour fai­re des pré­dic­tions sont cachées dans les pon­dé­ra­ti­ons et les acti­va­tions des neu­ro­nes. Bien qu’il n’e­xi­ste pas de règles expli­ci­tes de type “si-alors” dans les réseaux neu­ro­naux, les décis­i­ons sont néan­mo­ins déter­mi­nées par des règles app­ri­ses au cours du pro­ce­s­sus de formation.

La dif­fi­cul­té des réseaux neu­ro­naux rési­de dans le fait que les règles sont sou­vent dif­fi­ci­les à com­prend­re – ce sont des modè­les “boîte noi­re”. Récem­ment, des pro­grès ont tou­te­fois été réa­li­sés dans le domaine de l’IA expli­ca­ble (“Explainable AI”), qui vise à révé­ler ces règles impli­ci­tes et à les rend­re plus compréhensibles.

La maniè­re de pro­cé­der de ML n’est pas enco­re défi­nie. Selon la métho­do­lo­gie de l’app­ren­tis­sa­ge, on peut distin­guer quat­re formes :

  • App­ren­tis­sa­ge sur­veil­lé (super­vi­sed lear­ning), qui uti­li­se des ensem­bles de don­nées éti­que­tés (labe­l­ing).

  • App­ren­tis­sa­ge non super­vi­sé (unsu­per­vi­sed lear­ning), dans lequel des modè­les sont recon­nus sans éti­que­ta­ge, par exemp­le dans le cad­re de l’ex­plo­ra­ti­on de données.

  • App­ren­tis­sa­ge semi-super­vi­sé (semi-super­vi­sed lear­ning) com­me for­me inter­mé­di­ai­re, uti­li­sant à la fois des don­nées label­li­sées et non labellisées.

  • App­ren­tis­sa­ge par ren­force­ment (re-inforce­ment lear­ning), dans lequel l’app­ren­tis­sa­ge est ren­for­cé par l’in­ter­ac­tion avec l’environnement.

Il est éga­le­ment uti­le de fai­re la distinc­tion ent­re sym­bo­li­que et l’app­ren­tis­sa­ge sous-sym­bo­li­que. L’app­ren­tis­sa­ge sym­bo­li­que est ain­si appelé par­ce qu’il uti­li­se des sym­bo­les et des règles logi­ques pour repré­sen­ter les con­nais­sances. En voi­ci un exemp­le Arbres de décis­i­on (“arbres de décis­i­on”) : Ici, une struc­tu­re de con­di­ti­ons ou de règles est uti­li­sée ou géné­rée de maniè­re ana­lo­gue à un orga­ni­gram­me afin de tirer des con­clu­si­ons basées sur des règles à par­tir de don­nées d’app­ren­tis­sa­ge. La struc­tu­re est arbo­re­s­cen­te car les nœuds repré­sen­tent des décis­i­ons – chaque nœud cor­re­spond à une règ­le si/alors basée sur une pro­prié­té des don­nées d’en­trée. Les bran­ches repré­sen­tent les résul­tats de l’ap­pli­ca­ti­on de ces règles et les feuilles repré­sen­tent les points finaux du résul­tat, de la clas­si­fi­ca­ti­on ou de la pré­dic­tion. Les arbres décis­i­on­nels fonc­tion­nent donc grâ­ce à des pro­ce­s­sus décis­i­on­nels défi­nis. Plu­sieurs arbres décis­i­on­nels peu­vent être ent­raî­nés sur des don­nées dif­fé­ren­tes et four­nir ensem­ble, par exemp­le par décis­i­on majo­ri­taire, de meil­leurs résul­tats qu’un seul arb­re qui a ten­dance à être surajusté.

L’app­ren­tis­sa­ge sym­bo­li­que peut tou­te­fois se heur­ter à des limi­tes lorsqu’il s’a­git de gran­des quan­ti­tés de don­nées. App­ren­tis­sa­ge sub­sym­bo­li­que uti­li­se des don­nées brutes qui ne doi­vent pas être con­ver­ties en sym­bo­les com­pa­ti­bles avec le système. Cet­te appro­che est plus adap­tée à la recon­nais­sance de modè­les com­ple­xes dans les don­nées d’en­trée, mais elle peut être moins trans­pa­ren­te, car les pro­ce­s­sus com­ple­xes sont plus dif­fi­ci­les à com­prend­re. Le choix de la for­me de ML à uti­li­ser ne dépend pas du domaine d’ap­pli­ca­ti­on, mais plutôt du fait que les règles sont déjà con­nues ou qu’el­les doi­vent être cré­ées. Dans l’exemp­le de l’éva­lua­ti­on de la sol­va­bi­li­té, une ent­re­pri­se peut non seu­le­ment tra­vail­ler avec un arb­re de décis­i­on, mais aus­si essay­er d’é­ta­b­lir des cor­ré­la­ti­ons ent­re les per­tes et d’aut­res fac­teurs tels que l’â­ge, le lieu de rési­dence, le sexe, le com­porte­ment d’achat, la tail­le du ména­ge, etc. par une for­me de ML sous-sym­bo­li­que. Les cor­ré­la­ti­ons obser­vées peu­vent ensuite être uti­li­sées com­me règles d’un arb­re de décision.

L’app­ren­tis­sa­ge sub-sym­bo­li­que com­prend, par exemp­le, l’app­ren­tis­sa­ge de la lan­gue. réseaux neu­ro­naux arti­fi­ci­els (et deep lear­ning com­me mot-clé pour les réseaux par­ti­cu­liè­re­ment com­ple­xes → 11).

11. que sont les réseaux neuronaux ?

Les réseaux neu­ro­naux sont des algo­rith­mes qui repro­dui­sent le trai­te­ment de l’in­for­ma­ti­on dans le cer­ve­au afin d’i­den­ti­fier des modè­les dans les don­nées d’en­trée. Ils uti­li­sent un grand nombre de “nœuds” con­nec­tés qui for­ment ensem­ble des “couch­es” et trai­tent (“pon­dè­rent”) les don­nées d’en­trée par étapes, par­fois sur plu­sieurs ou de très nombreu­ses couch­es. Con­trai­re­ment aux arbres décis­i­on­nels (→ 10), les réseaux neu­ro­naux sont con­nec­tés de maniè­re plus com­ple­xe, car chaque nœud peut être con­nec­té à plu­sieurs aut­res nœuds de la couche suivante.

Pour que le réseau soit en mesu­re d’ef­fec­tuer un trai­te­ment per­ti­nent, ces pon­dé­ra­ti­ons doi­vent être cor­rec­te­ment défi­nies. En con­sé­quence, la pri­se de décis­i­on dans les réseaux neu­ro­naux s’ef­fec­tue sous la for­me d’un trai­te­ment dis­tri­bué et con­tinu d’un “Couche d’en­trée” via des “Couche cachée” au niveau de sor­tie, le “Couche de sor­tie“Le réseau app­rend en adap­tant les poids ent­re les nœuds. Les arbres de décis­i­on, en revan­che, fonc­tion­nent avec des con­di­ti­ons expli­ci­tes (“si A > X va à gau­che, sinon va à droi­te”). Chaque nœud prend une décis­i­on qui mène à une cer­taine bran­che, c’est pour­quoi les chem­ins de décis­i­on sont en prin­ci­pe entiè­re­ment com­pré­hen­si­bles. Les systè­mes déduc­tifs sont donc plutôt une “boîte blan­che”, les systè­mes induc­tifs une “boîte noire”.

Les fac­teurs de la pon­dé­ra­ti­on évo­quée des nœuds du réseau sont amé­lio­rés par l’en­traî­ne­ment, en com­parant la sor­tie du réseau avec un résul­tat atten­du. En cas d’é­cart, les poids sont aju­s­tés à l’ai­de de don­nées d’en­traî­ne­ment sup­p­lé­men­tai­res, et ain­si de suite.

Cet ent­raî­ne­ment peut se fai­re de dif­fé­ren­tes manières :

  • Sur le site l’app­ren­tis­sa­ge super­vi­sé le réseau reçoit à la fois les don­nées d’en­trée et les sor­ties sou­hai­tées. Le réseau app­rend ain­si à repré­sen­ter la rela­ti­on ent­re les don­nées d’en­trée et la sor­tie. Par exemp­le, une entrée de pho­tos d’ani­maux est four­nie au réseau lorsqu’un ensem­ble de don­nées con­tenant des pho­tos de chiens et de chats dûment éti­que­tées (“éti­quet­tes”) est simul­ta­né­ment mis à sa dis­po­si­ti­on. Le réseau compa­re les pré­dic­tions des don­nées d’en­trée avec les éti­quet­tes et adap­te les pon­dé­ra­ti­ons jus­qu’à ce que les err­eurs de pré­dic­tion soi­ent mini­mi­sées. Il s’a­git d’u­ne pro­cé­du­re cou­ran­te pour la clas­si­fi­ca­ti­on des don­nées, par exemp­le pour la clas­si­fi­ca­ti­on des images, pour les fil­tres anti-spam (app­ren­tis­sa­ge par le mar­quage des e‑mails com­me spam) ou pour la pré­vi­si­on des prix de l’im­mo­bi­lier (= les don­nées éti­que­tées) sur la base d’in­for­ma­ti­ons sur la tail­le, la situa­ti­on et l’é­qui­pe­ment du bien immobilier.

  • Sur le site l’app­ren­tis­sa­ge non super­vi­sé le réseau reçoit des don­nées d’en­trée, mais pas d’é­ti­quet­tes. Il doit donc recon­naît­re lui-même les modè­les et les struc­tures dans les don­nées en regrou­pant des points de don­nées simi­lai­res ou en rédui­sant les don­nées à cer­tai­nes carac­té­ri­sti­ques per­ti­nen­tes. Cet­te appro­che con­vi­ent à l’ex­plo­ra­ti­on de don­nées, par exemp­le pour la seg­men­ta­ti­on de la cli­entèle (regrou­pe­ment sur la base du com­porte­ment d’achat sans caté­go­ries pré­dé­fi­nies), la recon­nais­sance de tran­sac­tions inha­bi­tu­el­les sans défi­ni­ti­on de “inha­bi­tuel” ou la recon­nais­sance de grou­pes de thè­mes dans une gran­de coll­ec­tion de textes.

  • App­ren­tis­sa­ge semi-super­vi­sé com­bi­ne l’app­ren­tis­sa­ge super­vi­sé et non super­vi­sé – l’en­traî­ne­ment uti­li­se à la fois des don­nées éti­que­tées (peu) et des don­nées non éti­que­tées (très nombreu­ses). Les éti­quet­tes per­met­tent de recon­naît­re plus faci­le­ment les modè­les. Lorsque l’é­ti­que­ta­ge des don­nées est trop coûteux, cet­te appro­che peut être uti­le, par exemp­le lorsqu’un petit nombre de radio­gra­phies éti­que­tées est uti­li­sé avec un plus grand nombre d’i­mages non clas­si­fi­ées pour amé­lio­rer la pré­cis­i­on du dia­gno­stic, lorsque des éva­lua­tions de pro­duits clas­si­fi­ées sont uti­li­sées avec des éva­lua­tions non clas­si­fi­ées pour déter­mi­ner l’hu­meur dans de nou­vel­les éva­lua­tions (“ana­ly­se de sen­ti­ment”), ou dans la recon­nais­sance voca­le, lorsque des enre­gi­stre­ments audio tran­scrits sont com­bi­nés avec des don­nées voca­les pour amé­lio­rer la pré­cis­i­on de la reconnaissance.

  • Sur le site l’app­ren­tis­sa­ge par ren­force­ment (“Rein­force­ment Lear­ning”), le réseau inter­agit avec un envi­ron­ne­ment et “app­rend” – adap­te les pon­dé­ra­ti­ons – en récom­pensant et en punis­sant. Il s’a­git d’un pro­ce­s­sus inter­ac­tif d’es­sais et d’err­eurs, uti­li­sé par exemp­le pour l’en­traî­ne­ment d’un agent à des jeux tels que les échecs ou le go (app­ren­tis­sa­ge par des jeux répé­tés), pour la navi­ga­ti­on de robots (app­ren­tis­sa­ge par la navi­ga­ti­on dans un envi­ron­ne­ment) ou pour la gesti­on de l’é­ner­gie (app­ren­tis­sa­ge par l’ad­ap­t­ati­on de la dis­tri­bu­ti­on d’élec­tri­ci­té en fonc­tion des modè­les de consommation).

Com­me d’aut­res modè­les ML, les réseaux neu­ro­naux for­ment des règles. Tou­te­fois, ces règles ne sont pas expli­ci­tes, con­trai­re­ment à une ana­ly­se d’as­so­cia­ti­on par exemp­le (→ 9). Elles ne veu­lent pas non plus l’êt­re – l’ob­jec­tif n’est pas de trou­ver des règles, mais d’ob­te­nir une sor­tie qui appli­que des règles, mais ne les uti­li­se pas.
n’est pas repré­sen­tée (“boîte noi­re”). Un arb­re de décis­i­on com­me par exemp­le con­sti­tue donc une règ­le expli­ci­tetan­dis que les réseaux neu­ro­naux règles impli­ci­tes ces règles sont cachées dans les acti­va­tions et les pon­dé­ra­ti­ons des “neu­ro­nes”. Le pro­blè­me des réseaux neu­ro­naux rési­de donc dans le fait que les règles sont sou­vent dif­fi­ci­les à comprendre.

Il exi­ste tou­te­fois des appro­ches per­met­tant de révé­ler les règles impli­ci­tes. Les “Local Inter­pr­e­ta­ble Model-agno­stic Expl­ana­ti­ons” (LIME) fonc­tion­nent de maniè­re simi­lai­re – elles uti­li­sent des modè­les simp­les tels que la régres­si­on liné­ai­re par­al­lè­le­ment à l’uti­li­sa­ti­on du réseau neu­ro­nal et peu­vent four­nir des expli­ca­ti­ons com­pré­hen­si­bles (p. ex. le fait que des mots tels que “gra­tuit” sont déter­mi­nants pour la clas­si­fi­ca­ti­on d’un e‑mail com­me spam).

12. qu’est-ce qu’un Lar­ge Lan­guage Model (LLM) ?

Un Lar­ge Lan­guage Model (LLM) est basé sur un réseau neu­ro­nal (→ 11) et “com­prend” le lan­ga­ge. Des exemp­les con­nus sont les modè­les GPT d’O­pe­nAI, Gemi­ni de Goog­le, LLaMA de Meta, Clau­de d’An­thro­pic, Com­mand de Cohe­re, Grok de X, les modè­les de Mistral, Ernie de Bai­du ou Fal­con du Tech­no­lo­gy Inno­va­ti­on Insti­tu­te d’A­bu Dhabi.

Sur le site For­ma­ti­on d’un LLM on peut distin­guer une pré­pa­ra­ti­on pré­alable et la for­ma­ti­on pro­pre­ment dite.

Dans le cad­re du Pré­trai­te­ment les don­nées d’en­traî­ne­ment (par ex. tex­tes de liv­res, de sites web, de forums, de Wiki­pe­dia, etc., ent­re-temps éga­le­ment sur la base des licen­ces cor­re­spond­an­tes de gran­des mai­sons d’é­di­ti­on com­me le NY Times ; pour l’en­traî­ne­ment → 36) sont net­to­y­ées. Par exemp­le, les con­te­nus non per­tin­ents ou erro­n­és ou les spams sont sup­p­ri­més, les sym­bo­les par­fois super­flus et les mots d’ar­rêt tels que “le”, “la”, etc.)

Un “toke­ni­zer” décom­po­se ensuite les tex­tes en unités plus peti­tes (les Tokens), selon qu’il s’a­git d’un mot, d’un carac­tère uni­que ou d’u­ne par­tie de mot. Ce der­nier cas s’ap­pli­que par exemp­le à Ope­nAI, qui uti­li­se une vari­an­te de l’ ”enco­da­ge par pai­re d’oc­tets”, dans laquel­le les pai­res de carac­tères les plus fré­quen­tes sont assem­blées en de nou­veaux jetons à par­tir de carac­tères uni­ques, ce qui per­met d’é­lar­gir pro­gres­si­ve­ment le voca­bu­lai­re et d’uti­li­ser les mots ou par­ties de mots les plus fré­quents dans leur inté­gra­li­té. Des hom­ony­mes tels que “ban­que” peu­vent être enre­gi­strés sous for­me de plu­sieurs tokens (“argent à la ban­que”, “assis à la ban­que”) en fonc­tion du contexte.

Les tokens n’ont cepen­dant aucu­ne valeur en soi – ils ne sont inté­res­sants que dans de leur Rela­ti­on avec d’aut­res tokens. Ces rela­ti­ons sont éta­b­lies au cours de l’app­ren­tis­sa­ge à par­tir des don­nées d’en­trée et peu­vent être expri­mées con­cep­tu­el­le­ment en ter­mes de pro­xi­mi­té ou de distance. Par exemp­le, le mot “mai­son” est plus pro­che du mot “toit” que du mot “dom­mage”, le jeton “grand” est plus pro­che du mot “gen­til”, etc. Des valeurs cor­re­spond­an­tes sont donc attri­buées à chaque token. Ces valeurs sont les sui­van­tes Vec­teursEn géné­ral, un vec­teur est une liste ordon­née de nom­bres dis­po­sés avec une cer­taine dimen­si­on­na­li­té dans un cer­tain ord­re. Dans le con­tex­te d’un LLM, un vec­teur est la valeur d’un jeton en rela­ti­on avec d’aut­res jetons. Les vec­teurs app­ris sont alors appelés “Inté­grer“Les don­nées inté­g­rées sont donc l’ex­pres­si­on de la struc­tu­re ou des pro­prié­tés des données.

Dimen­si­on­na­li­té“signi­fie le nombre de valeurs numé­ri­ques du vec­teur. Ces nom­bres expri­ment les carac­té­ri­sti­ques d’un jeton. Un vec­teur avec une dimen­si­on­na­li­té de 768 signi­fie donc une série de 768 chif­fres, cha­cun repré­sen­tant une carac­té­ri­stique app­ri­se spé­ci­fi­que. Plus la dimen­si­on­na­li­té est éle­vée, plus les dif­fé­ren­ces de signi­fi­ca­ti­on sai­sies sont fines. Le modè­le GPT‑3 d’O­pe­nAI a une dimen­si­on­na­li­té de 768 à 12 288, selon la vari­an­te. Pour GPT‑4, la valeur n’est pas con­nue, mais elle est pro­ba­blem­ent simi­lai­re. Chaque token reçoit donc jus­qu’à 12’288 pro­prié­tés lors de l’entraînement.

Les modè­les for­més peu­vent ensuite être ent­raî­nés pour cer­ta­ins domain­es d’ap­pli­ca­ti­on sur un ensem­ble de don­nées spé­ci­fi­que et plus petit (“Mise au point”), par exemp­le des don­nées médi­cal­es, une docu­men­ta­ti­on tech­ni­que, des tex­tes juri­di­ques ou du maté­ri­el d’u­ne ent­re­pri­se don­née. Le modè­le est ent­raî­né sur ces don­nées de maniè­re à affi­ner les com­pé­ten­ces app­ri­ses sans les dés­app­rend­re. Les paramè­tres du modè­le sont légè­re­ment adap­tés – le modè­le app­rend par exemp­le des ter­mes tech­ni­ques, cer­tai­nes for­mu­la­ti­ons ou des struc­tures de phra­ses typi­ques. Un exemp­le est le EDÖ­Bot de daten­recht (https://edoebot.datenrecht.ch/), qui se base sur un modè­le d’O­pe­nAI, mais qui a été ent­raî­né plus avant avec du maté­ri­el rela­tif à la pro­tec­tion des données.

La per­for­mance peut éga­le­ment être amé­lio­rée par “Récup­é­ra­ti­on-Géné­ra­ti­on aug­men­tée”(“RAG”) peut être amé­lio­rée. Ici, un LLM est com­bi­né avec des sources d’in­for­ma­ti­on exter­nes, c’est-à-dire que des infor­ma­ti­ons exté­ri­eu­res au modè­le sont pri­ses en comp­te lors de l’in­ter­ro­ga­ti­on, par exemp­le des infor­ma­ti­ons plus récen­tes ou plus spé­ci­fi­ques qui n’ont pas été app­ri­ses lors de la for­ma­ti­on. Un com­po­sant de recher­che (“Retrie­ver”) recher­che les don­nées per­ti­nen­tes dans une base de don­nées exter­ne lors de l’in­ter­ro­ga­ti­on, le Géné­ra­teur uti­li­se ces don­nées pour une meil­leu­re répon­se. Le PFPDT a éga­le­ment recours à cet­te métho­de, il peut par exemp­le accé­der au mes­sa­ge rela­tif à la LPD en vigueur ou aux gui­des du PFPDT.

Que­sti­ons fondamentales

13. qu’est-ce qu’un “système d’in­tel­li­gence arti­fi­ci­el­le” (AI System, AIS) ?

Au cours des négo­cia­ti­ons (→ 4), ce point cen­tral – qui déter­mi­ne l’ap­pli­ca­bi­li­té maté­ri­el­le de l’A­IA – a été l’un des plus con­tro­ver­sés, et on ne peut pas dire que le résul­tat soit réus­si. Le pro­jet de la Com­mis­si­on d’avril 2021 (https://dtn.re/dzZqxl)angelehnte Défi­ni­ti­on des termes.

L’AIA défi­nit désor­mais un AIS com­me suit (art. 3, point 1, et con­sidé­rant 12) :

système d’IA”, un système assi­s­té par ordi­na­teur con­çu pour fonc­tion­ner de maniè­re plus ou moins auto­no­me et qui, une fois opé­ra­ti­on­nel, peut s’ad­ap­ter et dédui­re, à par­tir des entrées reçues pour des objec­tifs expli­ci­tes ou impli­ci­tes, la maniè­re de pro­dui­re des sor­ties tel­les que des pré­dic­tions, du con­te­nu, des recom­man­da­ti­ons ou des décis­i­ons sus­cep­ti­bles d’af­fec­ter des envi­ron­ne­ments phy­si­ques ou virtuels ;

Il s’a­git donc de

  • un “système assi­s­té par ordi­na­teur” (donc pas un système bio­lo­gi­que, par exemp­le – la trans­plan­ta­ti­on d’un cer­ve­au ne serait donc pas une mise sur le mar­ché d’un AIS),

  • qui est con­çu pour fonc­tion­ner de maniè­re plus ou moins auto­no­me, et

  • qui peut s’ad­ap­ter après son entrée en ser­vice et

  • qui déduit, à par­tir des entrées reçues pour des objec­tifs expli­ci­tes ou impli­ci­tes, la maniè­re de pro­dui­re des sor­ties tel­les que des pré­dic­tions, du con­te­nu, des recom­man­da­ti­ons ou des décis­i­ons sus­cep­ti­bles d’af­fec­ter des envi­ron­ne­ments phy­si­ques ou virtuels”.

En fin de comp­te, deux élé­ments sont déter­mi­nants, mais ils ne font qu’un :

  • Le système est con­çu pour un fonc­tion­ne­ment auto­no­me inter­pré­té com­me tel. Cela signi­fie, selon le con­sidé­rant 12, qu’il “ne repo­se pas exclu­si­ve­ment sur des règles défi­nies par des per­son­nes phy­si­ques pour l’exé­cu­ti­on auto­ma­tique d’opé­ra­ti­ons”, mais qu’il “agit, dans une cer­taine mesu­re, indé­pen­dam­ment de tou­te inter­ven­ti­on humaine et est capa­ble de fonc­tion­ner sans inter­ven­ti­on humaine” ; et

  • il peut dédui­re un out­put à par­tir d’un input, étant enten­du qu’il ne s’a­git pas de n’im­por­te quel­le déduc­tion, mais de “pro­ce­s­sus d’app­ren­tis­sa­ge, de rai­son­ne­ment et de modé­li­sa­ti­on” (Con­sidé­rant 12 ; “Infé­rence”).

Cela laisse tou­te­fois ouver­te la que­sti­on de savoir ce que l’on entend par l’au­to­no­mie néces­saire dans l’entreprise.

La base d’un AIS est avant tout App­ren­tis­sa­ge auto­ma­tique (ML ; Q10) (con­sidé­rant 12 : “l’app­ren­tis­sa­ge auto­ma­tique, qui con­si­ste à app­rend­re, à par­tir de don­nées, com­ment att­eind­re cer­ta­ins objec­tifs”). Il serait en soi logi­que d’uti­li­ser ici la distinc­tion men­ti­onnée ent­re modè­les déduc­tifs et induc­tifs (→ 10) et de com­prend­re l’AIS com­me un ML qui, à la dif­fé­rence des modè­les sta­ti­sti­ques déter­mi­ni­stes, ne procè­de pas de maniè­re déduc­ti­ve, c’est-à-dire qui n’ap­pli­que pas ou pas seu­le­ment des règles pré­dé­fi­nies, mais qui défi­nit des règles ou app­rend au moins à pon­dé­rer des paramè­tres pré­dé­fi­nis. Un AIS serait donc, par exemp­le, un modè­le qui app­rend, à par­tir de don­nées d’app­ren­tis­sa­ge, dans quel­le mesu­re la sur­face du ter­rain, en tant que paramèt­re pré­dé­fi­ni, a un impact sur les prix de l’im­mo­bi­lier, et aucun AIS ne serait un modè­le qui appli­que des paramè­tres et des pon­dé­ra­ti­ons défi­nis à de nou­vel­les don­nées – par exemp­le un simp­le Excel avec une for­mu­le correspondante.

La distinc­tion n’est tou­te­fois pas si clai­re. Selon le con­sidé­rant 12, l’A­IA cou­vre éga­le­ment, en tant qu’AIS, les “con­cepts fon­dés sur la logi­que et la con­nais­sance, déduits d’in­for­ma­ti­ons codées ou de repré­sen­ta­ti­ons sym­bo­li­ques de la tâche à accom­plir”. C’est le cas de l’exemp­le men­ti­onné : l’Ex­cel uti­li­sé pour cal­cu­ler les prix de l’im­mo­bi­lier est un con­cept basé sur la logi­que et les con­nais­sances, qui déri­ve de la tâche codée (la for­mu­le Excel) (cal­cu­le les prix de l’im­mo­bi­lier en fonc­tion des don­nées d’en­trée). Le fait que ce con­cept, c’est-à-dire la for­mu­le Excel, repo­se sur un ent­raî­ne­ment n’a pas d’im­portance en soi, car Excel n’app­rend pas en cours d’uti­li­sa­ti­on. Si l’on se basait uni­quement sur la distinc­tion ent­re démar­che déduc­ti­ve et induc­ti­ve, tous ces systè­mes serai­ent exclus de la définition.

Il ne peut en tout cas pas s’a­gir d’un modè­le en cours de fonc­tion­ne­ment, après la mise en ser­vice, con­ti­n­ue à être modi­fi­ée, pour deux rai­sons : D’u­ne part, selon le libel­lé de la dis­po­si­ti­on, l’é­lé­ment d’ad­ap­ta­bi­li­té n’est pas obli­ga­toire, mais illu­stra­tif. D’aut­re part, les modè­les d’app­ren­tis­sa­ge ne serai­ent pas cou­verts par l’A­IA, ce qui con­cer­ne la gran­de majo­ri­té des systè­mes uti­li­sés, y com­pris les LLM répan­dus, ce qui n’est évi­dem­ment pas l’in­ten­ti­on. Or, un système for­mé n’est pas vrai­ment auto­no­me en fonc­tion­ne­ment – il trai­te les don­nées d’en­trée en fonc­tion de ses paramè­tres, qui peu­vent cer­tes avoir été app­ris lors d’u­ne pha­se d’en­traî­ne­ment, mais qui ne chan­gent plus (jus­qu’à une mise à jour et sous réser­ve du cas excep­ti­on­nel où un système con­ti­n­ue à s’en­traî­ner en fonc­tion­ne­ment, com­me cela peut être le cas par exemp­le pour les systè­mes de lut­te cont­re la frau­de). De ce point de vue, la plu­part des systè­mes sont déter­mi­ni­stes et non autonomes.

On ne peut pas non plus se con­ten­ter de Pha­se de déve­lo­p­pe­ment regar­der. Au cours du déve­lo­p­pe­ment, un modè­le peut cer­tes app­rend­re, et com­me l’ob­jec­tif du pro­ce­s­sus d’app­ren­tis­sa­ge n’est décrit que de maniè­re fonc­tion­nel­le (par exemp­le, clas­si­fi­ca­ti­on fia­ble d’i­mages, géné­ra­ti­on d’un tex­te ayant un sens) et non tech­ni­que, le pro­ce­s­sus d’app­ren­tis­sa­ge n’est pas déter­mi­né à un niveau tech­ni­que (la maniè­re dont les paramè­tres doi­vent être réglés pour att­eind­re l’ob­jec­tif d’app­ren­tis­sa­ge n’est pas pré­dé­fi­nie, d’où l’en­traî­ne­ment). Or, le libel­lé de l’ar­tic­le 3, point 1, fait expli­ci­te­ment réfé­rence au “fonc­tion­ne­ment” et non à l’en­traî­ne­ment – l’en­traî­ne­ment est évo­qué dans l’AI Act (→ 36), mais pas dans la défi­ni­ti­on du système d’IA, et il n’est pas non plus obli­ga­toire, con­trai­re­ment au test. On ne peut donc pas cher­cher l’au­to­no­mie néces­saire uni­quement dans l’entraînement.

La que­sti­on de savoir de quoi il s’a­git reste donc ouver­te. Le site OCDE a tou­te­fois publié un mémo­ran­dum d’ac­com­pa­gne­ment pour sa défi­ni­ti­on par­al­lè­le du “système IA” en mars 2024, qui s’ex­prime un peu plus clai­re­ment sur l’au­to­no­mie requise :

L’au­to­no­mie du système IA (con­te­nue à la fois dans la défi­ni­ti­on ori­gi­na­le et dans la défi­ni­ti­on révi­sée d’un système IA) dési­gne le degré auquel un système peut app­rend­re ou agir sans inter­ven­ti­on humaine suite à la délé­ga­ti­on d’au­to­no­mie et à l’au­to­ma­tisa­ti­on des pro­ce­s­sus par des humains. La super­vi­si­on humaine peut inter­ve­nir à n’im­por­te quel sta­de du cycle de vie du système IA, par exemp­le lors de la con­cep­ti­on du système IA, de la coll­ec­te et du trai­te­ment des don­nées, du déve­lo­p­pe­ment, de la véri­fi­ca­ti­on, de la vali­da­ti­on, du déploie­ment ou de l’ex­plo­ita­ti­on et de la sur­veil­lan­ce. Cer­ta­ins systè­mes d’IA peu­vent géné­rer des sor­ties sans que ces sor­ties soi­ent expli­ci­te­ment décri­tes dans l’ob­jec­tif du système d’IA et sans ins­truc­tions spé­ci­fi­ques d’un être humain.

L’au­to­no­mie dans l’entre­pri­se ne se réfè­re donc pas à la fonc­tion du système en tant que tel­le, qui est géné­ra­le­ment déter­mi­née, com­me nous l’a­vons indi­qué, mais à ce qu’il fait avec les don­nées d’en­trée : un système est auto­no­me lorsqu’il peut fonc­tion­ner selon les don­nées d’en­trée sans inter­ven­ti­on humaine et qu’il génè­re ain­si une sor­tie qui n’est pas expli­ci­te­ment pré­dé­fi­nie. Le non-déter­mi­nis­me est donc à recher­cher dans le trai­te­ment des don­nées et se rap­por­te à le rap­port ent­re les intrants et les extrants.

On peut cer­tes oppo­ser à cela qu’il n’y a pas non plus de véri­ta­ble auto­no­mie. Si le système est ent­raî­né, son trai­te­ment des don­nées est déter­mi­né par les paramè­tres du système. Le même input doit pro­dui­re le même out­put, à moins qu’u­ne fonc­tion alé­a­toire ne soit inté­g­rée. C’est sou­vent le cas, par exemp­le dans les modè­les d’O­pe­nAI (le rég­la­ge de la tempé­ra­tu­re per­met de con­trô­ler ce fac­teur dans une cer­taine mesu­re), mais même un géné­ra­teur alé­a­toire est fon­da­men­ta­le­ment déter­mi­né (les géné­ra­teurs non déter­mi­ni­stes four­nis­sent des valeurs dif­fé­ren­tes pour des con­di­ti­ons initia­les iden­ti­ques, mais com­me le logi­ciel est déter­mi­ni­ste en soi, un fac­teur exter­ne tel que la désin­té­gra­ti­on radio­ac­ti­ve doit être pris en comp­te pour la ran­do­mi­sa­ti­on, et ce fac­teur obéit aux lois de la nature).

L’AIA est tou­te­fois une loi avec un objec­tif et non une con­sidé­ra­ti­on de phi­lo­so­phie natu­rel­le. Il faut donc l’in­ter­pré­ter de maniè­re fonc­tion­nel­le, notam­ment en ce qui con­cer­ne les con­sé­quen­ces juri­di­ques qui dev­rai­ent cou­vr­ir les situa­tions pour les­quel­les elles ont été con­çues. En gui­se de résul­tat inter­mé­di­ai­re, l’au­to­no­mie requi­se doit donc être att­ein­te au niveau de l’A­IA. Trai­te­ment des don­nées Le pro­ce­s­sus de pro­duc­tion doit se fai­re de maniè­re à ce que le résul­tat pui­s­se être con­sidé­ré par un être humain com­me nor­mal. ne sem­ble pas déter­mi­née.

Il s’a­git en fin de comp­te d’u­ne for­me de test de Turing (→ 6) : L’AIA enre­gist­re un système en tant que système d’IA s’il res­sem­ble à un système d’IA. La règ­le géné­ra­le de l’au­to­ri­té autri­chi­en­ne de pro­tec­tion des don­nées va éga­le­ment dans ce sens (→ 1) :

Pour sim­pli­fier, il s’a­git de systè­mes infor­ma­ti­ques capa­bles d’exé­cu­ter des tâches, qui requiè­rent nor­ma­le­ment l’in­tel­li­gence humaine. Cela signi­fie que ces systè­mes peu­vent résoud­re des pro­blè­mes, app­rend­re, prend­re des décis­i­ons et inter­agir avec leur envi­ron­ne­ment, com­me le font les humains.

Un AIS est donc un système qui, en fonc­tion­ne­ment, lors de la géné­ra­ti­on d’un out­put, est com­po­sé de dif­fér­ents, a prio­ri sans que ce choix soit pure­ment alé­a­toire et sans qu’il sui­ve une ins­truc­tion humaine direc­te, et qui rem­plit donc une fonc­tion qui dev­rait fai­re pen­ser à un être humain. Cela expli­que éga­le­ment la distinc­tion avec le système déter­mi­né : une per­son­ne à qui l’on indi­que en détail com­ment pro­cé­der ne doit plus réflé­chir. Il ne sera donc pas pos­si­ble de dire avec pré­cis­i­on si tous les systè­mes relè­vent ou non de l’AIA.

AIS sont par exemple

  • Les chat­bots

  • Systè­mes de recom­man­da­ti­on sur les ser­vices de streaming

  • Des assi­stants vocaux qui app­ren­nent grâ­ce à l’in­ter­ac­tion avec l’utilisateur

  • des véhi­cu­les auto­no­mes qui adapt­ent leur con­duite grâ­ce à des cap­teurs et des don­nées environnementales

  • Systè­mes de recon­nais­sance facia­le dont la pré­cis­i­on est amé­lio­rée par l’utilisation

  • Outils de tra­duc­tion basés sur la ML

  • Systè­mes de détec­tion des frau­des dans les ban­ques, qui app­ren­nent à recon­naît­re les modè­les suspects

  • systè­mes de dia­gno­stic dans le domaine de la santé

  • les pla­tes-for­mes d’app­ren­tis­sa­ge per­son­na­li­sées (déjà lorsqu’el­les génè­rent des inter­val­les de répé­ti­ti­on basés sur les résul­tats d’apprentissage)

  • Filt­re anti-spam

A con­di­ti­on que la démar­che ne soit pas déter­mi­ni­ste. De tel­les logi­ques sont déter­mi­ni­stes, il n’y a pas de com­po­san­te d’app­ren­tis­sa­ge ou de déduc­tion (à con­di­ti­on que le système ne soit pas lui-même tom­bé sur cet­te corrélation).

Pas d’AIS sont par exemple

  • Cal­culs Excel, avec tou­te­fois la réser­ve qu’un docu­ment Excel pour­rait éga­le­ment être pro­gram­mé en AIS

  • des bases de don­nées tel­les que MySQL, qui four­nis­sent des infor­ma­ti­ons à la demande

  • Logi­ciels de trai­te­ment d’i­mages, dans la mesu­re où ils sont déter­mi­ni­stes, c’est-à-dire qu’ils ne génè­rent pas d’i­mages et ne sont pas non plus basés sur un LLM

  • Cli­ents de mes­sa­ge­rie qui dépla­cent les e‑mails dans des dos­siers selon des règles fixes

  • le navi­ga­teur avec lequel ChatGPT est utilisé

  • Filt­re anti-spam basé uni­quement sur des listes blanches/noires

  • un logi­ciel déter­mi­ni­ste géné­ré par ou à l’ai­de d’un SIA (cela dev­rait con­cer­ner aujour­d’hui une gran­de par­tie des logi­ciels lorsque le déve­lo­p­pe­ment est assi­s­té par IA, par exemp­le lors de l’uti­li­sa­ti­on de Git­hub Copilot)

Divers aut­res exemp­les d’ap­pli­ca­ti­on se trou­vent d’ail­leurs dans l’at­las d’Al­go­rithm Watch (https://dtn.re/ggJqKy).

De même, un modè­le AI n’est pas un AIS, c’est-à-dire une tech­no­lo­gie fon­da­men­ta­le qui n’a pas enco­re trou­vé d’ap­pli­ca­ti­on (→ 39).

L’AIS peut alors même un pro­duit (par exemp­le, un AIS pour éva­luer l’ap­ti­tu­de des can­di­dats à un emploi), ou il peut être uti­li­sé com­me “.système embar­qué“ou “embedded AI” peut fai­re par­tie d’un aut­re pro­duit (par exemp­le, un système de con­trô­le). Dans le cas des systè­mes de com­man­de, le pro­duit cor­re­spond­ant ne devi­ent donc pas un AIS dans son ensem­ble, com­me il res­sort de l’ar­tic­le 6, para­gra­phe 1, et de l’ar­tic­le 25, para­gra­phe 3 – il reste sou­mis aux règles appli­ca­bles aux pro­duits cor­re­spond­ants, mais l’ ”embedded AIS” devi­ent un HRAIS par son instal­la­ti­on, si le pro­duit est cou­vert par l’an­ne­xe 1 (→ 28). Ce n’est que lorsque le fab­ri­cant du pro­duit met à dis­po­si­ti­on sur le mar­ché ou met en ser­vice le com­po­sant AIS en son nom pro­pre qu’il devi­ent four­nis­seur du HRAIS (artic­le 25, para­gra­phe 3). Lors de l’éva­lua­ti­on de la con­for­mi­té, le système de com­man­de dev­ra néan­mo­ins être éva­lué dans le con­tex­te du système glo­bal. Pour d’aut­res SIA, une répar­ti­ti­on n’est pos­si­ble que si la com­po­san­te IA peut être clai­re­ment distin­guée des aut­res com­po­san­tes (par exemp­le, dans un système de recru­tement qui sépa­re clai­re­ment un modu­le IA pour le clas­se­ment des can­di­dats de la gesti­on des can­di­da­tures retenues).

La qua­li­fi­ca­ti­on d’AIS en tant que tel­le ne dit rien sur le ris­que qui y est lié – notam­ment par­ce que les ris­ques ne décou­lent pas de la tech­no­lo­gie, mais des con­di­ti­ons de son uti­li­sa­ti­on. L’AI Act répar­tit les cas d’uti­li­sa­ti­on de l’AIS en quat­re caté­go­ries, même si ce n’est pas expres­sis ver­bis (→ 16). En out­re, l’AIS con­naît la GPAI, dont la régle­men­ta­ti­on a con­sti­tué une piè­ce de rési­stance lors des négo­cia­ti­ons (→ 39 et suivantes).

14. tous les systè­mes d’IA sont-ils con­cer­nés par l’AIA ?

Non. Tout d’a­bord, l’UE ne peut régle­men­ter que dans le cad­re de son man­dat, c’est-à-dire uni­quement les acti­vi­tés rele­vant du champ d’ap­pli­ca­ti­on du droit de l’U­ni­on. Cela exclut les acti­vi­tés des États mem­bres qui con­cer­nent la sécu­ri­té natio­na­le. Ensuite, cer­ta­ins systè­mes d’IA sont exclus de l’A­IA (art. 2) :

  • AIS, qui sont exclu­si­ve­ment à des fins mili­taires et le sécu­ri­té natio­na­le (art. 2, al. 3), ce qui place l’A­IA à la limi­te du droit européen ;

  • AIS, qui est exclu­si­ve­ment desti­né A des fins de recher­che est déve­lo­p­pé et uti­li­sé (art. 2, al. 6) afin de ne pas ent­ra­ver la liber­té de la recher­che (les AIS dont les pos­si­bi­li­tés d’uti­li­sa­ti­on ne font qu’en­gl­ober la recher­che tom­bent tou­te­fois sous le coup de l’A­IA ; con­sidé­rant 23) ;

  • AIS, le Par­ti­cu­liers à des fins non com­mer­cia­les (artic­le 2, para­gra­phe 10 ; par exemp­le, l’uti­li­sa­ti­on pri­vée de ChatGPT pour l’or­ga­ni­sa­ti­on d’un mariage) ;

  • FOSS (art. 2, para­gra­phe 12), c’est-à-dire les logi­ciels (ou modè­les) libres et à code source ouvert, à con­di­ti­on que la dis­tri­bu­ti­on ouver­te soit auto­ri­sée et que les uti­li­sa­teurs pui­s­sent uti­li­ser, modi­fier et redis­tri­buer le modè­le gra­tui­te­ment, et sous réser­ve que les logi­ciels libres restent cou­verts s’il s’a­git d’un HRAIS (→ 28), s’ils ou leur uti­li­sa­ti­on con­sti­tu­ent une pra­tique inter­di­te (→ 27) ou s’ils inter­agis­sent direc­te­ment avec les uti­li­sa­teurs ou sont uti­li­sés pour géné­rer du con­te­nu (art. 50 → 37) ;

  • AIS pen­dant la Pha­se de recher­che, de test et de déve­lo­p­pe­ment avant la mise sur le mar­ché ou la mise en ser­vice, sauf en cas de tests en con­di­ti­ons réel­les (art. 2, al. 8). Mais les four­nis­seurs d’AIS doi­vent bien enten­du aus­si respec­ter les exi­gen­ces pen­dant ces pha­ses ou plutôt prépa­rer leur respect.

15. quel­le est l’appro­che régle­men­tai­re géné­ra­le de l’AIA ?

Mal­gré son nom, l’A­IA n’est ni une régle­men­ta­ti­on glo­ba­le de l’in­tel­li­gence arti­fi­ci­el­le, ni un droit du com­porte­ment sur le mar­ché, mais un droit de la sécu­ri­té des pro­duits. Il s’in­spi­re des prin­cipes étab­lis de la régle­men­ta­ti­on des pro­duits dans le mar­ché inté­ri­eur euro­pé­en, notam­ment dans les régle­men­ta­ti­ons “New Approach”.

Le “Nou­vel­le appro­che”(ou “Nou­vel­le appro­che” ; voir à ce sujet la com­mu­ni­ca­ti­on de la Com­mis­si­on COM(2003)0240 de 2003, https://dtn.re/0mGegd)) est un con­cept que l’UE a intro­duit dans les années 1980 pour la régu­la­ti­on du mar­ché inté­ri­eur : au lieu d’é­dic­ter des règles tech­ni­ques détail­lées, l’UE défi­nit des exi­gen­ces essen­ti­el­les pour les pro­duits com­me con­di­ti­on pré­alable à l’ac­cès au mar­ché. Des exi­gen­ces plus détail­lées sont ensuite déve­lo­p­pées par des orga­nis­mes de nor­ma­li­sa­ti­on euro­pé­ens (par exemp­le le CEN, le CENELEC ou l’ET­SI). Ces nor­mes ne sont pas obli­ga­toires, mais leur respect con­fè­re une pré­somp­ti­on de con­for­mi­té aux pro­duits con­cer­nés (dans l’A­IA : art. 40.

La preuve de la con­for­mi­té est ensuite appor­tée dans le Pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­téL’éva­lua­ti­on doit être effec­tuée par le fab­ri­cant lui-même (auto­cer­ti­fi­ca­ti­on) ou par un orga­nis­me noti­fié indé­pen­dant. Cet­te éva­lua­ti­on doit être effec­tuée avant la mise sur le mar­ché du pro­duit, donc de l’AIS, c’est-à-dire avant que le ris­que d’AIS ne se manifeste.

Le mar­quage CE indi­que que le fab­ri­cant a véri­fié la con­for­mi­té du pro­duit, que la pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té appli­ca­ble a été sui­vie et que les spé­ci­fi­ca­ti­ons sont respec­tées. Pour plus d’in­for­ma­ti­ons, voir le Gui­de bleu de la Com­mis­si­on euro­pé­en­ne, le Gui­de pour la mise en œuvre de la légis­la­ti­on euro­pé­en­ne sur les pro­duits 2022 du 29 juin 2022 (https://dtn.re/hrqXlb).

L’AI Act reprend cet­te appro­che, mais avec quel­ques spécificités :

  • L’AIA ne régle­men­te pas une tech­no­lo­gie, mais son uti­li­sa­ti­on. Mais il exi­ge le respect exi­gen­ces fon­da­men­ta­les à tous les HRAIS, con­for­mé­ment aux artic­les 8 à 15. Des cas d’uti­li­sa­ti­on spé­ci­fi­ques sont défi­nis par des inter­dic­tions ponc­tu­el­les (→ 27) et par les critères de clas­si­fi­ca­ti­on com­me HRAIS (→ 28).

  • L’at­tri­bu­ti­on des obli­ga­ti­ons se fait par le biais des dif­fér­ents rôles des acteurs tout au long de la chaî­ne de créa­ti­on de valeur (→ 20 et sui­van­tes). Ce que sont en prin­ci­pe les “pro­duc­teurs” dans la New Approach, ce sont les four­nis­seurs dans l’A­IA, et les “uti­li­sa­teurs” sont les exploitants.

  • En prin­ci­pe, le four­nis­seur (→ 20) du HRAIS doit avoir un Pro­cé­du­re de con­for­mi­té à moins que des inté­rêts publics par­ti­cu­liers ne justi­fi­ent une excep­ti­on (art. 16, let. f, et art. 46). La pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té est défi­nie à l’art. 43. Pour HRAIS dans le domaine de la bio­mé­trie (anne­xe III, ch. 1), le four­nis­seur peut choi­sir de pro­cé­der à une auto­cer­ti­fi­ca­ti­on (pro­cé­du­re inter­nequi fixe l’an­ne­xe VI) ou un orga­nis­me noti­fié (art. 29 et sui­vants → 56) (pro­cé­du­re exter­ne(voir l’an­ne­xe VII).

L’ad­mis­si­bi­li­té de l’au­to­cer­ti­fi­ca­ti­on pré­sup­po­se l’e­xi­stence de nor­mes har­mo­ni­sées (art. 40) ou de spé­ci­fi­ca­ti­ons com­mu­nes (art. 41) pour tous les aspects du HRAIS, c’est-à-dire de con­cré­ti­sa­ti­ons har­mo­ni­sées des exi­gen­ces essen­ti­el­les ou de leur mise en œuvre. En l’ab­sence de ces nor­mes, le four­nis­seur n’a d’aut­re choix que de pas­ser par un orga­nis­me noti­fié (art. 43). Pour les aut­res cas d’uti­li­sa­ti­on à haut ris­que selon l’an­ne­xe III, la pro­cé­du­re d’au­to­cer­ti­fi­ca­ti­on s’ap­pli­que en géné­ral (art. 43, al. 2), et pour les SIHA qui relè­vent d’u­ne régle­men­ta­ti­on de pro­duits selon l’an­ne­xe I, sec­tion A (p. ex. les dis­po­si­tifs médi­caux), la pro­cé­du­re appli­ca­ble est éga­le­ment valable pour l’éva­lua­ti­on de la con­for­mi­té selon l’A­IA (art. 43, al. 3).

  • Pour chaque HRAIS, le four­nis­seur doit four­nir une Décla­ra­ti­on de con­for­mi­té UE et la con­ser­ver à l’in­ten­ti­on des auto­ri­tés pen­dant 10 ans à comp­ter de la mise sur le mar­ché ou de la mise en ser­vice de l’HRAIS (art. 16, let. g, et art. 47). Avec la décla­ra­ti­on de con­for­mi­té, il exprime que l’HRAIS est con­for­me aux exi­gen­ces cor­re­spond­an­tes et qu’il en est responsable (art. 47, al. 2 et 4). La décla­ra­ti­on de con­for­mi­té doit con­te­nir les infor­ma­ti­ons visées à l’an­ne­xe V et être tra­duite dans une lan­gue “aisé­ment com­pré­hen­si­ble” par les auto­ri­tés natio­na­les com­pé­ten­tes (art. 47, al. 2).

  • Le four­nis­seur d’ac­cès doit four­nir le Mar­que CE (art. 16, let. h, et art. 48). Il indi­que ain­si qu’il assu­me la responsa­bi­li­té de la con­for­mi­té aux exi­gen­ces de l’A­IA et, le cas échéant, aux aut­res exi­gen­ces appli­ca­bles au pro­duit (art. 30 de l’or­don­nan­ce sur la sur­veil­lan­ce du mar­ché, https://dtn.re/h4EI0Y).

  • La mise sur le mar­ché et la mise en ser­vice ne sont pas auto­ri­sées tant que l’éva­lua­ti­on de la con­for­mi­té n’a pas été effec­tuée, et une nou­vel­le éva­lua­ti­on de la con­for­mi­té est requi­se en cas de modi­fi­ca­ti­on sub­stan­ti­el­le du SIAM (art. 43, al. 5).

  • Dans la mesu­re où un four­nis­seur spé­ci­fi­que au sec­teur Les exi­gen­ces de l’A­IA doi­vent géné­ra­le­ment être cou­ver­tes dans le cad­re défini.

  • De plus, les HRAIS doi­vent être publiés dans une revue publi­que. Base de don­nées être enre­gi­strés (art. 49).

Les HRAIS ne sont pas inter­dits – l’A­IA est en ce sens tout à fait favorable à l’in­no­va­ti­on. Seuls sont inter­dits quel­ques domain­es d’ap­pli­ca­ti­on ou cas d’uti­li­sa­ti­on qui ont été jugés par­ti­cu­liè­re­ment indé­si­ra­bles pour la socié­té (→ 27).

Inver­se­ment, il con­vi­ent de respec­ter les exi­gen­ces, con­di­ti­ons et rest­ric­tions en vigueur par­al­lè­le­ment, par exemp­le en matiè­re de pro­tec­tion des don­nées, de loyau­té, de droit du tra­vail ou de pro­prié­té intellec­tu­el­le. L’AIA n’est guè­re auto­ri­sé à cet égard, à l’ex­cep­ti­on de la pro­tec­tion des don­nées (→ 1).

16. com­ment les ris­ques sont-ils caté­go­ri­sés dans l’AIA ?

L’AIA distin­gue dif­fér­ents niveaux ou clas­ses de ris­ques dans la régle­men­ta­ti­on. Ce qui est déter­mi­nant, c’est avant tout l’uti­li­sa­ti­on con­crè­te d’un AIS et non ses carac­té­ri­sti­ques tech­ni­ques en tant que tel­les ou les don­nées uti­li­sées pour l’en­traî­ne­ment ou lors de l’uti­li­sa­ti­on ou d’aut­res critères qui pour­rai­ent éga­le­ment se prêter à une clas­si­fi­ca­ti­on des ris­ques. Cet­te dif­fé­ren­cia­ti­on est en prin­ci­pe judi­cieu­se ; elle est tou­te­fois assez grossiè­re et ne peut pas tenir comp­te de tou­tes les cir­con­stances con­crè­tes, par ana­lo­gie avec la clas­si­fi­ca­ti­on léga­le de cer­tai­nes don­nées per­son­nel­les com­me étant sen­si­bles. L’AIA con­naît quat­re niveaux de ris­que pour les AIS : ris­que inac­cep­ta­ble, ris­que éle­vé, ris­que limi­té ou ris­que de trans­pa­rence et tout le reste :

  • AIS inter­dit: les AIS ou les cas d’uti­li­sa­ti­on pré­sen­tant des ris­ques inac­cep­ta­bles sont géné­ra­le­ment inter­dits en tant que “pra­tique inter­di­te” (art. 5 → 27).

  • HRAIS: AIS ou cas d’uti­li­sa­ti­on dans des domain­es sen­si­bles tels que les infras­truc­tures cri­ti­ques, l’é­du­ca­ti­on, l’em­ploi, les ser­vices publics essen­tiels ou l’ap­pli­ca­ti­on de la loi ; ils sont sou­mis aux exi­gen­ces qui con­sti­tu­ent la par­tie prin­ci­pa­le de l’A­IA. L’ar­tic­le 6 régit la clas­si­fi­ca­ti­on d’un AIS en tant que HRAIS (→ 28).

  • AIS avec ris­ques de trans­pa­rence: ce sont des AIS qui ne sont pas des HRAIS, mais qui sont desti­nés à inter­agir direc­te­ment avec des per­son­nes phy­si­ques, qui génè­rent du con­te­nu ou qui sont desti­nés à la recon­nais­sance des émo­ti­ons ou à la caté­go­ri­sa­ti­on bio­mé­tri­que (art. 50 → 37). Des exi­gen­ces limi­tées s’ap­pli­quent ici, qui visent avant tout la transparence.

  • Aut­res AISPour tous les aut­res AIS, l’AIS ne con­ti­ent que des pre­scrip­ti­ons mar­gi­na­les (→ 38).

Les obli­ga­ti­ons d’u­ne clas­se de ris­que s’ap­pli­quent éga­le­ment aux clas­ses supérieures.

Pri­ma vista, l’A­IA défi­nit une cin­quiè­me caté­go­rie de ris­ques : les AIS qui “pré­sen­tent un ris­que”, selon l’art. 79. Il s’a­git d’A­IA pré­sen­tant des ris­ques par­ti­cu­liers selon l’art. 3 n° 19 de l’or­don­nan­ce sur la sur­veil­lan­ce du mar­ché (https://dtn.re/JgakBQ)), c’est-à-dire des ris­ques accrus et aty­pi­ques pour la san­té, la sécu­ri­té ou les droits fon­da­men­taux. Il ne s’a­git pas néces­saire­ment d’un HRAIS, même si cela dev­rait nor­ma­le­ment être le cas. Si une auto­ri­té de sur­veil­lan­ce du mar­ché (→ 43) a des rai­sons de pen­ser que de tels ris­ques exi­stent, elle exami­ne l’AIS con­cer­né et, si l’hy­po­thè­se est con­fir­mée, en infor­me les auto­ri­tés natio­na­les com­pé­ten­tes. Les explo­itants ont éga­le­ment des obli­ga­ti­ons par­ti­cu­liè­res dans le cad­re d’un tel système, mais désor­mais uni­quement s’il s’a­git d’un SIH.

Tou­te­fois, les exi­gen­ces maté­ri­el­les pour ces AIS ne sont pas plus éle­vées, il s’a­git uni­quement d’un con­trô­le par­ti­cu­lier et, si néces­saire, de l’ap­pli­ca­ti­on de la con­for­mi­té. Ces AIS ne con­sti­tu­ent donc pas une caté­go­rie de ris­que à part entiè­re et, à moins qu’ils ne soi­ent éga­le­ment des HRAIS, ce qui dev­rait tou­te­fois être le cas la plu­part du temps, ils ne sont guè­re sou­mis à des exigences.

Les GPAIM n’ent­rent pas dans ces clas­ses de ris­que par­ce qu’ils n’ont pas de domaine d’ap­pli­ca­ti­on spé­ci­fi­que qui pour­rait être clas­sé en con­sé­quence. Ce n’est que lorsqu’el­les devi­en­nent des GPAIS qu’el­les ent­rent dans une clas­se de ris­que en tant qu’AIS.

17. quels sont les rôles défi­nis dans l’AIA ?

L’AIA défi­nit plu­sieurs rôles qui impli­quent des obli­ga­ti­ons et des responsa­bi­li­tés dif­fé­ren­tes en ce qui con­cer­ne les AIS – et en par­tie aus­si les AMPI. Il suit en cela le stan­dard de la légis­la­ti­on euro­pé­en­ne sur la sécu­ri­té des pro­duits en faisant la distinc­tion ent­re four­nis­seur, explo­itant, impor­ta­teur et dis­tri­bu­teur, mais il con­naît éga­le­ment des rôles :

  • Four­nis­seur (Fournisseur/AIS et GPAI) : L’en­ti­té (c’est-à-dire la per­son­ne phy­si­que ou mora­le) qui met un AIS sur le mar­ché et qui assu­me la responsa­bi­li­té prin­ci­pa­le de la con­for­mi­té aux exi­gen­ces (→ 20) ;

  • Opé­ra­teur (Déployeur/AIS) : enti­té déployant un AIS ou une GPAI (→ 21) ;

  • Impor­ta­teur (Importateur/AIS) : enti­té qui impor­te pour la pre­miè­re fois dans l’UE un AIS ou une AISG d’un four­nis­seur de pays tiers (→ 23) ;

  • Reven­deurs (Distributeur/AIS) : enti­té qui pro­po­se un AIS sur le mar­ché com­mun­au­tai­re sans être elle-même un four­nis­seur ou un impor­ta­teur (→ 24) ;

  • Fab­ri­cant du pro­duit (Pro­duct Manufacturer/AIS) : enti­té qui fab­ri­que un pro­duit dans lequel un AIS est intégré ;

  • Repré­sen­tant auto­ri­sé (Repré­sen­tant) : Il s’a­git, selon l’art. 3, point 5, d’un orga­nis­me dans l’UE qui a été auto­ri­sé par écrit par le four­nis­seur d’ac­cès à rem­plir en son nom les obli­ga­ti­ons ou à exé­cu­ter les pro­cé­du­res pré­vues par le pré­sent règle­ment. Les repré­sen­tants ont les obli­ga­ti­ons de con­trô­le et de coopé­ra­ti­on pré­vues à l’art. 22.

  • Per­son­ne con­cer­née: La per­son­ne con­cer­née n’est pas défi­nie léga­le­ment, mais il s’a­git des per­son­nes dont les don­nées sont trai­tées par un AIS. Elles ont cer­ta­ins droits en ver­tu de l’A­IA (en plus des droits pré­vus par le RGPD).

Si une enti­té joue plu­sieurs rôles à la fois, les exi­gen­ces s’ap­pli­quent de maniè­re cumu­la­ti­ve (con­sidé­rant 83). Le con­sidé­rant 83 cite l’exemp­le du dis­tri­bu­teur qui est éga­le­ment impor­ta­teur, ce qui est exclu par les défi­ni­ti­ons léga­les (un dis­tri­bu­teur four­nit un AIS “à l’ex­cep­ti­on du four­nis­seur ou de l’im­por­ta­teur” ; artic­le 3, point 7). Le four­nis­seur, qui met en ser­vice son AIS et en est l’ex­plo­itant, est plus évident.

En out­re, l’A­IA défi­nit le “Acteur”(opé­ra­teur) ; il s’a­git d’un ter­me géné­ri­que désignant les four­nis­seurs, les fab­ri­cants de pro­duits, les explo­itants, les agents, les impor­ta­teurs et les dis­tri­bu­teurs (art. 3, point 8). Il n’est pas sou­vent uti­li­sé dans l’A­IA, en géné­ral uni­quement pour faci­li­ter la réfé­rence et sans défi­nir les con­sé­quen­ces juri­di­ques pour les acteurs.

18. quel est le champ d’ap­pli­ca­ti­on géo­gra­phi­que de l’AIA ?

L’AIA est d’a­bord appli­ca­ble dans l’UE. Mais il sera intro­duit dans le EEE-Il s’ap­pli­quera alors éga­le­ment à la Nor­vè­ge, à l’Is­lan­de et au Liech­ten­stein. Actu­el­le­ment, l’A­IA est en cours d’ex­amen dans l’EEE (https://dtn.re/LxZNyE)Le pro­jet de loi ne sera for­mel­le­ment inté­g­ré dans le droit de l’EEE qu’a­près une décis­i­on du comi­té mixte.

Com­me le RGPD, l’AI Act vise à éta­b­lir une cer­taine pro­tec­tion de base et un champ d’ap­pli­ca­ti­on de niveau au sein de l’EEE (con­sidé­rant 22). Il doit donc éga­le­ment cou­vr­ir cer­ta­ins cas ayant une com­po­san­te inter­ré­gio­na­le. Dans ce con­tex­te, l’A­IA fait la distinc­tion ent­re les dif­fér­ents rôles dans la chaî­ne de valeur, rai­son pour laquel­le → 17 a été pla­cé en tête.

Selon les artic­les 2 et 3 (les deux dis­po­si­ti­ons sont déter­mi­nan­tes ensem­ble pour le champ d’ap­pli­ca­ti­on), il s’ap­pli­que du point de vue ter­ri­to­ri­al et per­son­nel com­me suit :

  • Pour Four­nis­seur (four­nis­seur d’accès) :

  • indé­pen­dam­ment de l’em­pla­ce­ment du four­nis­seur, lorsqu’un AIS ou un GPAIM est mis en ser­vice dans l’UE (artic­le 2, para­gra­phe 1, point a) ; et

  • lorsque la pro­duc­tion du système est uti­li­sée dans l’UE (let. c → 19) ;

  • pour Opé­ra­teur (Deployer) :

  • si le Deployer est éta­b­li ou se trouve dans l’UE (lett­re b). Le ter­me “éta­blis­se­ment” dev­rait être inter­pré­té de maniè­re lar­ge, par ana­lo­gie avec le RGPD ;

  • si l’out­put du système est uti­li­sé dans l’UE (à nou­veau, lett­re c) ;

  • pour Impor­ta­teur (impor­ta­teur) : s’il est éta­b­li dans l’UE et impor­te un AIS (art. 3, point 6) ;

  • pour Reven­deurs (dis­tri­bu­teur) : lorsque l’AIS est mis à dis­po­si­ti­on sur les mar­chés de l’UE, indé­pen­dam­ment de la loca­li­sa­ti­on du dis­tri­bu­teur (art. 3, point 7) ;

  • pour Fab­ri­cant du pro­duit (Manu­fac­tu­rer) : lorsqu’ils met­tent sur le mar­ché ou en ser­vice dans l’UE un AIS avec leur pro­duit en leur pro­pre nom (art. 2, al. 1, let. e) ;

  • pour (UE)Repré­sen­tant des four­nis­seurs d’ac­cès étran­gers (art. 2, para­gra­phe 1, point f)) ;

  • pour per­son­nes con­cer­nées dans l’UE (art. 2, al. 1, let. g).

Une ent­re­pri­se sui­s­se peut donc être sou­mi­se à l’A­IA notam­ment si :

  • vend un AIS dans ou vers l’UE (en tant que con­cep­teur, impor­ta­teur ou distributeur),

  • vend un aut­re pro­duit dans l’UE qui uti­li­se un AIS com­me composant,

  • Pro­duc­tion géné­rée uti­li­sée dans l’UE (→ 19).

19. que signi­fie “Out­put est uti­li­sé dans l’UE” ?

Out­put est décrit à l’art. 2, al. 1, let. c :

c) les four­nis­seurs et les explo­itants de systè­mes d’IA étab­lis ou situés dans un pays tiers, lorsque la sor­tie géné­rée par le système d’IA est uti­li­sée dans l’Union ;

Un tex­te ou une image géné­rés par IA en font cer­tai­ne­ment par­tie. Tou­te­fois, l’A­IA ne con­ti­ent pas de défi­ni­ti­on pro­pre de la sor­tie géné­rée, con­trai­re­ment à l’in­put (art. 3, point 33). Le ter­me est uti­li­sé plus fré­quem­ment, mais tou­jours sans descrip­ti­on pré­cise (par exemp­le au con­sidé­rant 12 pour la défi­ni­ti­on de l’AIS → 13).

Mais à cer­ta­ins end­roits, l’out­put est uti­li­sé de maniè­re con­cep­ti­on lar­ge dans la mesu­re où l’on sup­po­se une uti­li­sa­ti­on uni­for­me de cet­te noti­on (par exemp­le à l’an­ne­xe III, ch. 8, let. b, HRAIS en cas d’uti­li­sa­ti­on pour influen­cer une élec­tion ou un vote : un AIS n’est pas con­sidé­ré com­me un HRAIS si son out­put ne con­cer­ne pas direc­te­ment des per­son­nes phy­si­ques, com­me c’est le cas pour un outil d’or­ga­ni­sa­ti­on de cam­pa­gne : dans ce cas, l’out­put ne peut pas être uni­quement le résul­tat de l’IA géné­ra­ti­ve). Il est donc logi­que, comp­te tenu de l’ob­jec­tif de pro­tec­tion de l’A­IA, d’in­clu­re éga­le­ment les signaux de com­man­de géné­rés par l’IA dans la noti­on d’output.

Il est donc plus important de savoir quand l’out­put est uti­li­sé dans l’UE. Il ne peut s’a­gir de tout débor­de­ment. Il fau­dra plutôt con­sidé­rer une cer­taine Sen­si­bi­li­té de l’im­pact dans l’UE, qui, par ana­lo­gie aux règles de con­duite sur le mar­ché, ne peut être con­cré­ti­sée que par une ori­en­ta­ti­on. Le con­sidé­rant 22, qui vise à empêcher le con­tour­ne­ment mais pas à cou­vr­ir n’im­por­te quel effet dans l’UE, par­le d’ ”inten­ti­on” et cite com­me exemp­le une con­stel­la­ti­on dans laquel­le il est clair qu’il n’y a pas seu­le­ment un effet de débor­de­ment, plai­de éga­le­ment en ce sens :

Afin d’é­vi­ter que le pré­sent règle­ment ne soit con­tour­né […], il con­vi­ent que le pré­sent règle­ment s’ap­pli­que éga­le­ment aux four­nis­seurs et aux explo­itants de systè­mes d’in­tel­li­gence arti­fi­ci­el­le étab­lis dans un pays tiers, dans la mesu­re où l’in­ten­ti­on est d’uti­li­ser dans l’U­ni­on la sor­tie géné­rée par ce système.

et

C’est le cas, par exemp­le, lorsqu’un acteur éta­b­li dans l’U­ni­on sous-trai­te cer­ta­ins ser­vices à un acteur éta­b­li dans un pays tiers dans le cad­re d’u­ne acti­vi­té qui doit être exer­cée par un système d’IA […]. Dans ces cir­con­stances, le système d’IA exploi­té par l’ac­teur éta­b­li dans un pays tiers […] pour­rait four­nir à l’ac­teur con­trac­tuel éta­b­li dans l’U­ni­on la sor­tie de ce système d’IA résul­tant de ce traitement […]. 

Un four­nis­seur peut donc ne pas tom­ber sous le coup de l’A­IA du seul fait de l’uti­li­sa­ti­on de l’out­put tant que celui-ci n’est pas desti­né à être uti­li­sé dans l’UE, c’est-à-dire qu’il est uti­li­sé con­for­mé­ment à sa desti­na­ti­on dans l’UE. Le Gui­de bleu (→ 15), qui reste tou­te­fois vague, peut appor­ter une cer­taine con­cré­ti­sa­ti­on à cet égard.

Le champ d’ap­pli­ca­ti­on est déjà suf­fi­sam­ment lar­ge. Si un col­la­bo­ra­teur d’u­ne ent­re­pri­se sui­s­se envoie un cour­ri­el à un col­lè­gue fran­çais en uti­li­sant un tex­te géné­ré par IA, ou si une pré­sen­ta­ti­on con­tenant une image géné­rée par IA ou un comp­te ren­du tran­scrit par IA est envoy­ée à un desti­na­tai­re dans l’UE, cela dev­rait suf­fi­re, à moins que l’on ne dédui­se du critère du carac­tère sen­si­ble un seuil de mini­mis qui s’ap­pli­quer­ait en plus de l’e­xi­gence d’orientation.

La que­sti­on doit tou­te­fois rester ouver­te pour l’in­stant – on peut sup­po­ser que l’E­AIB (→ 53) pro­po­se­ra des con­cré­ti­sa­ti­ons à ce sujet. Pour les acteurs non euro­pé­ens qui ne sont que des explo­itants de SIAH et pour ceux qui ne s’oc­cup­ent que de SIAH non à haut ris­que, cet­te que­sti­on ne joue tou­te­fois pas un rôle aus­si important que pour les four­nis­seurs de SIAH.

En rai­son de la défi­ni­ti­on léga­le du four­nis­seur, on peut en out­re se deman­der si l’uti­li­sa­ti­on de l’out­put seul peut suf­fi­re ou si en out­re, une mise sur le mar­ché ou une mise en ser­vice dans l’UE est pré­su­mée. Plu­sieurs argu­ments s’op­po­sent tou­te­fois à cet­te interprétation :

  • Le con­sidé­rant 22 étend le champ d’ap­pli­ca­ti­on aux SIH “même s’ils ne sont pas mis sur le mar­ché, mis en ser­vice ou uti­li­sés dans l’Union”.

  • En ce qui con­cer­ne les four­nis­seurs, l’art. 2 ne dev­rait plus du tout men­ti­on­ner l’uti­li­sa­ti­on de l’out­put dans cet­te inter­pré­ta­ti­on, car la mise en cir­cula­ti­on dans l’UE suf­fit à elle seu­le (art. 2, al. 1). En revan­che, pour l’ex­plo­itant, la men­ti­on de l’out­put se justi­fierait éga­le­ment si la mise sur le mar­ché ou la mise en ser­vice sont exi­gées du fournisseur.

  • L’in­ter­pré­ta­ti­on stric­te con­dui­rait à une situa­ti­on dans laquel­le un explo­itant peut être sou­mis à l’A­IA, mais pas le four­nis­seur du système cor­re­spond­ant. Étant don­né que les obli­ga­ti­ons de l’ex­plo­itant pré­sup­po­sent, du moins en par­tie, que le four­nis­seur a lui aus­si rem­pli ses obli­ga­ti­ons (par exemp­le en ce qui con­cer­ne la con­ser­va­ti­on des don­nées log, qui n’est pas pos­si­ble si le four­nis­seur n’a pas veil­lé à ce que le HRAIS soit en mesu­re d’en­re­gi­strer les don­nées), un par­al­lé­lis­me est plus proche.

  • La défi­ni­ti­on léga­le du four­nis­seur per­met de con­clu­re qu’u­ne mise sur le mar­ché ou une mise en ser­vice n’est une con­di­ti­on pré­alable à la qua­li­té de four­nis­seur que si un orga­nis­me ne déve­lo­p­pe pas lui-même un AIS, mais le fait déve­lo­p­per. Dans le cas d’un AIS déve­lo­p­pé en inter­ne, le déve­lo­p­pe­ment de l’AIS est déjà suf­fi­sant selon cet­te inter­pré­ta­ti­on (→ 20).

  • Pour des rai­sons de pro­tec­tion, les auto­ri­tés et les tri­bu­naux sui­v­ront pro­ba­blem­ent une inter­pré­ta­ti­on lar­ge, c’est-à-dire qu’ils se con­t­en­te­ront de l’out­put. Les expé­ri­en­ces fai­tes avec l’in­ter­pré­ta­ti­on du RGPD en matiè­re de droits fon­da­men­taux plai­dent en tout cas en ce sens.

Jus­qu’à ce que la que­sti­on soit cla­ri­fi­ée, il con­vi­ent donc de par­tir du prin­ci­pe que l’uti­li­sa­ti­on de l’out­put con­for­mé­ment à sa desti­na­ti­on est suffisante.

On peut tou­te­fois se deman­der si une Uti­li­sa­ti­on com­me Sor­tie est néces­saire. Cela dev­rait être le cas : Celui qui sou­hai­te que des tex­tes géné­rés par IA soi­ent uti­li­sés dans l’UE pour­ra cer­tes tom­ber sous le coup de l’A­IA même s’il uti­li­se une cap­tu­re d’é­cran avec le tex­te cor­re­spond­ant. En revan­che, ceux qui génè­rent des tex­tes pour illu­strer le fonc­tion­ne­ment d’un LLM et qui uti­li­sent des tex­tes géné­rés com­me exemp­les et non en rai­son de leur con­te­nu réel n’uti­li­sent guè­re d’out­put dans l’UE.

Rou­leaux

20. qu’est-ce qu’un four­nis­seur (pro­vi­der) ?

Les “four­nis­seurs” ont le rôle que la légis­la­ti­on sur la sécu­ri­té des pro­duits attri­bue aux “fab­ri­cants”. Il s’a­git des enti­tés qui déve­lo­p­pent (ou font déve­lo­p­per pour elles-mêmes sous leur con­trô­le) des AIS ou un GPAIM et qui les met­tent sur le mar­ché ou en ser­vice (artic­le 3, point 3) :

[…] une […] enti­té qui con­çoit ou fait conce­voir un système d’in­tel­li­gence arti­fi­ci­el­le ou un modè­le d’in­tel­li­gence arti­fi­ci­el­le d’u­sa­ge géné­ral et qui le met sur le mar­ché sous son pro­pre nom ou sa pro­pre mar­que ou qui met en ser­vice le système d’in­tel­li­gence arti­fi­ci­el­le sous son pro­pre nom ou sa pro­pre mar­que, à tit­re gra­tuit ou oné­reux ;

Les four­nis­seurs portent les Responsa­bi­li­té prin­ci­pa­le pour la con­for­mi­té de l’AIS, par exemp­le par la pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té, la gesti­on des ris­ques, la garan­tie de la qua­li­té des don­nées lors de la for­ma­ti­on et la sur­veil­lan­ce après la mise sur le mar­ché (→ 0).

La for­mu­la­ti­on de l’ar­tic­le 3, point 3, laisse cepen­dant deux inter­pré­ta­ti­ons à :

  • La con­di­ti­on de mise sur le mar­ché ou de mise en ser­vice d’un AIS peut être générale

  • soit uni­quement dans le second cas, lorsqu’un AIS n’est pas déve­lo­p­pé par l’entre­pri­se (“fait développer”).

A pre­miè­re vue, la pre­miè­re inter­pré­ta­ti­on est la plus évi­den­te. Elle est cepen­dant loin d’êt­re évi­den­te. Pour l’ap­pli­ca­ti­on ter­ri­to­ria­le, il suf­fit que l’out­put soit uti­li­sé dans l’UE (→ 19). Il serait con­tra­dic­toire de sup­p­ri­mer la plu­part des obli­ga­ti­ons par­ce que l’en­ti­té con­cer­née ne met pas éga­le­ment sur le mar­ché ou en ser­vice dans l’UE le (HR)AIS uti­li­sé. En d’aut­res ter­mes, cet­te inter­pré­ta­ti­on lar­ge de la noti­on de four­nis­seur rés­out la con­tra­dic­tion inter­ne de l’ar­tic­le 2, car l’uti­li­sa­ti­on de l’out­put dans l’UE est alors clai­re­ment suf­fi­san­te. Cela plai­de en faveur de l’in­ter­pré­ta­ti­on lar­ge de la noti­on de four­nis­seur, tel­le qu’el­le est éga­le­ment défen­due dans la littérature.

Mise sur le mar­chéLe “pla­ce­ment sur le mar­ché” (“Pla­cing on the mar­ket” ; AIS ou GPAIM) est défi­ni à l’ar­tic­le 3, point 9, com­me le pro­ce­s­sus par lequel un AIS ou une GPAIM don­né est mis à dis­po­si­ti­on pour la pre­miè­re fois sur le mar­ché de l’Union :

  • Cela peut se fai­re une fois ou de maniè­re per­ma­nen­te, mais une seu­le fois pour chaque AIS ou GPAIM. Celui qui met un AIS à la dis­po­si­ti­on d’un cli­ent dans l’UE ne devi­ent donc pas un four­nis­seur si l’AIS a déjà été mis en cir­cula­ti­on dans l’UE.

  • La mise sur le mar­ché impli­que une off­re ou un accord de trans­fert de pro­prié­té, de pos­ses­si­on ou d’aut­res droits sur l’AIS ou le GPAIM, à tit­re gra­tuit ou oné­reux. Dans le cas d’un AIS, c’est par exemp­le le cas lorsqu’un AIS est con­çu pour être uti­li­sé on pre­mi­se ou sous la for­me d’u­ne off­re SaaS, par exemp­le via une inter­face (API ; voir con­sidé­rant 97 et artic­le 6 de l’or­don­nan­ce sur la sur­veil­lan­ce du mar­ché con­cer­nant la ven­te à distance). La mise sur le mar­ché est effec­tuée par le four­nis­seur ou, dans le cas d’un AIS, par un impor­ta­teur (voir ci-des­sous). Si ces der­niers trans­met­tent un AIS à un dis­tri­bu­teur pour une dis­tri­bu­ti­on ulté­ri­eu­re, ils met­tent déjà l’AIS sur le mar­ché (l’ac­tion sui­van­te du dis­tri­bu­teur est alors une “mise à disposition”).

  • En revan­che, l’im­por­ta­ti­on par une per­son­ne pour son pro­pre usa­ge, par exemp­le d’un télé­pho­ne por­ta­ble équi­pé d’ap­pli­ca­ti­ons IA, la remi­se d’un AIS à des fins de test uni­quement ou la démon­stra­ti­on d’un AIS lors d’un salon pro­fes­si­on­nel, ne con­sti­tuer­ai­ent pas une mise sur le mar­ché (voir le Blue Gui­de, point 2.3).

Le “mett­re en ser­vice“L’ar­tic­le 3, point 11, défi­nit ensuite le “Put­ting into ser­vice” (AIS) com­me le pro­ce­s­sus par lequel un AIS est remis à l’opé­ra­teur (Deployer) pour sa pre­miè­re uti­li­sa­ti­on, mais aus­si la pre­miè­re uti­li­sa­ti­on par le four­nis­seur (Pro­vi­der) lui-même :

  • Qui­con­que déve­lo­p­pe un AIS et l’uti­li­se lui-même est un four­nis­seur au sens de l’A­IA, avec les obli­ga­ti­ons qui en découlent.

  • Les explo­itants, impor­ta­teurs, dis­tri­bu­teurs ou aut­res enti­tés peu­vent éga­le­ment deve­nir des four­nis­seurs a poste­rio­ri (→ 22).

Par­ce que l’in­stal­la­ti­on d’un AIS (“AIS embar­qué”) ne devi­ent pas lui-même un AIS, le fab­ri­cant du pro­duit cor­re­spond­ant ne devi­ent pas non plus un four­nis­seur au sens de l’A­IA si l’AIS embar­qué est uti­li­sé sous le nom ou la mar­que d’u­ne aut­re entité.

Dans le cas d’u­ne Com­bi­nai­son de l’AIS chaque four­nis­seur indi­vi­du­el dev­rait éga­le­ment être con­sidé­ré com­me un four­nis­seur, dans la mesu­re où les com­po­sants con­ti­nuent d’êt­re uti­li­sés con­for­mé­ment à leur desti­na­ti­on. Mais com­me l’A­IA se réfè­re à des “systè­mes” et non à des pro­gi­ciels, les com­po­sants peu­vent être con­sidé­rés ensem­ble com­me des AIS s’ils for­ment une unité fonctionnelle.

Fab­ri­cant d’un pro­duit régle­men­téL’art. 3, al. 2, de l’or­don­nan­ce sur les ser­vices de la navi­ga­ti­on aéri­en­ne (OSP) pré­voit que l’AIS doit être instal­lé sur un pro­duit qui fait l’ob­jet d’u­ne régle­men­ta­ti­on au tit­re de l’an­ne­xe I. Les per­son­nes qui met­tent le pro­duit sur le mar­ché ou le met­tent en ser­vice en leur pro­pre nom sont éga­le­ment con­sidé­rées com­me des four­nis­seurs (art. 25, par. 3).

21. qu’est-ce qu’un opé­ra­teur (deployer) ?

Les explo­itants ne con­çoi­vent pas eux-mêmes le système, ils se con­ten­tent de l’uti­li­ser (art. 3, point 4) – selon la légis­la­ti­on géné­ra­le sur la sécu­ri­té des pro­duits, ce sont donc des “uti­li­sa­teurs finaux”.

Tou­te­fois, l’uti­li­sa­ti­on de l’AIS “sous l’au­to­ri­té“de l’opé­ra­teur, “sous sa pro­pre responsa­bi­li­té” (artic­le 3, point 4). Cela sup­po­se que le système ne soit pas exploi­té seul pour le comp­te d’un aut­re opé­ra­teur. Reste à savoir si cela exi­ge éga­le­ment que l’ex­plo­itant con­fi­gu­re, com­man­de, paramèt­re, etc. lui-même l’AIS ou s’il suf­fit qu’il déci­de lui-même de son uti­li­sa­ti­on. Si l’on part des obli­ga­ti­ons de l’ex­plo­itant et que l’on pose la que­sti­on de savoir à quel moment ces obli­ga­ti­ons peu­vent s’ap­pli­quer, un seuil plus bas suf­fit déjà, la simp­le uti­li­sa­ti­on sans con­trô­le plus pous­sé ne serait pas pré­sup­po­sée ici. “Under it’s aut­ho­ri­ty” signi­fie, selon ce point de vue évi­dent, que l’uti­li­sa­ti­on n’a pas lieu seu­le dans le sens d’un trai­te­ment de com­man­de ou par un employé, mais par un orga­nis­me qui uti­li­se un AIS à ses pro­pres fins. Celui qui uti­li­se un AIS pour un aut­re n’est donc pas un explo­itant (mais le plus sou­vent un fournisseur).

L’opé­ra­teur doit respec­ter les Mode d’em­ploi (→ 35). Cel­le-ci est donc essen­ti­el­le, car elle déter­mi­ne, ent­re aut­res, l’uti­li­sa­ti­on con­for­me de l’AIS, c’est-à-dire la “desti­na­ti­on” (artic­le 3, point 12) à laquel­le l’AIS est desti­né, tout com­me le cad­re de son uti­li­sa­ti­on cor­rec­te. Si l’opé­ra­teur sort de ce cad­re, il peut deve­nir un four­nis­seur (→ 22).

Dans le cas de la GPAIM, il man­que un opé­ra­teur car une GPAIM ne peut pas être exploi­tée (→ 39).

22. quand l’opé­ra­teur devi­ent-il fournisseur ?

La répon­se à cet­te que­sti­on est moins simp­le qu’il n’y paraît. L’art. 25 de l’A­IA con­ti­ent la règ­le de base selon laquel­le un opé­ra­teur devi­ent un four­nis­seur dans cer­tai­nes cir­con­stances (“dee­med provider”) :

  • lorsqu’il se pré­sen­te en tant que four­nis­seurLe four­nis­seur d’o­ri­gi­ne peut, par exemp­le, appo­ser son nom ou sa mar­que sur un HRAIS après que celui-ci a été mis sur le mar­ché ou mis en ser­vice par le four­nis­seur d’origine,

  • s’il uti­li­se le HRAIS chan­ge con­sidé­ra­blem­ent (tel que défi­ni à l’ar­tic­le 3, point 23, de l’A­IA), mais sans pour autant fai­re de l’HRAIS un AIS à fai­ble ris­que, et

  • s’il uti­li­se un AIS en dehors de sa fina­li­té, de tel­le sor­te qu’il ne peut le fai­re que au HRAIS.

Dans ce con­tex­te, seul le “dee­med pro­vi­der” est con­sidé­ré com­me four­nis­seur ; le four­nis­seur initi­al est libé­ré de sa responsa­bi­li­té. Il doit tou­te­fois col­la­bo­rer avec le nou­veau four­nis­seur (art. 25, al. 2). Il peut sans dou­te fixer un prix en con­sé­quence. L’ob­li­ga­ti­on de coopé­rer est tou­te­fois sup­p­ri­mée si le pre­mier four­nis­seur a indi­qué que l’AIS ne pou­vait pas être trans­for­mé en HRAIS – ce qui plai­de éga­le­ment en faveur d’u­ne tel­le obli­ga­ti­on. Réd­ac­tion du cont­rat.

En revan­che, la simp­le uti­li­sa­ti­on d’un système HRAIS n’est pas suf­fi­san­te pour être con­sidé­ré com­me un four­nis­seur. en dehors de l’uti­li­sa­ti­on pré­vue. Le four­nis­seur doit plutôt s’at­tendre à une tel­le situa­ti­on dans une cer­taine mesu­re, com­me le mont­re, out­re l’ar­tic­le 25, l’ar­tic­le 9, para­gra­phe 2, point b) : Le RMS du four­nis­seur doit éga­le­ment tenir comp­te des ris­ques en cas d’a­bus pré­vi­si­bles. Ce n’est que lorsque l’a­bus ent­raî­ne une modi­fi­ca­ti­on importan­te ou trans­for­me un AIS en HRAIS que l’opé­ra­teur devi­ent un “dee­med pro­vi­der” selon l’art. 25. Par con­sé­quent, celui qui uti­li­se un chat­bot desti­né à l’as­si­stance à la cli­entèle pour sélec­tion­ner des can­di­dats à un emploi devi­ent un four­nis­seur HRAIS, mais pas lorsqu’il est uti­li­sé pour des enquêtes de satis­fac­tion des employés (pas de HRAIS).

Aus­si un Mise au point (→ 12) ne dev­rait pas suf­fi­re pour deve­nir le four­nis­seur de l’AIS ayant fait l’ob­jet d’un ent­raî­ne­ment com­plé­men­tai­re appro­prié, à moins que l’opé­ra­teur n’off­re l’AIS sous son pro­pre nom ou ne l’uti­li­se d’u­ne maniè­re tel­le qu’il devi­en­ne nou­vel­le­ment un HRAIS. Il n’est pas cer­tain que la qua­li­fi­ca­ti­on de l’opé­ra­teur dans le cas d’u­ne mise au point fina­le s’ap­pu­ie sur l’ar­tic­le 25 ou sim­ple­ment sur l’é­lé­ment non défi­ni de “déve­lo­p­pe­ment” de l’ar­tic­le 3, point 3. Dans ce der­nier cas, l’opé­ra­teur pour­rait plutôt être con­sidé­ré com­me un four­nis­seur dans le cas d’un fine­tu­ning. Tou­te­fois, l’A­IA uti­li­se géné­ra­le­ment le ter­me “déve­lo­p­per” dans un sens plus lar­ge (par exemp­le, à l’ar­tic­le 2, para­gra­phe 6, l’A­IA ne s’ap­pli­que pas à un AIS “déve­lo­p­pé” [et mis en ser­vice] uni­quement à des fins de recher­che). En out­re, le con­sidé­rant 93 déli­mi­te le domaine du déve­lo­p­pe­ment du rôle de l’ex­plo­itant. Mais ce qui dev­rait sur­tout peser dans la balan­ce, c’est que l’uti­li­sa­teur ne peut guè­re rem­plir les obli­ga­ti­ons du four­nis­seur en cas de fina­li­sa­ti­on, car son con­trô­le de l’AIS ne va pas assez loin. L’ex­plo­itant d’un SIPA ne devi­ent pas un four­nis­seur du seul fait qu’il uti­li­se un RAG (→ 12).

Sur GPAIM le modè­le devi­ent un SIGP dès qu’il est mis à dis­po­si­ti­on en tant que pro­duit, ne serait-ce que par l’a­jout d’u­ne inter­face uti­li­sa­teur (→ 39). Par la suite, les direc­ti­ves sus­ment­i­onnées s’ap­pli­quent. Ain­si, celui qui achè­te un MGPA et le met ensuite en ser­vice pour un cas d’uti­li­sa­ti­on don­né est le four­nis­seur de l’AIS qui en résulte.

23. qu’est-ce qu’un impor­ta­teur (impor­ta­teur) ?

L’im­por­ta­teur est une enti­té de l’UE qui impor­te un HRAIS étran­ger (c’est-à-dire un HRAIS pro­po­sé sous le nom ou la mar­que d’un aut­re) dans l’UE (art. 3, point 6).

L’im­por­ta­teur n’est pas tenu de se mett­re lui-même en con­for­mi­té, mais ses obli­ga­ti­ons se fon­dent sur cel­les du four­nis­seur – en d’aut­res ter­mes, il n’est pas un simp­le reven­deur, mais doit

  • con­trô­ler que l’éva­lua­ti­on de la con­for­mi­té a été effec­tuée, que la docu­men­ta­ti­on tech­ni­que est dis­po­ni­ble con­for­mé­ment à l’art. 11 et à l’an­ne­xe IV de l’A­IA, que l’HRAIS por­te le mar­quage CE et que le sou­mis­si­on­n­aire a dési­gné un man­da­tai­re (art. 23, al. 1), et

  • con­ser­ver la docu­men­ta­ti­on à l’in­ten­ti­on des auto­ri­tés de sur­veil­lan­ce (al. 5).

  • en cas de dou­te sur le respect des exi­gen­ces essen­ti­el­les, l’HRAIS ne doit pas être mis sur le mar­ché, et

  • en cas de ris­ques plus éle­vés (au sens de l’ar­tic­le 79, para­gra­phe 1), le four­nis­seur, le man­da­tai­re et les auto­ri­tés com­pé­ten­tes de sur­veil­lan­ce du mar­ché doi­vent être infor­més en con­sé­quence (artic­le 23, para­gra­phe 2).

24. qu’est-ce qu’un reven­deur (dis­tri­bu­teur) ?

Selon l’ar­tic­le 3, point 7, il s’a­git d’u­ne enti­té qui obti­ent un HRAIS auprès d’un four­nis­seur, d’un impor­ta­teur ou d’un aut­re opé­ra­teur et qui le met à dis­po­si­ti­on sur le mar­ché de l’U­ni­on sans être elle-même un four­nis­seur ou un impor­ta­teur, c’est-à-dire après sa mise sur le mar­ché. Par “mise à dis­po­si­ti­on”, on entend tou­te four­ni­tu­re, à tit­re oné­reux ou gra­tuit, d’un AIS ou d’u­ne AIPM en vue de sa dis­tri­bu­ti­on ulté­ri­eu­re ou de son uti­li­sa­ti­on sur le mar­ché de l’U­ni­on (artic­le 3, point 10).

Com­me l’im­por­ta­teur, le dis­tri­bu­teur doit

  • véri­fier que l’HRAIS por­te le mar­quage CE, qu’u­ne décla­ra­ti­on de con­for­mi­té et les ins­truc­tions d’uti­li­sa­ti­on sont dis­po­ni­bles et que le four­nis­seur, voi­re l’im­por­ta­teur, ont indi­qué leur nom ou leur mar­que et dis­po­sent d’un SMQ (→ 35).

  • En cas de dou­te justi­fié quant au respect des exi­gen­ces essen­ti­el­les, le HRAIS ne doit à nou­veau pas être mis à dis­po­si­ti­on et le dis­tri­bu­teur doit prend­re cont­act avec le four­nis­seur ou l’importateur.

  • Si les défauts ne peu­vent pas être cor­ri­gés, l’HRAIS doit être reti­ré du mar­ché ou rap­pelé (par le dis­tri­bu­teur, le four­nis­seur ou l’im­por­ta­teur ; art. 24, al. 4).

  • En cas de ris­ques plus éle­vés (selon l’art. 79, al. 1), le four­nis­seur ou l’im­por­ta­teur et les auto­ri­tés com­pé­ten­tes doi­vent être infor­més (art. 24, al. 4).

25. qu’est-ce qu’un fab­ri­cant de pro­duits (Pro­duct Manufacturer) ?

Ce rôle n’est pas non plus défi­ni léga­le­ment. Il s’a­git d’u­ne enti­té qui fab­ri­que un pro­duit dans lequel un AIS est inté­g­ré. Dans cer­tai­nes cir­con­stances, cet orga­nis­me devi­ent ain­si un four­nis­seur, à savoir lorsque l’AIS est une Com­po­sant de sécu­ri­té de son système, que celui-ci est cou­vert par une régle­men­ta­ti­on sur les pro­duits au sens de l’an­ne­xe I et que le fab­ri­cant du pro­duit met l’AIS à dis­po­si­ti­on sur le mar­ché en tant que par­tie de son pro­pre pro­duit et en son pro­pre nom, ou que le pro­duit est mis en ser­vice au nom du fab­ri­cant du pro­duit après sa mise à dis­po­si­ti­on sur le mar­ché (artic­le 25, para­gra­phe 3). Dans ce cas, le fab­ri­cant du pro­duit doit s’assurer que l’AIS instal­lé est con­for­me aux exi­gen­ces (con­sidé­rant 87).

26. quand faut-il dési­gner un man­da­tai­re dans l’UE ?

Selon l’art. 22, le Four­nis­seur d’un HRAIS peut dési­gner un man­da­tai­re s’il est éta­b­li en dehors de l’UE. Selon l’ar­tic­le 3, point 5, un “man­da­tai­re” est une enti­té rési­dant ou éta­b­lie dans l’UE à laquel­le le four­nis­seur d’un AIS ou d’un modè­le d’AIP­PI a don­né un man­dat écrit (c’est-à-dire pro­ba­blem­ent sous for­me de tex­te) et qui accep­te de rem­plir les obli­ga­ti­ons ou de mener les pro­cé­du­res en son nom dans le cad­re de l’AIA.

Les tâches du man­da­tai­re doi­vent être défi­nies con­trac­tu­el­le­ment, mais com­pren­nent au moins le cata­lo­gue de l’art. 22, al. 3, par exemp­le la véri­fi­ca­ti­on que la décla­ra­ti­on de con­for­mi­té et la docu­men­ta­ti­on tech­ni­que ont été éta­b­lies et que la pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té a été effec­tuée, la mise à dis­po­si­ti­on de cer­tai­nes infor­ma­ti­ons et de cer­ta­ins docu­ments à l’in­ten­ti­on des auto­ri­tés et l’ob­li­ga­ti­on de col­la­bo­rer à l’en­re­gi­stre­ment du SIAMP. L’art. 54 con­ti­ent une dis­po­si­ti­on ana­lo­gue pour les four­nis­seurs d’un GPAIM (→ 39).

Les man­da­tai­res peu­vent et, dans cer­ta­ins cas, doi­vent se démett­re de leur mandat.

Opé­ra­teur et les acteurs aut­res que le four­nis­seur n’ont pas l’ob­li­ga­ti­on de dési­gner un mandataire.

Appli­ca­ti­ons inter­di­tes et à haut ris­que (HRAIS)

27. quels sont les cas d’uti­li­sa­ti­on interdits ?

Les AIS ou les cas d’uti­li­sa­ti­on pré­sen­tant des ris­ques inac­cep­ta­bles sont excep­ti­on­nel­le­ment inter­dits en tant que “pra­ti­ques inter­di­tes”, c’est-à-dire que la mise sur le mar­ché, la mise en ser­vice ou l’uti­li­sa­ti­on d’un AIS dans un but cor­re­spond­ant est inter­di­te (art. 5) :

  • Influence sub­li­mi­na­le (art. 5, al. 1, let. a) : mani­pu­la­ti­on qui influence incon­sciem­ment le com­porte­ment, fausse une décis­i­on et cau­se ain­si un pré­ju­di­ce. Il s’a­git par exemp­le de for­mes de trom­pe­rie tel­les que les “dark pat­terns” ou le “nud­ging”, en par­ti­cu­lier par un pro­cé­dé si peu sophi­sti­qué qu’il n’est pas per­çu con­sciem­ment, par exemp­le dans un envi­ron­ne­ment vir­tuel (con­sid. 29). L’in­ten­ti­on de trom­per n’est pas une con­di­ti­on pré­alable, car la trom­pe­rie inten­ti­on­nel­le n’est qu’u­ne vari­an­te de l’infraction.

  • Explo­ita­ti­on de la vul­né­ra­bi­li­té, en rai­son de l’â­ge, d’un han­di­cap, etc. (art. 5, al. 1, let. b). Ici aus­si, il s’a­git de la dis­tor­si­on pré­ju­di­cia­ble des décis­i­ons (con­sidé­rant 29). L’ac­tion affir­ma­ti­ve pro­por­ti­onnée n’est pas visée ;

  • Scoring social (art. 5, al. 1, let. c) : éva­lua­ti­on de per­son­nes en fonc­tion de leur com­porte­ment social ou de leurs carac­té­ri­sti­ques per­son­nel­les sur une longue péri­ode, lorsque des per­son­nes sont trai­tées de maniè­re iné­qui­ta­ble, c’est-à-dire lorsque l’uti­li­sa­ti­on de l’AIS aurait une con­sé­quence inat­ten­due ou dis­pro­por­ti­onnée pour les per­son­nes con­cer­nées. L’éva­lua­ti­on de la sol­va­bi­li­té, qui n’est pas inter­di­te mais haute­ment ris­quée, n’est pas cou­ver­te (→ 32) ;

  • Éva­lua­ti­on des ris­ques pour les délits (Pre­dic­ti­ve Poli­cing) par pro­fi­la­ge (artic­le 5, para­gra­phe 1, point d ; avec des exceptions) ;

  • Recon­nais­sance des visa­gesCréa­ti­on de bases de don­nées de recon­nais­sance facia­le par le biais d’un lar­ge scra­ping d’i­mages pro­venant d’In­ter­net ou d’en­re­gi­stre­ments de sur­veil­lan­ce (art. 5, al. 1, let. e). La com­pa­rai­son d’u­ne image avec des images sur Inter­net, par exemp­le, ne serait pas cou­ver­te, car il n’y a pas de scraping ;

  • Recon­nais­sance des émo­ti­ons sur le lieu de tra­vail ou dans les éta­blis­se­ments d’ens­eig­ne­ment (artic­le 5, para­gra­phe 1, point f ; avec des excep­ti­ons pour les pré­oc­cu­pa­ti­ons liées à la san­té ou à la sécu­ri­té). La recon­nais­sance des émo­ti­ons dans d’aut­res domain­es n’est pas inter­di­te. Il serait par exemp­le inter­dit de tran­scr­i­re des appels et d’éva­luer si un con­seil­ler à la cli­entèle est suf­fi­sam­ment aima­ble ou si un col­la­bo­ra­teur exprime des émo­ti­ons néga­ti­ves envers l’entre­pri­se. Com­me l’A­IA n’uti­li­se pas la noti­on défi­nie de système de recon­nais­sance des émo­ti­ons pour cet­te inter­dic­tion, la recon­nais­sance des “inten­ti­ons” (art. 3, point 39) n’est pas cou­ver­te, il doit s’a­gir d’é­mo­ti­ons, mais la base d’u­ne recon­nais­sance d’in­ten­ti­on peut être non seu­le­ment des don­nées bio­mé­tri­ques, mais aus­si d’aut­res données ;

  • Caté­go­ri­sa­ti­on selon les don­nées bio­mé­tri­quesLes don­nées per­son­nel­les peu­vent être uti­li­sées pour iden­ti­fier la race, les opi­ni­ons poli­ti­ques, les con­vic­tions reli­gieu­ses, l’o­ri­en­ta­ti­on sexu­el­le, etc. La noti­on de “don­nées bio­mé­tri­ques” est défi­nie à l’ar­tic­le 3, point 34, il doit s’a­gir de don­nées per­son­nel­les. Les AIS sont tou­te­fois exclus de l’in­ter­dic­tion lorsque la caté­go­ri­sa­ti­on n’est qu’u­ne fonc­tion acces­soire d’un aut­re ser­vice com­mer­cial, néces­saire pour des rai­sons tech­ni­ques objec­ti­ves (art. 3, point 40) ; par exemp­le lorsqu’un ser­vice en ligne uti­li­se des carac­té­ri­sti­ques cor­po­rel­les pour l’achat de vête­ments (dans la mesu­re où il s’a­git de don­nées biométriques) ;

  • Iden­ti­fi­ca­ti­on bio­mé­tri­que à distance en temps réel dans les zones acce­s­si­bles au public (art. 5, al. 1, let. h, et al. 2 à 7 ; avec des excep­ti­ons). L’au­then­ti­fi­ca­ti­on n’est pas cou­ver­te (→ 29).

La Com­mis­si­on a éga­le­ment adop­té des lignes direc­tri­ces sur les pra­ti­ques inter­di­tes (→ 51).

Ces inter­dic­tions peu­vent se recou­per avec d’aut­res inter­dic­tions, par exemp­le des inter­dic­tions de trom­pe­rie rele­vant du droit de la con­cur­rence ou des limi­tes rele­vant du droit de la pro­tec­tion des don­nées. Le fait qu’un AIS ne soit pas inter­dit ne signi­fie donc pas qu’il est auto­ri­sé de maniè­re géné­ra­le. Des rest­ric­tions peu­vent résul­ter, par exemp­le, du droit de la pro­tec­tion des don­nées et du droit de la con­cur­rence déloyale.

28. qu’est-ce qu’un système d’IA à haut risque ?

AIS ou cas d’uti­li­sa­ti­on dans des domain­es sen­si­bles tels que les infras­truc­tures cri­ti­ques, l’é­du­ca­ti­on, l’em­ploi, les ser­vices publics essen­tiels ou l’ap­pli­ca­ti­on de la loi ; ils sont sou­mis aux exi­gen­ces qui con­sti­tu­ent la par­tie prin­ci­pa­le de l’A­IA (→ 15). L’ar­tic­le 6 régit la clas­si­fi­ca­ti­on d’un AIS en tant que HRAIS.

Il con­vi­ent de distin­guer deux cas de figure :

Le pre­mier cas visé à l’ar­tic­le 6, para­gra­phe 1, con­cer­ne les AIS qui relè­vent d’u­ne Régle­men­ta­ti­on des pro­duits en ver­tu de l’an­ne­xe I par­ce que l’AIS ou son cas d’uti­li­sa­ti­on est lui-même sou­mis à une tel­le régle­men­ta­ti­on ou par­ce qu’il a été inté­g­ré dans un tel pro­duit en tant que com­po­sant de sécu­ri­té (au sens de l’ar­tic­le 3, point 14)). Le ris­que lié au pro­duit est ici au pre­mier plan, en par­ti­cu­lier les ris­ques pour la vie et l’in­té­gri­té cor­po­rel­le. L’an­ne­xe I distin­gue deux catégories :

  • La pre­miè­re caté­go­rie de la sec­tion A con­cer­ne les régle­men­ta­ti­ons sur les pro­duits qui visent à Nou­vel­le appro­che sui­vent la pro­cé­du­re. Dans ce cas, l’A­IA est direc­te­ment appli­ca­ble. Cela con­cer­ne par exemp­le les machi­nes, les jou­ets, les explo­sifs ou les dis­po­si­tifs médicaux.

  • La secon­de, dans la sec­tion B, con­cer­ne les régle­men­ta­ti­ons des pro­duits en dehors de la nou­vel­le appro­che. L’AIA est ici pas direc­te­ment appli­ca­ble. Au lieu de cela, les actes juri­di­ques cor­re­spond­ants sont adap­tés aux artic­les 102 et sui­vants de maniè­re à ce que les spé­ci­fi­ca­ti­ons du cha­pit­re III, sec­tion 2 (artic­les 8 et sui­vants, exi­gen­ces essen­ti­el­les pour HRAIS) soi­ent pri­ses en comp­te dans l’ar­rê­té sec­to­ri­el. Cela con­cer­ne les moy­ens de trans­port (avia­ti­on, chem­ins de fer, véhi­cu­les à moteur, etc.).

Il est sup­po­sé que le pro­duit ou l’AIS en tant que pro­duit per­met­te d’ef­fec­tuer une Éva­lua­ti­on de la con­for­mi­té par des tiers (artic­le 6, para­gra­phe 1, point b). La que­sti­on de savoir si cela peut éga­le­ment cou­vr­ir les cas où une pro­cé­du­re inter­ne d’éva­lua­ti­on de la con­for­mi­té est appli­quée est controversée.

Le deu­xiè­me cas, pré­vu à l’ar­tic­le 6, para­gra­phe 2, con­cer­ne les AIS qui, en Anne­xe III est men­ti­onné. L’an­ne­xe III con­cer­ne cer­ta­ins domain­es d’uti­li­sa­ti­on ; le point de rat­ta­che­ment est donc moins un ris­que lié au pro­duit qu’un ris­que lié à l’uti­li­sa­ti­on. Il s’a­git des cas sui­vants, énu­mé­rés de maniè­re exhaus­ti­ve, où il s’a­git à chaque fois d’uti­li­ser le HRAIS con­for­mé­ment à sa desti­na­ti­on (détails 29 et suivants) :

  • Bio­mé­trie: uti­li­sa­ti­on de l’AIS pour l’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance, la caté­go­ri­sa­ti­on bio­mé­tri­que ou la recon­nais­sance des émo­ti­ons (cf. → 27) ;

  • Infras­truc­tu­re cri­tique: AIS, qui sert de com­po­san­te de sécu­ri­té dans cer­tai­nes infras­truc­tures cri­ti­ques (→ 31) ;

  • Édu­ca­ti­on et for­ma­ti­on: AIS pour gérer l’ac­cès aux off­res de for­ma­ti­on, l’éva­lua­ti­on des résul­tats d’app­ren­tis­sa­ge ou le sui­vi lors des examens (→ 30) ;

  • Emploi, gesti­on des res­sour­ces humain­es et accès au tra­vail indé­pen­dant: AIS dans le domaine du recru­tement ou pour des décis­i­ons per­ti­nen­tes ou l’ob­ser­va­ti­on et l’éva­lua­ti­on des per­for­man­ces ou des com­porte­ments (→ 30) ;

  • Ser­vices de base et pre­sta­ti­onsAIS pour l’éva­lua­ti­on du droit à une aide publi­que (par ex. assu­rance socia­le), l’éva­lua­ti­on de la sol­va­bi­li­té, la déter­mi­na­ti­on des ris­ques et des pri­mes dans l’assu­rance vie et mala­die ou le tria­ge des appels d’ur­gence, des inter­ven­ti­ons d’ur­gence et des pre­miers secours (→ 32) ;

  • AIS à l’ap­pui des ser­vices répres­sifs, dans le domaine de la migra­ti­on, de l’a­si­le et du con­trô­le des fron­tiè­res et dans celui de la justi­ce et de la for­ma­ti­on de l’o­pi­ni­on démo­cra­tique (→ 33).

Le critère déter­mi­nant est l’uti­li­sa­ti­on de l’AIS con­for­mé­ment à sa desti­na­ti­on, cel­le-ci étant défi­nie soit par le fab­ri­cant (art. 3 n° 12), soit par l’ex­plo­itant qui uti­li­se un AIS en dehors de sa desti­na­ti­on (art. 25 → Q22).

29. quels sont les cas à haut ris­que dans le domaine de la biométrie ?

L’an­ne­xe III, ch. 1, règ­le les cas d’uti­li­sa­ti­on dans le domaine de la bio­mé­trie. Trois cas sont recensés :

  • Le pre­mier cas est celui de la iden­ti­fi­ca­ti­on bio­mé­tri­que à distance. Cel­le-ci est défi­nie léga­le­ment à l’ar­tic­le 3, point 41. Il s’a­git des AIS desti­nés à iden­ti­fier des per­son­nes sans leur par­ti­ci­pa­ti­on et, en règ­le géné­ra­le, à distance. Ne sont donc pas visés les systè­mes d’au­then­ti­fi­ca­ti­on des locaux et des appareils tels que les scan­ners d’i­ris, de visa­ge, de vei­nes et d’em­prein­tes digi­ta­les (voir aus­si con­sidé­rant 54). En revan­che, une camé­ra instal­lée au-des­sus d’u­ne auto­rou­te serait cou­ver­te si un AIS compa­re les images avec une base de données.

  • Le deu­xiè­me cas con­cer­ne caté­go­ri­sa­ti­on bio­mé­tri­que de per­son­nes, lorsqu’un AIS est desti­né à dédui­re des “attri­buts sen­si­bles ou pro­té­gés” (par exemp­le, les per­son­nes sont clas­sées en eth­nies par l’IA). Ne sont pas cou­verts (→ 27) les cas où la caté­go­ri­sa­ti­on n’est qu’u­ne fonc­tion acces­soire d’un aut­re ser­vice com­mer­cial, néces­saire pour des rai­sons tech­ni­ques objec­ti­ves (artic­le 3, point 40).

  • Le troi­siè­me cas est celui des AIS pour Recon­nais­sance des émo­ti­ons. Selon l’ar­tic­le 3, point 39, il s’a­git d’AIS qui doi­vent détec­ter ou préd­ire des “émo­ti­ons ou inten­ti­ons”, mais sur la base de don­nées bio­mé­tri­ques. Cela con­cer­ne par exemp­le un AIS qui déduit des émo­ti­ons à par­tir de la voix – colo­ra­ti­on, trem­blem­ent, etc. Une déduc­tion sur la san­té dev­rait éga­le­ment être pos­si­ble, dans une inter­pré­ta­ti­on lar­ge. La base doit tou­te­fois être une don­née bio­mé­tri­que. Si les émo­ti­ons (ou les inten­ti­ons) sont éva­luées sur la base d’e-mails ou d’aut­res tex­tes, l’AIS ne devi­ent pas pour autant un HRAIS. Tou­te­fois, dans le domaine du tra­vail, le résul­tat peut être dif­fé­rent, car un AIS devi­ent un HRAIS, ent­re aut­res, lorsqu’il sert à influen­cer des décis­i­ons sur les con­di­ti­ons de tra­vail, la pro­mo­ti­on, le licen­cie­ment, etc. ou à obser­ver les per­for­man­ces ou le com­porte­ment (→ 30). Cela vaut bien enten­du aus­si lorsque les don­nées d’en­trée sont des don­nées biométriques.

30. quels sont les cas à haut ris­que dans le domaine du tra­vail et de l’éducation ?

Com­me men­ti­onné, l’an­ne­xe III men­ti­on­ne des cas d’ap­pli­ca­ti­on (use cases) con­sidé­rés com­me à haut ris­que (→ 28). L’an­ne­xe III, ch. 3, con­cer­ne les la for­ma­ti­on (con­ti­n­ue) pro­fes­si­on­nel­le et non professionnelle :

  • Un pre­mier cas d’ap­pli­ca­ti­on (let. a) est celui des AIS qui doi­vent être uti­li­sés pour l’ac­cès ou l’ad­mis­si­on aux off­res de for­ma­ti­on con­stater. “Déter­mi­ner” signi­fie “déter­mi­ner”, com­me il res­sort du con­sidé­rant 56 – un AIS dont l’uti­li­sa­ti­on pré­vue est une fonc­tion de gate­kee­per pour les off­res de for­ma­ti­on, par exemp­le lors d’un examen d’ad­mis­si­on ou d’ap­ti­tu­de, est donc à haut ris­que. Cela ne con­cer­ne pas seu­le­ment les décis­i­ons rela­ti­ves à l’ac­cès en tant que tel, mais aus­si le choix ent­re dif­fé­ren­tes off­res de for­ma­ti­on. “Déter­mi­ner” est plus que “par­ti­ci­per”. Un AIS qui émet des recom­man­da­ti­ons sur l’ac­cès ne serait donc pas peu couvert.

  • Un deu­xiè­me cas est celui d’un AIS uti­li­sé pour Éva­lua­tions des “résul­tats d’app­ren­tis­sa­ge est déter­mi­née. Il s’a­git donc en par­ti­cu­lier de l’éva­lua­ti­on des examens. La for­mu­la­ti­on de la loi va tou­te­fois un peu plus loin, l’éva­lua­ti­on des résul­tats d’app­ren­tis­sa­ge sem­ble suf­fi­re en soi. La fonc­tion de cor­rec­tion d’un pro­gram­me d’app­ren­tis­sa­ge des lan­gues, par exemp­le, serait donc éga­le­ment cou­ver­te si elle uti­li­se un AIS, même s’il ne s’a­git que de réus­sir un niveau.

  • Le troi­siè­me cas se recou­pe avec le pre­mier : il s’a­git de l’AIS qui sert à Éva­lua­ti­on du niveau d’é­du­ca­ti­on que quel­qu’un doit obte­nir ou à laquel­le elle est admi­se. Les tests d’ap­ti­tu­de dev­rai­ent être au pre­mier plan. Il doit tou­te­fois s’a­gir de la for­ma­ti­on – la gesti­on des talents avec une éva­lua­ti­on de l’ap­ti­tu­de à un aut­re poste basée sur l’IA ne serait pas cou­ver­te ici (mais relè­ver­ait d’un aut­re cas d’uti­li­sa­ti­on, voir ci-dessous).

  • Le qua­triè­me cas con­cer­ne les AIS qui, con­for­mé­ment à leur desti­na­ti­on, sont uti­li­sés pour Sur­veil­lan­ce des examens être uti­li­sés dans l’é­du­ca­ti­on et la formation.

Reste à savoir dans quel­le mesu­re le Noti­on d’é­du­ca­ti­on doit être com­pri­se. Selon le con­sidé­rant 56, cela com­prend “les éta­blis­se­ments ou les pro­gram­mes d’ens­eig­ne­ment et de for­ma­ti­on pro­fes­si­on­nel­le à tous les niveaux”, c’est-à-dire l’ens­eig­ne­ment sco­lai­re, mais aus­si la for­ma­ti­on initia­le et con­ti­n­ue. En revan­che, les for­ma­ti­ons inter­nes qui ne ser­vent pas à la for­ma­ti­on con­ti­n­ue, par exemp­le les for­ma­ti­ons à la con­for­mi­té, ne sont guè­re pri­ses en comp­te. Une éva­lua­ti­on assi­s­tée par IA des que­sti­ons de test lors d’u­ne tel­le for­ma­ti­on ne dev­rait donc pas suf­fi­re. Il s’a­git tou­te­fois d’un cas limi­te, et les cas d’uti­li­sa­ti­on liés au poste de tra­vail (voir ci-des­sous) sont sou­vent uti­li­sés (en par­ti­cu­lier l’éva­lua­ti­on du com­porte­ment et des per­for­man­ces d’un collaborateur).

L’an­ne­xe III, point 4, con­cer­ne spé­ci­fi­quement le Espace de tra­vail. Il con­vi­ent de fai­re la distinc­tion ent­re la pro­cé­du­re de recru­tement et la rela­ti­on de travail :

  • Les HRAIS sont des AIS con­çus pour les Recru­tement ou sélec­tion de can­di­dats doi­vent être uti­li­sées. Il s’a­git d’u­ne descrip­ti­on lar­ge, car ni le type ni l’ef­fi­ca­ci­té de l’uti­li­sa­ti­on ne sont limi­tés. Ce cas d’uti­li­sa­ti­on est éga­le­ment lar­ge, com­me le tex­te l’il­lu­stre : il suf­fit qu’un AIS “trie” ou “filt­re” les candidatures.

Com­me pour tous les cas d’uti­li­sa­ti­on de l’an­ne­xe III, cet­te uti­li­sa­ti­on doit tou­te­fois se situer dans le cad­re d’u­ne uti­li­sa­ti­on con­for­me à la desti­na­ti­on. La for­mu­la­ti­on d’u­ne off­re d’em­ploi avec ChatGPT ne suf­fit donc pas. En revan­che, celui qui con­struit un AIS qui caté­go­ri­se les can­di­da­tures sur la base d’un modè­le Ope­nAI exploi­te un HRAIS. Il dev­rait éga­le­ment suf­fi­re qu’un AIS exami­ne les can­di­da­tures pour savoir si elles cor­re­spon­dent bien à une off­re d’em­ploi – une for­me de recher­che sém­an­tique qui cor­re­spond à un “tri” des candidatures.

  • les décis­i­ons rela­ti­ves aux con­di­ti­ons de tra­vail, à la pro­mo­ti­on et au licen­cie­ment. Il n’est pas clair, à pre­miè­re vue, si l’AIS doit prend­re ces décis­i­ons ou seu­le­ment les influen­cer. Le tex­te de la loi indi­que que c’est le cas : il s’a­git d’uti­li­ser l’AIS pour prend­re des décis­i­ons qui, par la suite, influen­cent les con­di­ti­ons de tra­vail, etc. Mais l’AIS ne doit pas prend­re lui-même la décis­i­on ; il suf­fit qu’il soit desti­né à sou­te­nir une décis­i­on humaine sur de tels points (le tex­te anglais est plus clair : “inten­ded to be used to make decis­i­ons”, et non “inten­ded to make decis­i­ons”). L’ob­jec­tif de la loi selon le con­sidé­rant 57 plai­de éga­le­ment en faveur de cet­te inter­pré­ta­ti­on (pro­tec­tion des per­spec­ti­ves de car­ri­è­re et des moy­ens d’e­xi­stence cont­re une “influence sensible”).

  • Deux aut­res cas d’uti­li­sa­ti­on s’ap­pli­quent de maniè­re com­plé­men­tai­re. Le pre­mier est un Attri­bu­ti­on des tâches sur la base du com­porte­ment ou des carac­té­ri­sti­ques ou qua­li­tés per­son­nel­les, l’aut­re les Obser­va­ti­on et éva­lua­ti­on des per­for­man­ces et du com­porte­ment. Un AIS devi­ent donc un HRAIS dès lors qu’il éva­lue un com­porte­ment, même si aucu­ne décis­i­on n’est pri­se, pré­pa­rée ou influen­cée par la suite en ce qui con­cer­ne l’é­vo­lu­ti­on de la car­ri­è­re (même si les éva­lua­tions des per­for­man­ces ou du com­porte­ment basées sur l’IA sont géné­ra­le­ment con­çues pour prend­re de tel­les décisions).

Un HRAIS serait donc une éva­lua­ti­on AI de la per­for­mance d’un col­la­bo­ra­teur dans un cent­re d’ap­pels. En revan­che, un HRAIS ne serait pas une opti­mi­sa­ti­on AI des tra­jets du ser­vice exter­ne. En prin­ci­pe, le com­porte­ment des col­la­bo­ra­teurs con­cer­nés est cer­tes éva­lué. Mais l’éva­lua­ti­on ne se réfè­re pas à ce com­porte­ment, elle en fait abstrac­tion. Dans ce cas, la pro­gres­si­on pro­fes­si­on­nel­le n’é­tant pas men­acée, il ne dev­rait pas s’a­gir d’un HRAIS. En revan­che, si l’IA éva­lue ensuite si un con­duc­teur suit l’i­tin­é­rai­re opti­mal, il s’a­gi­rait d’un HRAIS. La con­nais­sance humaine du résul­tat ne dev­rait pas être une con­di­ti­on pré­alable. Un assi­stant à la con­duite qui fait des pro­po­si­ti­ons en fonc­tion de l’i­tin­é­rai­re effec­ti­ve­ment emprun­té serait donc un HRAIS. Il en va de même pour un AIS uti­li­sé dans le cad­re de la pro­duc­tion pour opti­mi­ser les processus.

Cela ne dit pas tout ce qui fait par­tie du “domaine d’ac­ti­vi­té”. De même, la tra­vail indé­pen­dant peut être cou­vert, d’autant plus que le con­sidé­rant 57 men­ti­on­ne éga­le­ment “l’ac­cès au sta­tut d’in­dé­pen­dant”. Tous les cas de figu­re men­ti­onnés peu­vent éga­le­ment s’ap­pli­quer lorsque la sélec­tion, la décis­i­on, l’ob­ser­va­ti­on ou l’éva­lua­ti­on ne con­cer­ne pas un sala­rié, mais un tra­vail­leur indé­pen­dant. Un sta­tut simi­lai­re à celui d’un sala­rié, c’est-à-dire une cer­taine dépen­dance et sub­or­di­na­ti­on, doit tou­te­fois être exi­gé ; dans le cas con­trai­re, il n’e­xi­ste pas de beso­in de pro­tec­tion correspondant.

31. quels sont les cas à haut ris­que pour les infras­truc­tures critiques ?

L’AIA ne pré­voit ici qu’un seul cas : Un AIS est un com­po­sant de sécu­ri­té uti­li­sé (con­for­mé­ment à sa desti­na­ti­on) dans la com­man­de ou l’ex­plo­ita­ti­on d’u­ne infras­truc­tu­re numé­ri­que cri­tique au sens du point 8 de l’an­ne­xe de la direc­ti­ve 2022/2557 rela­ti­ve à la rési­li­ence des instal­la­ti­ons cri­ti­ques (direc­ti­ve CER), https://dtn.re/D2CV56) et dans le domaine du trans­port rou­tier ou de la dis­tri­bu­ti­on d’eau, de gaz, de chaleur ou d’électricité.

32. quels aut­res cas dans le domaine pri­vé sont à haut risque ?

L’an­ne­xe III, ch. 5, règ­le trois aut­res cas qui sont per­tin­ents dans le domaine privé.

  • Le pre­mier con­cer­ne l’AIS pour les “Éva­lua­ti­on de la sol­va­bi­li­té et du cré­dit“per­son­nes phy­si­ques (mais pas les per­son­nes mora­les). C’est rela­ti­ve­ment lar­ge, car l’A­IA ne défi­nit pas ce qui relè­ve de ces noti­ons. En tout état de cau­se, il ne s’a­git pas seu­le­ment des agen­ces de rens­eig­ne­ments com­mer­ci­aux et des four­nis­seurs com­pa­ra­bles d’in­for­ma­ti­ons sur la sol­va­bi­li­té, mais aus­si des ent­re­pri­ses qui procè­dent à des éva­lua­tions cor­re­spond­an­tes pour elles-mêmes ou pour des socié­tés du grou­pe (pour autant qu’el­les soi­ent basées sur l’IA).

  • Tou­te­fois, les AIS uti­li­sés pour “Détec­tion de la frau­de finan­ciè­resont uti­li­sés”. Le tex­te par­le ici de “sont uti­li­sés” et non de “sont desti­nés à être uti­li­sés”. Cela pour­rait lais­ser pen­ser qu’un AIS n’est pas (plus) un HRAIS, même si son objec­tif pre­mier est l’éva­lua­ti­on de la sol­va­bi­li­té, mais qu’il n’est uti­li­sé que pour la détec­tion de la frau­de. Cela est tou­te­fois en con­tra­dic­tion avec le con­sidé­rant 58, qui est plus rest­ric­tif : seuls les AIS “pré­vus” pour la pré­ven­ti­on de la frau­de sont exclus. Mais il est en même temps plus lar­ge : les AIS pré­vus par le droit de l’U­ni­on pour la détec­tion de la frau­de finan­ciè­re ou le cal­cul des exi­gen­ces de fonds pro­pres ne sont pas des HRAIS. Cela pour­rait poser un pro­blè­me à un pre­sta­tai­re de ser­vices finan­ciers sui­s­se qui uti­li­se un AIS pour cal­cu­ler les exi­gen­ces sui­s­ses en matiè­re de fonds pro­pres (donc pas sur la base du droit de l’UE) et qui met le résul­tat à la dis­po­si­ti­on de sa mai­son mère de l’UE et tom­be donc loca­le­ment sous le coup de l’AI Act (→ 18).

  • Un AIS devi­ent éga­le­ment un HRAIS lorsqu’il est uti­li­sé dans le cad­re d’un système de navi­ga­ti­on par satel­li­te. Domaine de l’assu­rance sert à l’ex­amen du ris­que ou à la fix­a­ti­on des pri­mes, mais uni­quement dans le domaine de l’assu­rance-vie ou de l’assurance-maladie.

  • De même, un HRAIS est un AIS uti­li­sé pour le tria­ge des Appels d’ur­gence ou l’in­ter­ven­ti­on du ser­vice sani­taire, de la poli­ce ou des pom­piers, ou enco­re la prio­ri­té accor­dée aux pre­miers secours.

  • Enfin, selon l’an­ne­xe III, point 6, les AIS qui sont uti­li­sés pour l’é­ta­blis­se­ment des faits et l’ap­pli­ca­ti­on du droit par des Arbi­tra­ges et média­teurs (out­re les tri­bu­naux éta­ti­ques → 33). Serai­ent par exemp­le cou­verts les AIS qui éta­blis­sent les faits à par­tir de dos­siers, mais com­me tou­jours sous réser­ve d’un sou­ti­en sub­or­don­né au sens de l’ar­tic­le 6, para­gra­phe 3 (→ 34), par exemp­le “l’an­ony­mi­sa­ti­on ou la pseud­ony­mi­sa­ti­on de juge­ments, de docu­ments ou de don­nées judi­ciai­res, la com­mu­ni­ca­ti­on ent­re le per­son­nel ou les tâches admi­ni­stra­ti­ves” (con­sidé­rant 61). Les AIS peu­vent éga­le­ment con­sti­tuer un HRAIS dans le domaine pri­vé en rela­ti­on avec l’in­fluence sur les élec­tions et les votes (→ 33).

33. quels sont les cas à haut ris­que dans le sec­teur public ?

L’an­ne­xe III con­ti­ent quel­ques cas d’uti­li­sa­ti­on qui ne sont per­tin­ents que dans le sec­teur public (mais qui inclu­ent les ent­re­pri­ses tra­vail­lant pour le comp­te d’u­ne auto­ri­té publique).

L’an­ne­xe III, point 5, con­cer­ne les AIS desti­nés à être uti­li­sés par ou pour les auto­ri­tés publi­ques afin d’éva­luer si un droit à “les pre­sta­ti­ons et ser­vices publics de base“doit être limi­tée ou sup­p­ri­mée. Cela con­cer­ne par exemp­le la sécu­ri­té socia­le ou l’ai­de socia­le. Ces cas sont tou­te­fois limi­tés à l’ap­pli­ca­ti­on aux per­son­nes physiques.

L’an­ne­xe III, point 6, con­cer­ne dif­fér­ents cas d’uti­li­sa­ti­on dans le domaine de la Pour­suites judi­ciai­res, et ch. 7 dans le domaine de la migra­ti­on, de l’a­si­le et du con­trô­le des fron­tiè­res. Le point 8 a) con­cer­ne ensuite les AIS desti­nés à être uti­li­sés par ou pour une auto­ri­té judi­ciai­re (y com­pris le règle­ment pri­vé des liti­ges → 32) en tant qu’ai­de à l’é­ta­blis­se­ment des faits et à l’ap­pli­ca­ti­on du droit. Selon la lett­re b, les AIS sont éga­le­ment à haut ris­que lorsqu’ils ser­vent à influen­cer le résul­tat d’u­ne élec­tion ou d’un vote ou le com­porte­ment élec­to­ral. Il doit tou­te­fois s’a­gir d’u­ne influence direc­te – les instru­ments AIS desti­nés à four­nir un sou­ti­en admi­ni­stra­tif à des cam­pa­gnes ne sont pas concernés.

34. exi­ste-t-il des cas dans les­quels un HRAIS n’est excep­ti­on­nel­le­ment pas con­sidé­ré com­me à haut risque ?

Oui. Con­trai­re­ment aux cas à haut ris­que liés aux pro­duits, il est pos­si­ble, dans le cas des clas­si­fi­ca­ti­ons liées à l’uti­li­sa­ti­on selon l’an­ne­xe III (→ 28), de démon­trer l’ab­sence de ris­que éle­vé au sens d’u­ne exception.

C’est le cas, selon l’ar­tic­le 6, para­gra­phe 3, à deux con­di­ti­ons cumulatives :

  • Pre­miè­re­ment, le Uti­li­sa­ti­on de l’AIS inof­fen­si­ve être, par­ce qu’il n’im­pli­que pas un ris­que plus important et n’in­fluence pas de maniè­re signi­fi­ca­ti­ve une décis­i­on (con­sidé­rant 53). C’est le cas s’il n’est desti­né qu’à cela,

  • d’ef­fec­tuer une “tâche pro­cé­du­ra­le étroi­te” (par exemp­le, struc­tu­rer des don­nées non struc­tu­rées ou caté­go­ri­ser des don­nées), ou

  • d’a­mé­lio­rer le résul­tat d’u­ne acti­vi­té humaine en tant que simp­le couche sup­p­lé­men­tai­re (par ex. lors de l’ ”amé­lio­ra­ti­on” désor­mais cou­ran­te d’un tex­te rédi­gé par un être humain), ou d’i­den­ti­fier des modè­les de décis­i­on ou des écarts par rap­port à des modè­les de décis­i­on anté­ri­eurs (par ex. lors d’u­ne véri­fi­ca­ti­on visa­nt à déter­mi­ner si un examen humain s’é­car­te d’un modè­le pré­dé­fi­ni), ou

  • d’ef­fec­tuer une simp­le tâche pré­pa­ra­toire à une éva­lua­ti­on (par ex. lors de la tra­duc­tion de tex­tes desti­nés à un usa­ge humain ulté­ri­eur) ; dans chaque cas, voir l’art. 6, al. 3 et le con­sidé­rant 53). La Com­mis­si­on euro­pé­en­ne (→ 51) dev­rait pro­po­ser des con­cré­ti­sa­ti­ons dans ce domaine.

  • Deu­xiè­me­ment, l’AIS ne doit pas pas de pro­fi­la­ge (loc. cit.). Pour cet­te noti­on, l’A­IA ren­voie au RGPD (https://dtn.re/8YoXjh); Art. 4 n° 4.

Un four­nis­seur sou­hai­tant béné­fi­ci­er de cet­te excep­ti­on doit docu­men­ter cet­te éva­lua­ti­on avant la mise sur le mar­ché ou la mise en ser­vice (artic­le 6, para­gra­phe 4). Il doit éga­le­ment enre­gi­strer l’AIS de la même maniè­re qu’un HRAIS (art. 49).

Obli­ga­ti­ons fon­da­men­ta­les chez HRAIS

35. quel­les sont les prin­ci­pa­les obli­ga­ti­ons tout au long de la chaî­ne de valeur ?

Tou­tes les étapes inter­mé­di­ai­res dans le cad­re de la chaî­ne de créa­ti­on de valeur ne sont pas des déclen­cheurs prin­ci­paux d’ob­li­ga­ti­ons et de con­train­tes. En prin­ci­pe, les AIS doi­vent satis­fai­re aux exi­gen­ces essen­ti­el­les au moment de leur mise sur le mar­ché ou de leur mise en ser­vice (→ 15). Tou­te­fois, d’un point de vue pra­tique, d’aut­res opé­ra­ti­ons déclen­chent éga­le­ment cer­tai­nes obligations.

Ces obli­ga­ti­ons peu­vent être répar­ties com­me suit, sach­ant que l’at­tri­bu­ti­on aux dif­fé­ren­tes pha­ses ne peut pas être pré­cise, car l’A­IA ne défi­nit pas juri­di­quement tou­tes ces étapes, qui doi­vent être distin­guées de fac­to, com­me point de rat­ta­che­ment des obli­ga­ti­ons. Les détails rela­tifs aux dif­fé­ren­tes obli­ga­ti­ons figu­rent dans les que­sti­ons et répon­ses citées en réfé­rence. Il con­vi­ent en out­re de noter que pour les pro­duits visés à l’an­ne­xe III, sec­tion B, ce n’est pas l’A­IA qui s’ap­pli­que, mais les obli­ga­ti­ons repri­ses dans la régle­men­ta­ti­on cor­re­spond­an­te des pro­duits (→ 28).

SystèmeRou­leauDéclen­cheurCon­sé­quen­ces juri­di­ques et exigences
Four­nis­seur
1HRAISFour­nis­seurAppro­vi­si­on­ne­ment des com­po­sants du systèmeSi le four­nis­seur achè­te des com­po­sants à un sous-trai­tant – il s’a­gi­ra de com­po­sants logi­ciels, car dans une com­bi­nai­son de maté­ri­el et de logi­ciel, seul le logi­ciel dev­rait être con­sidé­ré com­me un AIS et l’achat de maté­ri­el ne con­sti­tue donc pas une instal­la­ti­on dans un AIS (→ 28) -, il doit con­clu­re un accord avec le four­nis­seur. Con­clu­re un cont­rat. Le cont­rat doit être écrit, c’est-à-dire pro­ba­blem­ent docu­men­té sous for­me de tex­te, et rég­ler les points essen­tiels pour le four­nis­seur du SIHAR (art. 25, al. 4). L’AI Office (→ 52) doit four­nir des modè­les à cet égard.

Cet­te obli­ga­ti­on ne s’ap­pli­que pas à la four­ni­tu­re d’u­ne IGP non con­for­me à une licence lib­re et ouver­te (FOSS), mais les four­nis­seurs de logi­ciels cor­re­spond­ants sont encou­ra­gés à four­nir des infor­ma­ti­ons per­ti­nen­tes pour les four­nis­seurs HRAIS (con­sidé­rant 89).
2HRAISFour­nis­seurFor­ma­ti­onUn HRAIS ne doit pas néces­saire­ment être ent­raî­né – il ne s’a­git pas d’u­ne obli­ga­ti­on en soi (art. 10, al. 6 ; pas non plus d’u­ne mesu­re de réduc­tion des ris­ques : con­sidé­rant 65), mais plutôt d’u­ne cir­con­stance qui peut con­dui­re à la qua­li­fi­ca­ti­on d’AIS (→ 13). Dans le cas d’un ent­raî­ne­ment, cer­tai­nes exi­gen­ces s’ap­pli­quent tou­te­fois.

Tout d’a­bord, il faut se deman­der avec quel­les don­nées un HRAIS doit ou peut être ent­raî­né. Pour cela, l’ar­tic­le 10, para­gra­phe 3 (gou­ver­nan­ce des don­nées) fixe des exi­gen­ces : Les don­nées de test doi­vent tenir comp­te de carac­té­ri­sti­ques ou d’é­lé­ments qui sont typi­ques des con­di­ti­ons-cad­res du HRAIS dans son uti­li­sa­ti­on con­for­me à sa desti­na­ti­on, c’est-à-dire qu’el­les doi­vent être signi­fi­ca­ti­ves. Cela peut inclu­re l’uti­li­sa­ti­on de Don­nées per­son­nel­les ou même des don­nées per­son­nel­les sen­si­bles (→ 58), par exemp­le pour les systè­mes qui clas­sent les can­di­da­tures et doi­vent être ent­raî­nés de maniè­re à pré­sen­ter un biais aus­si fai­ble que pos­si­ble en ce qui con­cer­ne l’â­ge, le sexe, l’o­ri­gi­ne eth­ni­que, etc. L’ar­tic­le 10, para­gra­phe 5, con­ti­ent donc une base juri­di­que pour l’uti­li­sa­ti­on de tel­les don­nées à des fins de test et de for­ma­ti­on, sous réser­ve des con­di­ti­ons énon­cées au para­gra­phe 5, points a à f.

Pour la for­ma­ti­on elle-même, le pre­sta­tai­re doit ensuite prend­re cer­tai­nes décis­i­ons et docu­men­ter. C’est ce que stipu­le l’ar­tic­le 10, para­gra­phe 2. Il s’a­git avant tout de l’ob­ten­ti­on de don­nées d’en­traî­ne­ment, de la pré­pa­ra­ti­on de don­nées de test (p. ex. éti­que­ta­ge, mar­quage, etc.), de la défi­ni­ti­on d’hy­po­thè­ses et d’ob­jec­tifs, de la métri­que per­met­tant de mesurer si les objec­tifs sont att­eints ou si les hypo­thè­ses sont cor­rec­tes, ou enco­re d’é­vi­ter les dis­tor­si­ons (biais).

Même pen­dant la pha­se d’en­traî­ne­ment, ledit Système de gesti­on des ris­ques (RMS) est per­ti­nen­te pour HRAIS (cf. art. 9). Cer­tes, com­me nous l’a­vons men­ti­onné, le four­nis­seur n’est pas tenu d’or­ga­ni­s­er une for­ma­ti­on en tant que mesu­re de réduc­tion des ris­ques, mais il y est néan­mo­ins invi­té (con­sidé­rant 65). Dans cet­te mesu­re, le SGR dev­rait bien enten­du éga­le­ment cou­vr­ir la pha­se de formation.
3HRAISFour­nis­seurTesterCon­trai­re­ment à une for­ma­ti­on, un test est une acti­vi­té en soi. Obli­ga­toire du four­nis­seur HRAIS (artic­le 9, para­gra­phe 6). Les HRAIS doi­vent être testés afin de déter­mi­ner les ris­ques et, le cas échéant, de les atté­nuer. Les tests doi­vent être effec­tués au moment appro­prié, mais avant la mise sur le mar­ché ou la mise en ser­vice (al. 8). Pour les tests effec­tués par les four­nis­seurs de modè­les d’AM­PI pré­sen­tant des ris­ques sys­té­mi­ques, voir Q41.

Pour la réa­li­sa­ti­on des tests, on trouve dans Art. 9 et 10 Objec­tifs . Les exi­gen­ces rela­ti­ves aux don­nées d’en­traî­ne­ment s’ap­pli­quent éga­le­ment aux don­nées de test (artic­le 9, para­gra­phe 6 ; cela con­cer­ne éga­le­ment l’uti­li­sa­ti­on éven­tu­el­le de don­nées per­son­nel­les).

Selon l’art. 9, al. 7, les tests peu­vent, dans cer­tai­nes cir­con­stances et pour une durée maxi­ma­le de 12 mois, être effec­tués dans des con­di­ti­ons de tra­vail nor­ma­les. Con­di­ti­ons réel­les pour autant que les con­di­ti­ons de l’art. 60 AIA soi­ent respec­tées. De tels tests néces­si­tent ent­re aut­res un plan spé­ci­fi­que qui doit être approu­vé par l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te (art. 60, al. 4, let. a et b).
4HRAISFour­nis­seurMise sur le mar­ché ou mise en serviceJuri­di­quement, c’est la date de mise sur le mar­ché ou de mise en ser­vice de l’HRAIS qui est déter­mi­nan­te pour la la plu­part des obli­ga­ti­ons du four­nis­seur. Il doit donc en tenir comp­te lors de la pla­ni­fi­ca­ti­on et de la con­cep­ti­on d’un AIS qui est poten­ti­el­le­ment un HRAIS.

Tout d’a­bord, le four­nis­seur doit docu­men­ta­ti­on tech­ni­que (art. 11 et anne­xe IV). C’est la piè­ce maîtres­se : la docu­men­ta­ti­on tech­ni­que sert à docu­men­ter le respect des exi­gen­ces essen­ti­el­les et con­sti­tue donc la base de l’éva­lua­ti­on de la con­for­mi­té. Elle con­ti­ent notam­ment une descrip­ti­on du HRAIS, de ses com­po­sants, de son déve­lo­p­pe­ment ou de son ent­raî­ne­ment, y com­pris les don­nées uti­li­sées à cet effet et la vali­da­ti­on et les tests déter­mi­nants, de son fonc­tion­ne­ment et de son archi­tec­tu­re, de la garan­tie de la sur­veil­lan­ce humaine (→ 37), de son con­trô­le, du système de gesti­on des ris­ques et de la pro­cé­du­re de sur­veil­lan­ce du mar­ché (anne­xe IV).

De même, les Mode d’em­ploi (art. 3, point 15, et art. 13, para­gra­phe 3) fait par­tie de la docu­men­ta­ti­on tech­ni­que (anne­xe IV, point 1, lett­re h). Cel­le-ci men­ti­on­ne et défi­nit l’uti­li­sa­ti­on con­for­me du SIAH (art. 3, point 15), qui déter­mi­ne si l’AIS est un SIAH au sens de l’an­ne­xe III (→ 32) et con­tri­bue à déli­mi­ter le domaine de responsa­bi­li­té du four­nis­seur, et qui con­sti­tue un critère essen­tiel pour les exi­gen­ces de con­for­mi­té (voir par exemp­le l’art. 8, point 1, l’art. 10, point 3, ou l’art. 26, point 6, de l’A­IA). Les ins­truc­tions d’uti­li­sa­ti­on doi­vent con­te­nir des infor­ma­ti­ons pré­cis­es, com­plè­tes, cor­rec­tes, clai­res et com­pré­hen­si­bles et être mises à dis­po­si­ti­on sous for­me numé­ri­que ou phy­si­que, mais sans bar­riè­res (art. 13 al. 3) et con­te­nir au moins les infor­ma­ti­ons visées à l’art. 13 al. 3 let. a à f. Il s’a­git notam­ment de la fina­li­té, des carac­té­ri­sti­ques et des limi­tes de per­for­mance du HRAIS, des mesu­res pri­ses pour assurer la sur­veil­lan­ce humaine, de la durée de vie du HRAIS et des infor­ma­ti­ons rela­ti­ves à la main­ten­an­ce et aux mises à jour ain­si qu’u­ne descrip­ti­on de la capa­ci­té de con­ne­xi­on.

Sur la base de la docu­men­ta­ti­on tech­ni­que, le four­nis­seur doit ensuite, en temps uti­le avant la mise sur le mar­ché ou la mise en ser­vice, véri­fier la con­for­mi­té du pro­duit avec les exi­gen­ces de la direc­ti­ve. Pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té (→ 15), et il doit four­nir pour chaque HRAIS une EU-Décla­ra­ti­on de con­for­mi­té et les con­ser­ver à l’in­ten­ti­on des auto­ri­tés (art. 47). En out­re, il doit à chaque fois four­nir un docu­ment phy­si­que ou numé­ri­que Mar­que CE l’ex­cep­ti­on de l’in­di­ca­ti­on de son nom ou de sa mar­que et d’u­ne adres­se de cont­act (art. 16 let. b → 15).

Les obli­ga­ti­ons essen­ti­el­les sont en out­re les sui­van­tes :

QMS: Selon l’art. 17, le four­nis­seur doit dis­po­ser d’un système de gesti­on de la qua­li­té (QMS) qui “garan­tit” de maniè­re géné­ra­le le respect de l’A­IA, c’est-à-dire un système de poli­ti­ques, de pro­ce­s­sus et d’ins­truc­tions couvrant tou­tes les pha­ses du HRAIS, y com­pris un con­cept de con­for­mi­té avec les com­pé­ten­ces et les responsa­bi­li­tés, des indi­ca­ti­ons sur le déve­lo­p­pe­ment et sur les tests et la vali­da­ti­on du HRAIS, le cas échéant. les nor­mes har­mo­ni­sées appli­ca­bles à l’éva­lua­ti­on de la con­for­mi­té, la gou­ver­nan­ce des don­nées (→ 36), la sur­veil­lan­ce du mar­ché (→ 43), la gesti­on des inci­dents (→ 45), la com­mu­ni­ca­ti­on avec les auto­ri­tés, la docu­men­ta­ti­on requi­se et la gesti­on des res­sour­ces. Le système de gesti­on des ris­ques fait éga­le­ment par­tie du SMQ (art. 17, al. 1, let. g ; le RMS peut être géré sépa­ré­ment, mais doit être cou­vert par le SMQ).

RMSLe four­nis­seur doit éta­b­lir, mett­re en œuvre, docu­men­ter et main­te­nir un système de gesti­on des ris­ques (RMS) pour chaque SIHAR (art. 9). Le RMS doit accom­pa­gner le HRAIS tout au long de son cycle de vie – même après sa mise sur le mar­ché ou sa mise en ser­vice – et être tenu à jour – ce qui exi­ge une gou­ver­nan­ce appro­priée. En par­ti­cu­lier, les ris­ques pour la san­té, la sécu­ri­té ou les droits fon­da­men­taux, notam­ment ceux des per­son­nes vul­né­ra­bles, doi­vent être iden­ti­fi­és et éva­lués en per­ma­nence, non seu­le­ment en ce qui con­cer­ne l’uti­li­sa­ti­on con­for­me, mais aus­si les abus pré­vi­si­bles (art. 9, al. 2, let. b), et ils doi­vent être atté­nués de maniè­re appro­priée dès la pha­se de con­cep­ti­on et de déve­lo­p­pe­ment, dans la mesu­re où le four­nis­seur peut atté­nuer les ris­ques (let. d). Cela com­prend éga­le­ment, par exemp­le, l’in­for­ma­ti­on de l’ex­plo­itant ou sa for­ma­ti­on (art. 9, al. 5, let. c). Les ris­ques iden­ti­fi­és et accep­tés dev­rai­ent alors être men­ti­onnés dans le manu­el d’uti­li­sa­ti­on. Le four­nis­seur peut s’in­spi­rer des nor­mes cor­re­spond­an­tes pour le RMS (→ 61).

Garan­tir la capa­ci­té de logLe four­nis­seur doit s’assurer que le système est tech­ni­quement capa­ble d’en­re­gi­strer des don­nées (art. 12). L’art. 12, al. 2 – 3, pré­cise ce qui doit fai­re l’ob­jet d’u­ne jour­na­li­sa­ti­on.

Intel­li­gi­bi­li­té de l’out­put (art. 13) : Le four­nis­seur doit s’assurer que l’out­put du système est clair et com­pré­hen­si­ble pour l’uti­li­sa­teur. Les ins­truc­tions d’uti­li­sa­ti­on ser­vent à cela (art. 3, n° 15), mais des mesu­res de con­cep­ti­on seront éga­le­ment néces­saires.

Sur­veil­lan­ce humaine (art. 14) : Le système HRAIS doit être con­çu de maniè­re à per­mett­re une sur­veil­lan­ce humaine effi­cace. cet effet, des mesu­res inté­g­rées dans le HRAIS ent­rent en ligne de comp­te (p. ex. inter­faces uti­li­sa­teur, un kill switch, etc.), mais aus­si des ins­truc­tions à l’at­ten­ti­on de l’ex­plo­itant lui per­met­tant de com­prend­re suf­fi­sam­ment le HRAIS (cf. art. 11, art. 14, al. 4 et anne­xe IV).

Fia­bi­li­té, robust­es­se et cyber­sé­cu­ri­té (art. 15) : Un HRAIS doit être con­çu de maniè­re à être fia­ble et robu­ste et à garan­tir un niveau suf­fi­sant de cyber­sé­cu­ri­té. Le four­nis­seur doit donc s’assurer, ent­re aut­res, que le HRAIS est suf­fi­sam­ment rési­stant aux men­aces phy­si­ques et numé­ri­ques et que les mesu­res appro­priées pour pro­té­ger l’in­té­gri­té, la con­fi­den­tia­li­té et la dis­po­ni­bi­li­té du HRAIS sont effi­caces. Pour les systè­mes qui con­ti­nuent d’app­rend­re après leur mise sur le mar­ché ou leur mise en ser­vice, le ris­que de biais et de bou­cles de rétroac­tion doit être miti­gé. La Com­mis­si­on euro­pé­en­ne (→ 51) doit con­tri­buer au déve­lo­p­pe­ment de critères de réfé­rence et de mesu­res (art. 15, al. 2, AIA).

Acce­s­si­bi­li­té par le design (art. 16) : L’ac­ce­s­si­bi­li­té doit être inté­g­rée dans la con­cep­ti­on du HRAIS. Les exi­gen­ces décou­lent en détail de la direc­ti­ve 2016/2102 rela­ti­ve à l’ac­ce­s­si­bi­li­té des sites web et des appli­ca­ti­ons mobi­les des orga­nis­mes du sec­teur public et de la RL 2019/882 sur les exi­gen­ces en matiè­re d’ac­ce­s­si­bi­li­té pour les pro­duits et ser­vices (art. 16, let. l).

Inscrip­ti­onLes four­nis­seurs doi­vent enre­gi­strer HRAIS auprès de la Com­mis­si­on (→ 51) s’ils sont con­sidé­rés com­me des HRAIS con­for­mé­ment à l’an­ne­xe III (cas d’uti­li­sa­ti­on) (→ 28). Pour ce fai­re, ils doi­vent au moins four­nir les infor­ma­ti­ons visées à l’an­ne­xe VIII, sec­tion A.
5HRAISFour­nis­seurAppa­ri­ti­on de ris­ques particuliersSi le four­nis­seur prend con­nais­sance de ris­ques par­ti­cu­liers au sens de l’ar­tic­le 79, para­gra­phe 1, il doit immé­dia­te­ment en recher­cher les cau­ses et en infor­mer les auto­ri­tés de sur­veil­lan­ce du mar­ché com­pé­ten­tes (artic­le 82, para­gra­phe 2 → 45).
6HRAISFour­nis­seurSur­ven­an­ce d’un inci­dent graveEn cas de détec­tion d’un inci­dent gra­ve (→ 45), le four­nis­seur doit immé­dia­te­ment infor­mer les auto­ri­tés de sur­veil­lan­ce du mar­ché com­pé­ten­tes (→ 55), enquêter sur l’in­ci­dent et éva­luer les ris­ques miti­gés. Pour les four­nis­seurs de GPAIM pré­sen­tant des ris­ques sys­té­mi­ques, voir ci-dessous.
7AISFour­nis­seurMise sur le mar­ché ou mise en ser­vice dans l’UEEn cas de mise sur le mar­ché ou de mise en ser­vice d’un AIS dans l’UE, le four­nis­seur est sou­mis à l’A­IA (→ 18) et doit dési­gner un man­da­tai­re dans l’UE (→ 26).
8AISFour­nis­seurUti­li­sa­ti­on de l’out­put dans l’UEMême si un orga­nis­me uti­li­se un AIS de maniè­re à ce que sa pro­duc­tion soit uti­li­sée con­for­mé­ment à sa desti­na­ti­on dans l’UE, il tom­be sous le coup du Champ d’ap­pli­ca­ti­on de l’A­IA (→ 18) et doit-il four­nir un Be
man­da­té
com­man­der dans l’UE (→ 26).
9AISFour­nis­seurUti­li­sa­ti­on de l’AISL’uti­li­sa­ti­on de l’AIS par un four­nis­seur déclen­che éga­le­ment pour lui l’e­xi­gence d’AI Literacy (→ ).
10AISFour­nis­seurAIS géné­ra­tifDans le cas des AIS – il s’a­gi­ra prin­ci­pa­le­ment de GPAIS, mais d’aut­res AIS seront éga­le­ment cou­verts – qui génè­rent des con­te­nus syn­thé­ti­ques (audio, image, vidéo, tex­te), les four­nis­seurs doi­vent veil­ler à ce que l’out­put soit dis­po­ni­ble dans un for­mat lisi­ble par machi­ne est recon­naissa­ble com­me étant pro­duit arti­fi­ci­el­le­ment ou mani­pulé (“water­mar­king” → 37).
11AISFour­nis­seurAIS pour une inter­ac­tion direc­te avec les per­son­nes concernéesSi un SIA (y com­pris un HRAIS, le cas échéant) est desti­né à une inter­ac­tion direc­te avec les per­son­nes con­cer­nées, le four­nis­seur doit veil­ler, dès la pha­se de con­cep­ti­on et de déve­lo­p­pe­ment, à ce que les per­son­nes phy­si­ques soi­ent infor­mées des Inter­ac­tion avec un AIS infor­mé deve­nir (si ce n’est pas évi­dent dans les cir­con­stances don­nées → 37).
Fab­ri­cant du produit
12HRAISFab­ri­cant du produitInté­gra­ti­on d’un AIS dans un produitLes fab­ri­cants d’un pro­duit régle­men­té qui est sou­mis à une régle­men­ta­ti­on de pro­duit selon l’an­ne­xe I par­ce qu’un AIS a été instal­lé en tant que com­po­sant de sécu­ri­té (au sens de l’ar­tic­le 3, point 14) et qui met­tent le pro­duit sur le mar­ché ou en ser­vice en leur pro­pre nom sont con­sidé­rés com­me des four­nis­seurs au sens de l’A­IA (artic­le 25, para­gra­phe 3) et ont les obli­ga­ti­ons correspondantes.
Impor­ta­teurs et négociants
13HRAISImpor­ta­teurImpor­ta­ti­onLes obli­ga­ti­ons de l’im­por­ta­teur (“Importer” → 23) sont beau­coup plus étroi­tes que cel­les du four­nis­seur, car la responsa­bi­li­té prin­ci­pa­le reste cel­le du four­nis­seur. L’im­por­ta­teur a tout d’a­bord sur­tout l’ob­li­ga­ti­on de véri­fier les mesu­res de con­for­mi­té du four­nis­seur et s’il dou­te de la con­for­mi­té de l’HRAIS, il ne doit pas le mett­re sur le mar­ché. S’il décou­vre des ris­ques au sens de l’art. 79, al. 1, il doit en out­re infor­mer le four­nis­seur, les man­da­tai­res et les auto­ri­tés de sur­veil­lan­ce du mar­ché (art. 23, al. 2 → 45). D’aut­res obli­ga­ti­ons décou­lent de l’art. 23, al. 3 à 7.
14HRAISOpé­ra­teur, impor­ta­teur, distributeurAppa­ri­ti­on de ris­ques particuliersLorsqu’un opé­ra­teur ou un impor­ta­teur a des rai­sons de pen­ser qu’un SIPAH pré­sen­te des ris­ques par­ti­cu­liers pour la san­té, la sécu­ri­té ou les droits fon­da­men­taux (art. 79), il doit immé­dia­te­ment infor­mer le four­nis­seur ou le dis­tri­bu­teur (dans le cas de l’opé­ra­teur) ou le four­nis­seur et son man­da­tai­re (dans le cas de l’im­por­ta­teur) ou tou­te aut­re auto­ri­té com­pé­ten­te. le four­nis­seur et l’im­por­ta­teur ou tout aut­re orga­nis­me con­cer­né (dans le cas du dis­tri­bu­teur), ain­si que l’au­to­ri­té com­pé­ten­te de sur­veil­lan­ce du mar­ché, et sus­pend­re l’uti­li­sa­ti­on du système HRAIS (art. 26, para­gra­phe 5, art. 23, para­gra­phe 2, et art. 24, para­gra­phe 4 ; art. 82, para­gra­phe 2 → 45).
15HRAISReven­deursDis­tri­bu­ti­onUn com­mer­çant est une per­son­ne qui met un HRAIS à dis­po­si­ti­on sur le mar­ché (→ 20). Les obli­ga­ti­ons des dis­tri­bu­teurs sont simi­lai­res à cel­les des impor­ta­teurs (art. 24).
Opé­ra­teur
16HRAISOpé­ra­teurUti­li­sa­ti­onLes explo­itants (→ 21) doi­vent uti­li­ser les systè­mes HRAIS invent­ori­er (cela découle indi­rec­te­ment de l’art. 26). Ils doi­vent en out­re veil­ler à ce que tou­tes les don­nées d’ex­plo­ita­ti­on per­ti­nen­tes soi­ent auto­ma­ti­quement con­si­gne et con­ser­vés pen­dant une péri­ode déter­mi­née, et ils doi­vent se con­for­mer, lors de l’uti­li­sa­ti­on du HRAIS, aux Ins­truc­tions du four­nis­seur (art. 26, para­gra­phe 1). Ils doi­vent éga­le­ment veil­ler à ce que les don­nées d’en­trée soi­ent con­for­mes à leur fina­li­té (c’est-à-dire adap­tées à l’ob­jec­tif du SIRE) et suf­fi­sam­ment repré­sen­ta­ti­ves (art. 26, par. 4 → 36).

Il est éga­le­ment essen­tiel de sur­veil­lan­ce humaineL’ex­plo­itant doit s’assurer qu’u­ne sur­veil­lan­ce humaine est pos­si­ble pen­dant le fonc­tion­ne­ment (art. 26, par. 2) et il doit sur­veil­ler en per­ma­nence le fonc­tion­ne­ment du système (art. 26, par. 5). En cas de sus­pi­ci­on de ris­que par­ti­cu­lier au sens de l’ar­tic­le 79, para­gra­phe 1 (→ 45), ils doi­vent infor­mer le four­nis­seur ou le dis­tri­bu­teur et l’au­to­ri­té de sur­veil­lan­ce du mar­ché en con­sé­quence et ces­ser d’uti­li­ser le système HRAIS (art. 26, para­gra­phe 5 ; ce qui sup­po­se qu’ils pui­s­sent réa­gir en con­sé­quence). En cas d’in­ci­dent gra­ve (→ 45) con­sta­té, il con­vi­ent d’in­for­mer immé­dia­te­ment le four­nis­seur, puis l’im­por­ta­teur ou le dis­tri­bu­teur et l’au­to­ri­té de sur­veil­lan­ce du mar­ché (cf. éga­le­ment art. 73).
17HRAISOpé­ra­teurUti­li­sa­ti­on sur le lieu de travailSi un employeur uti­li­se un HRAIS sur le lieu de tra­vail, il doit infor­mer les tra­vail­leurs et les repré­sen­tants des tra­vail­leurs qu’ils seront con­cer­nés par son uti­li­sa­ti­on (art. 26, al. 7). Les obli­ga­ti­ons de col­la­bo­rer pré­vues par le droit appli­ca­ble sont réservées.
18HRAISOpé­ra­teurUti­li­sa­ti­on pour les décisionsDes exi­gen­ces par­ti­cu­liè­res s’ap­pli­quent lorsqu’un HRAIS doit être uti­li­sé pour prend­re des décis­i­ons (il se peut éga­le­ment qu’un AIS devi­en­ne ain­si un HRAIS : Art. 25 et Anne­xe III → 28). Si le HRAIS Prend des décis­i­onsLes per­son­nes con­cer­nées doi­vent être infor­mées de tout chan­ge­ment ayant des con­sé­quen­ces juri­di­ques ou d’aut­res con­sé­quen­ces importan­tes (art. 13 et 25, para­gra­phe 11, → 37) et, en cas d’uti­li­sa­ti­on de don­nées à carac­tère per­son­nel, les per­son­nes con­cer­nées doi­vent être infor­mées. décis­i­ons AI auto­ma­ti­sées les per­son­nes con­cer­nées ont le droit de s’y oppo­ser (artic­le 86 ; en out­re, les exi­gen­ces per­ti­nen­tes de la légis­la­ti­on appli­ca­ble en matiè­re de pro­tec­tion des don­nées peu­vent bien enten­du s’ap­pli­quer). En out­re, l’opé­ra­teur doit s’assurer que les don­nées d’en­trée sont per­ti­nen­tes, exac­tes et à jour pour le système (voir ci-dessus).
19HRAISOpé­ra­teurIden­ti­fi­ca­ti­on bio­mé­tri­que à distanceSi un HRAIS est uti­li­sé pour l’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance 4i.au sens de l’an­ne­xe III, ch. I, let. a, les résul­tats doi­vent être véri­fi­és et con­fir­més sépa­ré­ment par au moins deux per­son­nes phy­si­ques com­pé­ten­tes avant que des décis­i­ons ne soi­ent pri­ses ou des mesu­res pri­ses (art. 15, al. 4).
20HRAISOpé­ra­teurUti­li­sa­ti­on d’un système de recon­nais­sance des émo­ti­ons ou de caté­go­ri­sa­ti­on biométriqueEn cas d’uti­li­sa­ti­on d’un système de recon­nais­sance des émo­ti­ons ou d’un système de caté­go­ri­sa­ti­on bio­mé­tri­que, les explo­itants doi­vent infor­mer les per­son­nes con­cer­nées de l’ex­plo­ita­ti­on et des don­nées per­son­nel­les uti­li­sées (→ 37).
21HRAISOpé­ra­teurSur­ven­an­ce d’un inci­dent graveSi un inci­dent gra­ve est con­sta­té, l’opé­ra­teur doit immé­dia­te­ment infor­mer à la fois le four­nis­seur, puis l’im­por­ta­teur ou le dis­tri­bu­teur, et les auto­ri­tés de sur­veil­lan­ce du mar­ché com­pé­ten­tes (artic­le 26, para­gra­phe 5, et artic­le 72 → 45).
22AISOpé­ra­teurExplo­ita­ti­onDans le cad­re de l’ex­plo­ita­ti­on d’un AIS, seu­les les exi­gen­ces en matiè­re d’AI Liter­a­cy (→ 38) s’appliquent.
23AISOpé­ra­teurEnga­ge­ment pour les DeepfakesSi un AIS (qui peut éga­le­ment être un HRAIS) est uti­li­sé pour des deepf­akes, l’opé­ra­teur doit divul­guer la fab­ri­ca­ti­on arti­fi­ci­el­le (artic­le 50, para­gra­phe 4 → 37).
24AISOpé­ra­teurGéné­ra­ti­on d’outputSi les opé­ra­teurs uti­li­sent un AIS pour cré­er ou mani­pu­ler du tex­te et que le tex­te est publié pour infor­mer le public sur des que­sti­ons d’in­té­rêt public, ils doi­vent divul­guer la créa­ti­on arti­fi­ci­el­le ou la mani­pu­la­ti­on (artic­le 50, para­gra­phe 4 → 37).
GPAIM
25Four­nis­seurMise sur le mar­ché d’un GPAIM dans l’UELes four­nis­seurs d’un GPAIM ent­rent dans le champ d’ap­pli­ca­ti­on de l’EIA s’ils met­tent un GPAIM sur le mar­ché de l’UE (→ 18). Dans ce cas, ils doi­vent dési­gner un man­da­tai­re dans l’UE (→ 26).
26Four­nis­seurPro­po­ser un GPAIM à inté­grer dans un AISL’AIA ne con­sidè­re pas l’AM­PI com­me un HRAIS, mais com­me une étape pré­alable à un AIS (→ 39). Le four­nis­seur du modè­le GPAI doit Four­nis­seurs qui intègrent la GPAIM, doit donc four­nir des infor­ma­ti­ons sur le modè­le GPAI et son évo­lu­ti­on, con­for­mé­ment aux exi­gen­ces de l’an­ne­xe XII (art. 53, para­gra­phe 1, point b). Il doit notam­ment éta­b­lir une docu­men­ta­ti­on tech­ni­que (art. 53, al. 1, let. a), non pas selon l’an­ne­xe IV com­me pour les four­nis­seurs HRAIS, mais selon sa pro­pre anne­xe XI.

Étant don­né que les modè­les GPAI sont géné­ra­le­ment des LLM qui sont ent­raî­nés avec une mas­se de don­nées, le four­nis­seur du modè­le doit en out­re four­nir un Poli­tique de con­for­mi­té au droit d’au­teur euro­pé­en (art. 53, al. 1, let. c ; voir Q0), et il doit mett­re à dis­po­si­ti­on du public des infor­ma­ti­ons sur les don­nées d’en­traî­ne­ment (art. 53, al. 1, let. d ; l’AI Office → 52 doit éla­bo­rer un modè­le à cet effet).

Sont tou­te­fois exemp­tés de ces obli­ga­ti­ons les four­nis­seurs qui uti­li­sent le GPAIM dans le cad­re d’u­ne licence lib­re et ouver­te à la source (FOSS) lorsqu’ils met­tent les paramè­tres du modè­le à la dis­po­si­ti­on du public. Il exi­ste une excep­ti­on à cet­te règ­le pour les modè­les AMPI pré­sen­tant des ris­ques sys­té­mi­ques (→ 39).

En revan­che, les exi­gen­ces géné­ra­les appli­ca­bles aux four­nis­seurs HRAIS ne s’ap­pli­quent pas aux four­nis­seurs GPAIM (→ 39 ; tant qu’ils ne sont pas éga­le­ment des four­nis­seurs HRAIS).
27Four­nis­seurPro­po­ser un GPAIM avec des ris­ques systémiquesLe four­nis­seur d’u­ne GPAIM pré­sen­tant un ris­que sys­té­mi­que (→ 39) a les obli­ga­ti­ons de tous les four­nis­seurs de GPAIM. En out­re, il doit d’a­bord sou­mett­re le modè­le à la Com­mis­si­on euro­pé­en­ne.Signal­er à la Com­mis­si­onAu plus tard deux semain­es après que le modè­le a att­eint le seuil de ris­que sys­té­mi­que (art. 52, al. 1). La com­mis­si­on tient à jour une liste publi­que cor­re­spond­an­te (art. 52, al. 6), le pre­sta­tai­re pou­vant ten­ter de fai­re ray­er son modè­le com­me n’é­tant pas d’im­portance sys­té­mi­que (→ 41).

En out­re, le four­nis­seur con­cer­né est tenu, en ver­tu de l’art. 55, al. 1

- éva­luer et, le cas échéant, atté­nuer les ris­ques sys­té­mi­ques,

- éva­luer le modè­le dans la per­spec­ti­ve de la gesti­on des ris­ques, y com­pris par des tests d’at­taque (Adver­sa­ri­al Test­ing ou Red Team­ing),

- docu­men­ter les infor­ma­ti­ons sur les inci­dents gra­ves (→ 45) et les mesu­res d’at­té­nua­ti­on pos­si­bles et infor­mer immé­dia­te­ment l’AI Office (→ 52) en con­sé­quence,

- assurer une cyber­sé­cu­ri­té adéquate.
36. qu’en est-il de la for­ma­ti­on, de la vali­da­ti­on et des tests des systè­mes d’IA ?

Les tests et les vali­da­ti­ons, et en par­ti­cu­lier la for­ma­ti­on, sont des aspects essen­tiels de l’AIS. L’AIA con­ti­ent des dis­po­si­ti­ons par­ti­cu­liè­res à cet égard :

  • Les four­nis­seurs sont tenus d’en­re­gi­strer le SIRE avant la mise sur le mar­ché ou la mise en ser­vice. tester (art. 9, para­gra­phe 6).

  • Les don­nées uti­li­sées pour l’en­traî­ne­ment et les tests (cf. art. 3, n° 29 et 31) doi­vent être ” appro­priées “.Pro­cé­du­res de gou­ver­nan­ce et de gesti­on des don­nées”(art. 10, al. 1 et 2). Il con­vi­ent notam­ment de défi­nir com­ment les décis­i­ons con­cep­tu­el­les cor­re­spond­an­tes sont pri­ses, quel­les don­nées sont néces­saires et com­ment elles sont obte­nues (en par­ti­cu­lier les don­nées per­son­nel­les), com­ment les don­nées sont pré­pa­rées (par exemp­le par anno­ta­ti­on, éti­que­ta­ge, net­to­ya­ge, mise à jour, enri­chis­se­ment et agré­ga­ti­on), com­ment les hypo­thè­ses de test sont for­mulées et com­ment trai­ter un éven­tuel biais (art. 10, al. 2).

  • Les don­nées d’en­traî­ne­ment, de vali­da­ti­on et de test doi­vent, dans la mesu­re du pos­si­ble, être uti­li­sées con­for­mé­ment à l’u­sa­ge pré­vu du HRAIS. per­ti­nen­tes, repré­sen­ta­ti­ves, exemp­tes d’err­eurs et com­plè­tes doi­vent être con­for­mes à la loi. Cela impli­que éga­le­ment qu’ils dis­po­sent de carac­té­ri­sti­ques sta­ti­sti­ques appro­priées (artic­le 10, para­gra­phe 3) et qu’ils reflè­tent ou pren­nent en comp­te le con­tex­te de leur uti­li­sa­ti­on (para­gra­phe 4).

  • Dans cer­tai­nes cir­con­stances, un biais ne peut être évi­té ou détec­té que si les don­nées uti­li­sées pour les for­ma­ti­ons, les tests et les vali­da­ti­ons sont Don­nées per­son­nel­les con­ti­en­nent des don­nées per­son­nel­les. Dans ce cas, l’ar­tic­le 10, para­gra­phe 5, con­ti­ent excep­ti­on­nel­le­ment une base juri­di­que au sens des artic­les 6 et 9 du RGPD, c’est-à-dire même pour des caté­go­ries par­ti­cu­liè­res de don­nées à carac­tère per­son­nel, pour autant que cer­tai­nes con­di­ti­ons soi­ent respec­tées afin de garan­tir l’é­co­no­mie des don­nées et la pro­tec­tion des don­nées con­cer­nées. Cela doit être docu­men­té dans le regist­re de traitement.

  • Le four­nis­seur doit infor­mer les acteurs en aval, notam­ment via la docu­men­ta­ti­on tech­ni­que et les ins­truc­tions d’uti­li­sa­ti­on (→ 35). Le site docu­men­ta­ti­on tech­ni­que doit con­te­nir, ent­re aut­res, des infor­ma­ti­ons sur l’en­traî­ne­ment et les jeux de don­nées d’en­traî­ne­ment uti­li­sés (anne­xe IV, ch. 2, let. d ; de même pour les four­nis­seurs d’un GPAIM selon l’an­ne­xe XI, ch. 2, let. b et selon l’an­ne­xe XII, ch. 2, let. c, si le GPAIM doit être inté­g­ré dans un AIS), et les Mode d’em­ploi doit éga­le­ment con­te­nir des infor­ma­ti­ons sur les ensem­bles de don­nées d’en­traî­ne­ment, de vali­da­ti­on et de test uti­li­sés (art. 13, al. 3, let. b, ch. 6).

  • Les HRAIS doi­vent géné­ra­le­ment pré­sen­ter un niveau suf­fi­sant de Cyber­sé­cu­ri­té de la for­ma­ti­on. Cela inclut une pro­tec­tion suf­fi­san­te cont­re les atta­ques pen­dant la pha­se d’en­traî­ne­ment, par exemp­le par la mani­pu­la­ti­on des don­nées d’en­traî­ne­ment (“data poi­so­ning”) ou des com­po­sants pré-ent­raî­nés, tels qu’un GPAIM, qui sont uti­li­sés pen­dant l’en­traî­ne­ment (“model poi­so­ning” ; art. 15, par. 5).

  • Les four­nis­seurs d’un GPAIM doi­vent, com­me les four­nis­seurs d’un HRAIS, décr­i­re dans la docu­men­ta­ti­on tech­ni­que la pro­cé­du­re de for­ma­ti­on et de test. docu­men­ter (art. 53, para­gra­phe 1, point a), et ils doi­vent éta­b­lir un résu­mé du con­te­nu uti­li­sé pour la for­ma­ti­on et publi­ent (art. 53, al. 1, let. d ; à l’ex­cep­ti­on de la FOSS).

  • La quan­ti­té de cal­culs uti­li­sés pour l’en­traî­ne­ment est déter­mi­nan­te pour la clas­si­fi­ca­ti­on d’u­ne GPAIM en tant que tel­le avec les ris­ques sys­té­mi­ques (art. 51, para­gra­phe 2).

  • Le site Auto­ri­tés de sur­veil­lan­ce du mar­ché peu­vent deman­der l’ac­cès, ent­re aut­res, aux dos­siers de for­ma­ti­on, de vali­da­ti­on et de test (art. 74, para­gra­phe 12).

  • Des faci­li­tés pour l’en­traî­ne­ment s’ap­pli­quent ensuite dans le cad­re de la Labo­ra­toires réels (→ 48).

Ces obli­ga­ti­ons s’adres­sent par natu­re aux four­nis­seurs. Opé­ra­teur ont des obli­ga­ti­ons dif­fé­ren­tes et pro­pres en ce qui con­cer­ne la qua­li­té des don­nées (→ 35).

37. com­ment l’AI Act abor­de-t-il les obli­ga­ti­ons de trans­pa­rence pour les systè­mes d’IA, notam­ment en ce qui con­cer­ne les décis­i­ons automatisées ?

L’AI Act met par­ti­cu­liè­re­ment l’ac­cent sur la trans­pa­rence, en par­ti­cu­lier pour les AIS qui pren­nent des décis­i­ons. Cela peut éga­le­ment s’ap­pli­quer aux AIS qui pas de HRAIS sont des pro­duits. En par­ti­cu­lier, le pro­pre artic­le Les deux pre­miers para­gra­phes con­cer­nent les four­nis­seurs et les deux sui­vants les opérateurs.

Les four­nis­seurs ont notam­ment les obli­ga­ti­ons suivantes :

  • Con­cep­ti­on du systèmeLes four­nis­seurs doi­vent conce­voir le système HRAIS de maniè­re à ce que son fonc­tion­ne­ment soit trans­pa­rent, c’est-à-dire que les dépen­ses pui­s­sent être inter­pré­tées et uti­li­sées en con­nais­sance de cau­se (art. 13, al. 1). L’AIA ne pré­cise pas de maniè­re exhaus­ti­ve com­ment cela doit être garanti.

  • Mode d’em­ploiLes HRAIS doi­vent être accom­pa­gnés cha­cun d’un mode d’em­ploi (→ 35 n° 6).

  • Inter­ac­tion avec les per­son­nes con­cer­néesDans le cas des AIS desti­nés à inter­agir avec les per­son­nes con­cer­nées (par exemp­le les chat­bots), cel­les-ci doi­vent être infor­mées de l’in­ter­ac­tion avec un AIS, sauf si cela est évi­dent dans les cir­con­stances (artic­le 50, para­gra­phe 1), par exemp­le dans le cas d’un ser­vice de tra­duc­tion ou d’un chat­bot tel que ChatGPT. Le cas échéant, les four­nis­seurs de l’AIS con­cer­né doi­vent s’en assurer. Pour cela, la dési­gna­ti­on com­me “bot” peut sou­vent suffire.

  • Con­te­nu syn­thé­tiqueFour­nis­seurs d’AIS : Les four­nis­seurs d’AIS doi­vent iden­ti­fier les sor­ties syn­thé­ti­ques dans un for­mat lisi­ble par une machi­ne et veil­ler à ce qu’el­les soi­ent recon­naissa­bles com­me étant géné­rées arti­fi­ci­el­le­ment ou mani­pulées (artic­le 50, para­gra­phe 2). Cet­te obli­ga­ti­on con­cer­ne à nou­veau les four­nis­seurs et non les explo­itants (voir le point sui­vant). Il con­vi­ent de se réfé­rer ici aux travaux de la Coali­ti­on for Con­tent Pro­ven­an­ce and Authen­ti­ci­ty (C2PA ; https://c2pa.org/).

Sont exclus les HRAIS ayant une simp­le fonc­tion de sou­ti­en pour un trai­te­ment stan­dard ou sans modi­fi­ca­ti­on importan­te de l’in­put. Aucu­ne obli­ga­ti­on de mar­quage ne s’ap­pli­que donc aux tex­tes rédi­gés par un être humain et trai­tés sur DeepL ou ChatGPT. Au-delà du tex­te, cela doit éga­le­ment s’ap­pli­quer, par ana­lo­gie avec l’art. 50, al. 4, lorsqu’un tex­te est géné­ré par un AIS, mais qu’il a été retra­vail­lé ou du moins con­trôlé de maniè­re per­ti­nen­te par un être humain ; dans ce cas, l’êt­re humain s’est appro­prié le tex­te, rai­son pour laquel­le il ne doit plus être trai­té com­me synthétique.

  • Sur­veil­lan­ce humaineL’ar­tic­le 14 con­ti­ent des dis­po­si­ti­ons visa­nt à garan­tir une sur­veil­lan­ce humaine, qui ont éga­le­ment un aspect de transparence.

Les opé­ra­teurs ont notam­ment les obli­ga­ti­ons suivantes :

  • Deepf­akesDeepf­akes : selon l’ar­tic­le 3, point 60, les deepf­akes sont des images, des sons ou des vidé­os qui res­sem­blent de maniè­re trom­peu­se à des per­son­nes, des objets, des lieux, des instal­la­ti­ons ou des évé­ne­ments réels. Les opé­ra­teurs – il s’a­git ici de l’uti­li­sa­ti­on de l’AIS et non plus de son déve­lo­p­pe­ment – doi­vent dans ce cas révé­ler que le con­te­nu a été créé arti­fi­ci­el­le­ment ou mani­pulé (artic­le 50, para­gra­phe 4).

Dans le cas d’œu­vres mani­fe­stem­ent arti­sti­ques, créa­ti­ves, sati­ri­ques, fic­tion­nel­les ou ana­lo­gues, la men­ti­on de la fab­ri­ca­ti­on ou de la mani­pu­la­ti­on arti­fi­ci­el­le doit être fai­te de maniè­re à ne pas nui­re à la repré­sen­ta­ti­on ou à la jouis­sance de l’œuvre.

  • AIS géné­ra­tifLes opé­ra­teurs d’un AIS géné­ré doi­vent révé­ler que le con­te­nu a été géné­ré arti­fi­ci­el­le­ment ou mani­pulé (artic­le 50, para­gra­phe 4). Cela ne con­cer­ne tou­te­fois que les tex­tes publiés lorsqu’il s’a­git d’in­for­mer le public sur des que­sti­ons d’in­té­rêt public et non pas dans la mesu­re où les tex­tes géné­rés ont été véri­fi­és humain­e­ment ou con­trôlés sur le plan réd­ac­tion­nel et que quel­qu’un assu­me la responsa­bi­li­té réd­ac­tion­nel­le de la publi­ca­ti­on. Une excep­ti­on s’ap­pli­que ensuite au domaine de l’ap­pli­ca­ti­on de la loi.

  • Recon­nais­sance des émo­ti­ons: L’ex­plo­itant d’un système de recon­nais­sance des émo­ti­ons (non inter­dit → 27) ou d’un système de caté­go­ri­sa­ti­on bio­mé­tri­que doit infor­mer les per­son­nes phy­si­ques con­cer­nées (art. 50, al. 3 ; à nou­veau avec une excep­ti­on pour le domaine de la pour­suite pénale).

  • Décis­i­onsSi l’opé­ra­teur d’un HRAIS au sens de l’an­ne­xe III (cas d’uti­li­sa­ti­on → 28) uti­li­se le HRAIS pour prend­re ou aider à prend­re une décis­i­on con­cer­nant des per­son­nes phy­si­ques, cel­les-ci doi­vent être infor­mées en con­sé­quence (artic­le 26, para­gra­phe 11).

  • Sur­veil­lan­ce humaineL’ar­tic­le 26 con­ti­ent des dis­po­si­ti­ons rela­ti­ves à la super­vi­si­on humaine des opé­ra­teurs, qui ont éga­le­ment un aspect de transparence.

Les infor­ma­ti­ons obli­ga­toires doi­vent être four­nies de maniè­re clai­re, pré­cise et acce­s­si­ble au plus tard lors de la pre­miè­re inter­ac­tion ou sus­pen­si­on (artic­le 50, para­gra­phe 5).

Sur GPAIM des mesu­res de trans­pa­rence sont éga­le­ment pre­scri­tes, mais sépa­ré­ment à l’art. 53 (cf. → 40 et 42). D’aut­res exi­gen­ces peu­vent s’ap­pli­quer selon d’aut­res direc­ti­ves, par exemp­le lors du trai­te­ment de don­nées per­son­nel­les en ver­tu des obli­ga­ti­ons d’in­for­ma­ti­on et de trans­pa­rence du droit appli­ca­ble en matiè­re de pro­tec­tion des données.

38. quel­les sont les exi­gen­ces de l’IA en matiè­re d’ ”AI Literacy” ?

La “IA liter­a­cy” ou “com­pé­tence en matiè­re d’IA” dési­gne les apti­tu­des néces­saires pour uti­li­ser un AIS en con­nais­sance de cau­se et en étant con­sci­ent des ris­ques (art. 3, point 56). L’ar­tic­le 4 exi­ge donc des mesu­res visa­nt à trans­mett­re cet­te com­pé­tence au per­son­nel et aux auxi­li­ai­res (dans la mesu­re où ils sont appelés à uti­li­ser un AIS). Il s’a­git prin­ci­pa­le­ment de for­ma­ti­ons, d’ins­truc­tions et d’aut­res informations.

Cet “ups­kil­ling” est la seu­le obli­ga­ti­on expli­ci­te que l’A­IA impo­se aux four­nis­seurs et aux explo­itants de tous les AIS. De tels AIS peu­vent tou­te­fois être sou­mis à des direc­ti­ves sec­to­ri­el­les et, s’ils sont four­nis aux con­som­ma­teurs, la légis­la­ti­on géné­ra­le sur la sécu­ri­té des pro­duits peut s’ap­pli­quer. La que­sti­on de savoir si la LRFP sui­s­se s’ap­pli­que éga­le­ment aux AIS qui ne sont pas inté­g­rés dans un pro­duit tel qu’un robot n’a pas été défi­ni­ti­ve­ment tran­chée. D’aut­res obli­ga­ti­ons décou­lent des exi­gen­ces de trans­pa­rence pour les AIS dans des con­stel­la­ti­ons par­ti­cu­liè­res (→ 37).

GPAI

39. qu’est-ce qu’un modè­le d’IA à usa­ge géné­ral (GPAIM) ?

Les GPAIM sont régies sépa­ré­ment dans leur pro­pre cha­pit­re V. Cela est dû à l’hi­stoire légis­la­ti­ve, où la régle­men­ta­ti­on des GPAI a été con­te­stée jus­qu’à la fin (→ 3). Au sein des modè­les d’AM­PI, une caté­go­rie par­ti­cu­liè­re­ment déli­ca­te est régle­men­tée, les modè­les d’AM­PI “pré­sen­tant des ris­ques sys­té­mi­ques” (→ 41).

GPAIM sont des “modè­les d’IA” (pas de ter­me défi­ni) qui sont géné­ra­le­ment uti­li­sables, qui rem­plis­sent “avec com­pé­tence un lar­ge éven­tail de tâches dif­fé­ren­tes” et qui peu­vent être inté­g­rés dans des AIS en aval (art. 3, point 63). Il s’a­git avant tout de Lar­ge Lan­guage Models (LLMs) com­me ChatGPT ou Clau­de d’An­thro­pic, etc. L’ap­pli­ca­bi­li­té géné­ra­le est pré­su­mée lorsqu’un modè­le com­por­te au moins un mil­li­ard de paramè­tres et qu’il a été “ent­raî­né avec une gran­de quan­ti­té de don­nées, avec une auto­sur­veil­lan­ce com­plè­te” (con­sid. 98 → 12). En revan­che, un modè­le, par exemp­le un LLM, qui a été ent­raî­né pour un domaine d’ap­pli­ca­ti­on rest­reint ne serait pas un GPAIM.

Il est important de noter qu’un GPAIM n’est pas un AIS. Il n’est créé que par Ajout de com­po­sants sup­p­lé­men­tai­res à l’AIS et, le cas échéant, à l’HRAIS (cons. 97 : “dev­rait être clai­re­ment défi­ni et distin­gué de la noti­on de systè­mes d’IA” ; “bien que les modè­les d’IA soi­ent des com­po­sants essen­tiels des systè­mes d’IA, ils ne con­sti­tu­ent pas en eux-mêmes des systè­mes d’IA”). Donc : modè­le AMPI + aut­re com­po­sant = AIS. Il faut peu de cho­ses pour pas­ser du modè­le AMPI au SIA (RH) : une inter­face uti­li­sa­teur suf­fit (con­sidé­rant 63).

Il est éga­le­ment pos­si­ble qu’un GPAIM soit inté­g­ré dans un aut­re modè­le et que ce der­nier devi­en­ne ain­si un GPAIM (con­sidé­rant 100). Les LLM peu­vent éga­le­ment fai­re l’ob­jet d’un ent­raî­ne­ment sup­p­lé­men­tai­re (p. ex. par le biais d’u­ne mise au point fina­le → 12). Si le champ d’ap­pli­ca­ti­on s’en trouve suf­fi­sam­ment réduit, il est conce­va­ble que le modè­le cor­re­spond­ant n’ait plus d’uti­li­té générale.

Le four­nis­seur d’u­ne AMPIM – c’est-à-dire l’en­ti­té qui déve­lo­p­pe et met en cir­cula­ti­on l’AM­PIM – devi­ent donc le four­nis­seur du SIA (RH) dès qu’il fait une uti­li­sa­ti­on con­crè­te de l’AM­PIM et que le SIA qui en résul­te est mis à dis­po­si­ti­on sur le mar­ché ou mis en ser­vice. Sui­vant cet­te logi­que, l’ar­tic­le 53 exi­ge notam­ment que le four­nis­seur de GPAIM four­nis­se au four­nis­seur d’AIS en aval cer­ta­ins Mett­re des infor­ma­ti­ons à dis­po­si­ti­on (et ce, même si ce n’est pas un HRAIS).

Un LLM (→ 12) d’O­pe­nAI serait un exemp­le de modè­le GPAI. En revan­che, ChatGPT dis­po­se d’u­ne inter­face uti­li­sa­teur et dev­rait donc être un AIS (même si cela n’est pas incon­test­a­ble). Si un tiers uti­li­se un modè­le d’O­pe­nAI pour con­strui­re son pro­pre chat­bot, c’est ce tiers, et non Ope­nAI, qui four­nit le chat­bot en tant qu’AIS. Cela vaut bien sûr aus­si si le tiers en que­sti­on adap­te le chat­bot à ses pro­pres beso­ins par un finishing.

Out­re le GPAIM, l’A­IA défi­nit éga­le­ment GPAIS (systè­mes d’IA à usa­ge géné­ral ; artic­le 3, point 66). Les SIPA sont un sous-ensem­ble des AIS et sont sou­mis aux régle­men­ta­ti­ons cor­re­spond­an­tes. C’est pour­quoi l’A­IA ne men­ti­on­ne les SIPA que de maniè­re mar­gi­na­le (à l’ar­tic­le 3, point 68, à l’ar­tic­le 25, para­gra­phe 1, point c), à l’ar­tic­le 50, para­gra­phe 2, et à l’ar­tic­le 75, para­gra­phe 2, ain­si que dans cer­ta­ins considérants).

40. quel­les sont les obli­ga­ti­ons des four­nis­seurs de GPAIM ?

Les obli­ga­ti­ons du four­nis­seur de GPAIM (→ 20) sont, com­me men­ti­onné, défi­nies dans un pro­pre cha­pit­re sont réglés. Les exi­gen­ces impo­sées aux four­nis­seurs HRAIS – en par­ti­cu­lier l’art. 16 de l’A­IA et les dis­po­si­ti­ons qui y sont ren­voy­ées – ne s’ap­pli­quent pas aux four­nis­seurs GPAIM. Les four­nis­seurs GPAIM doi­vent cependant

  • un docu­men­ta­ti­on tech­ni­que du GPAIM, y com­pris la pro­cé­du­re de for­ma­ti­on et de test et les résul­tats de l’éva­lua­ti­on. Les infor­ma­ti­ons mini­ma­les sont défi­nies à l’an­ne­xe XI. Sur deman­de, elle doit être mise à la dis­po­si­ti­on de l’AI Office et des auto­ri­tés natio­na­les com­pé­ten­tes (art. 53, para­gra­phe 1, lett­re a). Une excep­ti­on à cet­te règ­le s’ap­pli­que aux FOSS (art. 53, para­gra­phe 2) ;

  • docu­men­ter d’aut­res infor­ma­ti­ons sur le GPAIM (en par­ti­cu­lier con­for­mé­ment à l’an­ne­xe XII) et les four­nir aux Four­nis­seurs d’AIS en aval (art. 53, para­gra­phe 1, lett­re b). L’ex­cep­ti­on pour les FOSS s’ap­pli­que éga­le­ment (artic­le 53, para­gra­phe 2) ;

  • à une stra­té­gie de Respect du droit d’au­teur de l’UE dis­po­ser d’un droit d’au­teur. Cela inclut éga­le­ment une indi­ca­ti­on sur la maniè­re dont, dans le cas de l’ex­cep­ti­on de Text and data Mining (→ 59), une réser­ve d’uti­li­sa­ti­on au sens de l’ar­tic­le 4, para­gra­phe 3, de la direc­ti­ve sur le droit d’au­teur (https://dtn.re/c6zFb9)) (art. 53.1.c.). Il con­vi­ent de noter que, selon le con­sidé­rant 106, cet­te exi­gence s’ap­pli­que pro­ba­blem­ent aus­si aux four­nis­seurs de GPAIM non euro­pé­ens qui com­mer­cia­li­sent une GPAIM dans l’UE ;

  • un résu­mé de la Don­nées de for­ma­ti­on publier (pour cela, l’AI Office doit éla­bo­rer un modè­le), sous réser­ve des secrets d’af­fai­res (con­sidé­rant 107).

Ils doi­vent éga­le­ment four­nir, le cas échéant, un Man­da­tai­re dési­gner (art. 54 AIA → 26). Com­me ail­leurs, la com­mis­si­on peut con­cré­ti­ser davan­ta­ge les exi­gen­ces (→ 51).

41. com­ment l’A­IA régle­men­te-t-il les GPAIM pré­sen­tant un ris­que systémique ?

Les ris­ques sys­té­mi­ques sont des ris­ques qui, en rai­son de la “por­tée” de la GPAIM ou de ses con­sé­quen­ces néga­ti­ves poten­ti­el­les “pour la san­té publi­que, la sécu­ri­té, la sûre­té publi­que, les droits fon­da­men­taux ou la socié­té dans son ensem­ble”, ont un impact signi­fi­ca­tif et peu­vent se pro­pa­ger dans tou­te la chaî­ne de valeur (art. 3, point 65).

Ce n’est tou­te­fois pas la défi­ni­ti­on léga­le qui déter­mi­ne si cela s’ap­pli­que à une GPAIM, mais les critères de l’ar­tic­le 51, para­gra­phe 1. Un ris­que sys­té­mi­que exi­ste donc dans deux cas :

  • Si le GPAIM a été créé via “Des capa­ci­tés à haut ren­de­ment“Cela doit être éva­lué à l’ai­de de métho­des appro­priées, com­me par exemp­le des bench­marks (art. 51, para­gra­phe 1, lett­re a), mais cela est en tout cas le cas lorsque “la quan­ti­té cumulée des cal­culs uti­li­sés pour son ent­raî­ne­ment” est supé­ri­eu­re à 1025 opé­ra­ti­ons en vir­gu­le flot­tan­te. Les opé­ra­ti­ons en vir­gu­le flot­tan­te sont défi­nies à l’ar­tic­le 3, point 67, com­me une gran­deur mathé­ma­tique. Ce seuil dev­rait être adap­té à l’a­ve­nir (con­sidé­rant 111).

  • si les Com­mis­si­on euro­pé­en­ne déci­dequ’il exi­ste un ris­que sys­té­mi­que, l’an­ne­xe XIII four­nis­sant les critères cor­re­spond­ants (let. b et art. 52, al. 4 – 5). Il s’a­git de la per­for­mance du modè­le, expri­mée ent­re aut­res par le nombre de paramè­tres ou l’é­ten­due des don­nées d’en­traî­ne­ment, mais aus­si de la tail­le du mar­ché du modèle.

Le pre­sta­tai­re doit d’a­bord sou­mett­re le GPAIM pré­sen­tant des ris­ques sys­té­mi­ques à la Signal­er à la Com­mis­si­on (→ 51), dès que pos­si­ble lorsque l’AM­PIM a att­eint le seuil des ris­ques sys­té­mi­ques, mais au plus tard après deux semain­es (art. 52, al. 1). Il peut ensuite ten­ter de démon­trer qu’ex­cep­ti­on­nel­le­ment, sa GPAIM ne pré­sen­te pas de ris­ques sys­té­mi­ques si la qua­li­fi­ca­ti­on initia­le repo­se sur le critère maté­ri­el de l’ar­tic­le 51, para­gra­phe 1, point a). Il doit pour cela pré­sen­ter à la Com­mis­si­on les argu­ments cor­re­spond­ants. S’il ne con­vainc pas la Com­mis­si­on, la GPAIM est inscri­te sur la liste des ris­ques sys­té­mi­ques (art. 51, al. 3). – Si la com­mis­si­on a con­sidé­ré d’of­fice que l’AM­PIM pré­sen­te un ris­que sys­té­mi­que, le pre­sta­tai­re peut deman­der à tout moment un réex­amen (art. 51, al. 5).

42. quel­les sont les obli­ga­ti­ons des four­nis­seurs de GPAIM pré­sen­tant un ris­que systémique ?

Four­nis­seurs du GPAIM avec des ris­ques sys­té­mi­ques ont des obli­ga­ti­ons sup­p­lé­men­tai­res, c’est-à-dire en plus des obli­ga­ti­ons des four­nis­seurs de GPAIM moins sen­si­bles. Ils doi­vent (art. 55) :

  • éva­luer le GPAIM de maniè­re standardisée ;

  • éva­luer et rédui­re les ris­ques sys­té­mi­ques au niveau de l’UE

  • docu­men­ter les infor­ma­ti­ons sur les inci­dents gra­ves et les mesu­res cor­rec­ti­ves pos­si­bles et, le cas échéant, infor­mer l’AI Office et les auto­ri­tés natio­na­les com­pé­ten­tes ; et

  • garan­tir une cyber­sé­cu­ri­té suffisante.

AIS en service

43. com­ment la sur­veil­lan­ce du mar­ché est-elle réglementée ?

La sur­veil­lan­ce du mar­ché est un élé­ment cen­tral de l’A­IA – elle doit garan­tir à la fois la con­for­mi­té des AIS dans l’in­té­rêt des per­son­nes con­cer­nées et un level play­ing field.

Les four­nis­seurs doi­vent donc avoir un Système de sur­veil­lan­ce du mar­ché après la mise sur le mar­ché des HRAIS (art. 71, para­gra­phe 1). Cela inclut la coll­ec­te, la docu­men­ta­ti­on et l’éva­lua­ti­on des don­nées sur les per­for­man­ces des SIHRA (qui peu­vent être obte­nues par l’in­ter­mé­di­ai­re des opé­ra­teurs) tout au long du cycle de vie du SIHRA.

Ce système com­prend notam­ment un Plan d’ob­ser­va­ti­on de l’HRAIS après sa mise sur le mar­ché. Ce plan fait à son tour par­tie de la docu­men­ta­ti­on tech­ni­que visée à l’an­ne­xe 4 (→ 35, point 6) ; la Com­mis­si­on doit enco­re défi­nir la for­me que doit prend­re un tel plan (art. 72, para­gra­phe 3). Dans la mesu­re où un HRAIS relè­ve de l’an­ne­xe I, sec­tion A (par exemp­le les dis­po­si­tifs médi­caux), les four­nis­seurs peu­vent éga­le­ment inté­grer les exi­gen­ces de l’A­IA dans les systè­mes et plans déjà exi­stants (art. 72, par. 4).

La sur­veil­lan­ce du mar­ché com­prend éga­le­ment l’ob­li­ga­ti­on d’in­for­mer le public en cas de Non-con­for­mi­té de réa­gir (→ 44), cer­ta­ins Inci­dents à signal­er (→ 45), et les pou­voirs cor­re­spond­ants des autorités.

Plus géné­ra­le­ment, les AIS con­sti­tu­ent en prin­ci­pe aus­si des pro­duits au sens de la Mar­chéü
Ordon­nan­ce sur le con­trô­le de la qua­li­té
(art. 74, para­gra­phe 1 ; https://dtn.re/JgakBQ)). Les auto­ri­tés de sur­veil­lan­ce du mar­ché (→ 55) peu­vent donc inter­ve­nir chaque fois qu’un AIS – qui ne doit pas néces­saire­ment être un HRAIS – est sus­cep­ti­ble de com­pro­mett­re la san­té ou la sécu­ri­té des uti­li­sa­teurs ne respec­te pas la légis­la­ti­on d’har­mo­ni­sa­ti­on appli­ca­ble (artic­le 16, para­gra­phe 1, du règle­ment rela­tif à la sur­veil­lan­ce du marché.

44. que se pas­se-t-il si un HRAIS n’est pas (plus) conforme ?

Ce n’est pas seu­le­ment en cas d’in­ci­dents gra­ves qu’il faut réa­gir (→ 45), mais bien enten­du aus­si chaque fois qu’un HRAIS ne répond plus aux exi­gen­ces cor­re­spond­an­tes. A cet égard, l’A­IA n’en­ga­ge pas seu­le­ment la responsa­bi­li­té du four­nis­seur, mais aus­si cel­le d’aut­res acteurs.

Si les four­nis­seurs ont des rai­sons de pen­ser qu’un HRAIS n’est plus con­for­me à l’A­IA, à n’im­por­te quel moment après sa mise sur le mar­ché ou sa mise en ser­vice, ils doi­vent immé­dia­te­ment remé­dier au défaut ou, le cas échéant, reti­rer le HRAIS du mar­ché. reti­rer, désac­ti­ver ou rap­pe­l­er (art. 20, para­gra­phe 1). Le “retrait” signi­fie que la mise à dis­po­si­ti­on d’un HRAIS se trou­vant déjà dans la chaî­ne d’ap­pro­vi­si­on­ne­ment est empê­chée (art. 3, point 17), et le “rap­pel” signi­fie que les HRAIS sont resti­tués ou au moins mis hors ser­vice ou désac­ti­vés (art. 3, point 16).

Les four­nis­seurs doi­vent éga­le­ment respec­ter le mar­ché en aval infor­mer en con­sé­quence, c’est-à-dire les négo­ci­ants, les explo­itants, le man­da­tai­re et les impor­ta­teurs (art. 20, al. 1). Dans la mesu­re où le HRAIS pré­sen­te en out­re un ris­que au sens de l’art. 79, al. 1, AIA, les obli­ga­ti­ons cor­re­spond­an­tes s’ap­pli­quent (→ 45).

Les acteurs en aval sont éga­le­ment impli­qués en cas de non-con­for­mi­té. Dans ce cas, les impor­ta­teurs ne peu­vent pas mett­re l’HRAIS sur le mar­ché tant que la con­for­mi­té n’a pas été réta­b­lie (artic­le 23, para­gra­phe 2), et il en va de même pour les dis­tri­bu­teurs en ce qui con­cer­ne la mise à dis­po­si­ti­on sur le mar­ché (artic­le 24, para­gra­phe 23).

Aus­si Pro­cu­ré ont des responsa­bi­li­tés : S’ils ont des rai­sons de cro­i­re que le four­nis­seur enfreint l’A­IA, ils doi­vent mett­re fin à leur man­dat et en infor­mer l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te et, le cas échéant, l’or­ga­nis­me noti­fié, ain­si que les rai­sons de leur décis­i­on (artic­le 22, para­gra­phe 4).

45. com­ment trai­ter les inci­dents et les ris­ques particuliers ?

Dans le cad­re de la sur­veil­lan­ce du mar­ché (→ 43), cer­ta­ins inci­dents doi­vent être docu­men­tés et noti­fi­és. Cet­te obli­ga­ti­on incom­be aux four­nis­seurs d’HRAIS, et elle est cou­ver­te par “inci­dents gra­ves” déclen­chés. Il s’a­git des dys­fonc­tion­ne­ments, mais aus­si, plus géné­ra­le­ment, des inci­dents ent­raînant direc­te­ment ou indi­rec­te­ment la mort ou une att­ein­te gra­ve à la san­té, une per­tur­ba­ti­on “gra­ve et irré­ver­si­ble” de la gesti­on ou du fonc­tion­ne­ment des infras­truc­tures cri­ti­ques, une vio­la­ti­on des droits fon­da­men­taux ou des dom­mages importants aux biens ou à l’en­vi­ron­ne­ment (art. 3, point 49).

Si un tel inci­dent se pro­duit, le four­nis­seur doit le signal­er aux auto­ri­tés com­pé­ten­tes. Auto­ri­tés de sur­veil­lan­ce du mar­ché (→ 54), des règles spé­cia­les s’ap­pli­quant à cer­ta­ins HRAIS. La décla­ra­ti­on doit être fai­te dès la con­sta­ta­ti­on par le four­nis­seur, mais au plus tard 15 jours après en avoir pris con­nais­sance par le four­nis­seur ou éga­le­ment par l’ex­plo­itant (art. 73, al. 2).

Lorsqu’un inci­dent a un lar­ge impact (“wide­spread inf­rin­ge­ment”) ou con­cer­ne une infras­truc­tu­re cri­tique, le délai de noti­fi­ca­ti­on est réduit à deux jours (art. 73 al. 3 AIA), et en cas de décès, sur dix jours (al. 4). Com­me dans le droit de la pro­tec­tion des don­nées ou pour les décla­ra­ti­ons à la FINMA, il est pos­si­ble de tra­vail­ler avec une décla­ra­ti­on initia­le et une décla­ra­ti­on ultérieure.

Après la noti­fi­ca­ti­on, les auto­ri­tés de sur­veil­lan­ce du mar­ché infor­ment les auto­ri­tés natio­na­les com­pé­ten­tes. Si néces­saire, elles doi­vent éga­le­ment ordon­ner, dans un délai de sept jours, le rap­pel ou le retrait du HRAIS du mar­ché ou l’in­ter­dic­tion de sa mise à dis­po­si­ti­on sur le mar­ché (art. 73, par. 8, en rela­ti­on avec l’art. 19 de la direc­ti­ve sur les pro­duits cos­mé­ti­ques). Art. 19 de l’or­don­nan­ce rela­ti­ve à la sur­veil­lan­ce du mar­ché (https://dtn.re/ElQE2G).

Le four­nis­seur doit éga­le­ment enquêter sur l’in­ci­dent et éva­luer les ris­ques et, si pos­si­ble miti­ga­ti­on (art. 73 al. 6 AIA), en col­la­bo­ra­ti­on avec les auto­ri­tés compétentes.

Out­re les four­nis­seurs, les Opé­ra­teur Obli­ga­ti­ons en cas d’in­ci­dent gra­ve. Vous devez signal­er ces inci­dents au Com­mu­ni­quer le four­nis­seur (art. 26, al. 5, et art. 72). Pour les HRAIS par­ti­cu­liè­re­ment sen­si­bles ou en cas d’uti­li­sa­ti­on dans des infras­truc­tures cri­ti­ques, il faut sans dou­te s’at­tendre dans la pra­tique à des régle­men­ta­ti­ons con­trac­tu­el­les de cet­te obli­ga­ti­on de décla­ra­ti­on, même si elle découle déjà de l’AIA.

Il con­vi­ent de distin­guer les inci­dents gra­ves du cas où un HRAIS ent­raî­ne des ris­ques par­ti­cu­liers, à savoir des ris­ques éle­vés aty­pi­ques pour la san­té ou la sécu­ri­té ou les droits fon­da­men­taux (art. 79, para­gra­phe 1). Dans ce cas, dif­fér­ents rôles ont des obli­ga­ti­ons cor­re­spond­an­tes. Si une auto­ri­té de sur­veil­lan­ce du mar­ché a des rai­sons de pen­ser que de tels ris­ques exi­stent, elle exami­ne l’AIS con­cer­né et, si cet­te hypo­thè­se est con­fir­mée, elle en infor­me les auto­ri­tés natio­na­les com­pé­ten­tes. De même, Opé­ra­teur ont des obli­ga­ti­ons par­ti­cu­liè­res dans un tel système s’il s’a­git d’un HRAIS.

46. quels sont les droits des per­son­nes con­cer­nées et des aut­res organismes ?

Tou­tes les per­son­nes (per­son­nes phy­si­ques et mora­les) ont le droit de dépo­ser une plain­te auprès de l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te (→ 55) si elles ont des rai­sons de pen­ser qu’u­ne dis­po­si­ti­on de l’A­IA a été vio­lée (art. 85, para­gra­phe 1). Pour cela, une per­son­ne ne doit pas être par­ti­cu­liè­re­ment con­cer­née – les plain­tes de con­curr­ents sont éga­le­ment possibles.

Il n’est pas que­sti­on d’u­ne aug­men­ta­ti­on Décis­i­on les per­son­nes con­cer­nées ont éga­le­ment le droit de deman­der à l’opé­ra­teur une expli­ca­ti­on sur le rôle de l’AIS dans la décis­i­on et sur les élé­ments clés de la décis­i­on (→ 35 n° 13).

Per­son­nes con­cer­nées ont éga­le­ment le droit de dépo­ser une plain­te auprès de l’AI Office (artic­le 89, para­gra­phe 2). Cela vaut éga­le­ment pour les four­nis­seurs qui ont inté­g­ré un GPAIM dans leur pro­pre AIS.

A cela s’a­jou­tent des droits en ver­tu d’aut­res bases juri­di­ques, notam­ment aus­si en ver­tu du droit appli­ca­ble. Droit de la pro­tec­tion des don­nées (→ 58) et, le cas échéant, selon les dis­po­si­ti­ons con­trac­tu­el­les. Des deman­des de dom­mages et inté­rêts peu­vent éga­le­ment être envi­sa­gées si les con­di­ti­ons sont réunies.

Que­sti­ons particulières

47. les PME sont-elles sou­la­gées lors de l’ap­pli­ca­ti­on de l’AIA ?

Pour les PME, la mise en œuvre des exi­gen­ces de l’A­IA sera un défi, du moins dans la mesu­re où elles sont acti­ves en tant que four­nis­seurs. Celui qui achè­te un GPAIM et le met en cir­cula­ti­on en tant que HRAIS devi­ent ain­si four­nis­seur du HRAIS – il dev­rait donc y avoir un assez grand nombre de PME qui cou­vrent un cer­tain cas d’uti­li­sa­ti­on sur la base d’un LLM et qui sont four­nis­seurs pour ce cas d’utilisation.

En prin­ci­pe, les dis­po­si­ti­ons de l’A­IA tel quel s’ap­pli­quent éga­le­ment aux PME. L’AIA con­ti­ent tou­te­fois quel­ques dis­po­si­ti­ons desti­nées à sou­te­nir les PME ou les PMI dans sa ver­si­on anglaise :

  • L’art. 62 obli­ge les États mem­bres à prend­re des mesu­res de pro­mo­ti­on en accordant aux PME un accès prio­ri­taire aux labo­ra­toires d’IA, en orga­nisant des mesu­res de sen­si­bi­li­sa­ti­on et de for­ma­ti­on pour les PME, en per­met­tant de poser des que­sti­ons sur l’A­IA et les labo­ra­toires d’IA et en asso­ci­ant les PME à l’é­la­bo­ra­ti­on des nor­mes (→ 15).

  • Les PME doi­vent par­ti­ci­per au forum con­sul­ta­tif (art. 67, para­gra­phe 2).

  • Les inté­rêts des PME doi­vent être pris en comp­te dans les codes de con­duite (artic­le 95, para­gra­phe 4).

  • Pour les amen­des, le taux est légè­re­ment infé­ri­eur (art. 99, al. 6).

Pour les micro-ent­re­pri­ses au sens de la recom­man­da­ti­on de la Com­mis­si­on C(2003)1422 (https://dtn.re/U7vlKH)), l’art. 63, al. 1, pré­voit en out­re un allè­ge­ment du SMQ (→ 35).

48. que sont les labo­ra­toires réels d’IA et les tests en con­di­ti­ons réelles ?

La pro­mo­ti­on de l’in­no­va­ti­on est inscri­te dans divers con­sidé­rants de l’A­IA, et sa plus gran­de con­tri­bu­ti­on à la pro­mo­ti­on de l’in­no­va­ti­on rési­de sans dou­te dans le fait qu’il ne s’a­git pas d’u­ne loi d’in­ter­dic­tion (à quel­ques excep­ti­ons près, Q0). Le cha­pit­re VI (art. 57 ss.) est ensuite expres­sé­ment con­sacré à la pro­mo­ti­on de l’innovation.

Deux élé­ments prin­ci­paux ser­vent à cela. Le pre­mier élé­ment est con­sti­tué par les “Labo­ra­toires réels d’IA”(le ter­me anglais cor­re­spond­ant est “AI regu­la­to­ry sandbox”) :

  • Il s’a­git de faci­li­ter le déve­lo­p­pe­ment, la for­ma­ti­on, les tests et la vali­da­ti­on des AIS avant leur mise sur le mar­ché ou leur mise en ser­vice, selon un plan à con­ve­nir ent­re les four­nis­seurs et l’au­to­ri­té com­pé­ten­te (art. 57, al. 5) et, le cas échéant, avec l’ai­de des auto­ri­tés de pro­tec­tion des don­nées (al. 10).

  • L’ar­tic­le 59 con­ti­ent ensuite une base juri­di­que limi­tée pour le trai­te­ment de Don­nées per­son­nel­les dans le cad­re d’un labo­ra­toire réel : les don­nées per­son­nel­les peu­vent être trai­tées pour le déve­lo­p­pe­ment, l’en­traî­ne­ment et les tests dans un labo­ra­toire réel, mais uni­quement si cer­tai­nes con­di­ti­ons sont rem­plies et uni­quement dans le cas du déve­lo­p­pe­ment d’un AIS pour la sau­vegar­de de cer­ta­ins inté­rêts publics. Cet­te base juri­di­que vient s’a­jou­ter à la base juri­di­que ana­lo­gue à des fins de test pré­vue à l’ar­tic­le 10 (→ 36).

  • Les four­nis­seurs peu­vent ensuite obte­nir une preuve des acti­vi­tés réa­li­sées dans le labo­ra­toire réel ain­si qu’un rap­port final, ce qui per­met d’a­mé­lio­rer le Pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té ou faci­li­ter la sur­veil­lan­ce du mar­ché (para­gra­phe 7). Le respect du plan off­re en out­re une sphè­re de sécu­ri­té cont­re les amen­des en cas de vio­la­ti­on de l’A­IA liée au plan, mais aus­si, le cas échéant, d’aut­res pre­scrip­ti­ons, notam­ment du droit de la pro­tec­tion des don­nées (al. 12).

  • Chaque État membre doit mett­re en place au moins un labo­ra­toire de ce type avant le 2 août 2026 (art. 57, al. 1). La Com­mis­si­on doit tou­te­fois édic­ter aupa­ra­vant des règles enco­re plus détail­lées (art. 58 AIA).

Le deu­xiè­me élé­ment est con­sti­tué par les tests de l’an­ne­xe III-HRAIS sous Con­di­ti­ons réel­les:

  • Les HRAIS selon l’an­ne­xe III (c’est-à-dire les HRAIS liés au cas d’uti­li­sa­ti­on ; Q28) peu­vent, sous cer­tai­nes con­di­ti­ons, être réa­li­sés en dehors d’un labo­ra­toire réel d’IA dans des con­di­ti­ons réel­les (art. 60). Il faut que le test soit con­trôlable, c’est-à-dire qu’il soit sur­veil­lé effi­ca­ce­ment et que les pré­vi­si­ons, recom­man­da­ti­ons ou décis­i­ons de l’AIS pui­s­sent être annulées ou igno­rées (art. 60, al. 4, let. j‑k). Les inci­dents gra­ves doi­vent être noti­fi­és con­for­mé­ment à l’art. 73, c’est-à-dire que l’ob­li­ga­ti­on de noti­fi­ca­ti­on cor­re­spond­an­te (→ 45) est avan­cée au moment pré­cé­dant la mise sur le mar­ché ou la mise en ser­vice (art. 60, al. 7).

  • Les tests doi­vent être basés sur un plan qui doit être approu­vé par l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te (art. 60, al. 4, let. a‑b).

  • Dans la mesu­re où le plan requiert la par­ti­ci­pa­ti­on de par­ti­ci­pan­ts à des tests, ceux-ci doi­vent en prin­ci­pe don­ner leur con­sen­te­ment à cet­te par­ti­ci­pa­ti­on (art. 61, al. 4, let. j, et al. 5).

Sanc­tions & Gouvernance

49. que se pas­se-t-il en cas de vio­la­ti­on de l’AIA ?

Le cha­pit­re XII con­cer­ne les sanc­tions en cas de vio­la­ti­on de l’A­IA. Con­trai­re­ment au RGPD, l’A­IA lui-même ne con­ti­ent pas d’é­lé­ments con­sti­tu­tifs d’a­men­des, mais obli­ge les États mem­bres à intro­dui­re à l’art. 99 des dis­po­si­ti­ons rela­ti­ves aux amen­des, mais aus­si d’aut­res mesu­res d’exé­cu­ti­on. Les amen­des peu­vent être diri­gées cont­re tous les acteurs, c’est-à-dire tous les ser­vices impli­qués dans la créa­ti­on de valeur.

Selon le type d’in­frac­tion, les amen­des peu­vent att­eind­re 35 mil­li­ons d’eu­ros ou 7% du chif­fre d’affaires :

  • En cas de vio­la­ti­on de la pra­ti­ques inter­di­tes (→ 27), le mon­tant supé­ri­eur de l’a­men­de s’é­lè­ve à 35 mil­li­ons d’eu­ros au maxi­mum ou à 7% du chif­fre d’af­fai­res annu­el mon­di­al (art. 99, al. 3). Com­me pour le RGPD, c’est le chif­fre d’af­fai­res du grou­pe qui dev­rait être déterminant.

  • Pour cer­ta­ins aut­res bles­su­res le pla­fond des amen­des est fixé à 15 mil­li­ons d’eu­ros ou à 3% du chif­fre d’af­fai­res annu­el (art. 99, al. 4). Ces amen­des peu­vent être inf­li­gées à des acteurs, mais aus­si à des orga­nis­mes noti­fi­és. Cela con­cer­ne les vio­la­ti­ons de l’art. 16 (four­nis­seurs), de l’art. 22 (agents), de l’art. 23 (impor­ta­teurs), de l’art. 24 (dis­tri­bu­teurs), de l’art. 26 (opé­ra­teurs) et des art. 31, 33, al. 1, 3 et 4 et 34 (orga­nis­mes noti­fi­és) ain­si que de l’art. 50 (trans­pa­rence ; four­nis­seurs et opérateurs).

  • Dans le cas de répon­ses erro­n­ées à des orga­nis­mes noti­fi­és ou aux auto­ri­tés natio­na­les com­pé­ten­tes, le mon­tant de l’a­men­de est de 7,5 mil­li­ons d’eu­ros ou de 1% du chif­fre d’af­fai­res annu­el (art. 99, al. 5).

C’est tou­jours le mon­tant le plus éle­vé qui est déter­mi­nant, sauf pour les PME (ici le mon­tant le plus bas ; art. 99 al. 6 ; → 47). Dans le cas con­cret, le tri­bu­nal ou l’au­to­ri­té admi­ni­stra­ti­ve (art. 99, al. 9) doit tenir comp­te des critères de l’art. 99, al. 7, ent­re aut­res de la gra­vi­té de la fau­te, pour fixer le mon­tant de l’amende.

Sur Four­nis­seurs de GPAIM l’art. 101 con­ti­ent une règ­le spé­cia­le. Tou­tes les vio­la­ti­ons de l’A­IA peu­vent être sanc­tion­nées par une amen­de (art. 101, al. 1, let. a) ; tou­te­fois, l’art. 101, al. 1, men­ti­on­ne spé­ci­fi­quement cer­tai­nes vio­la­ti­ons. Le mon­tant de l’a­men­de s’é­lè­ve ici à 15 mil­li­ons d’eu­ros ou à 3% du chif­fre d’af­fai­res annuel.

Il faut bien sûr distin­guer les bles­su­res de la sur­ve­nue d’un inci­dent gra­ve (→ 45).

50. quel­les sont les auto­ri­tés qui jouent un rôle dans l’AIA ?

L’AIA règ­le le rôle de plu­sieurs auto­ri­tés prin­ci­pa­le­ment dans son pro­pre cha­pit­re “Gou­ver­nan­ce” (cha­pit­re VII, art. 64 et sui­vants). Diver­ses auto­ri­tés et insti­tu­ti­ons sont char­gées de tâches dif­fé­ren­tes qui se recou­pent en par­tie. Il exi­ste une divi­si­on hori­zon­ta­le du tra­vail (au sein de l’UE) et une divi­si­on ver­ti­cale (ent­re l’UE et les États membres).

La pre­miè­re est régie par la sec­tion 1 du cha­pit­re VII (Gou­ver­nan­ce). Le site Com­mis­si­on joue un rôle de pre­mier plan au sein des orga­nes de l’UE et c’est à elle qu’il incom­be en prin­ci­pe de fai­re respec­ter l’A­IA. Elle dis­po­se de pou­voirs éten­dus, peut édic­ter des dis­po­si­ti­ons de con­cré­ti­sa­ti­on et est com­pé­ten­te pour rece­voir les com­mu­ni­ca­ti­ons des acteurs et d’aut­res auto­ri­tés (→ 51).

Le site AI Office (“Bureau de l’In­tel­li­gence Arti­fi­ci­el­le”) fait par­tie de la Com­mis­si­on et est responsable de la sur­veil­lan­ce du mar­ché de la GPAIM et des AIS basés sur la GPAIM du même four­nis­seur (art. 88 et 75 ; Q52).

Le Euro­pean AI Board (EAIB) doit con­seil­ler et assi­ster la Com­mis­si­on (et les États mem­bres) à cet égard (→ 53).

Les nati­on­aux Auto­ri­tés de sur­veil­lan­ce du mar­ché sont respons­ables du con­trô­le du respect de l’A­IA (→ 54).

Le site auto­ri­tés natio­na­les noti­fi­an­tes sont respons­ables de l’éva­lua­ti­on, de la dési­gna­ti­on, de la noti­fi­ca­ti­on et du con­trô­le des orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té AI (art. 28).

Orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té sont à leur tour des orga­nis­mes char­gés de véri­fier et d’éva­luer la con­for­mi­té des AIS con­for­mé­ment à l’A­IA (art. 3, ch. 21 → 15).

En rai­son des vastes obli­ga­ti­ons de coopé­ra­ti­on des par­ties pren­an­tes et des vastes pos­si­bi­li­tés de coll­ec­te d’in­for­ma­ti­ons des auto­ri­tés, la Com­mis­si­on, les auto­ri­tés de sur­veil­lan­ce du mar­ché et les orga­nis­mes noti­fi­és, ain­si que tous les aut­res orga­nis­mes par­ti­ci­pant à l’ap­pli­ca­ti­on de l’AI­AI, seront sou­mis à une Obli­ga­ti­on de con­fi­den­tia­li­té (art. 78).

51. quel­les sont les tâches de la Com­mis­si­on euro­pé­en­ne dans le cad­re de l’AIA ?

Au niveau de l’UE, le rôle prin­ci­pal revi­ent à la Com­mis­si­on et à l’AI Office, qui fait par­tie de la Com­mis­si­on (→ 52).

La Com­mis­si­on, qui veil­le au respect du droit de l’UE en ver­tu de l’ar­tic­le 17, para­gra­phe 1, du trai­té sur l’U­ni­on euro­pé­en­ne, joue un rôle cen­tral à cet égard. Ses com­pé­ten­ces peu­vent être répar­ties com­me suit (liste non exhaus­ti­ve – cer­tai­nes aut­res tâches sub­al­ter­nes de la Com­mis­si­on ne sont pas mentionnées) :

Légifé­rer en con­cré­ti­santL’art. 97 de l’A­IA con­fè­re à la Com­mis­si­on, sur la base de l’art. 290 du trai­té UE (https://dtn.re/9MhpKX)) le droit d’ad­op­ter des “actes délé­gués” con­traignants. Le trai­té UE fait la distinc­tion ent­re les actes délé­gués et les actes d’exé­cu­ti­on. Actes délé­gués sont des actes juri­di­ques com­plé­tant ou modi­fi­ant l’ac­te de base (l’A­IA), que la Com­mis­si­on sou­met au Con­seil et au Par­le­ment pour appro­ba­ti­on ou rejet. Actes d’exé­cu­ti­on sont de simp­les dis­po­si­ti­ons de mise en œuvre tel­les que des dis­po­si­ti­ons tech­ni­ques, des excep­ti­ons, etc. qui ne sont pas sou­mi­ses au Par­le­ment et au Conseil.

Le pou­voir, actes délé­gués se base sur l’art. 97 de l’A­IA et doit per­mett­re de reflé­ter l’é­vo­lu­ti­on tech­ni­que par­ti­cu­liè­re­ment rapi­de dans le domaine de l’IA. Cela con­cer­ne en défi­ni­ti­ve les points suivants :

  • les critères per­met­tant de déter­mi­ner quand un AIS devi­ent un HRAIS (→ 28) et, par ana­lo­gie, l’an­ne­xe III (cas d’uti­li­sa­ti­on ; art. 7, al. 1 et 3) ;

  • l’an­ne­xe IV rela­ti­ve au con­te­nu mini­mal de la docu­men­ta­ti­on tech­ni­que (art. 11, para­gra­phe 3) ;

  • les anne­xes VI et VII et de l’ar­tic­le 43, para­gra­phes 1 et 2, con­cer­nant la pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té et de l’an­ne­xe V con­cer­nant le con­te­nu de la décla­ra­ti­on UE de conformité ;

  • les critères de clas­si­fi­ca­ti­on d’u­ne MGPA com­me pré­sen­tant un ris­que sys­té­mi­que, con­for­mé­ment à l’ar­tic­le 51, para­gra­phes 1 et 2, et à l’an­ne­xe XIII ;

  • les anne­xes XI et XII rela­ti­ves au con­te­nu de la docu­men­ta­ti­on tech­ni­que et aux exi­gen­ces de trans­pa­rence pour l’uti­li­sa­ti­on en aval de la GPAIM (artic­le 53).

En out­re, la Com­mis­si­on peut, dans les domain­es sui­vants Actes d’exé­cu­ti­on de la Com­mis­si­on. Pour ce fai­re, elle a géné­ra­le­ment sui­vi le règle­ment rela­tif aux com­pé­ten­ces d’exé­cu­ti­on (https://dtn.re/B9uV04)) (art. 98, par. 2 :

  • Inter­ve­nir lorsqu’un État membre ne respec­te pas les exi­gen­ces en matiè­re de orga­nis­mes noti­fi­és n’est pas rem­plie (art. 37, para­gra­phe 4) ;

  • Appro­ba­ti­on de Gui­des pra­ti­ques en rela­ti­on avec les GPAIM selon l’art. 56, de maniè­re géné­ra­le et notam­ment aus­si pour con­cré­ti­ser les exi­gen­ces de trans­pa­rence en cas de con­te­nus géné­rés ou mani­pulés par IA (art. 50 al. 7), les obli­ga­ti­ons des four­nis­seurs de GPAIM selon l’art. 53 et de GPAIM pré­sen­tant un ris­que sys­té­mi­que selon l’art. 55 (art. 56 al. 6) ;

  • Décret Spé­ci­fi­ca­ti­ons com­mu­nes(2) L’AIA pré­voit l’ad­op­ti­on d’un code de con­duite en l’ab­sence de nor­mes per­ti­nen­tes (artic­le 41 de l’A­IA) et de règles com­mu­nes dans le domaine de la GPAIM en l’ab­sence de code de con­duite au plus tard le 2 août 2025 (artic­le 56, para­gra­phe 9).

  • Règles de con­cré­ti­sa­ti­on pour Labo­ra­toires réels d’IA (art. 58, para­gra­phes 1 et 2) et des tests de HRAIS en con­di­ti­ons réel­les (art. 60) ;

  • Dis­po­si­ti­ons rela­ti­ves à la mise en place d’un grou­pe sci­en­ti­fi­que d’ex­perts indé­pen­dants (art. 68, para­gra­phes 1 et 5, et art. 69, para­gra­phe 2) ;

  • Con­cré­ti­sa­ti­ons pour le Plan d’ob­ser­va­ti­on du mar­ché des four­nis­seurs de HRAIS (artic­le 72, para­gra­phe 3) ;

  • Con­cré­ti­sa­ti­ons du Pro­cé­du­re de sanc­tion (art. 101, para­gra­phe 6).

La Com­mis­si­on peut ensuite, par le biais du Adop­ti­on de lignes direc­tri­ces et nor­ma­li­sa­ti­on con­tri­buer à l’uni­for­mi­sa­ti­on des pra­ti­ques:

  • La Com­mis­si­on doit tenir les rênes de l’ap­pli­ca­ti­on de l’A­IA en géné­ral. Elle don­ne, par exemp­le, les ins­truc­tions sui­van­tes Man­dats de nor­ma­li­sa­ti­on selon l’art. 10 de l’or­don­nan­ce sur les nor­mes, (https://dtn.re/BRL10Q), c’est-à-dire des man­dats pour l’é­la­bo­ra­ti­on des nor­mes dont le respect con­fè­re une pré­somp­ti­on de con­for­mi­té (artic­le 40, para­gra­phes 1 et 2), et peut – en l’ab­sence de nor­mes per­ti­nen­tes – adop­ter des “spé­ci­fi­ca­ti­ons com­mu­nes” cor­re­spond­an­tes (artic­le 41 de l’AIA).

  • Selon l’art. 96 de l’A­IA, elle peut en out­re, de maniè­re géné­ra­le Lignes direc­tri­ces pour la mise en œuvre pra­tique de l’A­IA. L’art. 96 con­ti­ent cer­tes une liste de points à con­cré­ti­ser – en par­ti­cu­lier la défi­ni­ti­on de l’AIS, l’ap­pli­ca­ti­on des art. 8 ss. avec les exi­gen­ces de base, la clas­si­fi­ca­ti­on com­me HRAIS (art. 6 al. 5), les pra­ti­ques inter­di­tes et la trans­pa­rence selon l’art. 50 AIA – mais elle n’est pas exhaustive.

  • La Com­mis­si­on approu­vé en out­re Gui­des pra­ti­ques selon l’art. 56 de l’A­IA, c’est-à-dire une con­cré­ti­sa­ti­on des obli­ga­ti­ons des four­nis­seurs de GPAIM.

  • Elle pré­sen­te éga­le­ment Modè­les et for­mu­lai­res qui sont sus­cep­ti­bles d’a­voir une importance con­sidé­ra­ble dans la pra­tique. Elle doit mett­re à dis­po­si­ti­on un for­mu­lai­re sim­pli­fié pour la docu­men­ta­ti­on tech­ni­que dans les HRAIS des PME (art. 11 ; anne­xe IV).

La Com­mis­si­on pour­su­it Mes­sa­ges et Rap­ports de l’U­ni­on européenne :

  • l’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance et en temps réel à des fins répres­si­ves : Com­mu­ni­ca­ti­on par les États mem­bres des bases juri­di­ques cor­re­spond­an­tes (artic­le 5, para­gra­phe 5) et rap­ports annu­els des auto­ri­tés natio­na­les de sur­veil­lan­ce du mar­ché et de pro­tec­tion des don­nées (artic­le 5, para­gra­phe 6) ;

  • éva­lua­ti­on de la con­for­mi­té : com­mu­ni­ca­ti­on des auto­ri­tés noti­fi­an­tes con­cer­nant les orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té (art. 30, par. 2 s. et art. 36, par. 1, 4 et 7) ; com­mu­ni­ca­ti­on des auto­ri­tés de sur­veil­lan­ce du mar­ché con­cer­nant les déro­ga­ti­ons accor­dées aux HRAIS con­for­mé­ment à l’art. 46, par. 1 (art. 46, par. 3 ; la Com­mis­si­on pou­vant intervenir) ;

  • GPAIM : décla­ra­ti­on des four­nis­seurs de GPAIM pré­sen­tant un ris­que sys­té­mi­que (art. 52, para­gra­phe 1) ;

  • Com­mu­ni­ca­ti­on des auto­ri­tés de noti­fi­ca­ti­on et des auto­ri­tés de sur­veil­lan­ce du mar­ché par les États mem­bres (art. 70, para­gra­phes 2 et 6) ;

  • Com­mu­ni­ca­ti­on aux auto­ri­tés natio­na­les des inci­dents gra­ves (art. 73, al. 11) con­for­mé­ment à l’or­don­nan­ce sur la sur­veil­lan­ce du mar­ché ; (https://dtn.re/ubfeIK);

  • com­mu­ni­ca­ti­on annuel­le par les auto­ri­tés de sur­veil­lan­ce du mar­ché des infor­ma­ti­ons issues de la sur­veil­lan­ce du mar­ché et de l’uti­li­sa­ti­on de pra­ti­ques inter­di­tes (art. 74, para­gra­phe 2) ;

  • Com­mu­ni­ca­ti­on par les États mem­bres des auto­ri­tés natio­na­les ou des orga­nis­mes publics char­gés de la sur­veil­lan­ce de la pro­tec­tion des droits fon­da­men­taux (artic­le 77, para­gra­phes 1 et 2) ;

  • Infor­ma­ti­ons four­nies par les États mem­bres en rap­port avec les AIS à ris­que au sens de l’ar­tic­le 79, para­gra­phe 1(art. 79, para­gra­phe 3 et suivants) ;

  • les infor­ma­ti­ons four­nies par les États mem­bres en rap­port avec les AIS à ris­que que le four­nis­seur n’a pas clas­sés à haut ris­que (artic­le 80, para­gra­phe 3) et avec les AIS con­for­mes qui pré­sen­tent néan­mo­ins un ris­que par­ti­cu­lier (artic­le 82, para­gra­phes 1 et 3) ;

  • Com­mu­ni­ca­ti­ons des États mem­bres sur leurs dis­po­si­ti­ons en matiè­re de sanc­tions et aut­res mesu­res d’exé­cu­ti­on et sur leur pra­tique en matiè­re d’a­men­des (artic­le 99, para­gra­phes 2 et 11) ; com­mu­ni­ca­ti­on du CEPD sur sa pra­tique en matiè­re d’a­men­des (artic­le 100, para­gra­phe 7).

La Com­mis­si­on a con­tin­ué Pou­voirs d’in­ter­ven­ti­on et de décis­i­on:

  • Sanc­tion­ner les four­nis­seurs de GPAIM (artic­le 101, para­gra­phe 1) ;

  • Oppo­si­ti­on aux déro­ga­ti­ons accor­dées à HRAIS en ver­tu de l’ar­tic­le 46, para­gra­phe 1 (art. 46, para­gra­phes 4 et 5) ;

  • Clas­si­fi­ca­ti­on d’u­ne GPAIM com­me pré­sen­tant un ris­que sys­té­mi­que (art. 52, para­gra­phes 2 à 5) ;

  • Éva­lua­ti­on des pro­cé­du­res que les four­nis­seurs d’AM­PIM ou d’AM­PIM pré­sen­tant un ris­que sys­té­mi­que peu­vent uti­li­ser pour appor­ter la preuve de leurs obli­ga­ti­ons respec­ti­ves au tit­re des artic­les 53 et 55 (en l’ab­sence de nor­mes har­mo­ni­sées ; artic­le 53, para­gra­phe 4, et artic­le 55, para­gra­phe 2) ;

  • Inter­ve­nir lorsqu’un AIS pré­sen­tant des ris­ques par­ti­cu­liers au sens de l’art. 79, al. 1, n’est pas con­for­me ou lorsqu’un HRAIS con­for­me pré­sen­te néan­mo­ins des ris­ques par­ti­cu­liers et que la com­mis­si­on n’est pas d’ac­cord avec les mesu­res pri­ses par l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te (art. 81 et 82).

Enfin, la com­mis­si­on infor­me par Publi­ca­ti­ons et annon­ces:

  • Liste des orga­nis­mes noti­fi­ants (art. 35, para­gra­phe 2) ;

  • Liste des GPAIM pré­sen­tant un ris­que sys­té­mi­que (art. 52, para­gra­phe 6) ;

  • Liste des guiche­ts uni­ques des États mem­bres (art. 70, para­gra­phe 2) ;

  • Base de don­nées de l’HRAIS con­for­mé­ment à l’an­ne­xe III (art. 71) ;

  • fai­re rap­port au Par­le­ment et au Con­seil (art. 112).

Et enfin, la Com­mis­si­on a Pou­voirs d’exé­cu­ti­on au GPAIM:

  • GPAIM font l’ob­jet d’u­ne régle­men­ta­ti­on spé­ci­fi­que au cha­pit­re V. La Com­mis­si­on est char­gée de fai­re appli­quer les dis­po­si­ti­ons du pré­sent cha­pit­re, com­me le pré­voit la sec­tion 5 du cha­pit­re IX (sur­veil­lan­ce après la mise sur le mar­ché ; éch­an­ge d’in­for­ma­ti­ons et sur­veil­lan­ce du mar­ché). Elle doit être tenue infor­mée par les auto­ri­tés de sur­veil­lan­ce du mar­ché (art. 73, al. 11, art. 74, al. 2, art. 77, al. 2, art. 79, al. 3 et sui­vants, art. 80, al. 3).

  • La Com­mis­si­on peut inter­ve­nir si elle n’est pas d’ac­cord avec les mesu­res pri­ses par les États mem­bres, si l’AIS ou l’HRAIS pré­sen­tent des ris­ques par­ti­cu­liers (art. 81 et art. 82, al. 4 s.).

  • Elle a éga­le­ment la com­pé­tence géné­ra­le de fai­re appli­quer le cha­pit­re V (art. 88.1). A cet­te fin, elle peut deman­der des infor­ma­ti­ons aux four­nis­seurs d’AM­PI (art. 91, par. 1 et 3, et art. 92, par. 3), dési­gner des experts pour éva­luer les AMPI (art. 92, par. 2) et exi­ger des four­nis­seurs d’AM­PI qu’ils respec­tent leurs obli­ga­ti­ons, pren­nent des mesu­res de réduc­tion des ris­ques et reti­rent une AMPI du mar­ché (art. 93, par. 1).

52. quel est le rôle de l’AI Office ?

Le AI Office (https://dtn.re/cvmxvL)), mais avec une déno­mi­na­ti­on légè­re­ment dif­fé­ren­te, à savoir “Office euro­pé­en de l’in­tel­li­gence arti­fi­ci­el­le“Les deux sont l’AI Office (l’an­g­lais AI s’im­po­se). Il fait par­tie de la DG (Direc­tion géné­ra­le des réseaux de com­mu­ni­ca­ti­on, du con­te­nu et des tech­no­lo­gies) de la Com­mis­si­on. Il comp­te plus de 140 employés et est divi­sé en cinq dépar­te­ments : “Excel­lence in AI and Robo­tics Unit”, “Regu­la­ti­on and Com­pli­ance Unit”, “AI Safe­ty Unit”, “AI Inno­va­ti­on and Poli­cy Coor­di­na­ti­on Unit” et “AI for Socie­tal Good Unit”.

Les tâches de l’Of­fice décou­lent de l’ar­tic­le 3, point 47, de l’ar­tic­le 64, d’aut­res dis­po­si­ti­ons de l’A­IA et de la décis­i­on sus­ment­i­onnée, qui énumè­re ces tâches ain­si que d’aut­res et les com­pé­ten­ces de l’Of­fice. Il s’a­git prin­ci­pa­le­ment des suivantes :

  • tâches de coor­di­na­ti­on (par exemp­le, la coopé­ra­ti­on avec les par­ties pren­an­tes, les aut­res ser­vices de la Com­mis­si­on, les aut­res orga­nes de l’UE et les États mem­bres et leurs autorités) ;

  • Artic­les spé­cia­li­sés (par exemp­le, le sui­vi des évo­lu­ti­ons éco­no­mi­ques et tech­ni­ques, l’é­la­bo­ra­ti­on de gui­des et de con­di­ti­ons types [art. 25, 27, para­gra­phe 5, 50, para­gra­phe 7, 53, para­gra­phe 1, point d), 56 et 62, para­gra­phe 2] et la pré­pa­ra­ti­on des décis­i­ons de la Com­mis­si­on (art. 56) ;

  • le Sur­veil­lan­ce du mar­ché sur les GPAIM et sur les AIS qu’un four­nis­seur con­struit sur la base de son pro­pre GPAIM (art. 88 et art. 75 et art. 3 de la décis­i­on de la Com­mis­si­on pré­ci­tée). Il véri­fie ici le respect de l’A­IA par les acteurs con­cer­nés et sert éga­le­ment de point de cont­act pour la noti­fi­ca­ti­on d’in­ci­dents gra­ves (→ 45).

En out­re, l’Of­fice super­vi­se éga­le­ment l’AI Pact (https://dtn.re/WJfwxl).

53. quel est le rôle de l’EAIB ?

Le “panel euro­pé­en sur l’in­tel­li­gence arti­fi­ci­el­le” (“panel IA” ; éga­le­ment “EAIB”, pour “Euro­pean AI Board”, https://dtn.re/QQhGJ7).

Il doit con­seil­ler et assi­ster la Com­mis­si­on et les Etats mem­bres afin de faci­li­ter l’ap­pli­ca­ti­on uni­for­me et effi­cace de l’A­IA (l’ar­tic­le 66 con­ti­ent une liste de ses tâches ; d’aut­res tâches sont défi­nies dans l’A­IA). Pour ce fai­re, il assi­ste l’AI Office, ent­re aut­res, dans l’é­la­bo­ra­ti­on de gui­des pra­ti­ques. En ce qui con­cer­ne l’ap­pli­ca­ti­on du RGPD, le CEPD et la Com­mis­si­on défen­dent sou­vent des posi­ti­ons con­tra­dic­toires ; reste à savoir s’il en sera de même pour l’AIA.

54. quel­les aut­res instances de l’UE l’A­IA prévoit-elle ?

Un Forum con­sul­ta­tif four­nit une exper­ti­se tech­ni­que à l’E­AIB et à la Com­mis­si­on. Le forum con­sul­ta­tif est com­po­sé de repré­sen­tants de l’in­du­strie, des start-ups, des PME, de la socié­té civi­le et de la com­mun­au­té sci­en­ti­fi­que, ain­si que d’or­ga­nis­mes euro­pé­ens (par exemp­le, le Comi­té euro­pé­en de nor­ma­li­sa­ti­on CEN ou l’E­NISA) (art. 67).

En out­re, la Com­mis­si­on doit cré­er un grou­pe sci­en­ti­fi­que d’ex­perts indé­pen­dants (comi­té sci­en­ti­fi­que(Sci­en­ti­fic panel of inde­pen­dent experts). Il est com­po­sé d’ex­perts indé­pen­dants et doit sou­te­nir l’AI Office dans ses acti­vi­tés de sur­veil­lan­ce du mar­ché en lui four­nis­sant des con­nais­sances sci­en­ti­fi­ques et tech­ni­ques (art. 68).

55. quel est le rôle des auto­ri­tés natio­na­les de sur­veil­lan­ce du marché ?

Le site Auto­ri­tés de sur­veil­lan­ce du mar­ché (art. 3, n° 26 et 48) sont respons­ables de la sur­veil­lan­ce du mar­ché pour HRAIS et GPAIM (art. 74 et sui­vants). Chaque État membre doit dési­gner au moins une tel­le auto­ri­té (art. 70, para­gra­phe 1). Pour les pro­duits régle­men­tés (art. 6, para­gra­phe 1), ce sont géné­ra­le­ment les auto­ri­tés com­pé­ten­tes dans ce domaine qui sont éga­le­ment l’au­to­ri­té de sur­veil­lan­ce du mar­ché selon l’A­IA (art. 74, para­gra­phe 3), dans le domaine finan­cier, l’au­to­ri­té de sur­veil­lan­ce des mar­chés finan­ciers (art. 74, para­gra­phe 6), et pour les orga­nis­mes publics de l’UE, le CEPD (art. 74, para­gra­phe 9). Les AIS basés sur une GPAIM déve­lo­p­pée en inter­ne (par exemp­le ChatGPT) con­sti­tu­ent un cas par­ti­cu­lier ; dans ce cas, la sur­veil­lan­ce du mar­ché incom­be à l’AI Office (→ 52).

Le site Pou­voirs et tâches sont notam­ment régies par l’or­don­nan­ce rela­ti­ve à la sur­veil­lan­ce du mar­ché (art. 3 n° 26 ; art. 14 et sui­vants de cet­te ordon­nan­ce) ; https://dtn.re/QCMYaE) et aux exi­gen­ces de l’ar­tic­le 70, para­gra­phe 1. Par exemp­le, ils peuvent

  • en cas de inci­dent gra­ve ordon­ner, pour un HRAIS, qu’il soit rap­pelé ou reti­ré du mar­ché ou que sa mise à dis­po­si­ti­on sur le mar­ché soit sus­pen­due (art. 19 de l’or­don­nan­ce rela­ti­ve à la sur­veil­lan­ce du marché) ;

  • pour leur acti­vi­té, deman­der à tout moment des infor­ma­ti­ons aux four­nis­seurs (art. 74, al. 12 et 13, et 75, al. 3), les Obli­ga­ti­ons de coopé­ra­ti­on avoir, et ils peuvent

  • éven­tu­el­le­ment, vous pou­vez obte­nir un Test de HRAIS ordon­ner (art. 77, al. 3).

  • Si un AIS devait avoir un par­ti­cu­lier Ris­que pour la san­té et la sécu­ri­té des per­son­nes, la san­té et la sécu­ri­té au tra­vail, la pro­tec­tion des con­som­ma­teurs, l’en­vi­ron­ne­ment, la sécu­ri­té publi­que et d’aut­res inté­rêts publics (art. 79, al. 1, en rela­ti­on avec l’art. 3, n° 19, de l’or­don­nan­ce rela­ti­ve à la sur­veil­lan­ce du mar­ché), l’au­to­ri­té de sur­veil­lan­ce du mar­ché com­pé­ten­te peut véri­fier la con­for­mi­té de l’AIS con­cer­né et, le cas échéant, ordon­ner des mesu­res cor­rec­ti­ves et un rap­pel (art. 79, al. 5).

  • Dans le cas de l’AIS, que le four­nis­seur pas à haut ris­que l’au­to­ri­té de sur­veil­lan­ce du mar­ché peut, si elle n’est pas d’ac­cord, ordon­ner la mise en con­for­mi­té (art. 80, al. 1 et 2). Elle peut éga­le­ment, dans le cas de pro­duits cer­tes con­for­mes, mais néan­mo­ins par­ti­cu­liè­re­ment ris­qué HRAIS ordon­ner des mesu­res cor­rec­ti­ves (art. 82, al. 1). Elle peut éga­le­ment prend­re des mesu­res en cas d’err­eurs for­mel­les, par exemp­le lorsqu’un mar­quage CE fait défaut (art. 83).

En ver­tu de l’A­IA, les auto­ri­tés de sur­veil­lan­ce du mar­ché sont en out­re char­gées notam­ment des tâches suivantes :

  • Infor­ma­ti­on de la Com­mis­si­on con­cer­nant cer­tai­nes dis­po­si­ti­ons légis­la­ti­ves rela­ti­ves à l’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance et en temps réel dans le cad­re de l’ap­pli­ca­ti­on du droit (artic­le 5, para­gra­phes 4 et 6) ;

  • Récep­ti­on d’in­for­ma­ti­ons et des mes­sa­ges, notam­ment les suivants :

  • le four­nis­seur et l’ex­plo­itant d’un HRAIS sur les ris­ques par­ti­cu­liers (art. 79, para­gra­phe 2, et art. 26, para­gra­phe 5) ; l’ex­plo­itant d’un HRAIS sur les inci­dents gra­ves (art. 26, para­gra­phe 5) ;

  • Copie du man­dat de com­man­de et de sa rési­lia­ti­on par des repré­sen­tants de pre­sta­tai­res HRAIS non euro­pé­ens (art. 22, al. 3 et 4) ;

  • Infor­ma­ti­on sur les HRAIS non con­for­mes des impor­ta­teurs (art. 23, para­gra­phe 2) ;

  • les ana­ly­ses d’im­pact sur les droits fon­da­men­taux (FRIA) des orga­nis­mes publics (artic­le 27, para­gra­phe 3) ;

  • Infor­ma­ti­ons sur les tests de HRAIS en con­di­ti­ons réel­les (art. 60) ;

  • noti­fi­ca­ti­ons d’in­ci­dents gra­ves à HRAIS (artic­le 73, para­gra­phe 1) ;

  • Infor­ma­ti­on d’aut­res orga­nis­mes:

  • des auto­ri­tés natio­na­les et des orga­nis­mes publics con­for­mé­ment à l’ar­tic­le 77, lorsqu’un inci­dent gra­ve con­cer­nant un HRAIS lui a été signa­lé (artic­le 73, para­gra­phe 7) ;

  • de la com­mis­si­on en cas de mesu­res à prend­re en cas d’in­ci­dents gra­ves (art. 19, al. 1, de l’or­don­nan­ce rela­ti­ve à la sur­veil­lan­ce du marché) ;

  • rap­port annu­el à l’at­ten­ti­on de la Com­mis­si­on (art. 74, para­gra­phe 2) ;

  • auto­ri­sa­ti­on excep­ti­on­nel­le d’un HRAIS con­for­mé­ment à l’art. 46 ;

  • Appro­ba­ti­on et révi­si­on de la Tests de HRAIS en con­di­ti­ons réel­les (art. 60, al. 4, let. b, art. 76) ; le cas échéant, inter­ve­nir éga­le­ment si un inci­dent gra­ve se pro­duit ou si un test ne se déroule pas con­for­mé­ment aux con­di­ti­ons appli­ca­bles (art. 76, al. 3 et 5) ;

  • Récep­ti­on de Plain­tes des per­son­nes phy­si­ques ou mora­les (art. 85).

56. quel est le rôle des orga­nis­mes d’éva­lua­ti­on de la conformité ?

Les orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té effec­tu­ent Éva­lua­ti­on de la con­for­mi­té (art. 3, point 21). Ils sont insti­tués par les auto­ri­tés noti­fi­an­tes (art. 28, par. 1, 29, par. 1, et 30, par. 1 → 57) et doi­vent satis­fai­re aux exi­gen­ces de l’art. 30. Ils doi­vent notam­ment être indé­pen­dants. Les orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té dans des pays tiers peu­vent éga­le­ment agir selon l’A­IA, pour autant qu’il exi­ste un accord cor­re­spond­ant avec l’UE (art. 39). Un orga­nis­me de con­for­mi­té s’ap­pel­le “orga­nis­me noti­fié”, si elle a été noti­fi­ée con­for­mé­ment aux dis­po­si­ti­ons per­ti­nen­tes (artic­le 3, point 22). Con­cer­nant la pro­cé­du­re d’éva­lua­ti­on de la con­for­mi­té → 15.

57. quel est le rôle des auto­ri­tés de notification ?

Chaque État membre doit dési­gner une auto­ri­té noti­fi­an­te (art. 28, para­gra­phe 1, et 70, para­gra­phe 1). Elle est char­gée d’é­ta­b­lir les pro­cé­du­res d’éva­lua­ti­on, de dési­gna­ti­on et de noti­fi­ca­ti­on des de mett­re en place des orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té et de les mett­re en œuvre et de les con­trô­ler (art. 3, point 19). “Auto­ri­tés de noti­fi­ca­ti­on” : elles sont appelées ain­si par­ce qu’el­les doi­vent infor­mer la Com­mis­si­on (→ 51) et les aut­res États mem­bres de chaque orga­nis­me d’éva­lua­ti­on de la con­for­mi­té par le biais d’un instru­ment de noti­fi­ca­ti­on géré par la Com­mis­si­on ; ce n’est qu’ain­si que les orga­nis­mes d’éva­lua­ti­on de la con­for­mi­té devi­en­nent des orga­nis­mes noti­fi­és et peu­vent com­men­cer leurs acti­vi­tés (→ 56).

Que­sti­ons complémentaires

58. quel est le rôle de la pro­tec­tion des don­nées dans l’AIA ?

La pro­tec­tion des don­nées revêt une importance con­sidé­ra­ble pour l’AIS, en par­ti­cu­lier dans le cad­re de la for­ma­ti­on de GPAIM. C’est pour­quoi l’A­IA ren­voie sou­vent au RGPD, en par­ti­cu­lier pour les ter­mes qui y sont défi­nis léga­le­ment (art. 3, n° 37, 50, 51 et 52) ou de maniè­re décla­ra­ti­ve aux pre­scrip­ti­ons du RGPD (par exemp­le à l’art. 26, al. 9 pour l’uti­li­sa­ti­on des ins­truc­tions d’ex­plo­ita­ti­on lors d’u­ne ana­ly­se d’im­pact rela­ti­ve à la pro­tec­tion des don­nées ou à l’art. 50, al. 3 pour l’in­for­ma­ti­on des per­son­nes con­cer­nées), mais pré­cise que le RGPD s’ap­pli­que sans rest­ric­tion au trai­te­ment des don­nées per­son­nel­les (art. 2, al. 7, 10, al. 5).

L’art. 10, al. 5, con­ti­ent la seu­le dis­po­si­ti­on spé­cia­le con­cer­nant l’ob­li­ga­ti­on d’in­for­mer. Base juri­di­que dans l’A­IA. Il exi­ste un con­flit d’ob­jec­tifs ent­re l’é­co­no­mie de don­nées et la per­ti­nence des don­nées d’en­traî­ne­ment. L’AIA le rés­out de tel­le sor­te que même les don­nées per­son­nel­les sen­si­bles peu­vent excep­ti­on­nel­le­ment être trai­tées si cela est abso­lu­ment néces­saire lors de l’en­traî­ne­ment d’un HRAIS afin d’i­den­ti­fier et de rédui­re les biais (plus pré­cis­é­ment : l’in­ter­dic­tion de l’ar­tic­le 9, para­gra­phe 1 du RGPD est levée à cet égard ; une base juri­di­que selon l’ar­tic­le 6 reste néces­saire ; CJCE, affai­re C‑667/21, https://dtn.re/ATzHFf). Les con­di­ti­ons par­ti­cu­liè­res pré­vues à l’ar­tic­le 10, para­gra­phe 5, lett­res a à f, doi­vent cepen­dant être respectées.

Plus importan­te que cet­te que­sti­on est la dis­cus­sion sur le champ d’ap­pli­ca­ti­on de la loi sur la pro­tec­tion des don­nées à une for­ma­ti­on de LLM et plus lar­ge, quand dans le cad­re d’un LLM Don­nées per­son­nel­les quel­le par­tie joue quel rôle et com­ment les droits des per­son­nes con­cer­nées peu­vent être garan­tis. Un débat est en cours à ce sujet. Il con­vi­ent notam­ment de se réfé­rer aux docu­ments et pri­ses de posi­ti­on sui­vants (par ord­re chro­no­lo­gi­que décroissant) :

La posi­ti­on défen­due notam­ment par le HmbBfDI, selon laquel­le un LLM ne peut pas con­te­nir de don­nées per­son­nel­les par­ce qu’il ne copie pas les don­nées d’en­trée, mais repré­sen­te mathé­ma­ti­quement les rela­ti­ons ent­re les tokens sous for­me de vec­teurs ou de ten­seurs, est trop cour­te, car l’é­tat d’a­g­ré­ga­ti­on d’u­ne don­née per­son­nel­le n’est pas per­ti­nent : si des infor­ma­ti­ons per­son­nel­les ne sont pas enre­gi­strées en tant que tel­les, mais sous for­me de rela­ti­ons mathé­ma­ti­ques en prin­ci­pe repro­duc­ti­bles, il s’a­git alors d’un trai­te­ment de don­nées per­son­nel­les (cf. datenrecht.ch, https://dtn.re/BuTaCE). La que­sti­on de savoir com­ment les droits des per­son­nes con­cer­nées peu­vent être mis en œuvre dans le cad­re des LLM, par exemp­le, n’est donc pas sans objet.

Les auto­ri­tés de pro­tec­tion des don­nées se sont éga­le­ment pro­non­cées, en dehors de la que­sti­on de la réfé­rence aux per­son­nes des embed­dings (→ 12), sur le Rela­ti­on ent­re la pro­tec­tion des don­nées et l’in­tel­li­gence arti­fi­ci­el­le ont été expri­més, par exemple :

  • EDSA, State­ment 3/2024 on data pro­tec­tion aut­ho­ri­ties’ role in the Arti­fi­ci­al Intel­li­gence Act frame­work, 16 juil­let 2024 (https://dtn.re/vGUUWh)

  • DSK, Ori­en­ta­ti­on sur l’in­tel­li­gence arti­fi­ci­el­le et la pro­tec­tion des don­nées, 6 mai 2024 (https://dtn.re/S63kDn)

  • BayL­DA, dans le 29e rap­port d’ac­ti­vi­té 2019 (https://dtn.re/rg7FEr)

  • ICO, diver­ses infor­ma­ti­ons sur des thè­mes IA (https://dtn.re/g91v0E)

  • Autri­cheFAQ sur l’IA et la pro­tec­tion des don­nées de la CPD autri­chi­en­ne, 2 juil­let 2024 (https://dtn.re/Sz4sDS)

  • France: CNIL, Gui­de d’au­to-éva­lua­ti­on des systè­mes d’in­tel­li­gence arti­fi­ci­el­le (IA) (https://dtn.re/44hM5n)

  • Ita­lie: Garan­te, Indi­ca­ti­ons sur la pro­tec­tion des don­nées per­son­nel­les cont­re le scra­ping, 20 mars 2024 (https://dtn.re/TuzT85)

  • Sui­s­sevoir → 63

Plu­sieurs auto­ri­tés euro­pé­en­nes de con­trô­le de la pro­tec­tion des don­nées (“SAs”) avai­ent éga­le­ment Enquêtes cont­re Ope­nAI en ce qui con­cer­ne ChatGPT. L’EDSA a créé une task force à cet effet en avril 2023, dont les travaux sont tou­jours en cours ; un rap­port inter­mé­di­ai­re suc­cinct a été publié le 23 mai 2024 (https://dtn.re/HyvPHo).

59. com­ment l’AI Act trai­te-t-il les droits d’auteur ?

Dans le domaine du droit d’au­teur, l’A­IA recon­naît le pro­blè­me de l’en­traî­ne­ment avec des œuvres pro­té­gées. Elle ne se pro­non­ce pas sur le fond de cet­te pro­blé­ma­tique, mais exi­ge des four­nis­seurs de GPAIM ent­re aut­res, de dis­po­ser d’u­ne stra­té­gie de con­for­mi­té avec le droit d’au­teur de l’UE et de publier un résu­mé des don­nées de for­ma­ti­on (→ 39).

Pour le reste, l’at­tri­bu­ti­on des droits exclu­sifs et la déter­mi­na­ti­on de leur éten­due et des limi­tes cor­re­spond­an­tes sont lais­sées aux dis­po­si­ti­ons per­ti­nen­tes. Dans ce con­tex­te, la dis­cus­sion por­te prin­ci­pa­le­ment sur les con­di­ti­ons dans les­quel­les l’uti­li­sa­ti­on d’œu­vres pro­té­gées par le droit d’au­teur peut être auto­ri­sée pour l’ex­plo­ita­ti­on de la mar­que. For­ma­ti­on d’un LLM Une dis­cus­sion com­pré­hen­si­ble, étant don­né que les LLM sont en con­cur­rence avec les cré­a­teurs avec les œuvres des­quels ils ont été formés.

Le prin­ci­pe est le sui­vant Prin­ci­pe de ter­ri­to­ri­a­li­téLa que­sti­on de savoir si un acte est une vio­la­ti­on du droit d’au­teur est déter­mi­née par le droit de l’E­tat dans lequel il doit être situé (pour le droit sui­s­se des con­flits de lois : art. 110 IRPG). Dans l’UE, ce sont les droits d’au­teur des dif­fér­ents États mem­bres. Voir tou­te­fois → 40 sur la que­sti­on de savoir si l’e­xi­gence impo­sée aux four­nis­seurs de GPAIM en dehors de l’UE doit respec­ter les pre­scrip­ti­ons de l’A­IA en matiè­re de stra­té­gie de droit d’auteur.

En Sui­s­se, les dis­po­si­ti­ons per­ti­nen­tes se trou­vent dans la LDA. La por­tée des dis­po­si­ti­ons rela­ti­ves aux rest­ric­tions est notam­ment ouver­te, une distinc­tion devant être fai­te ent­re l’ac­qui­si­ti­on de maté­ri­el pro­té­gé par le droit d’au­teur et son uti­li­sa­ti­on pour une formation :

L’ac­qui­si­ti­on et une pro­cé­du­re qui l’ac­com­pa­gne en géné­ral Repro­duc­tion de maté­ri­el est per­ti­nen­te du point de vue du droit d’au­teur (tant que l’on ne veut pas limi­ter la noti­on de repro­duc­tion aux actes qui ont pour but de rend­re l’œu­vre per­cep­ti­ble), con­trai­re­ment à la jouis­sance de l’œu­vre, com­me par exemp­le la recher­che de tex­te ou l’é­ti­que­ta­ge pour un Super­vi­sed Lear­ning (→ 10). En l’ab­sence d’u­ne Licence – qui peut être accor­dée expres­sé­ment ou taci­te­ment -, la que­sti­on se pose donc de savoir si la limi­te de l’u­sa­ge pri­vé selon l’art. 19 al. 1 LDA s’ap­pli­que. A cet égard, il exi­ste actu­el­le­ment Insé­cu­ri­té juri­di­que:

  • On dis­cu­te ent­re aut­res de la que­sti­on de savoir si une for­ma­ti­on relè­ve de la repro­duc­tion et de la mise à dis­po­si­ti­on pour la “infor­ma­ti­on ou docu­men­ta­ti­on inter­ne”(art. 19, para­gra­phe 1, lett­re c LDA). Etant don­né qu’u­ne tel­le repro­duc­tion n’est essen­ti­el­le­ment exemp­tée qu’à des fins non com­mer­cia­les et ne dev­rait donc géné­ra­le­ment pas cou­vr­ir l’en­traî­ne­ment d’un LLM et que la repro­duc­tion d’exem­plai­res d’œu­vres dis­po­ni­bles dans le com­mer­ce n’est pas cou­ver­te (art. 19 al. 3 let. a LDA), cet­te limi­te ne s’ap­pli­quera sou­vent pas.

  • La dis­cus­sion por­te éga­le­ment sur ce qu’on appel­le “Explo­ita­ti­on de tex­tes et de don­nées”(TDM), qui exemp­te la repro­duc­tion à des fins sci­en­ti­fi­ques si elle est tech­ni­quement néces­saire, par exemp­le par l’ana­ly­se sém­an­tique du maté­ri­el source (art. 24d LDA). La noti­on de sci­ence est cer­tes lar­ge, mais la recher­che appli­quée des ent­re­pri­ses pri­vées exi­ge éga­le­ment un objec­tif de con­nais­sance sérieux. Il n’est pas cer­tain que le fait qu’un LLM ent­raî­né pui­s­se être uti­li­sé à dif­fé­ren­tes fins suf­fi­se à attri­buer à l’en­traî­ne­ment le but cognitif requis ; en tout cas, il ne suf­fit pas qu’un LLM ent­raî­né pui­s­se éven­tu­el­le­ment être uti­li­sé à des fins de recher­che, le but de la recher­che dev­rait engl­ober l’entraînement.

En out­re, l’ac­qui­si­ti­on des œuvres uti­li­sées doit être lici­te (art. 24d LDA), ce qui ne peut pas être affir­mé (ou nié) de maniè­re géné­ra­le, ent­re aut­res pour les œuvres dis­po­ni­bles publiquement.

  • Une seu­le repro­duc­tion éphé­mè­re serait cer­tes exemp­tée tant qu’el­le n’est que fugi­ti­ve ou con­co­mi­tan­te, qu’el­le fait par­tie inté­gran­te et essen­ti­el­le d’un pro­cé­dé tech­ni­que, qu’el­le sert exclu­si­ve­ment à la trans­mis­si­on dans un réseau ent­re tiers par un inter­mé­di­ai­re ou à une uti­li­sa­ti­on lici­te et qu’el­le n’a pas de signi­fi­ca­ti­on éco­no­mi­que indé­pen­dan­te (art. 24a LDA). Ces con­di­ti­ons – elles sont cumu­la­ti­ves – ne s’ap­pli­quent pro­ba­blem­ent pas à la com­pi­la­ti­on d’un ensem­ble de don­nées d’en­traî­ne­ment, de test et/ou de vali­da­ti­on (et pro­ba­blem­ent pas non plus au pro­ce­s­sus d’en­traî­ne­ment lui-même, qui a une importance éco­no­mi­que con­sidé­ra­ble). L’ar­tic­le 24a LDA ne con­sti­tue donc pas non plus une base pour l’en­sem­ble du pro­ce­s­sus d’en­traî­ne­ment avec du maté­ri­el pro­té­gé par le droit d’auteur.

L’out­put, quant à lui, n’est guè­re pro­té­gé par le droit d’au­teur, car il s’a­git d’u­ne créa­ti­on intellec­tu­el­le, c’est-à-dire d’u­ne œuvre d’art. créa­ti­on humaine (art. 2 al. 1 LDA) ; ceci en tout cas dans la mesu­re où il n’est pas prou­vé que l’out­put a été don­né par une per­son­ne phy­si­que. Pour la même rai­son, une IA ne peut pas être un inven­teur au sens du droit des bre­vets – ici aus­si, la pro­tec­tion pré­sup­po­se que l’in­ven­teur soit une personne.

60. quel­les sont les règles appli­ca­bles à l’uti­li­sa­ti­on de l’IA sur le lieu de travail ?

L’AIA con­ti­ent quel­ques dis­po­si­ti­ons spé­ci­fi­ques à l’uti­li­sa­ti­on des AIS dans le con­tex­te professionnel :

  • L’uti­li­sa­ti­on d’un AIS est inter­di­te par l’ar­tic­le 5 dans quel­ques cas (→ 27). Cela peut être le cas dans le domaine du tra­vail, par exemp­le en cas de recon­nais­sance des émo­ti­ons sur le lieu de tra­vail, si la vul­né­ra­bi­li­té des col­la­bo­ra­teurs doit être exploi­tée ou si un scoring social est effectué ;

  • Le ter­me HRAIS eng­lo­be les cas d’uti­li­sa­ti­on liés au tra­vail (→ 28), par exemp­le lorsque les SIA sont uti­li­sés pour gérer l’ac­cès à l’ens­eig­ne­ment et à la for­ma­ti­on pro­fes­si­on­nels, pour le recru­tement ou la sélec­tion des can­di­da­tures. Les SIS sont uti­li­sés dans le cad­re de l’éva­lua­ti­on des can­di­da­tures à un emploi ou de la pri­se de décis­i­ons con­cer­nant les con­di­ti­ons de tra­vail, les pro­mo­ti­ons ou les licenciements.

  • Avant la mise en ser­vice ou l’uti­li­sa­ti­on d’un HRAIS sur le lieu de tra­vail, l’ex­plo­itant doit infor­mer les repré­sen­tants du per­son­nel et les tra­vail­leurs con­cer­nés qu’ils seront “sou­mis à l’uti­li­sa­ti­on du système d’IA à haut ris­que” (art. 26, al. 7, AIA).

  • Il con­vi­ent éga­le­ment de four­nir des infor­ma­ti­ons lorsqu’un HRAIS est uti­li­sé – notam­ment, mais pas uni­quement, dans le con­tex­te pro­fes­si­on­nel – pour prend­re des décis­i­ons ou aider à prend­re des décis­i­ons (art. 26, al. 11, AIA).

Mais pour le reste, la pro­tec­tion des tra­vail­leurs et des can­di­dats est lais­sée aux aut­res dis­po­si­ti­ons du droit appli­ca­ble, notam­ment le droit de la pro­tec­tion des don­nées et le droit public du tra­vail, qui peut pré­voir des droits de participation.

Des pro­jets légis­la­tifs sont tou­te­fois en cours dans l’UE, qui visent à amé­lio­rer la pro­tec­tion des tra­vail­leurs. Le pro­jet de direc­ti­ve de l’UE sur les pla­te­for­mes (https://dtn.re/G3ytlM), en atten­dant l’ap­pro­ba­ti­on du Conseil.

61. quel­les sont les nor­mes inter­na­tio­na­les qui con­cer­nent AI ?

Plu­sieurs nor­mes et initia­ti­ves de nor­ma­li­sa­ti­on trai­tent de l’IA. L’In­ter­na­tio­nal Orga­nizati­on for Stan­dar­dizati­on (ISO) et la Com­mis­si­on élec­tro­tech­ni­que inter­na­tio­na­le (IEC) ont déve­lo­p­pé ensem­ble des normes :

  • ISO/IEC 42001:2023 (https://dtn.re/L8KOIs) : Exi­gen­ces rela­ti­ves aux systè­mes de gesti­on de l’IA

  • ISO/IEC TR 24028:2020 (https://dtn.re/YYy0Ha) : Fia­bi­li­té des systè­mes d’IA, critères de trans­pa­rence, de con­trô­le et d’explicabilité

  • ISO/IEC 5259 – 1 : base de la série ISO 5259 con­cer­nant la qua­li­té des don­nées pour les ana­ly­ses et les ML (https://dtn.re/TggI5G)

  • ISO/IEC TR 5469:2024 : Uti­li­sa­ti­on de l’IA dans les fonc­tions liées à la sécu­ri­té (https://dtn.re/vbc8IL)

En Euro­pe, le CEN (Comi­té euro­pé­en de nor­ma­li­sa­ti­on) et le CENELEC (Comi­té euro­pé­en de nor­ma­li­sa­ti­on élec­tro­tech­ni­que) par­ti­ci­pent à l’é­la­bo­ra­ti­on de nor­mes IA par le biais du comi­té mix­te CEN-CENELEC JTC 21 “Intel­li­gence arti­fi­ci­el­le. Il a publié plu­sieurs nor­mes et d’aut­res sont en cours d’é­la­bo­ra­ti­on (https://dtn.re/Gx0XMT). Ont été publiés par exemple

  • CEN/CLC ISO/IEC/TR 24027:2023 : Biais

  • CEN/CLC ISO/IEC/TR 24029 – 1:2023 : Éva­lua­ti­on de la robust­es­se des réseaux neuronaux

Le Natio­nal Insti­tu­te of Stan­dards and Tech­no­lo­gy amé­ri­cain (NIST) a ensuite déve­lo­p­pé un cad­re de gesti­on des ris­ques AI, l’AI RMF 1.0, publié en jan­vier 2023, qui a ensuite été com­plé­té par des “pro­fils”, des mises en œuvre pour des cir­con­stances, des appli­ca­ti­ons ou des tech­no­lo­gies spé­ci­fi­ques. Un exemp­le est le NIST AI 600 – 1 “Arti­fi­ci­al Intel­li­gence Risk Manage­ment Frame­work : Gene­ra­ti­ve Arti­fi­ci­al Intel­li­gence Pro­fi­le” (https://dtn.re/z3H7BJ).

62. qu’est-ce que la con­ven­ti­on AI du Con­seil de l’Europe ?

Le 17 mai 2024, le Con­seil de l’Eu­ro­pe (et non le Con­seil de l’U­ni­on euro­pé­en­ne) a adop­té la Con­ven­ti­on IA du Con­seil de l’Eu­ro­pe (Euro­pe Frame­work Con­ven­ti­on on Arti­fi­ci­al Intel­li­gence and Human Rights, Demo­cra­cy and the Rule of Law, AI Con­ven­ti­on). Le tex­te de la Con­ven­ti­on AI, ain­si que le rap­port expli­ca­tif, sont dis­po­ni­bles sur droitdonnées.ch (https://dtn.re/8zndsz), en anglais.

La con­ven­ti­on est un accord-cad­re à mett­re en œuvre par les États qui la rati­fi­ent – dont la Sui­s­se fera cer­tai­ne­ment par­tie – et qui doit garan­tir des nor­mes en matiè­re de droits de l’hom­me, de démo­cra­tie et d’É­tat de droit lors de l’uti­li­sa­ti­on de systè­mes d’IA.

Les mem­bres et non-mem­bres du Con­seil de l’Eu­ro­pe sont main­tenant invi­tés à signer et à rati­fier la Con­ven­ti­on-cad­re. Si la Sui­s­se rati­fie la Con­ven­ti­on, elle dev­ra la trans­po­ser dans le droit sui­s­se (→ 63).

Les dis­po­si­ti­ons de la con­ven­ti­on AI sont très vagues. De plus, elle ne lie les États mem­bres que lorsqu’ils légifè­rent dans le sec­teur public. Dans le sec­teur pri­vé, les États mem­bres ne sont tenus de légifé­rer que d’u­ne maniè­re “com­pa­ti­ble avec l’ob­jet et le but” de la Con­ven­ti­on AI (artic­le 3, para­gra­phe 1, de la Con­ven­ti­on AI).

63. com­ment la Sui­s­se régle­men­te-t-elle l’uti­li­sa­ti­on de l’in­tel­li­gence artificielle ?

En Sui­s­se, il n’e­xi­ste jus­qu’à pré­sent aucu­ne régle­men­ta­ti­on géné­ra­le sur l’uti­li­sa­ti­on de l’in­tel­li­gence arti­fi­ci­el­le. Fin 2023, le Con­seil fédé­ral a char­gé le DETEC, dans le cad­re du grou­pe de coor­di­na­ti­on inter­dé­par­te­men­tal Poli­tique numé­ri­que de l’UE jus­qu’à fin 2024 appro­ches pos­si­bles pour une régle­men­ta­ti­on (voir le com­mu­ni­qué de pres­se, https://dtn.re/uV1Eau). Le DETEC, ou l’OF­COM sur man­dat de ce der­nier, doit par­tir du droit en vigueur et trou­ver des appro­ches de régle­men­ta­ti­on com­pa­ti­bles tant avec l’A­IA qu’a­vec la Con­ven­ti­on AI (→ 62).

L’é­tat des lieux de l’OF­COM, y com­pris les étu­des de base réa­li­sées à cet effet, par exemp­le sur les lacu­nes régle­men­tai­res du droit en vigueur, ain­si que la décis­i­on d’o­ri­en­ta­ti­on du Con­seil fédé­ral dev­rai­ent être dis­po­ni­bles d’i­ci fin 2024.

Les appro­ches pro­po­sées par le DETEC et cel­les qui s’im­po­se­ront fina­le­ment restent tou­te­fois ouver­tes à l’heu­re actu­el­le. Une Repri­se inté­gra­le de l’A­IA dev­rait avoir peu de chan­ces sur le plan poli­tique tant que l’UE n’en fera pas une con­di­ti­on de sa par­ti­ci­pa­ti­on au mar­ché inté­ri­eur, et la Con­ven­ti­on AI est si vague que son con­te­nu ne pré­fi­gu­re guè­re une régle­men­ta­ti­on, sur­tout dans le domaine pri­vé (→ 62). L’é­co­no­mie (mais aus­si Aca­de­mia) insi­ste sur des régle­men­ta­ti­ons allé­gées, tan­dis que les orga­ni­sa­ti­ons de la socié­té civi­le deman­dent des dis­po­si­ti­ons plus stric­tes, notam­ment pour la pro­tec­tion cont­re la dis­cri­mi­na­ti­on (par exemp­le Algo­rithm Watch). L’op­ti­on la plus évi­den­te à l’heu­re actu­el­le sem­ble être un acte légis­la­tif glo­bal qui adap­te ponc­tu­el­le­ment les bases juri­di­ques pertinentes.

En out­re, diver­ses inter­ven­ti­ons poli­ti­ques sont en cours, par exemp­le les sui­van­tes (au niveau fédéral) :

  • 24.3796, Moti­on Glätt­li14 juin 2024, Éva­lua­ti­on trans­pa­ren­te des con­sé­quen­ces de l’uti­li­sa­ti­on de l’IA et des algo­rith­mes par la Con­fé­dé­ra­ti­on, basée sur les ris­ques (https://dtn.re/vWwoDP)

  • 24.3795, Moti­on Glätt­li14 juin 2024, Pro­tec­tion cont­re la dis­cri­mi­na­ti­on dans l’uti­li­sa­ti­on de l’IA et des algo­rith­mes (https://dtn.re/B46Qtc)

  • 24.3611, Inter­pel­la­ti­on Cot­tier13 juin 2024, Intel­li­gence arti­fi­ci­el­le. Coor­di­na­ti­on dans l’ad­mi­ni­stra­ti­on et inten­ti­ons con­cer­nant la nou­vel­le con­ven­ti­on-cad­re du Con­seil de l’Eu­ro­pe (https://dtn.re/hdDPxQ)

  • 24.3616, Inter­pel­la­ti­on Gös­si13 juin 2024, Médi­as et intel­li­gence arti­fi­ci­el­le (https://dtn.re/JaEh4n)

  • 24.3415, Inter­pel­la­ti­on Tschopp, 17 avril 2024, Pla­te­for­mes et IA : les droits des uti­li­sa­teurs (https://dtn.re/HBZFOE)

  • 24.3363, Moti­on Chap­puis15 mars 2024, Pour une infras­truc­tu­re numé­ri­que sou­ve­rai­ne en Sui­s­se à l’è­re de l’in­tel­li­gence arti­fi­ci­el­le (https://dtn.re/s4SsC9)

  • 24.3346, Inter­pel­la­ti­on Docourt15 mars 2024, direc­ti­ve euro­pé­en­ne sur les pla­te­for­mes de tra­vail. La Sui­s­se veut-elle s’en inspi­rer ? (https://dtn.re/UNvBOq)

  • 24.3235, Inter­pel­la­ti­on Mar­ti, 14 mars 2024, L’in­tel­li­gence arti­fi­ci­el­le et son impact sur le droit d’au­teur (https://dtn.re/jpX0Cg)

  • 24.3209, Moti­on Juil­lard, 14 mars 2024, Pour une infras­truc­tu­re numé­ri­que sou­ve­rai­ne en Sui­s­se à l’è­re de l’in­tel­li­gence arti­fi­ci­el­le (IA) (https://dtn.re/NsqdKN)

  • 23.4517, Inter­pel­la­ti­on Gug­ger22 décembre 2023, Intel­li­gence arti­fi­ci­el­le et par­ti­ci­pa­ti­on. Y a‑t-il des lacu­nes dans la loi ? (https://dtn.re/hl1Q54)

  • 23.4492, Moti­on Gysi22 décembre 2023, L’in­tel­li­gence arti­fi­ci­el­le au tra­vail. Ren­forcer les droits de par­ti­ci­pa­ti­on des tra­vail­leurs (https://dtn.re/PH8ab1)

  • 23.4051, Inter­pel­la­ti­on Schlat­ter, 29 sep­tembre 2023, Intel­li­gence arti­fi­ci­el­le et robo­tique. L’é­thi­que doit fai­re par­tie de la for­ma­ti­on ! (https://dtn.re/PMNgtC)

  • 23.393, Inter­pel­la­ti­on Cot­tier, 16 juin 2023, Intel­li­gence arti­fi­ci­el­le. Quel cad­re faut-il mett­re en place pour en tirer le meil­leur par­ti et évi­ter les déri­ves ? (https://dtn.re/FXxB9v)

  • 23.3812, Inter­pel­la­ti­on Wid­mer15 juin 2023, L’in­tel­li­gence arti­fi­ci­el­le. Dan­gers et poten­tiel pour la démo­cra­tie (https://dtn.re/ZkaTUc)

  • 23.4133, Inter­pel­la­ti­on Mar­ti, 28 sep­tembre 2023, La dis­cri­mi­na­ti­on algo­rith­mi­que. La pro­tec­tion léga­le cont­re la dis­cri­mi­na­ti­on est-elle suf­fi­san­te ? (https://dtn.re/xr97Zq)

  • 23.3849, Moti­on Ben­da­han15 juin 2023, Cré­er un cent­re ou un réseau de com­pé­ten­ces en intel­li­gence arti­fi­ci­el­le en Sui­s­se (https://dtn.re/sqLWYa)

  • 23.3654, Inter­pel­la­ti­on Rini­ker13 juin 2023, Rôle de la Sui­s­se dans la coopé­ra­ti­on inter­na­tio­na­le en matiè­re d’in­tel­li­gence arti­fi­ci­el­le (https://dtn.re/sUoUb3)

  • 23.3806, Moti­on Mar­ti15 juin 2023, décla­ra­ti­on obli­ga­toire pour les appli­ca­ti­ons d’in­tel­li­gence arti­fi­ci­el­le et les systè­mes décis­i­on­nels auto­ma­ti­sés (https://dtn.re/D3FmNo)

  • 23.3563, Moti­on Maha­im4 mai 2023, Régu­ler les fakes pro­fonds (https://dtn.re/kwNWvh)

  • 23.3516, inter­pel­la­ti­on Fel­ler2 mai 2023, inter­dic­tion de prin­ci­pe ou pro­vi­so­i­re de cer­tai­nes pla­te­for­mes d’in­tel­li­gence arti­fi­ci­el­le (https://dtn.re/Ig8JPJ)

  • 23.3201, Postu­lat Dobler, 16 mars 2023, Situa­ti­on juri­di­que de l’in­tel­li­gence arti­fi­ci­el­le. Cla­ri­fier les incer­ti­tu­des, encou­ra­ger l’in­no­va­ti­on ! (https://dtn.re/e7sGlM)

  • 23.3147, Inter­pel­la­ti­on Ben­da­han, 14 mars 2023, Régu­la­ti­on de l’in­tel­li­gence arti­fi­ci­el­le en Sui­s­se (https://dtn.re/xMVLIE)

  • 21.4406, Postu­lat Mar­ti9 décembre 2021, rap­port sur la régle­men­ta­ti­on des systè­mes décis­i­on­nels auto­ma­ti­sés (https://dtn.re/PQbXqs)

  • 21.3206, Inter­pel­la­ti­on Poin­tet, 17 mars 2021, Quels sont les pro­ce­s­sus de l’É­tat qui s’ap­pu­i­ent sur l’in­tel­li­gence arti­fi­ci­el­le ? (https://dtn.re/WUw9Hr)

  • 21.3012, Postu­lat Com­mis­si­on de la poli­tique de sécu­ri­té, 15 jan­vier 2021, Des règles clai­res pour les armes auto­no­mes et l’in­tel­li­gence arti­fi­ci­el­le (https://dtn.re/duRhvk)

  • 19.3919, Inter­pel­la­ti­on Rik­lin, 21 juin 2019, Intel­li­gence arti­fi­ci­el­le et trans­for­ma­ti­on numé­ri­que. Nous avons beso­in d’u­ne stra­té­gie holi­stique (https://dtn.re/5x93tL)

Il va de soi que les dis­po­si­ti­ons nor­ma­le­ment appli­ca­bles s’ap­pli­quent éga­le­ment à l’uti­li­sa­ti­on de l’IA. Cela con­cer­ne par exemple

  • le Droit de la pro­tec­tion des don­nées (si des don­nées per­son­nel­les sont trai­tées lors de l’en­traî­ne­ment ou de l’intervention),

  • le Droit de la pro­tec­tion du secret (lorsque des infor­ma­ti­ons secrè­tes sont uti­li­sées pour une for­ma­ti­on ou com­me input),

  • le Droit du cont­rat de tra­vail (lorsque des don­nées per­son­nel­les de can­di­dats et de col­la­bo­ra­teurs sont trai­tées et lorsqu’u­ne IA tou­che au devoir d’as­si­stance de l’employeur),

  • le droit du tra­vail public (p. ex. lorsque des obli­ga­ti­ons de coopé­ra­ti­on inter­vi­en­nent ou qu’u­ne sur­veil­lan­ce du com­porte­ment est en discussion),

  • le Droit de la per­son­na­li­té (par exemp­le, lorsque des con­ver­sa­ti­ons ou des appels d’é­qui­pe sont enregistrés),

  • le Droit de la con­cur­rence déloya­le (lorsque le con­te­nu géné­ré par l’IA peut être trompeur),

  • le Droit d’au­teur (par exemp­le lorsqu’u­ne IA s’en­traî­ne avec des œuvres ou que des œuvres sont uti­li­sées com­me input, et lorsque la pro­tec­tion de l’out­put est en discussion),

  • le Droit pénal (lors de l’en­re­gi­stre­ment de con­ver­sa­ti­ons non publi­ques ou, de maniè­re géné­ra­le, lors de l’uti­li­sa­ti­on de l’IA en cas de com­porte­ment répréhensible),

  • la responsa­bi­li­té du fait des pro­duits et les aut­res Droit de la responsa­bi­li­té civi­le,
  • aut­res domain­es juridiques.

Les régle­men­ta­ti­ons sec­to­ri­el­les peu­vent éga­le­ment être con­cer­nées. Peu d’au­to­ri­tés de sur­veil­lan­ce ont déjà for­mulé des atten­tes, notam­ment la FINMA (https://dtn.re/bOT1Ez).

Ent­re-temps, les acteurs pri­vés se sont éga­le­ment dotés de règles. Cela con­cer­ne sur­tout des acteurs par­ti­cu­liè­re­ment expo­sés comme

  • médi­as (les lignes direc­tri­ces de la SSR en matiè­re de jour­na­lis­me (https://dtn.re/f1UTYZ),

  • les par­tis poli­ti­ques (par ex. avec le code d’é­thi­que des Verts, des Verts libé­raux, du PS, du Cent­re et du PEV, https://dtn.re/1te4U8) ou

  • la recher­che et la for­ma­ti­on (par ex. avec les recom­man­da­ti­ons sur l’uti­li­sa­ti­on de l’in­tel­li­gence arti­fi­ci­el­le géné­ra­ti­ve à l’UZH, https://dtn.re/aBstLV).

De nombreu­ses ent­re­pri­ses pri­vées ont éga­le­ment adop­té, ou sont en train d’ad­op­ter, des direc­ti­ves, des codes et des ins­truc­tions, par­fois publics, par­fois non publics.

Anne­xe : ter­mes définis

Noti­ons défi­nies à l’art. 3 de l’AIA
Anglais Alle­mand
1 Système AI Système d’IA
2 Ris­que Ris­que
3 Four­nis­seur Four­nis­seur
4 Déployeur Opé­ra­teur
5 Repré­sen­tant autorisé Repré­sen­tant autorisé
6 Importer Impor­ta­teur
7 Dis­tri­bu­teur Reven­deurs
8 Opé­ra­teur Acteur
9 Pla­cer sur le marché Mise sur le marché
10 Mise à dis­po­si­ti­on sur le marché Mise à dis­po­si­ti­on sur le marché
11 Mise en service Mise en service
12 Objec­tif visé Desti­na­ti­on
13 Uti­li­sa­ti­on abu­si­ve rai­sonnablem­ent prévisible Mau­vai­se uti­li­sa­ti­on rai­sonnablem­ent prévisible
14 Com­po­sant de sécurité Com­po­sant de sécurité
15 Ins­truc­tions d’utilisation Manu­els d’utilisation
16 Recall d’un système AI Rap­pel d’un système d’IA
17 Déploie­ment d’un système d’in­tel­li­gence artificielle Retrait d’un système d’IA
18 Per­for­mance d’un système AI Per­for­mance d’un système d’IA
19 Noti­fier l’autorité Auto­ri­té notifiante
20 Éva­lua­ti­on de la conformité Éva­lua­ti­on de la conformité
21 Orga­ne d’éva­lua­ti­on de la conformité Orga­nis­me d’éva­lua­ti­on de la conformité
22 Orga­nis­me notifié Orga­nis­me notifié
23 Modi­fi­ca­ti­on substantielle Chan­ge­ment important
24 Mar­quage CE Mar­quage CE
25 Système de sur­veil­lan­ce post-marché Système de sur­veil­lan­ce après la mise sur le marché
26 Auto­ri­té de sur­veil­lan­ce du marché Auto­ri­té de sur­veil­lan­ce du marché
27 Nor­me harmonisée Nor­me harmonisée
28 Spé­ci­fi­ca­ti­on commune Spé­ci­fi­ca­ti­on commune
29 Don­nées de formation Don­nées de formation
30 Don­nées de validation Don­nées de validation
31 Ensem­ble de don­nées de validation Jeu de don­nées de validation
32 Don­nées de test Don­nées de test
33 Don­nées d’entrée Don­nées d’entrée
34 Don­nées biométriques Don­nées biométriques
35 Iden­ti­fi­ca­ti­on biométrique Iden­ti­fi­ca­ti­on biométrique
36 Véri­fi­ca­ti­on biométrique Véri­fi­ca­ti­on biométrique
37 Caté­go­ries spé­cia­les de don­nées personnelles Caté­go­ries par­ti­cu­liè­res de don­nées à carac­tère personnel
38 Don­nées opé­ra­ti­on­nel­les sensibles Don­nées opé­ra­ti­on­nel­les sensibles
39 Système de recon­nais­sance des émotions Système de recon­nais­sance des émotions
40 Système de caté­go­ri­sa­ti­on biométrique Système de caté­go­ri­sa­ti­on biométrique
41 Système d’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance Système d’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance
42 Système d’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance en temps réel Système bio­mé­tri­que d’i­den­ti­fi­ca­ti­on à distance en temps réel
43 Système d’i­den­ti­fi­ca­ti­on bio­mé­tri­que post-remote Système d’i­den­ti­fi­ca­ti­on bio­mé­tri­que à distance a posteriori
44 Espace acce­s­si­ble au public Espace acce­s­si­ble au public
45 Auto­ri­té d’ap­pli­ca­ti­on de la loi Auto­ri­té de pour­suite pénale
46 Appli­ca­ti­on de la loi Pour­suites judiciaires
47 AI Office Bureau de l’in­tel­li­gence artificielle
48 Auto­ri­té natio­na­le compétente Auto­ri­té natio­na­le compétente
49 Inci­dent grave Inci­dent grave
50 Don­nées personnelles Don­nées personnelles
51 Don­nées non personnelles Don­nées non personnelles
52 Pro­fi­la­ge Pro­fi­la­ge
53 Plan de test en situa­ti­on réelle Plan d’un test en con­di­ti­ons réelles
54 Plan de bac à sable Plan du labo­ra­toire réel
55 AI regu­la­to­ry sandbox Labo­ra­toire de recher­che en IA
56 Lit­té­ra­tie AI Com­pé­tence en IA
57 Test­ing in real-world conditions Test en con­di­ti­ons réelles
58 Sujet Par­ti­ci­pan­ts au test
59 Con­sen­te­ment éclairé Con­sen­te­ment éclairé
60 Deep fake Deepf­ake
61 Infrac­tion généralisée Vio­la­ti­on généralisée
62 Infras­truc­tu­re critique Infras­truc­tures critiques
63 Modè­le d’IA à usa­ge général Modè­le d’IA à usa­ge général
64 Capa­ci­tés à fort impact Des com­pé­ten­ces à fort impact
65 Ris­que systémique Ris­que systémique
66 Système AI à usa­ge général Système d’IA à usa­ge général
67 Fonc­tion­ne­ment en point flottant Opé­ra­ti­on en vir­gu­le flottante
68 Four­nis­seur d’ac­cès en aval Four­nis­seur en aval