La Com­mis­si­on euro­pé­en­ne a publié, en date du, un pro­jet de lignes direc­tri­ces rela­ti­ves à la clas­si­fi­ca­ti­on des systè­mes d’in­tel­li­gence arti­fi­ci­el­le (AIS) en tant que systè­mes à haut ris­que (HRAIS) con­for­mé­ment à l’ar­tic­le 6 de la loi sur l’IA (AI-Act) publié. Ces lignes direc­tri­ces se com­po­sent de plu­sieurs documents :

Le pro­jet est sou­mis à con­sul­ta­ti­on et fera l’ob­jet d’u­ne coor­di­na­ti­on sup­p­lé­men­tai­re avec le Comi­té euro­pé­en sur l’IA (AI Board) avant son adop­ti­on ; les exemp­les cités ne sont expres­sé­ment pas exhaus­tifs et seront com­plé­tés au fur et à mesure.

Clas­si­fi­ca­ti­on de l’AIS en tant que HRAIS

Géné­ra­li­tés

Dans la pre­miè­re par­tie, la Com­mis­si­on expo­se cer­ta­ins prin­cipes („ Hori­zon­tal Issues “) sur les­quels elle fon­de son inter­pré­ta­ti­on des cas particuliers.

Il con­vi­ent de se baser sur la distinc­tion éta­b­lie à l’ar­tic­le 6 de la loi sur l’in­tel­li­gence arti­fi­ci­el­le (AI Act) : les HRAIS sont des systè­mes qui

  • un Pro­duit visé à l’an­ne­xe I ou qui con­sti­tu­ent un com­po­sant de sécu­ri­té de celui-ci (art. 6, al. 1, anne­xe I) ; ou
  • qui fait par­tie de l’un des huit Domain­es visés à l’an­ne­xe III cor­re­spon­dent à : 
    • Bio­mé­trie
    • Infras­truc­tu­re critique
    • Édu­ca­ti­on et formation
    • Emploi, gesti­on des sala­riés et accès à l’ac­ti­vi­té indépendante
    • Accès aux ser­vices pri­vés essen­tiels ain­si qu’aux ser­vices et pre­sta­ti­ons publics essen­tiels, et uti­li­sa­ti­on de ceux-ci
    • Pour­suites judiciaires
    • Migra­ti­on, asi­le et gesti­on des con­trô­les aux frontières
    • L’ad­mi­ni­stra­ti­on de la justi­ce et les pro­ce­s­sus démocratiques

Cas d’uti­li­sa­ti­on selon l’an­ne­xe III

C’est sur­tout l’an­ne­xe III qui pré­sen­te un inté­rêt pra­tique. Pour la clas­si­fi­ca­ti­on cor­re­spond­an­te, il con­vi­ent tout d’a­bord de tenir comp­te des élé­ments suivants :

  • Ris­que important “ : L’an­ne­xe III ne cou­vre que les systè­mes qui, de par leur desti­na­ti­on, con­sti­tu­ent un ris­que important pour la san­té, la sécu­ri­té ou les droits fon­da­men­taux impli­quent. La liste exhaus­ti­ve et le filt­re sont tous deux l’ex­pres­si­on de cet­te appro­che pro­por­ti­onnée et fon­dée sur les ris­ques. Selon le con­sidé­rant 53 de la loi sur l’AI, il n’y a pas de ris­que signi­fi­ca­tif lorsque le système n’in­fluence pas le fond et, par­tant, le résul­tat de la décision :

    (53) Il impor­te éga­le­ment de pré­cis­er qu’il peut exi­ster des cas spé­ci­fi­ques dans les­quels les systè­mes d’IA visés dans des domain­es pré­dé­fi­nis spé­ci­fi­és dans le pré­sent règle­ment ne pré­sen­tent pas de ris­que signi­fi­ca­tif de pré­ju­di­ce aux inté­rêts juri­di­ques pro­té­gés dans ces domain­es, car ils n’influencent pas de maniè­re signi­fi­ca­ti­ve la pri­se de décis­i­on ou ne portent pas att­ein­te de maniè­re sub­stan­ti­el­le à ces inté­rêts. Aux fins du pré­sent règle­ment, un système d’IA qui n’influence pas de maniè­re signi­fi­ca­ti­ve le résul­tat de la pri­se de décis­i­on doit être con­sidé­ré com­me un système d’IA qui n’a pas d’in­ci­dence sur le fond, et donc sur l’issue, du pro­ce­s­sus décis­i­on­nel, qu’el­le soit humaine ou auto­ma­ti­sée. Un système d’IA qui n’in­fluence pas de maniè­re signi­fi­ca­ti­ve l’issue du pro­ce­s­sus décis­i­on­nel pour­rait cor­re­spond­re à des situa­tions dans les­quel­les une ou plu­sieurs des con­di­ti­ons sui­van­tes sont remplies. […]

  • La fina­li­té com­me critère : La seu­le que­sti­on déter­mi­nan­te est de savoir si la fina­li­té de l’AIS relè­ve d’un cas d’ap­pli­ca­ti­on de l’an­ne­xe III. Cet­te clas­si­fi­ca­ti­on est effec­tuée avant la mise sur le mar­ché ou la mise en service.
  • Par­ti­ci­pa­ti­on humaine Cela n’y chan­ge rien en soi, car la sur­veil­lan­ce humaine, au sens de l’ar­tic­le 14 de l’AI Act, con­sti­tue une exi­gence de con­for­mi­té pour un système à haut ris­que et ne con­sti­tue pas un fac­teur déter­mi­nant pour sa classification.

Excep­ti­ons « fai­ble risque »

L’article 6, para­gra­phe 3, de la loi sur l’IA (AI Act) pré­cise que les ris­ques nég­li­ge­ables ne doi­vent pas ent­raî­ner une clas­si­fi­ca­ti­on com­me „ à haut ris­que “ au tit­re de l’annexe III. Un AIS rele­vant en prin­ci­pe de l’annexe III n’est excep­ti­on­nel­le­ment pas con­sidé­ré com­me à haut ris­que si au moins l’une des con­di­ti­ons sui­van­tes est rem­plie (la Com­mis­si­on appel­le cela le « filt­re ». Dans ce con­tex­te, l’intervention humaine peut tout à fait être déter­mi­nan­te pour la qua­li­fi­ca­ti­on fina­le en tant qu’HRAIS).

Pour l’ap­pli­ca­ti­on de cet­te excep­ti­on – qui ne s’ap­pli­que qu’à l’an­ne­xe III, et non à la clas­si­fi­ca­ti­on des pro­duits visée à l’an­ne­xe I –, les règles sui­van­tes s’appliquent :

  • Inter­pré­ta­ti­on : Les con­di­ti­ons men­ti­onnées sont exhaus­ti­ves, mais alter­na­ti­ves. En tant qu’exceptions rele­vant des droits fon­da­men­taux, elles doi­vent être inter­pré­tées de maniè­re rest­ric­ti­ve. Elles ne s’appliquent que dans la mesu­re où l’AIS n’influence pas de maniè­re signi­fi­ca­ti­ve l’issue de la décision.
  • Pro­fi­la­ge : Si le système procè­de à un pro­fi­la­ge au sens de l’ar­tic­le 4, point 4, du RGPD, aucu­ne excep­ti­on ne s’ap­pli­que. Lorsque des don­nées à carac­tère per­son­nel sont trai­tées en vue d’éva­luer des aspects liés à la per­son­na­li­té, l’ex­cep­ti­on rela­ti­ve au fai­ble ris­que ne s’ap­pli­que donc pas.
  • Systè­mes d’a­gents : Les archi­tec­tures répar­ties et agent-cen­trées sont con­sidé­rées com­me un système glo­bal dès lors que leurs mis­si­ons com­mu­nes influen­cent de maniè­re signi­fi­ca­ti­ve une décis­i­on au cas par cas. Le fait que cer­tai­nes d’ent­re elles relè­vent, pri­ses iso­lé­ment, d’u­ne excep­ti­on n’y chan­ge rien :

    (75) Lorsque plu­sieurs systè­mes d’IA font par­tie d’un système d’IA plus com­ple­xe, de sor­te que leur fina­li­té com­bi­née ou leurs résul­tats con­joints influen­cent de maniè­re signi­fi­ca­ti­ve une décis­i­on indi­vi­du­el­le, la con­fi­gu­ra­ti­on com­bi­née est con­sidé­rée com­me un seul et même système d’IA aux fins de la clas­si­fi­ca­ti­on à haut ris­que. Afin d’éviter tout con­tour­ne­ment des règles de clas­si­fi­ca­ti­on à haut ris­que par la con­cep­ti­on du système, les archi­tec­tures seg­men­tées sont éva­luées dans leur ensemble.

    (76) En revan­che, les fonc­tions stric­te­ment pro­cé­du­ra­les ou pré­pa­ra­toires d’un système d’IA liées à un système à haut ris­que restent éli­gi­bles à l’exemption de la clas­si­fi­ca­ti­on « à haut ris­que » en ver­tu de l’article 6, para­gra­phe 3, de la loi sur l’IA, dès lors qu’elles sont véri­ta­blem­ent dis­so­cia­bles du système d’IA […]

    Auto-éva­lua­ti­on et inscrip­ti­on : Le recours à une déro­ga­ti­on doit être exami­né avant la mise sur le mar­ché et, le cas échéant, docu­men­té. L’AIS doit en out­re être enre­gi­stré dans la base de don­nées cor­re­spond­an­te (art. 6, al. 4, et art. 71 de la loi sur les dis­po­si­tifs médi­caux). Les auto­ri­tés de sur­veil­lan­ce du mar­ché peu­vent reclas­ser l’AIS (art. 80 de la loi sur les dis­po­si­tifs médi­caux) et peu­vent inf­li­ger des sanc­tions en cas de con­tour­ne­ment de la régle­men­ta­ti­on (art. 99 de la loi sur les dis­po­si­tifs médicaux).

Tout cela peut être pré­sen­té de maniè­re syn­thé­tique com­me suit :

Tâche pro­cé­du­ra­le rest­rein­te (lit. a ; „ nar­row pro­ce­du­ral task “)

Il s’a­git ici, par exemp­le, de refor­ma­ter, struc­tu­rer ou clas­ser des don­nées, mais aus­si d’é­mett­re des juge­ments de valeur, de les qua­li­fier d„“ uti­les „ ou de “ moins uti­les », de leur attri­buer un score ou de les classer.

La Com­mis­si­on illu­stre ce point à l’ai­de de deux exemples :

  • Une excep­ti­on s’ap­pli­que: Tri des can­di­da­tures reçues pour l’ad­mis­si­on dans des éta­blis­se­ments sco­lai­res ou uni­ver­si­taires en fonc­tion de la note ou du niveau d’é­tu­des requis, car ou lorsque de tels systè­mes clas­sent les can­di­da­tures dans des caté­go­ries pré­dé­fi­nies (par exemp­le, éco­le pri­ma­i­re, ens­eig­ne­ment second­ai­re, lycée ou des clas­ses spé­ci­fi­ques) sur la base d’informations défi­nies, sans éva­luer l’aptitude ni prend­re de décis­i­ons d’admission (un exemp­le inté­res­sant, car peu risqué).
  • Cet­te excep­ti­on ne s’ap­pli­que pas:

Amé­lio­ra­ti­on d’un résul­tat humain (lit. b ; „ amé­lio­rer le résul­tat d’u­ne acti­vi­té humaine déjà achevée “)

Cet­te excep­ti­on con­cer­ne l’af­fi­na­ge ou l’assu­rance qua­li­té sans rééva­lua­ti­on maté­ri­el­le. Pour cela, les con­di­ti­ons sui­van­tes doi­vent être remplies :

  • Une véri­fi­ca­ti­on ou une décis­i­on humaine est ter­mi­née et
  • a abou­ti à un résul­tat et
  • ceci est amé­lio­ré par l’AIS, sans modi­fier le résultat—

Voi­ci éga­le­ment deux exemp­les à ce sujet :

  • Une excep­ti­on s’ap­pli­que:
    • Détec­tion d’err­eurs ou de con­tra­dic­tions dans les résultats
    • Com­plé­ter les décis­i­ons humain­es par des élé­ments d’in­for­ma­ti­on supplémentaires
    • Con­ver­si­on de con­te­nus cré­és par des humains
  • Cet­te excep­ti­on ne s’ap­pli­que pas: Un AIS véri­fie un résul­tat et four­nit une solu­ti­on net­te­ment différente.

Iden­ti­fi­ca­ti­on des sché­mas décis­i­on­nels ou des écarts (point c)

Il s’a­git ici de simp­les con­trô­les a poste­rio­ri, qui n’ont aucu­ne inci­dence sur la décis­i­on elle-même. Con­trai­re­ment aux aut­res déro­ga­ti­ons « à fai­ble ris­que », cet­te déro­ga­ti­on peut tout à fait s’ap­pli­quer à des systè­mes un peu plus com­ple­xes, et même ser­vir à prépa­rer une décis­i­on humaine. Tou­te­fois, trois con­di­ti­ons doi­vent être remplies :

  • L’ex­amen humain doit déjà être terminé ;
  • l’AIS ne procè­de qu’à une ana­ly­se a poste­rio­ri, sans influen­cer les décis­i­ons futures ;
  • L’AIS ne doit pas avoir pour objec­tif de se sub­sti­tuer à une décis­i­on humaine ni d’in­fluen­cer cel­le-ci. Si une tel­le influence se pro­duit, elle doit être sui­vie d’un véri­ta­ble examen humain.

On trouve éga­le­ment un exemp­le à ce sujet. Un AIS dev­rait rele­ver de l’exception « fai­ble ris­que » s’il ana­ly­se des clas­si­fi­ca­ti­ons anté­ri­eu­res d’une admi­ni­stra­ti­on publi­que à des fins d’assurance qua­li­té – par la recon­nais­sance de for­mes, qui détec­te éga­le­ment les écarts dans cer­tai­nes décis­i­ons – et de report­ing, mais sans pro­po­ser de solu­ti­ons pour d’autres cas ni éva­luer les per­for­man­ces des collaborateurs.

Exer­ci­ce pré­pa­ra­toire (point d)

Con­trai­re­ment à l’ex­cep­ti­on pro­cé­du­ra­le rest­ric­ti­ve (lett­re a), il s’a­git ici de tâches pré­al­ables à une décis­i­on humaine (une tel­le pré­pa­ra­ti­on pou­vant rele­ver à la fois de la lett­re a et de la lett­re d). Dans ce con­tex­te, le résul­tat four­ni par le système d’in­for­ma­ti­on décis­i­on­nel (AIS) ne doit con­sti­tuer qu’un fac­teur géné­ral faci­li­tant la pri­se de décis­i­on, sans que l’AIS n’ap­por­te de recom­man­da­ti­on ni d’éva­lua­ti­on d’un cas particulier.

On peut citer com­me exemp­le un système d’in­for­ma­ti­on juri­di­que (AIS) qui met à la dis­po­si­ti­on d’u­ne per­son­ne des réfé­ren­ces aux dis­po­si­ti­ons léga­les per­ti­nen­tes, des infor­ma­ti­ons sur la juris­pru­dence ain­si que des direc­ti­ves inter­nes. Ce système n’ana­ly­se tou­te­fois pas un cas par­ti­cu­lier et ne pro­duit pas non plus de résul­tat sus­cep­ti­ble d’in­fluen­cer de maniè­re signi­fi­ca­ti­ve la décision.

Réser­ve con­cer­nant le profilage

Tou­tes les excep­ti­ons « Low Risk » sont sou­mi­ses à la con­di­ti­on du pro­fi­la­ge au sens de l’ar­tic­le 4, point 4, du RGPD, c’est-à-dire au trai­te­ment auto­ma­ti­sé de don­nées à carac­tère per­son­nel aux fins de l’éva­lua­ti­on d’aspects liés à la personnalité.

Lorsqu’u­ne auto­ri­té doua­niè­re uti­li­se, par exemp­le, un système AIS pour éva­luer le ris­que que des mar­chan­di­ses enfr­eig­n­ent la légis­la­ti­on lors de leur impor­ta­ti­on, il ne s’a­git pas d’éva­luer des aspects per­son­nels. Une tel­le éva­lua­ti­on des ris­ques liés aux envois ou aux mar­chan­di­ses ne con­sti­tue pas un pro­fi­la­ge. Il en va autre­ment d’un système AIS qui, dans le cad­re du recru­tement, détec­te des écarts par rap­port aux direc­ti­ves inter­nes de recru­tement et éva­lue à cet­te fin les décis­i­ons des recru­teurs ain­si que les carac­té­ri­sti­ques per­son­nel­les liées aux ent­re­ti­ens d’embauche. Dans ce cas, il pour­rait s’agir en soi d’un cas d’application de l’art. 6, al. 3, let. c, mais le trai­te­ment de don­nées à carac­tère per­son­nel visa­nt à éta­b­lir un pro­fil des recru­teurs s’y oppose.

Quel­ques cas d’ap­pli­ca­ti­on de l’an­ne­xe III

Bio­mé­trie (anne­xe III, point 1)

Ce grou­pe de cas com­prend trois cas d’utilisation :

  • Point 1, lett­re a) : iden­ti­fi­ca­ti­on bio­mé­tri­que à distance ;
  • Point 1, lett­re b) : clas­si­fi­ca­ti­on bio­mé­tri­que sur la base de carac­té­ri­sti­ques sen­si­bles au sens de l’article 9, para­gra­phe 1, du RGPD (don­nées à carac­tère per­son­nel néces­si­tant une pro­tec­tion par­ti­cu­liè­re). L’âge et le sexe ne sont tou­te­fois pas pris en comp­te (l’interprétation au sens du RGPD est par­fois plus lar­ge et peut, selon cer­ta­ins avis, s’étendre à tou­tes les carac­té­ri­sti­ques phy­si­ques immuables).
  • Point 1, lett­re c) : Recon­nais­sance des émo­ti­ons, dans la mesu­re où cel­le-ci n’est pas déjà inter­di­te en ver­tu de l’ar­tic­le 5 de la loi sur l’IA (recon­nais­sance des émo­ti­ons sur le lieu de tra­vail et dans les éta­blis­se­ments de formation).

Ce n’est pas le RGPD qui défi­nit ce que sont les don­nées bio­mé­tri­ques, mais l’ar­tic­le 3, n° 34, de la loi sur l’in­tel­li­gence arti­fi­ci­el­le (AI Act) :

  • pas de don­nées bio­mé­tri­ques: le sui­vi d’u­ne per­son­ne dans un magasin en fonc­tion de ses vête­ments ; la recon­nais­sance des émo­ti­ons à par­tir de tex­tes écrits ; la recon­nais­sance des numé­ros d’immatriculation ;
  • don­nées bio­mé­tri­ques: Recon­nais­sance des émo­ti­ons à par­tir de la frap­pe au cla­vier, des expres­si­ons facia­les, de la postu­re ou des mouvements.

Enre­gi­stré Selon la Com­mis­si­on, il s’a­git notam­ment des mis­si­ons suivantes :

  • Com­pa­rai­son de pho­tos ou de la voix de per­son­nes vivan­tes avec des docu­ments d’ar­chi­ves à des fins d’identification ;
  • Com­pa­rai­son d’i­mages pri­ses dans des sta­des pour iden­ti­fier les fau­teurs de troubles ;
  • Détec­tion de mala­dies à par­tir des sché­mas de mouvement ;
  • Clas­si­fi­ca­ti­on des pas­sa­gers aéri­ens à l’ai­de de la recon­nais­sance faciale ;

Non pris en comp­te par exemp­le les inter­ven­ti­ons suivantes :

  • la véri­fi­ca­ti­on bio­mé­tri­que com­me simp­le com­pa­rai­son visa­nt à con­firm­er l’i­den­ti­té (par exemp­le, déver­rouil­la­ge d’un appa­reil, accès)
  • Loca­li­sa­ti­on d’u­ne per­son­ne sans com­pa­rai­son biométrique ;
  • Clas­si­fi­ca­ti­on des cli­ents par sexe ;
  • L’IA au ser­vice de la modé­ra­ti­on de contenu.

Plus pré­cis­é­ment, en ce qui con­cer­ne la Recon­nais­sance des émo­ti­ons (dans la mesu­re où l’IA est uti­li­sée à cet effet) :

Enre­gi­stré :

  • Uti­li­sa­ti­on de camé­ras cor­po­rel­les pour iden­ti­fier les per­son­nes agressives ;
  • Recon­nais­sance des émo­ti­ons dans les jeux vidéo afin d’a­mé­lio­rer l’expé­ri­ence de jeu, en s’ap­pu­yant notam­ment sur les expres­si­ons facia­les et les mou­ve­ments oculaires ;
  • Iden­ti­fi­ca­ti­on des sources de con­flits lors de concerts ;
  • Recon­nais­sance des émo­ti­ons des cli­ents dans un cent­re d’ap­pels à par­tir de la voix.

Non pris en comp­te:

  • Détec­tion de la fati­gue chez les conducteurs ;
  • Recon­nais­sance des simp­les expres­si­ons facia­les (souri­re, etc.).

Infras­truc­tures cri­ti­ques (anne­xe III, point 2)

Seuls relè­vent de ce domaine les AIS qui con­sti­tu­ent un com­po­sant de sécu­ri­té au sens de l’ar­tic­le 3, point 14, de la loi sur l’in­tel­li­gence arti­fi­ci­el­le (AI Act) fonc­tion de pro­tec­tion direc­te qui garan­tis­sent l’in­té­gri­té phy­si­que des infras­truc­tures dans les sec­teurs des infras­truc­tures numé­ri­ques, du trans­port rou­tier et de l’ap­pro­vi­si­on­ne­ment en eau, en gaz, en chauf­fa­ge ou en électricité.

Enre­gi­stré sont par exemple

  • Système de régu­la­ti­on des feux tri­co­lo­res visa­nt à pré­ve­nir les dom­mages matériels
  • Système d’alar­me incen­die dans un cent­re de données

Non pris en comp­te En revan­che, on peut citer par exemple :

  • ana­ly­se pure du flux de cir­cula­ti­on sans inter­ven­ti­on direc­te des systè­mes de contrôle
  • Gesti­on des bil­lets et pré­vi­si­ons de char­ge du réseau
  • com­po­sants dédiés à la cybersécurité
  • des systè­mes qui se con­ten­tent d’op­ti­mi­ser, d’in­for­mer ou d’organiser

Édu­ca­ti­on et for­ma­ti­on pro­fes­si­on­nel­le (anne­xe III, point 3)

Quat­re cas d’ap­pli­ca­ti­on sont pré­sen­tés ici ; ils s’ap­pli­quent tous à tous les niveaux d’ens­eig­ne­ment, y com­pris la for­ma­ti­on initia­le et con­ti­n­ue en ent­re­pri­se et la for­ma­ti­on professionnelle :

  • Point 3, lett­re a) : Déter­mi­na­ti­on des con­di­ti­ons d’ac­cès, d’ad­mis­si­on ou d’o­ri­en­ta­ti­on vers des éta­blis­se­ments et des programmes
  • Point 3, lett­re b) : Éva­lua­ti­on des acquis d’app­ren­tis­sa­ge, mais uni­quement de maniè­re som­ma­ti­ve (pri­se en comp­te pour la note ou la qua­li­fi­ca­ti­on), et non for­ma­ti­ve (accom­pa­gnant l’apprentissage)
  • Point 3, lett­re c) : Éva­lua­ti­on du niveau d’é­du­ca­ti­on appro­prié qu’u­ne per­son­ne reçoit ou peut atteindre
  • Point 3, lett­re d) : Sur­veil­lan­ce et détec­tion des com­porte­ments inter­dits pen­dant les examens

La Com­mis­si­on pré­cise son point de vue com­me suit :

Accès et attri­bu­ti­on (point a))

Enre­gi­stré :

  • des systè­mes d’ad­mis­si­on auto­ma­ti­sés qui ana­ly­sent les can­di­da­tures, les diplô­mes et les résul­tats aux tests
  • Outils per­met­tant d’af­fec­ter des app­renants à un pro­gram­me ou à un cours
  • Systè­mes per­met­tant d’o­ri­en­ter les deman­deurs d’em­ploi ou les sala­riés vers des pro­gram­mes de for­ma­ti­on pro­fes­si­on­nel­le continue

Non pris en compte :

  • Des outils de recom­man­da­ti­on qui pro­po­sent des cur­sus aux per­son­nes inté­res­sées en fonc­tion de leurs pro­pres pré­fé­ren­ces et qui ne font que les aider à prend­re leur décision
  • Chat­bots d’in­for­ma­ti­on sur les con­di­ti­ons d’ad­mis­si­on, sans recom­man­da­ti­on personnalisée.

Excep­ti­on « Low Risk » :

  • simp­le outil de gesti­on des don­nées qui extrait et clas­se les can­di­da­tures (tâche stric­te­ment liée à la procédure)
  • Outil per­met­tant de véri­fier a poste­rio­ri les décis­i­ons d’ho­mo­lo­gati­on déjà pri­ses (iden­ti­fi­ca­ti­on des modèles)

Pro­fi­la­ge (l’ex­cep­ti­on « fai­ble ris­que » ne s’ap­pli­que pas) :

  • Les systè­mes dont l’ana­ly­se des don­nées con­sti­tue un pro­fi­la­ge, com­me l’af­fec­ta­ti­on auto­ma­ti­sée à une éco­le en fonc­tion du lieu de rési­dence et de carac­té­ri­sti­ques personnelles
  • Mise en rela­ti­on pour des places de for­ma­ti­on continue

Éva­lua­ti­on des acquis d’app­ren­tis­sa­ge (lit. b)

Enre­gi­stré :

  • Les systè­mes de nota­ti­on et d’éva­lua­ti­on qui ent­rent en ligne de comp­te dans la note fina­le ou inter­mé­di­ai­re, même si un système de retour d’in­for­ma­ti­on à visée for­ma­ti­ve ali­men­te en par­al­lè­le l’at­tri­bu­ti­on des notes par l’enseignant

Non pris en compte :

  • systè­mes d’app­ren­tis­sa­ge adap­t­atifs, systè­mes de tuto­rat intel­li­gents, pla­te­for­mes d’ana­ly­se de l’apprentissage
  • Outils desti­nés à aider les app­renants neurodivergents
  • Les appli­ca­ti­ons d’app­ren­tis­sa­ge des lan­gues ou de pro­non­cia­ti­on uti­li­sées uni­quement par les apprenants

Excep­ti­on « Low Risk » : 

  • Cal­cu­la­teur de moy­enne simp­le (exer­ci­ce de pro­cé­du­re restreint)
  • Système qui ana­ly­se les sché­mas de nota­ti­on des ens­eig­nants afin de détec­ter les anoma­lies et de les signal­er en vue d’u­ne véri­fi­ca­ti­on humaine (recon­nais­sance de formes)

Niveau d’é­tu­des (lit. c)

Enre­gi­stré :

  • tests de niveau adaptatifs
  • Systè­mes per­met­tant d’o­ri­en­ter les app­renants ayant des beso­ins par­ti­cu­liers vers un pro­gram­me et un niveau d’ac­com­pa­gne­ment adaptés

Non pris en compte :

  • ana­ly­ses agré­gées des ten­dan­ces rela­ti­ves au par­cours édu­ca­tif, sans réfé­rence à des per­son­nes spécifiques

Sur­veil­lan­ce des examens (lit. d)

Enre­gi­stré :

  • Systè­mes de sur­veil­lan­ce lors d’ex­amens sur­veil­lés, par exemp­le uti­li­sant la recon­nais­sance facia­le, l’ana­ly­se du cla­vier, de l’é­cran ou des don­nées audio/vidéo

Non pris en compte :

  • Con­trô­les de pla­gi­at et de col­la­bo­ra­ti­on portant sur les travaux ren­dus, effec­tués en dehors du cad­re des examens sur­veil­lés en temps réel et après la remi­se des travaux

Emploi (anne­xe III, point 4)

Il con­vi­ent ici de distin­guer deux cas d’application, qui doi­vent tous deux être inter­pré­tés de maniè­re fonc­tion­nel­le et lar­ge. Le champ d’application per­son­nel ne se limi­te pas aux sala­riés ; les free­lan­ces, les tra­vail­leurs indé­pen­dants, les pre­sta­tai­res de ser­vices et les tra­vail­leurs sur pla­te­for­me relè­vent éga­le­ment de ce champ d’application, quel­le que soit la for­me du cont­rat, dès lors qu’une AUS leur faci­li­te l’accès à un emploi ou en fait une condition :

  • Point 4, lett­re a) : Recru­tement et sélec­tion de per­son­nes phy­si­ques, notam­ment par le biais d’off­res d’em­ploi ciblées, examen et tri des can­di­da­tures, ain­si qu’éva­lua­ti­on des candidats.
  • Point 4, lett­re b) : Gesti­on des rela­ti­ons de tra­vail, notam­ment les décis­i­ons rela­ti­ves aux con­di­ti­ons con­trac­tu­el­les, aux pro­mo­ti­ons et aux licen­cie­ments, l’at­tri­bu­ti­on des tâches en fonc­tion du com­porte­ment ou de cer­tai­nes carac­té­ri­sti­ques, ain­si que le sui­vi et l’éva­lua­ti­on des per­for­man­ces et du comportement.

Recru­tement et sélec­tion (point a))

Sont inclus ici

  • les étapes pré­pa­ra­toires (appro­che ciblée des can­di­dats, pré­sélec­tion) et
  • la sélec­tion pro­pre­ment dite (pré­sélec­tion, nota­ti­on, clas­se­ment, évaluation).

Sont notam­ment concernés :

  • la réd­ac­tion d’off­res d’em­ploi à l’ai­de de l’IA, dans la mesu­re où cel­les-ci ne relè­vent pas de l’ex­cep­ti­on « fai­ble ris­que » (voir ci-dessous) ;
  • Systè­mes qui ana­ly­sent et filt­rent les CV et génè­rent des notes, des clas­se­ments („ Top 5 “) ou des caté­go­ries d’a­dé­qua­ti­on („ high fit “)
  • Outils de sourcing per­met­tant de recher­cher des pro­fils et d’é­ta­b­lir des listes de présélection
  • Éva­lua­ti­on des apti­tu­des à l’ai­de d’u­ne camé­ra (par exemp­le, les capa­ci­tés visu­el­les des can­di­dats pilo­tes) ; éva­lua­ti­on des répon­ses dans le cad­re d’éva­lua­tions en ligne
  • Recru­tement d’apprentis
  • Systè­mes de pla­ce­ment des agen­ces pour l’emploi

Non pris en compte :

  • outils mis à la dis­po­si­ti­on des can­di­dats, que cha­cun gère lui-même (opti­mi­sa­ti­on du CV, recom­man­da­ti­ons d’off­res d’em­ploi à la candidate)
  • Image de mar­que de l’em­ployeur sans lien avec un poste vacant spécifique
  • sui­vi anony­mi­sé de la répu­ta­ti­on de l’employeur
  • Outils qui ana­ly­sent les off­res d’em­ploi uni­quement pour détec­ter les for­mu­la­ti­ons problématiques
  • Les chat­bots d’in­for­ma­ti­on desti­nés à l’in­té­gra­ti­on après l’em­bau­che (ceux-ci peu­vent tou­te­fois rele­ver du point b) s’ils Ali­men­ter ou sur­veil­ler la puis­sance)

Excep­ti­on « Low Risk » :

  • Un géné­ra­teur de descrip­ti­ons de poste qui crée une off­re d’em­ploi à par­tir de mis­si­ons et de qua­li­fi­ca­ti­ons défi­nies par des utilisateurs
  • Véri­fi­ca­ti­on d’un diplô­me pro­fes­si­on­nel avec un résul­tat bin­aire „ vali­dé / non vali­dé “ (tâche pro­cé­du­ra­le précise)
  • Orga­ni­sa­ti­on des can­di­da­tures reçues dans une base de don­nées con­sul­ta­ble (pha­se préparatoire)
  • Coor­di­na­ti­on des ren­dez-vous pour les ent­re­ti­ens, y com­pris les opti­ons d’ac­ce­s­si­bi­li­té (sur le plan pure­ment logistique)
  • Audit ex post des biais sur des don­nées anony­mi­sées (recon­nais­sance de formes).

Mise en place de systè­mes qui signalent les can­di­dats com­me „ à haut ris­que “ et les pré­sélec­tion­nent Pro­fi­la­ge et restent très risqués.

Gesti­on des cont­rats de tra­vail (point b))

Le ter­me “ décis­i­on » doit être com­pris au sens fonc­tion­nel et eng­lo­be éga­le­ment les cas dans les­quels une per­son­ne prend for­mel­le­ment une décis­i­on, mais en s’ap­pu­yant de maniè­re déter­mi­nan­te sur le résul­tat. Seu­les sont pri­ses en comp­te les décis­i­ons qui dépas­sent un seuil de per­ti­nence ; tou­tes les décis­i­ons opé­ra­ti­on­nel­les quo­ti­di­en­nes ne sont pas pri­ses en compte.

Enre­gi­stré :

  • Décis­i­ons rela­ti­ves aux con­di­ti­ons essen­ti­el­les du cont­rat (rému­n­é­ra­ti­on, temps de tra­vail, con­gés), à la pro­mo­ti­on et à la rési­lia­ti­on (y com­pris la non-recon­duc­tion des cont­rats à durée déter­mi­née et la sus­pen­si­on défi­ni­ti­ve des comp­tes sur la plateforme)
  • Attri­bu­ti­on des mis­si­ons en fonc­tion du com­porte­ment ou de carac­té­ri­sti­ques per­son­nel­les (ponc­tua­li­té, temps de répon­se, niveau de fia­bi­li­té ; non-attri­bu­ti­on de cré­neaux de liv­rai­son en cas de fai­ble taux d’ac­cep­t­ati­on ; clas­se­ment des free­lan­ces en fonc­tion de leurs évaluations)
  • un sui­vi sys­té­ma­tique des per­for­man­ces et du com­porte­ment, dont les résul­tats sont con­si­gnés dans le dos­sier personnel

Non pris en compte :

  • Attri­bu­ti­on des mis­si­ons selon des critères objec­tifs, neutres et exter­nes (dis­po­ni­bi­li­té selon le tableau de ser­vice, qua­li­fi­ca­ti­ons requi­ses tel­les que le per­mis de con­duite de cha­ri­ot élé­va­teur ou l’au­to­ri­sa­ti­on d’e­xer­cer la pro­fes­si­on d’a­vo­cat, pro­xi­mi­té géographique)
  • Systè­mes desti­nés exclu­si­ve­ment au respect d’ob­li­ga­ti­ons léga­les exter­nes (tel­les que l’en­re­gi­stre­ment des tran­sac­tions dans le cad­re de la lut­te cont­re les abus de mar­ché), à des fins pure­ment médi­cal­es ou de sécu­ri­té, ou à la pro­tec­tion des biens de l’entreprise
  • Systè­mes qui se con­ten­tent d’a­ler­ter la per­son­ne con­cer­née sur d’é­ven­tu­el­les err­eurs, sans lui impo­ser de pres­si­on pour qu’el­le aug­men­te son ren­de­ment et sans en infor­mer l’em­ployeur ; décis­i­ons opé­ra­ti­on­nel­les quo­ti­di­en­nes n’en­traînant aucu­ne modi­fi­ca­ti­on des droits con­trac­tuels (attri­bu­ti­on d’un espace de bureau, orga­ni­sa­ti­on des pau­ses pen­dant le poste)

Excep­ti­on « Low Risk » :

  • un système qui se con­tente d’in­di­quer l’ex­pi­ra­ti­on d’un cont­rat à durée déter­mi­née sans pro­cé­der à aucu­ne évaluation

Pour mémoi­re : la recon­nais­sance des émo­ti­ons sur le lieu de tra­vail est inter­di­te en ver­tu de l’ar­tic­le 5, para­gra­phe 1, point f), de la loi sur l’invalidité.

Accès aux ser­vices essen­tiels (anne­xe III, point 5)

Il con­vi­ent ici de distin­guer quat­re cas d’utilisation :

  • Point 5, lett­re a) : Examen de l’é­li­gi­bi­li­té à des pre­sta­ti­ons publi­ques essen­ti­el­les, effec­tué par les auto­ri­tés ou pour leur comp­te, y com­pris l’oc­troi, la réduc­tion, le retrait ou la récup­é­ra­ti­on de ces prestations
  • Point 5, lett­re b) : Éva­lua­ti­on de la sol­va­bi­li­té ou éta­blis­se­ment d’un score de cré­dit pour les per­son­nes physiques
  • Point 5, lett­re c) : Éva­lua­ti­on des ris­ques et tari­fi­ca­ti­on dans le domaine de l’assu­rance vie et de l’assu­rance maladie
  • Point 5, lett­re d) : Éva­lua­ti­on et clas­si­fi­ca­ti­on des appels d’ur­gence, coor­di­na­ti­on des ser­vices de secours, tria­ge des patients

Sol­va­bi­li­té et score de cré­dit (point b)

Sont pris en comp­te à la fois l’éva­lua­ti­on de la sol­va­bi­li­té et l’é­ta­blis­se­ment d’un score, cha­cun sépa­ré­ment. Ce qui est déter­mi­nant dans chaque cas, c’est le lien avec l’ac­cès à un cré­dit ou à un ser­vice essen­tiel („ essen­ti­al pri­va­te services “) :

  • Prin­ci­paux ser­vices Il s’a­git, par exemp­le, du loge­ment, de l’ap­pro­vi­si­on­ne­ment en élec­tri­ci­té et des ser­vices de télé­com­mu­ni­ca­ti­ons, mais aus­si d’aut­res ser­vices revêtant une importance com­pa­ra­ble pour les per­son­nes phy­si­ques. L’ex­clu­si­on de l’ac­cès à ces ser­vices doit en out­re être sus­cep­ti­ble d’a­voir des con­sé­quen­ces tout aus­si gra­ves sur la vie, la san­té, les moy­ens de sub­si­stance ou la par­ti­ci­pa­ti­on à la vie socia­le des per­son­nes con­cer­nées. Selon la Com­mis­si­on, cela con­cer­ne notam­ment les ser­vices de san­té et de soins de longue durée, d’aut­res ser­vices d’ap­pro­vi­si­on­ne­ment tels que la dis­tri­bu­ti­on de gaz et d’eau, ain­si que les ser­vices de transport.
  • Sur le site Sec­teur finan­cier l’ac­cès aux pre­sta­ti­ons sui­van­tes, par exemp­le, est essentiel : 
    • Mise à dis­po­si­ti­on d’un comp­te bancaire ;
    • Ser­vices de paiement ;
    • Octroi de prêts et de crédits ;
    • Aug­men­ta­ti­on d’u­ne ligne de cré­dit ou d’u­ne limi­te de car­te de crédit ;
    • Octroi de cré­dits hypothécaires ;
    • ser­vices finan­ciers publics.
  • Non signi­fi­ca­tif Il s’a­git notam­ment des ser­vices suivants : 
    • Acqui­si­ti­on d’ac­tions et de titres ;
    • Accès au tra­ding sur mar­ge (tra­ding à cré­dit ou avec finance­ment externe) ;
    • Accès à des instru­ments finan­ciers complexes ;
    • Car­tes de cré­dit haut de gamme ;
    • des pro­duits de cré­dit spé­ci­fi­ques, tels que les cré­dits loi­sirs ou les cré­dits voyage.

Cas non recensés :

  • Clas­si­fi­ca­ti­on et seg­men­ta­ti­on de la cli­entèle à des fins d’in­for­ma­ti­on ou de marketing
  • Simu­la­ti­ons de tari­fi­ca­ti­on sans pri­se en comp­te de la solvabilité
  • Aide aux cli­ents pour rem­plir le for­mu­lai­re de demande
  • Trai­te­ment des recours après la décision
  • sui­vi pru­den­tiel inter­ne de l’ex­po­si­ti­on au ris­que de cré­dit après l’oc­troi du crédit

Détec­tion des fraudes

Com­me indi­qué pré­cé­dem­ment, l’éva­lua­ti­on de la sol­va­bi­li­té peut con­sti­tuer un système d’in­for­ma­ti­on auto­ma­ti­sé à haut ris­que. Sont exclus de cet­te caté­go­rie les systè­mes qui ser­vent prin­ci­pa­le­ment à détec­ter la frau­de finan­ciè­re, même si leurs résul­tats sont éga­le­ment pris en comp­te dans l’éva­lua­ti­on de la solvabilité.

Assu­rance (point c))

  • Sont pris en comp­te l’éva­lua­ti­on des ris­ques et la tari­fi­ca­ti­on dans le domaine de l’assu­rance vie et de l’assu­rance mala­die, y com­pris les assu­ran­ces dépen­dance pri­vées, cer­tai­nes assu­ran­ces retrai­te et les assu­ran­ces vie de cou­ver­tu­re du sol­de de dette.
  • Les bran­ches tel­les que l’assu­rance auto­mo­bi­le ou l’assu­rance habi­ta­ti­on ne sont pas pri­ses en compte

Justi­ce, y com­pris l’ar­bi­tra­ge (anne­xe III, point 8)

Il s’a­git ici d’ap­por­ter un sou­ti­en aux auto­ri­tés judi­ciai­res ou enco­re à Pro­cé­du­re d’ar­bi­tra­ge lors de la déter­mi­na­ti­on et de l’in­ter­pré­ta­ti­on des faits et du droit, ain­si que lors de l’ap­pli­ca­ti­on du droit

Enre­gi­stré :

  • Inter­pré­ta­ti­on, trans­po­si­ti­on de pré­cé­dents à la situa­ti­on concrète
  • Éla­bo­ra­ti­on de pro­jets de décis­i­on accom­pa­gnés d’u­ne justification.

Non pris en comp­te:

  • les tâches admi­ni­stra­ti­ves acces­soires tel­les que l’an­ony­mi­sa­ti­on, la tran­scrip­ti­on, la pla­ni­fi­ca­ti­on des ren­dez-vous ou la répar­ti­ti­on des tâches
  • recher­che simp­le et recher­che par mots-clés
  • Systè­mes mis en place par les par­ties ou leurs repré­sen­tants légaux qui n’a­gis­sent pas „ au nom “ d’u­ne auto­ri­té judiciaire

Aut­res domaines

La Com­mis­si­on se pro­non­ce éga­le­ment sur d’aut­res cas d’ap­pli­ca­ti­on, qui ne seront pas abor­dés en détail ici :

  • Pour­suites péna­les (anne­xe III, point 6)
  • Migra­ti­on, asi­le et con­trô­le aux fron­tiè­res (anne­xe III, point 7)
  • Pro­ce­s­sus démo­cra­ti­ques (anne­xe III, point 8)