Die Euro­päi­sche Kom­mis­si­on hat mit Datum vom einen Ent­wurf der Leit­li­ni­en zur Ein­stu­fung von KI-Syste­men (AIS) als Hoch­ri­si­ko­sy­ste­me (HRAIS) nach Art. 6 AI-Act ver­öf­fent­licht. Die Leit­li­ni­en bestehen aus meh­re­ren Dokumenten:

Der Ent­wurf liegt zur Kon­sul­ta­ti­on vor und wird vor der Annah­me wei­ter mit dem Euro­päi­schen KI-Gre­mi­um (AI Board) abge­stimmt; die Bei­spie­le sind aus­drück­lich nicht abschlie­ssend und sol­len fort­lau­fend ergänzt werden.

Ein­stu­fung von AIS als HRAIS

All­ge­mei­nes

Im ersten Teil erläu­tert die Kom­mis­si­on eini­ge Grund­sät­ze (“Hori­zon­tal Issues”), die sie ihrem Ver­ständ­nis der Ein­zel­fäl­le zugrundelegt.

Aus­zu­ge­hen ist von der Unter­schei­dung in Art. 6 AI Act: HRAIS sind Syste­me, die

  • ein Pro­dukt nach Anhang I oder des­sen Sicher­heits­kom­po­nen­te sind (Art. 6 Abs. 1, Annex I); oder
  • die einem der acht Berei­che nach Annex III entsprechen: 
    • Bio­me­trie
    • Kri­ti­sche Infrastruktur
    • All­ge­mei­ne und beruf­li­che Bildung
    • Beschäf­ti­gung, Arbeit­neh­mer­ma­nage­ment und Zugang zur Selbstständigkeit
    • Zugang zu und Inan­spruch­nah­me wesent­li­cher pri­va­ter Dien­ste sowie wesent­li­cher öffent­li­cher Dien­ste und Leistungen
    • Straf­ver­fol­gung
    • Migra­ti­on, Asyl und Grenzkontrollmanagement
    • Rechts­pfle­ge und demo­kra­ti­sche Prozesse

Use Cases nach Annex III

Prak­tisch rele­vant ist vor allem Annex III. Bei der ent­spre­chen­den Ein­stu­fung gilt zunächst folgendes:

  • Erheb­li­ches Risi­ko”: Annex III erfasst nur Syste­me, die ihrer Zweck­be­stim­mung nach ein erheb­li­ches Risi­ko für Gesund­heit, Sicher­heit oder Grund­rech­te mit sich brin­gen. Die abschlie­ssen­de Liste und der Fil­ter sind bei­de Aus­druck die­ses ver­hält­nis­mä­ssi­gen, risi­ko­ba­sier­ten Ansat­zes. Nach ErwG 53 AI Act fehlt ein erheb­li­ches Risi­ko, wenn das System die Sub­stanz und damit das Ergeb­nis der Ent­schei­dung nicht beeinflusst:

    (53) It is also important to cla­ri­fy that the­re may be spe­ci­fic cases in which AI systems refer­red to in pre-defi­ned are­as spe­ci­fi­ed in this Regu­la­ti­on do not lead to a signi­fi­cant risk of harm to the legal inte­rests pro­tec­ted under tho­se are­as becau­se they do not mate­ri­al­ly influence the decis­i­on-making or do not harm tho­se inte­rests sub­stan­ti­al­ly. For the pur­po­ses of this Regu­la­ti­on, an AI system that does not mate­ri­al­ly influence the out­co­me of decis­i­on-making should be under­s­tood to be an AI system that does not have an impact on the sub­stance, and ther­eby the out­co­me, of decis­i­on-making, whe­ther human or auto­ma­ted. An AI system that does not mate­ri­al­ly influence the out­co­me of decis­i­on-making could include situa­tions in which one or more of the fol­lo­wing con­di­ti­ons are fulfilled. […]

  • Zweck­be­stim­mung als Mass­stab: Ein­zig mass­geb­lich ist, ob die Zweck­be­stim­mung des AIS einen Anwen­dungs­fall von Anhang III umfasst. Die­se Ein­stu­fung erfolgt vor dem Inver­kehr­brin­gen oder der Inbetriebnahme.
  • Mensch­li­che Betei­li­gung ändert dar­an für sich genom­men nichts, weil die mensch­li­che Auf­sicht nach Art. 14 AI Act eine Com­pli­ance-Anfor­de­rung an ein hoch­ris­kants System dar­stellt und kei­nen Fak­tor sei­ner Einstufung.

Low risk-Aus­nah­men

Dass uner­heb­li­che Risi­ken nicht zu einer Ein­stu­fung als hoch­ris­kant nach Annex III füh­ren sol­len, greift Art. 6 Abs. 3 AI Act auf. Ein an sich unter Annex III fal­len­des AIS ist aus­nahms­wei­se nicht hoch­ris­kant, wenn min­de­stens eine der fol­gen­den Bedin­gun­gen erfüllt ist (die Kom­mis­si­on nennt das den “Fil­ter”. Hier kann der Human in the Loop durch­aus für die schliess­li­che Qua­li­fi­ka­ti­on als HRAIS rele­vant sein).

Für die Anwen­dung die­ser Aus­nah­me – die nur bei Annex III gilt, nicht bei der pro­dukt­be­zo­ge­nen Ein­stu­fung nach Annex I – gel­ten fol­gen­de Regeln:

  • Aus­le­gung: Die genann­ten Bedin­gun­gen sind abschlie­ssend, aber alter­na­tiv. Als grund­rechts­re­le­van­te Aus­nah­me sind sie eng aus­zu­le­gen. Sie grei­fen alle nur, soweit das AIS kein Ent­schei­dungs­er­geb­nis wesent­lich beeinflusst.
  • Pro­fil­ing: Nimmt das System ein Pro­fil­ing im Sin­ne von Art. 4 Nr. 4 DSGVO vor, gilt kei­ne Aus­nah­me. Wenn per­so­nen­be­zo­ge­ne Daten zur Bewer­tung per­sön­li­cher Aspek­te ver­ar­bei­tet wer­den, ent­fällt daher die Low-Risk-Ausnahme.
  • Agen­ti­sche Syste­me: Auf­ge­teil­te und agen­ti­sche Archi­tek­tu­ren wer­den als Gesamt­sy­stem beur­teilt, sobald ihre gemein­sa­men Auf­ga­ben eine Ein­zel­fall­ent­schei­dung wesent­lich beein­flus­sen. Dass ein­zel­ne für sich genom­men unter eine Aus­nah­me fal­len, ändert dar­an nichts:

    (75) Whe­re seve­ral AI systems form part of a more com­plex AI system, so that their com­bi­ned inten­ded pur­po­se or joint out­puts mate­ri­al­ly influence an indi­vi­du­al decis­i­on, the com­bi­ned con­fi­gu­ra­ti­on is trea­ted as a sin­gle AI system for the pur­po­se of high-risk clas­si­fi­ca­ti­on. To avo­id cir­cum­ven­ti­on of the high-risk clas­si­fi­ca­ti­on rules by system design, split archi­tec­tures are asses­sed as a whole.

    (76) By con­trast, strict­ly pro­ce­du­ral or pre­pa­ra­to­ry func­tions of an AI system that are lin­ked to high-risk system remain eli­gi­ble for exemp­ti­on from high-risk clas­si­fi­ca­ti­on under Artic­le 6(3) AI Act whe­re they are genui­ne­ly sepa­ra­ble from the AI system […]

    Selbst­ein­schät­zung und Regi­strie­rung: Die Anwen­dung einer Aus­nah­me ist vor dem Inver­kehr­brin­gen zu prü­fen und ggf. zu doku­men­tie­ren. Das AIS ist fer­ner in der ent­spre­chen­den Daten­bank zu regi­strie­ren (Art. 6 Abs. 4, Art. 71 AI Act). Die Markt­über­wa­chungs­be­hör­den kön­nen das AIS umklas­si­fi­zie­ren (Art. 80 AI Act) und kön­nen bei Umge­hung sank­tio­nie­ren (Art. 99 AI Act).

Dies alles lässt sich über­sichts­wei­se wie folgt darstellen:

Enge Ver­fah­rens­auf­ga­be (lit. a; “nar­row pro­ce­du­ral task”)

Hier geht es bspw. um Umfor­ma­tie­ren, Struk­tu­rie­ren oder Kate­go­ri­sie­ren von Daten und Wert­ur­teil, Ein­stu­fung als “nütz­lich” oder “weni­ger nütz­lich”, Scoring oder Ranking.

Die Kom­mis­si­on ver­deut­licht dies mit zwei Beispielen:

  • Aus­nah­me gilt: Sor­tie­rung ein­ge­hen­der Bewer­bun­gen für die Zulas­sung zu Schu­len oder Uni­ver­si­tä­ten nach der ange­for­der­ten Note oder dem Bil­dungs­ni­veau, weil bzw. wenn sol­che Syste­me Bewer­bun­gen anhand defi­nier­ter Infor­ma­tio­nen in vor­de­fi­nier­te Kate­go­rien (z.B. Grund­schu­le, Sekun­dar­stu­fe, Gym­na­si­um oder spe­zi­fi­sche Klas­sen) ein­ord­nen, ohne die Eig­nung zu bewer­ten oder Zulas­sungs­ent­schei­dun­gen zu tref­fen (ein inter­es­san­tes, weil risi­ko­na­hes Beispiel).
  • Aus­nah­me gilt nicht:

Ver­bes­se­rung eines mensch­li­chen Ergeb­nis­ses (lit. b; “impro­ve the result of a pre­vious­ly com­ple­ted human activity”)

Die­se Aus­nah­me betrifft das Ver­fei­nern oder die Qua­li­täts­si­che­rung ohne mate­ri­el­le Neu­be­wer­tung. Dafür müs­sen fol­gen­de Vor­aus­set­zun­gen erfüllt sein:

  • Eine mensch­li­che Prü­fung oder Ent­schei­dung ist abge­schlos­sen und
  • hat zu einem Ergeb­nis geführt und
  • die­ses wird durch das AIS ver­bes­sert, ohne das Ergeb­nis zu ändern-

Dazu eben­falls zwei Beispiele:

  • Aus­nah­me gilt:
    • Auf­fin­den von Feh­lern oder Wider­sprü­chen im Ergebnis
    • Ergän­zung mensch­li­cher Ent­schei­dun­gen durch wei­te­re Belege
    • Kon­ver­tie­rung mensch­lich gene­rier­ter Inhalte
  • Aus­nah­me gilt nicht: Ein AIS prüft ein Ergeb­nis und lie­fert eine wesent­lich ande­re Lösung.

Erken­nen von Ent­schei­dungs­mu­stern oder Abwei­chun­gen (lit. c)

Hier geht es um rei­ne ex-post-Prü­fun­gen, ohne dass die Ent­schei­dung selbst beein­flusst wür­de. Anders als bei den ande­ren Low Risk-Aus­nah­men kann die­se Aus­nah­me durch­aus etwas wei­ter­ge­hen­de Syste­me erfas­sen, und auch eine mensch­li­che Ent­schei­dung vor­be­rei­ten. Aller­dings müs­sen drei Vor­aus­set­zun­gen erfüllt sein:

  • Die mensch­li­che Prü­fung muss bereits abge­schlos­sen sein;
  • das AIS führt nur eine ex-post-Ana­ly­se durch, ohne dass zukünf­ti­ge Ent­schei­dun­gen vor­ge­spurt werden;
  • das AIS darf nicht dazu bestimmt sein, eine mensch­li­che Ent­schei­dung zu erset­zen oder zu beein­flus­sen. Kommt es zu einer sol­chen Beein­flus­sung, muss sich dem eine ech­te mensch­li­che Prü­fung anschliessen.

Auch hier­zu fin­den sich ein Bei­spiel. Unter die Low Risk-Aus­nah­me dürf­te ein AIS fallen,d as frü­he­re Ein­stu­fun­gen einer öffent­li­che Ver­wal­tung ana­ly­siert mit dem Ziel der Qua­li­täts­si­che­rung – durch Muster­er­ken­nung, die auch Abwei­chun­gen bei ein­zel­nen Ent­schei­dun­gen erkennt – und des Reportings, aber ohne dass Lösun­gen für wei­te­re Fäl­le vor­ge­schla­gen wer­den oder die Lei­stung von Mit­ar­bei­ten­den bewer­tet wird.

Vor­be­rei­ten­de Auf­ga­be (lit. d)

In Abgren­zung zur engen Ver­fah­rens­aus­nah­me (lit. a) geht es hier um Auf­ga­ben im Vor­feld einer mensch­li­chen Ent­schei­dung (wobei eine sol­che Vor­be­rei­tung gleich­zei­tig unter lit. a und lit. d fal­len kann). Dabei darf der Out­put des AIS nur ein all­ge­mei­ner Fak­tor sein, der die Ent­scheid­fin­dung unter­stützt, ohne dass das AIS eine Emp­feh­lung oder eine Bewer­tung eines Ein­zel­falls beisteuert.

Ein Bei­spiel ist ein AIS, das zuhan­den eines Men­schen Ver­wei­sun­gen auf ein­schlä­gi­ge Rechts­vor­schrif­ten, Infor­ma­tio­nen zur Recht­spre­chung sowie inter­ne Richt­li­ni­en zur Ver­fü­gung stellt. Das AIS ana­ly­iert dabei weder einen Ein­ze­fall noch erzeugt es ein Ergeb­nis, das die Ent­schei­dung wesent­lich beeinflusst.

Vor­be­halt des Profiling

Alle Low Risk-Aus­nah­men ste­hen unter dem Vor­be­halt des Pro­fil­ing i.S.v. Art. 4 Nr. 4 DSGVO, also der auto­ma­ti­sier­ten Bear­bei­tung von Per­so­nen­da­ten für die Bewer­tung per­sön­li­cher Aspekte.

Wenn etwa eine Zoll­be­hör­de ein AIS ein­setzt zur Bewer­tung des Risi­kos, dass Waren bei der Ein­fuhr gegen Rechts­vor­schrif­ten ver­sto­ssen, geht es nicht um die Bewer­tung per­sön­li­cher Aspek­te. Eine sol­che Risi­ko­be­wer­tung von Sen­dun­gen oder Waren ist kein Pro­fil­ing. Anders ein AIS, das im Rah­men der Rekru­tie­rung Abwei­chun­gen von inter­nen Rekru­tie­rungs­richt­li­ni­en erkennt und dazu Ent­schei­dun­gen der rekru­tie­ren­den Per­so­nen und per­sön­li­che Merk­ma­le im Zusam­men­hang mit Bewer­bungs­ge­sprä­chen bewer­tet. Hier könn­te es an sich um einen Anwen­dungs­fall von Art. 6 Abs. 3 lit. c gehen, aber die Bear­bei­tung von Per­so­nen­da­ten zur Pro­fi­lie­rung der rekru­tie­ren­den Per­so­nen steht dem entgegen.

Ein­zel­ne Annex III-Anwendungsfälle

Bio­me­trie (Anhang III Ziff. 1)

Die­se Fall­grup­pe umfasst drei Anwendungsfälle:

  • Ziff. 1 lit. a: bio­me­tri­sche Fernidentifizierung;
  • Ziff. 1 lit. b: bio­me­tri­sche Kate­go­ri­sie­rung nach sen­si­blen Merk­ma­len im Sin­ne von Art. 9 Abs. 1 DSGVO (beson­ders schüt­zens­wer­te Per­so­nen­da­ten). Dabei sind aber Alter und Geschlecht nicht erfasst (die Aus­le­gung nach der DSGVO ist bis­wei­len wei­ter und kann sich nach gewis­sen Mei­nun­gen auf alle unver­än­der­li­chen kör­per­li­chen Merk­ma­le erstrecken).
  • Ziff. 1 lit. c: Emo­ti­ons­er­ken­nung, soweit die­se nicht schon nach Art. 5 AI Act ver­bo­ten ist (Emo­ti­ons­ker­nen­nung am Arbeits­platz und in Ausbildungsstätten).

Was bio­me­tri­sche Daten sind, gibt nicht die DSGVO vor, son­dern Art. 3 Nr. 34 AI Act:

  • kei­ne bio­me­tri­schen Daten: das Track­ing einer Per­son in einem Geschäft auf­grund ihrer Klei­dung; die Emo­ti­ons­er­ken­nung gestützt auf ver­fass­te Tex­te; die Erken­nung von Autonummern;
  • bio­me­tri­sche Daten: Emo­ti­ons­er­ken­nung gestützt auf Tasta­tur­an­schlä­ge, den Gesichts­aus­druck, die Kör­per­hal­tung oder Bewegungen.

Erfasst sind nach der Kom­mis­si­on etwa fol­gen­de Einsätze:

  • Abgleich von Fotos oder der Stim­me leben­der Per­so­nen mit Archiv­ma­te­ri­al zur Identifikation;
  • Abgleich von Auf­nah­men in Sport­sta­di­en zur Iden­ti­fi­ka­ti­on von Störern;
  • Erken­nung von Krank­hei­ten aus Bewegungsmustern;
  • Kate­go­ri­sie­rung von Flug­pas­sa­gie­ren mit Gesichtserkennung;

Nicht erfasst sind etwa fol­gen­de Einsätze:

  • bio­me­tri­sche Veri­fi­zie­rung als blo­sser Abgleich zur Bestä­ti­gung der Iden­ti­tät (etwa Gerä­te­ent­sper­rung, Zugang)
  • Loka­li­sie­rung einer Per­son ohne bio­me­tri­schem Abgleich;
  • Kate­go­ri­sie­rung von Kun­den nach dem Geschlecht;
  • AI zur Con­tent Moderation.

Spe­zi­fisch mit Bezug auf die Emo­ti­ons­er­ken­nung (soweit dabei AI ein­ge­setzt wird):

Erfasst:

  • Ein­satz von Body­cams zur Erken­nung aggres­si­ver Personen;
  • Erken­nung von Emo­tio­nen in Video­ga­mes zur Spiel­ver­bes­se­rung gestützt u.a. auf Gesichts­aus­drücke und Augenbewegungen;
  • Erken­nung von Kon­flikt­her­den bei Konzerten;
  • Emo­ti­ons­er­ken­nung von Kun­den im Call Cen­ter gestützt auf die Stimme.

Nicht erfasst:

  • Erken­nung von Müdig­keit bei Autolenkern;
  • Erken­nung blo­sser Gesichts­aus­drücke (Lächeln usw.).

Kri­ti­sche Infra­struk­tur (Anhang III Ziff. 2)

In die­sen Bereich fal­len nur AIS, die als Sicher­heits­kom­po­nen­te im Sin­ne von Art. 3 Nr. 14 AI Act eine direk­te Schutz­funk­ti­on für die phy­si­sche Inte­gri­tät der Infra­struk­tur erfül­len, in den Sek­to­ren digi­ta­le Infra­struk­tur, Stra­ssen­ver­kehr sowie Ver­sor­gung mit Was­ser, Gas, Wär­me oder Strom.

Erfasst sind etwa:

  • Ampel­steue­rung zur Abwen­dung phy­si­scher Schäden
  • Brand­mel­de­an­la­ge in einem Rechenzentrum

Nicht erfasst sind dage­gen etwa:

  • rei­ne Ana­ly­se des Ver­kehrs­fluss­ses ohne unmit­tel­ba­ren Steuerungseingriff
  • Ticket-Manage­ment und Netzlastprognosen
  • rei­ne Cybersicherheitskomponenten
  • bloss opti­mie­ren­de, infor­mie­ren­de oder orga­ni­sie­ren­de Systeme

Bil­dung und Berufs­bil­dung (Anhang III Ziff. 3)

Hier sind vier Anwen­dungs­fäl­le erfasst, wobei sie jeweils für alle Bil­dungs­stu­fen gel­ten, auch die betrieb­li­che und beruf­li­che Aus- und Weiterbildung:

  • Ziff. 3 lit. a: Bestim­mung von Zugang, Zulas­sung oder Zuwei­sung zu Insti­tu­tio­nen und Programmen
  • Ziff. 3 lit. b: Bewer­tung von Lern­ergeb­nis­sen, aber nur sum­ma­tiv (note- oder qua­li­fi­ka­ti­ons­re­le­vant), nicht for­ma­tiv (lern­be­glei­tend)
  • Ziff. 3 lit. c: Beur­tei­lung des ange­mes­se­nen Bil­dungs­ni­veaus, das eine Per­son erhält oder errei­chen kann
  • Ziff. 3 lit. d: Über­wa­chung und Erken­nung ver­bo­te­nen Ver­hal­tens wäh­rend Prüfungen

Die Kom­mis­si­on ver­deut­licht ihr Ver­ständ­nis wie folgt:

Zugang und Zuwei­sung (lit. a)

Erfasst:

  • auto­ma­ti­sier­te Zulas­sungs­sy­ste­me, die Bewer­bun­gen, Zeug­nis­se und Test­ergeb­nis­se auswerten
  • Werk­zeu­ge, die Ler­nen­de einem Pro­gramm oder Kurs zuweisen
  • Syste­me, die Stel­len­su­chen­de oder Mit­ar­bei­ten­de beruf­li­chen Wei­ter­bil­dungs­pro­gram­men zuordnen

Nicht erfasst:

  • Emp­feh­lungs­werk­zeu­ge, die Inter­es­sier­ten auf Basis ihrer eige­nen Prä­fe­ren­zen Stu­di­en­gän­ge vor­schla­gen und nur die eige­ne Ent­schei­dung stützen
  • Infor­ma­ti­ons-Chat­bots zu Zulas­sungs­vor­aus­set­zun­gen ohne per­so­na­li­sier­te Empfehlung.

Low Risk-Aus­nah­me:

  • blo­sser Daten-Orga­ni­zer, der Bewer­bun­gen extra­hiert und kate­go­ri­siert (enge Verfahrensaufgabe)
  • Werk­zeug zur Ex-post-Über­prü­fung bereits getrof­fe­ner Zulas­sungs­ent­schei­de (Muster­er­ken­nung)

Pro­fil­ing (Low Risk-Aus­nah­me gilt nicht):

  • Syste­me, deren Daten­aus­wer­tung ein Pro­fil­ing dar­stellt, etwa die auto­ma­ti­sier­te Schul­zu­wei­sung nach Wohn­ort und per­sön­li­chen Merkmalen
  • Matching auf Weiterbildungsplätze

Bewer­tung von Lern­ergeb­nis­sen (lit. b)

Erfasst:

  • Beno­tungs- und Bewer­tungs­sy­ste­me, die in die End- oder Zwi­schen­no­te ein­flie­ssen, auch wenn ein for­ma­tiv kon­zi­pier­tes Feed­back­sy­stem zugleich die Noten­ge­bung der Lehr­per­son speist

Nicht erfasst:

  • adap­ti­ve Lern­sy­ste­me, intel­li­gen­te Tuto­ring-Syste­me, Lernanalyse-Plattformen
  • Werk­zeu­ge zur Unter­stüt­zung neu­ro­di­ver­gen­ter Lernender
  • Sprach- oder Aus­spra­che­übungs-Apps, die allein von Ler­nen­den genutzt werden

Low Risk-Aus­nah­me:

  • rei­ner Durch­schnitts­no­ten-Rech­ner (enge Verfahrensaufgabe)
  • System, das Beno­tungs­mu­ster von Lehr­per­so­nen auf Abwei­chun­gen prüft und sie zur mensch­li­chen Nach­kon­trol­le flaggt (Muster­er­ken­nung)

Bil­dungs­ni­veau (lit. c)

Erfasst:

  • adap­ti­ve Einstufungstests
  • Syste­me, die Ler­nen­de mit beson­de­rem För­der­be­darf einem Pro­gramm und Unter­stüt­zungs­ni­veau zuordnen

Nicht erfasst:

  • agg­re­gier­te Trend­ana­ly­sen zum Bil­dungs­ver­lauf ohne Bezug zu ein­zel­nen Personen

Prü­fungs­über­wa­chung (lit. d)

Erfasst:

  • Proc­to­ring-Syste­me wäh­rend beauf­sich­tig­ter Prü­fun­gen, etwa mit Gesichts­er­ken­nung, Tastatur‑, Bild­schirm- oder Audio-/Vi­deo­ana­ly­se

Nicht erfasst:

  • Pla­gi­ats- und Kol­la­bo­ra­ti­ons­prü­fun­gen an ein­ge­reich­ten Haus­ar­bei­ten, die ausser­halb der beauf­sich­tig­ten Echt­zeit-Prü­fungs­si­tua­ti­on und nach Abga­be stattfinden

Beschäf­ti­gung (Anhang III Ziff. 4)

Hier sind zwei Anwen­dungs­fäl­le zu unter­schei­den, die bei­de funk­tio­nal und weit aus­zu­le­gen sind. Der per­sön­li­che Anwen­dungs­be­reich reicht über Ange­stell­te hin­aus; auch Free­lan­cer, selbst­stän­dig Täti­ge, Dienst­lei­ster und Platt­form­ar­bei­ten­de fal­len unab­hän­gig von der Ver­trags­form in die­sen Anwen­dungs­fall, sobald ein AUS ihren den Zugang zu Arbeit ver­mit­telt oder bedingt:

  • Ziff. 4 lit. a: Rekru­tie­rung und Aus­wahl natür­li­cher Per­so­nen, ins­be­son­de­re geziel­te Stel­len­an­zei­gen, Sich­tung und Fil­te­rung von Bewer­bun­gen sowie Bewer­tung von Kandidaten.
  • Ziff. 4 lit. b: Steue­rung von Arbeits­ver­hält­nis­sen, nament­lich Ent­schei­dun­gen über Ver­trags­be­din­gun­gen, Beför­de­rung und Been­di­gung, Auf­ga­ben­zu­wei­sung nach Ver­hal­ten oder Merk­ma­len sowie Über­wa­chung und Bewer­tung von Lei­stung und Verhalten.

Rekru­tie­rung und Aus­wahl (lit. a)

Erfasst sind hier

  • bereits vor­be­rei­ten­de Schrit­te (geziel­te Anspra­che von Kan­di­da­ten, Vor­auswahl) und
  • die eigent­li­che Aus­wahl (Short­li­sting, Scoring, Ran­king, Testung).

Erfasst sind bspw.:

  • das AI-basier­te Gestal­ten von Stel­len­aus­schrei­bun­gen, sofern die­se nicht unter die Low Risk-Aus­nah­me fal­len (s. unten);
  • Syste­me, die Lebens­läu­fe ana­ly­sie­ren und fil­tern und Scores, Ran­kings (“Top 5”) oder Eig­nungs­ka­te­go­rien (“high fit”) erzeugen
  • Sourcing-Werk­zeu­ge, die Pro­fi­le suchen und Short­lists bilden
  • kame­ra­ba­sier­te Eig­nungs­prü­fung (etwa visu­el­le Kapa­zi­tät von Pilot­an­wär­tern); Bewer­tung von Ant­wor­ten in Online-Assessments
  • Lehr­lings-Recrui­ting
  • Ver­mitt­lungs­sy­ste­me von Arbeitsagenturen

Nicht erfasst:

  • bewer­ber­sei­ti­ge Werk­zeu­ge, die die Per­son selbst steu­ert (CV-Opti­mie­rung, Stel­len­emp­feh­lun­gen an die Kandidatin)
  • Arbeit­ge­ber-Bran­ding ohne Bezug zu einer kon­kre­ten Vakanz
  • anony­mi­sier­tes Repu­ta­ti­ons­mo­ni­to­ring des Arbeitgebers
  • Tools, die Stel­len­an­zei­gen nur auf pro­ble­ma­ti­sche For­mu­lie­run­gen prüfen
  • Onboar­ding-Infor­ma­ti­ons-Chat­bots nach der Ein­stel­lung (die­se kön­nen aber unter lit. b fal­len, wenn sie Lei­stung spei­sen oder über­wa­chen)

Low Risk-Aus­nah­me:

  • Ein Gene­ra­tor für Stel­len­be­schrei­bun­gen, der aus mensch­lich vor­ge­ge­be­nen Auf­ga­ben und Qua­li­fi­ka­tio­nen eine Aus­schrei­bung erstellt
  • Veri­fi­zie­rung eines Berufs­di­ploms mit binä­rem Ergeb­nis “bestä­tigt / nicht bestä­tigt” (enge Verfahrensaufgabe)
  • Orga­ni­sa­ti­on ein­ge­hen­der Bewer­bun­gen in einer durch­such­ba­ren Daten­bank (vor­be­rei­tend)
  • Ter­min­ko­or­di­na­ti­on für Inter­views samt Bar­rie­re­frei­heits-Optio­nen (rein logistisch)
  • Ex-post-Bias-Audit auf anony­mi­sier­ten Daten (Muster­er­ken­nung).

Syste­me, die Bewer­ber als “high risk” flag­gen und vor­sor­tie­ren, füh­ren ein Pro­fil­ing durch und blei­ben hochriskant.

Steue­rung von Arbeits­ver­hält­nis­sen (lit. b)

Ent­schei­dung” ist funk­tio­nal zu ver­ste­hen und umfasst auch Fäl­le, in denen ein Mensch for­mell ent­schei­det, sich dabei aber mass­geb­lich auf den Out­put stützt. Erfasst ist erst, was eine Erheb­lich­keits­schwel­le über­schrei­tet; nicht jede ope­ra­ti­ve All­tags­ent­schei­dung zählt.

Erfasst:

  • Ent­schei­dun­gen über wesent­li­che Ver­trags­be­din­gun­gen (Ent­gelt, Arbeits­zeit, Urlaub), Beför­de­rung und Been­di­gung (inkl. Nicht­ver­län­ge­rung befri­ste­ter Ver­trä­ge und dau­er­haf­ter Sper­rung von Plattformkonten)
  • Auf­ga­ben­zu­wei­sung nach Ver­hal­ten oder per­sön­li­chen Merk­ma­len (Pünkt­lich­keit, Reak­ti­ons­zeit, Zuver­läs­sig­keits­wer­te; Vor­ent­hal­ten von Lie­fers­lots bei nied­ri­ger Annah­me­quo­te; Ran­king von Free­lan­cern nach Bewertung)
  • syste­ma­ti­sche Lei­stungs- und Ver­hal­tens­über­wa­chung, deren Ergeb­nis­se in die Per­so­nal­ak­te fliessen

Nicht erfasst:

  • Auf­ga­ben­zu­wei­sung nach objek­ti­ven, neu­tra­len, exter­nen Kri­te­ri­en (Ver­füg­bar­keit laut Dienst­plan, erfor­der­li­che Qua­li­fi­ka­ti­on wie Stap­ler­schein oder Anwalts­zu­las­sung, geo­gra­fi­sche Nähe)
  • Syste­me aus­schliess­lich zur Erfül­lung exter­ner Rechts­pflich­ten (etwa Trans­ak­ti­ons­pro­to­kol­lie­rung gegen Markt­miss­brauch), rein medi­zi­ni­sche oder Sicher­heits­zwecke oder Schutz von Betriebseigentum
  • Syste­me, die nur die betrof­fe­ne Per­son selbst auf mög­li­che Feh­ler hin­wei­sen, ohne Druck zur Mehr­lei­stung und ohne Mel­dung an den Arbeit­ge­ber; ope­ra­ti­ve All­tags­ent­schei­de ohne Ände­rung der Ver­trags­rech­te (Zutei­lung von Büro­raum, Pau­sen­la­ge inner­halb der Schicht)

Low Risk-Aus­nah­me:

  • ein System, das den Ablauf eines befri­ste­ten Ver­trags ohne Beur­tei­lung ledig­lich anzeigt

Pro memo­ria: Die Emo­ti­ons­er­ken­nung am Arbeits­platz ist nach Art. 5 Abs. 1 lit. f AI Act verboten.

Zugang zu wesent­li­chen Dien­sten (Anhang III Ziff. 5)

Hier sind vier Anwen­dungs­fäl­le zu unterscheiden:

  • Ziff. 5 lit. a: Eig­nungs­prü­fung für wesent­li­che öffent­li­che Lei­stun­gen durch oder im Auf­trag von Behör­den, ein­schliess­lich Gewäh­rung, Kür­zung, Ent­zug oder Rückforderung
  • Ziff. 5 lit. b: Bewer­tung der Kre­dit­wür­dig­keit oder Erstel­lung eines Kre­dit-Scores natür­li­cher Personen
  • Ziff. 5 lit. c: Risi­ko­be­wer­tung und Preis­ge­stal­tung bei Lebens- und Krankenversicherungen
  • Ziff. 5 lit. d: Bewer­tung und Klas­si­fi­zie­rung von Not­ru­fen, Dis­po­si­ti­on der Ret­tungs­dien­ste, Patiententriage

Kre­dit­wür­dig­keit und Kre­dit-Score (lit. b)

Erfasst sind sowohl die Bewer­tung der Kre­dit­wür­dig­keit als auch das Erstel­len eines Scores je für sich. Mass­geb­lich ist jeweils der Bezug zum Zugang zu einem Kre­dit oder zu einer wesent­li­chen Dienst­lei­stung (“essen­ti­al pri­va­te services”):

  • Wesent­li­che Dienst­lei­stun­gen sind z.B. Wohn­raum, Elek­tri­zi­täts­ver­sor­gung und Tele­kom­mu­ni­ka­ti­ons­dien­ste, aber auch ande­re Dienst­lei­stun­gen, die für natür­li­che Per­so­nen von ver­gleich­ba­rer Bedeu­tung sind. Der Aus­schluss vom Zugang zu sol­chen Dienst­lei­stun­gen muss fer­ner ver­gleich­bar schwer­wie­gen­de Aus­wir­kun­gen auf Leben, Gesund­heit, Lebens­un­ter­halt oder die gesell­schaft­li­che Teil­ha­be der betrof­fe­nen Per­so­nen haben kön­nen. Dazu zäh­len laut Kom­mis­si­on ins­be­son­de­re Gesund­heits- und Lang­zeit­pfle­ge­dienst­lei­stun­gen, wei­te­re Ver­sor­gungs­lei­stun­gen wie Gas- und Was­ser­ver­sor­gung sowie Verkehrsdienstleistungen.
  • Im Finanz­be­reich ist der Zugang etwa zu fol­gen­den Lei­stun­gen wesentlich: 
    • Bereit­stel­lung eines Bankkontos;
    • Zah­lungs­dien­ste;
    • Ver­ga­be von Dar­le­hen und Krediten;
    • Erhö­hung eines Kre­dit­rah­mens oder eines Kreditkartenlimits;
    • Gewäh­rung von Hypothekarkrediten;
    • öffent­li­che Finanzdienstleistungen.
  • Nicht wesent­lich sind etwa fol­gen­de Dienstleistungen: 
    • Erwerb von Akti­en und Wertpapieren;
    • Zugang zum Mar­gin-Han­del (Han­del auf Kre­dit bzw. mit Fremdfinanzierung);
    • Zugang zu kom­ple­xen Finanzinstrumenten;
    • Pre­mi­um-Kre­dit­kar­ten;
    • spe­zi­el­le Kre­dit­pro­duk­te, etwa Frei­zeit- oder Reisekredite.

Nicht erfass­te Fälle:

  • Kun­den­klas­si­fi­ka­ti­on und Seg­men­tie­rung für Infor­ma­ti­on oder Marketing
  • Pri­cing-Simu­la­tio­nen ohne Bonitätsbezug
  • Kun­den­un­ter­stüt­zung beim Aus­fül­len des Antrags
  • Beschwer­de­be­ar­bei­tung nach dem Entscheid
  • inter­nes pru­den­zi­el­les Moni­to­ring der Kre­dit­ex­po­si­ti­on nach Kreditvergabe

Betrugs­er­ken­nung

Ein Hoch­ri­si­ko-AIS kann wie erwähnt die Boni­täts­prü­fung dar­stel­len. Davon aus­ge­nom­men sind Syste­me, die zur Haupt­sa­che zur Erken­nung von Finanz­be­trug die­nen, und zwar auch dann, wenn der Out­put zusätz­lich in eine Boni­täts­be­ur­tei­lung einfliesst.

Ver­si­che­rung (lit. c)

  • Erfasst sind Risi­ko­be­wer­tung und Preis­ge­stal­tung bei Lebens- und Kran­ken­ver­si­che­rung, ein­schliess­lich pri­va­ter Pflege‑, bestimm­ter Vor­sor­ge- und Restschuld-Lebensversicherungen
  • Spar­ten wie Motor­fahr­zeug- oder Haus­rat­ver­si­che­rung sind nicht erfasst

Justiz ein­schliess­lich Schieds­ge­richts­bar­keit (Anhang III Ziff. 8)

Dabei geht es um die Unter­stüt­zung von Justiz­be­hör­den oder auch von Schieds­ver­fah­ren bei der Ermitt­lung und Aus­le­gung des Sach­ver­halts und des Rechts sowie bei der Anwen­dung des Rechts

Erfasst:

  • Bedeu­tungs­zu­wei­sung, Bezug von Prä­ze­denz­fäl­len auf den kon­kre­ten Sachverhalt
  • Erzeu­gung von Ent­schei­dungs­ent­wür­fen samt Begründung.

Nicht erfasst:

  • neben­säch­li­che Ver­wal­tung wie Anony­mi­sie­rung, Tran­skrip­ti­on, Ter­min­pla­nung oder Geschäftsverteilung
  • rei­ne Recher­che und Schlagwortsuche
  • Syste­me von Par­tei­en oder ihren Rechts­ver­tre­tern, die nicht “im Auf­trag” einer Justiz­be­hör­de handeln

Wei­te­re Bereiche

Die Kom­mis­si­on äussert sich auch zu den wei­te­ren Anwen­dungs­fäl­len, die hier nicht ver­tieft werden:

  • Straf­ver­fol­gung (Anhang III Ziff. 6)
  • Migra­ti­on, Asyl und Grenz­kon­trol­le (Anhang III Ziff. 7)
  • Demo­kra­ti­sche Pro­zes­se (Anhang III Ziff. 8)