datenrecht.ch

Arti­fi­ci­al Intel­li­gence Act auf der Zielgeraden

In der EU befin­det sich das Gesetz­ge­bungs­ver­fah­ren zum «Arti­fi­ci­al Intel­li­gence Act» («AI Act» bzw. «KI-Ver­ord­nung») nach mona­te­lan­gen inten­si­ven Ver­hand­lun­gen auf der Ziel­ge­ra­den. Die bei­den zustän­di­gen Aus­schüs­se (IMCO und LIBE) des EU-Par­la­ments haben in der am 11. Mai 2023 durch­ge­führ­ten Abstim­mung über den Kom­pro­miss-Text eine poli­ti­sche Eini­gung über das welt­weit erste Regel­werk für künst­li­che Intel­li­genz erzielt, nach­dem Ende April 2023 in den bei­den Aus­schüs­sen bereits eine vor­läu­fi­ge Eini­gung erreicht wer­den konn­te. Der aktu­el­le Ent­wurf wird nun Mit­te Juni (14. Juni) im Ple­num des EU-Par­la­ments zur Abstim­mung kom­men. Danach star­ten die Tri­log-Ver­hand­lun­gen zwi­schen Par­la­ment, Rat und Kommission.

Aus­gangs­la­ge

Beim AI Act han­delt es sich um ein Geset­zes­vor­ha­ben der Euro­päi­schen Kom­mis­si­on zur Regu­lie­rung von Künst­li­cher Intel­li­genz (KI). Sie hat damit am 21. April 2021 als erster Gesetz­ge­ber einen umfang­rei­chen Vor­schlag zur Regu­lie­rung von KI vor­ge­legt. Mit dem Geset­zes­vor­ha­ben ver­sucht die EU einen Spa­gat, denn einer­seits soll der AI Act sicher­stel­len, dass betrof­fe­ne Per­so­nen durch den Ein­satz von KI-Syste­men kei­ne Nach­tei­le erlei­den, ande­rer­seits soll die neue Ver­ord­nung Inno­va­tio­nen wei­ter för­dern und der Ent­wick­lung und Ver­wen­dung von KI mög­lichst viel Raum geben.

Seit Ende 2022 hat­te es im Gesetz­ge­bungs­pro­zess Ver­zö­ge­run­gen gege­ben. Grund hier­für waren nicht nur die 3000 ein­ge­reich­ten Ände­rungs­an­trä­ge, son­dern das Auf­kom­men gene­ra­ti­ver KI (ins­be­son­de­re ChatGPT) und die Dis­kus­si­on, wie der AI Act damit umzu­ge­hen hat. Im Ent­wurf des AI Act vom 21. April 2021 spiel­ten Model­le wie ChatGPT noch kei­ne Rolle.

Der AI Act ist auf Anbie­ter und Nut­zer von KI-Syste­men anwend­bar. Als «Anbie­ter» wer­den jene Akteu­re ver­stan­den, die ein System ent­wickeln und in Ver­kehr brin­gen, wäh­rend unter «Nut­zer» die­je­ni­gen Stel­len fal­len, die ein System unter ihrer Ver­ant­wor­tung ver­wen­den, wobei der per­sön­li­che, nicht­be­ruf­li­che Bereich aus­ge­nom­men ist. Kon­su­men­ten, End­nut­zer und ande­re von Ergeb­nis­sen der Syste­me betrof­fe­ne natür­li­che oder juri­sti­sche Per­so­nen sind nicht erfasst.

Risi­ko­ba­sier­ter Ansatz der Verordnung

Kern­ele­ment des AI Act ist ein risi­ko­ba­sier­ter Ansatz, der anhand der poten­zi­el­len Fähig­kei­ten und Risi­ken ver­schie­de­ne Auf­la­gen und Ver­bo­te mit sich bringt. Je höher das Risi­ko eines KI-Systems für die Gesund­heit, Sicher­heit oder Grund­rech­te von Per­so­nen, desto stren­ger sind die regu­la­to­ri­schen Anfor­de­run­gen. Im AI Act wer­den KI-Anwen­dun­gen somit in ver­schie­de­ne Risi­ko­ka­te­go­rien mit unter­schied­li­chen Kon­se­quen­zen eingeteilt:

  • Inak­zep­ta­bles Risi­ko(z.B. Social Scoring) – der Ein­satz ent­spre­chen­der KI-Syste­me ist verboten
  • Hohes Risi­ko (z.B. KI-Syste­me, die zur bio­me­tri­schen Iden­ti­fi­zie­rung natür­li­cher Per­so­nen ver­wen­det wer­den sol­len oder für die Bewer­tung von Prüfungen)
  • Begrenz­tes Risi­ko oder kein Risi­ko(z.B. Spam-Fil­ter)

Wich­tig­ste Änderungen

Die wich­tig­sten Ände­run­gen im Ver­gleich zum Ent­wurf der Kom­mis­si­on vom 21. April 2021 sind Folgende:

  • Defi­ni­ti­on KI-Systeme
  • Hoch­ri­si­ko-KI-Syste­me: zusätz­li­che Ebe­ne für die Ein­stu­fung in Hoch­ri­si­ko­ka­te­go­rien und umfang­rei­che­re Ver­pflich­tun­gen für ent­spre­chen­de Systeme
  • Ver­bo­te­ne KI-Syste­me: erwei­ter­te Liste
  • Stren­ge­re Regeln für sog. Foun­da­ti­on Models und Gene­ral Pur­po­se AI
  • Ein­rich­tung eines AI-Büros
  • Sechs KI-Grund­sät­ze


Defi­ni­ti­on KI-Systeme

Ein gro­sser Dis­kus­si­ons­punkt betraf die Defi­ni­ti­on von KI bzw. von «KI-Syste­men». Wirt­schaft und Wis­sen­schaft kri­ti­sie­ren ins­be­son­de­re die unzu­rei­chen­de Defi­ni­ti­ons­schär­fe von KI-Syste­men, denn die erste Defi­ni­ti­on im Ent­wurf vom April 2021 liess sich auf nahe­zu alle For­men von Soft­ware bezie­hen. Aus die­sem Grund haben sich die zustän­di­gen Par­la­ments­ab­ge­ord­ne­ten auf eine neue Defi­ni­ti­on geei­nigt, wel­che an die künf­ti­ge Defi­ni­ti­on der OECD ange­gli­chen wurde:

Art. 3(1): «System der künst­li­chen Intel­li­genz“ (KI-System) ist ein maschi­nen­ge­stütz­tes System, das so kon­zi­piert ist, dass es mit unter­schied­li­chen Auto­no­mie­gra­den arbei­tet und das zu expli­zi­ten oder impli­zi­ten Zwecken Ergeb­nis­se wie Vor­her­sa­gen, Emp­feh­lun­gen oder Ent­schei­dun­gen erzeu­gen kann, die phy­si­sche oder vir­tu­el­le Umge­bun­gen beein­flus­sen.»

Damit ein KI-System in den Anwen­dungs­be­reich des AI Act fällt, muss dem System also eine gewis­se Auto­no­mie zuge­spro­chen wer­den. Damit wird eine gewis­se Unab­hän­gig­keit vom mensch­li­chen Bedie­ner oder von mensch­li­chem Ein­fluss ausgedrückt.

Hoch­ri­si­ko-Syste­me («High-risk AI systems»)

Ein Bereich, der sowohl inner­halb der bei­den Par­la­ments­aus­schüs­se strei­tig war und wohl auch in den Tri­log­ver­hand­lun­gen zu Dis­kus­sio­nen füh­ren wird, ist die umfang­rei­che Liste der Hoch­ri­si­ko-Anwen­dun­gen (Anhang III der Ver­ord­nung). Der ursprüng­li­che Ent­wurf stuf­te KI-Syste­me, die unter die in Anhang III auf­ge­li­ste­ten kri­ti­schen Anwen­dungs­fäl­le fal­len, immer als hoch­ris­kant ein. Die Par­la­ments­ab­ge­ord­ne­ten füg­ten nun eine zusätz­li­che Vor­aus­set­zung ein: Ein Hoch­ri­si­ko-KI-System soll nur noch vor­lie­gen, wenn die­ses auch ein erheb­li­ches Risi­ko («signi­fi­cant risk») für Gesund­heit, Sicher­heit oder Grund­rech­te mit sich bringt. Als erheb­li­ches Risi­ko gilt ein Risi­ko, wel­ches auf­grund der Kom­bi­na­ti­on von Schwe­re, Inten­si­tät, Ein­tritts­wahr­schein­lich­keit und Dau­er sei­ner Aus­wir­kun­gen erheb­lich ist und eine Ein­zel­per­son, eine Viel­zahl von Per­so­nen oder eine bestimm­te Grup­pe von Per­so­nen beein­träch­ti­gen kann (vgl. Art. 1b).

Wenn KI-Syste­me unter Anhang III fal­len, Anbie­ter jedoch der Ansicht sind, dass kein erheb­li­ches Risi­ko besteht, müs­sen sie dies der zustän­di­gen Behör­de mit­tei­len, wel­che drei Mona­te Zeit für Ein­wän­de hat. In der Zwi­schen­zeit kön­nen die Anbie­ter ihr System auf den Markt brin­gen – bei einer fal­schen Ein­schät­zung kann der Anbie­ter aber sank­tio­niert werden.

Neu wer­den sodann auch KI-Syste­me, die zur Ver­wal­tung kri­ti­scher Infra­struk­tu­ren wie Ener­gie­net­zen oder Was­ser­wirt­schafts­sy­ste­men ein­ge­setzt wer­den, als hohes Risi­ko ein­ge­stuft, sofern die­se Anwen­dun­gen zu schwer­wie­gen­de Umwelt­ri­si­ken füh­ren kön­nen. Auch Emp­feh­lungs­sy­ste­me von «sehr gro­ssen Online-Platt­for­men» (mehr als 45 Mil­lio­nen Nut­zer), wie sie im Gesetz über digi­ta­le Dien­ste (DSA) defi­niert sind, wer­den als hoch­ris­kant ein­ge­stuft. Des Wei­te­ren wur­den zusätz­li­che Sicher­heits­vor­keh­run­gen (z.B. Doku­men­ta­ti­ons­pflicht) für das Ver­fah­ren auf­ge­nom­men, mit dem Anbie­ter von Hoch­ri­si­ko-KI-Syste­men sen­si­ble Daten wie sexu­el­le Ori­en­tie­rung oder reli­giö­se Über­zeu­gun­gen bear­bei­ten kön­nen, um nega­ti­ve Ver­zer­run­gen zu erken­nen. KI-Syste­me, wel­che in die Hoch­ri­si­ko-Kate­go­rie fal­len, müs­sen nach dem neu­sten Ent­wurf sodann ihren öko­lo­gi­schen Fuss­ab­druck aufzeichnen.

Anbie­tern und Nut­zern von Hoch­ri­si­ko-KI-Syste­men wer­den umfas­sen­de Pflich­ten auf­er­legt, z.B. in Bezug auf Kon­for­mi­täts­be­wer­tung, Risi­ko­ma­nage­ment-Syste­me, tech­ni­scher Doku­men­ta­ti­on, Auf­zeich­nungs­pflich­ten, Trans­pa­renz und Bereit­stel­lung von Infor­ma­tio­nen für die Nut­zer, mensch­li­cher Auf­sicht, Genau­ig­keit, Robust­heit und Cyber­si­cher­heit, Qua­li­täts­ma­nage­ment-Syste­me, Mel­dung schwer­wie­gen­der Vor­fäl­le und Fehl­funk­tio­nen usw. Auch müs­sen fest­ge­leg­te Qua­li­täts­kri­te­ri­en für Trainings‑, Vali­die­rungs- und Test­da­ten­sät­ze ein­ge­hal­ten werden.

Ver­bo­te­ne Prak­ti­ken («Pro­hi­bi­ted practices»)

Eine poli­tisch heik­le Dis­kus­si­on dreh­te sich um die Fra­ge, wel­che Art von KI-Syste­men ver­bo­ten wer­den sol­len, weil sie ein inak­zep­ta­bles Risi­ko dar­stel­len. Trotz­dem wur­de die­se Kate­go­rie aus­ge­wei­tet: Der Ein­satz von Soft­ware zur bio­me­tri­schen Iden­ti­fi­zie­rung wür­de neu ganz ver­bo­ten. Eine ent­spre­chen­de Erken­nungs­soft­ware darf gemäss Kom­pro­miss­text nur bei schwe­ren Straf­ta­ten und mit einer vor­he­ri­gen gericht­li­chen Geneh­mi­gung ein­ge­setzt wer­den. Auch soll der Ein­satz von KI-gestütz­ter Soft­ware zur Emo­ti­ons­er­ken­nung in den Berei­chen Straf­ver­fol­gung, Grenz­ma­nage­ment, Arbeits­platz und Bil­dung ver­bo­ten werden.

Sodann wer­den neu «absicht­lich mani­pu­la­ti­ve oder täu­schen­de Tech­ni­ken» ver­bo­ten (obwohl der Nach­weis der Absicht schwie­rig sein könn­te). Die­ses Ver­bot gilt nicht für KI-Syste­me, die für geneh­mig­te the­ra­peu­ti­sche Zwecke auf der Grund­la­ge einer auf­ge­klär­ten und aus­drück­li­chen Ein­wil­li­gung ver­wen­det wer­den sol­len. Im Übri­gen wur­de auch das Ver­bot der EU-Abge­ord­ne­ten für „Pre­dic­ti­ve Poli­cing“ von Straf­ta­ten auf Über­tre­tun­gen ausgeweitet.

«Gene­ral Pur­po­se AI» und «Foun­da­ti­on models»

Vor­be­mer­kun­gen:

  • Machi­ne Lear­ning (ML) ist ein Teil­be­reich der KI. 
  • Gene­ral Pur­po­se AI (GPAI; Deutsch: gene­ra­ti­ve KI) ist wie­der­um ein Teil­be­reich von ML, die neue Inhal­te wie Text, Bil­der, Video, Code usw. als Ergeb­nis einer Ein­ga­be­auf­for­de­rung gene­rie­ren kann. 
  • Foun­da­ti­on Models (FMs; Deutsch: Basis­mo­del­le). Hier­bei han­delt es sich um eine Deep-Lear­ning-Anwen­dung, die i.d.R. auf einem brei­ten Spek­trum von Daten­quel­len und gro­ssen Daten­men­gen trai­niert wur­de, um ein brei­tes Spek­trum an Auf­ga­ben zu erfül­len, auch sol­che, für die sie nicht spe­zi­ell ent­wickelt und trai­niert wur­den. FMs sind eine Vari­an­te der GPAI.
  • Ein Lar­ge Lan­guage Model (LLM) ist eine Unter­va­ri­an­te von FMs. LLM ist ein Sprach­mo­dell, das ein neu­ro­na­les Netz nachbildet.
  • GPT ist eine Serie von LLMs von Ope­nAI, die seit 2018 ent­wickelt wird. Die neue­ste Ver­si­on ist GPT‑4.

Im Ent­wurf des AI Act vom 21. April 2021 fehl­ten Ver­wei­se auf KI-Syste­me ohne spe­zi­fi­schen Zweck (Gene­ral Pur­po­se AI). Dies ändert sich mit dem aktu­el­len Kom­pro­miss­text. Der Auf­stieg von ChatGPT und ande­ren gene­ra­ti­ven KI-Syste­men hat die Par­la­ments­ab­ge­ord­ne­ten dazu ver­an­lasst, auch «Gene­ral Pur­po­se AI systems» (GPAI) und «Foun­da­ti­on Models» regu­lie­ren zu wollen.

Anfäng­lich wur­den For­de­run­gen nach einem Ver­bot oder nach einer dau­er­haf­ten Ein­stu­fung von ChatGPT und ähn­li­chen KI-Syste­men in die Hoch­ri­si­ko-Kate­go­rie dis­ku­tiert. Der aktu­el­le Kom­pro­miss­text stuft GPAI jedoch nicht per se als hoch­ris­kant ein. Erst wenn Anbie­ter in ihre KI-Syste­me, die als hoch­ris­kant gel­ten, GPAI inte­grie­ren, gel­ten die stren­gen Vor­ga­ben der Hoch­ri­si­ko-Kate­go­rie auch für GPAI. In die­sem Fall müs­sen die GPAI-Anbie­ter die nach­ge­la­ger­ten Anbie­ter bei der Ein­hal­tung der Vor­schrif­ten unter­stüt­zen, indem sie Infor­ma­tio­nen und Unter­la­gen über das KI-Modell bereitstellen.

Für Foun­da­ti­on Models wer­den eben­falls stren­ge­re Anfor­de­run­gen vor­ge­schla­gen. Die­se betref­fen bspw. das Risi­ko­ma­nage­ment, das Qua­li­täts­ma­nage­ment, die Daten­ver­wal­tung, die Sicher­heit und Cyber­si­cher­heit sowie den Grad der Robust­heit eines Foun­da­ti­on Models. Art. 28b des Kom­pro­miss­tex­tes regelt die Pflich­ten der Anbie­ter eines Foun­da­ti­on Models unab­hän­gig davon, ob die­ses als eigen­stän­di­ges Modell oder ein­ge­bet­tet in ein KI-System oder ein Pro­dukt, unter kosten­lo­sen und Open Source-Lizen­zen, als Dienst­lei­stung oder über ande­re Ver­triebs­ka­nä­le bereit­ge­stellt wird. Neben einer Rei­he detail­lier­ter Trans­pa­renz­ver­pflich­tun­gen (Ver­weis auf Art. 52; z.B. Offen­le­gung für natür­li­che Per­so­nen, dass sie mit einem KI-System inter­agie­ren) sol­len Anbie­ter von Foun­da­ti­on Models auch ver­pflich­tet wer­den, eine «hin­rei­chend detail­lier­te» Zusam­men­fas­sung der Ver­wen­dung von Urhe­ber­rechts-geschütz­ten Trai­nings­da­ten vor­zu­le­gen (Art. 28b Abs. 4 Bst. c). Wie dies bei Unter­neh­men wie Ope­nAI umge­setzt wer­den soll, ist nicht klar, denn bspw. ChatGPT wur­de auf einem Daten­satz von über 570 GB Text­da­ten trainiert.

Neue KI-Grund­sät­ze

Schliess­lich ent­hält der Kom­pro­miss­text mit Art. 4a sog. «Gene­ral Prin­ci­ples appli­ca­ble to all AI systems». Alle Akteu­re, die unter den AI Act fal­len, sol­len KI-Syste­me und Foun­da­ti­on Models im Ein­klang mit den fol­gen­den sechs «KI-Grund­sät­zen» ent­wickeln und einsetzen:

  • Mensch­li­ches Han­deln und Kon­trol­le: KI-Syste­me sol­len dem Men­schen die­nen und die Men­schen­wür­de sowie per­sön­li­che Auto­no­mie respek­tie­ren, und so funk­tio­nie­ren, dass sie von Men­schen kon­trol­liert und über­wacht wer­den können.
  • Tech­ni­sche Robust­heit und Sicher­heit: Unbe­ab­sich­tig­te und uner­war­te­te Schä­den sol­len auf ein Min­dest­mass redu­ziert wer­den und KI-Syste­me sol­len im Fal­le von unbe­ab­sich­tig­ten Pro­ble­men robust sein.
  • Daten­schutz und Data Gover­nan­ce: KI-Syste­me sol­len im Ein­klang mit den daten­schutz­recht­li­chen Vor­schrif­ten ent­wickelt und ein­ge­setzt werden.
  • Trans­pa­renz: Es muss eine Rück­ver­folg­bar­keit und Erklär­bar­keit mög­lich sein den und Men­schen muss bewusst gemacht wer­den, dass sie mit einem KI-System interagieren.
  • Viel­falt, Nicht­dis­kri­mi­nie­rung und Fair­ness: KI-Syste­me sol­len unter­schied­li­che Akteu­re ein­be­zie­hen und den gleich­be­rech­tig­ten Zugang, die Gleich­stel­lung der Geschlech­ter und die kul­tu­rel­le Viel­falt för­dern, und umge­kehrt dis­kri­mi­nie­ren­de Aus­wir­kun­gen vermeiden.
  • Sozia­les und öko­lo­gi­sches Wohl­erge­hen: KI-Syste­me sol­len nach­hal­tig und umwelt­freund­lich sein sowie zum Nut­zen aller Men­schen ent­wickelt und ein­ge­setzt werden.

Ein­rich­tung eines Euro­pean AI Office

In den bei­den Aus­schüs­sen des Par­la­ments war man sich einig, dass die Durch­set­zungs­ar­chi­tek­tur ein zen­tra­les Ele­ment ent­hal­ten soll­te, ins­be­son­de­re zur Unter­stüt­zung der har­mo­ni­sier­ten Anwen­dung des AI Act und für grenz­über­schrei­ten­de Unter­su­chun­gen. Aus die­sem Grund wur­de die Ein­rich­tung eines AI Office vor­ge­schla­gen. Im neu­en Kom­pro­miss­text (Art. 56 ff.) wer­den die Auf­ga­ben die­ses Büros detail­liert erläutert.

Sanktionen

Bei einem Ver­stoss gegen den AI Act kön­nen ähn­lich wie bei der DSGVO emp­find­li­che Bus­sen dro­hen. Bei Ver­stö­ssen gegen Ver­bo­te oder Anfor­de­run­gen der Hoch­ri­si­ko-Syste­me an die Data Gover­nan­ce sind Bus­sen in der Höhe von bis zu 30 Mio. Euro oder 6% des welt­wei­ten Jah­res­um­sat­zes – je nach­dem, wel­che Sum­me höher ist – vorgesehen.

Inter­na­tio­na­ler Anwen­dungs­be­reich: Aus­wir­kun­gen auf die Schweiz

Auch Schwei­zer Anbie­ter, die KI-Syste­me in der EU in Ver­kehr brin­gen oder in Betrieb neh­men, wer­den vom räum­li­chen Anwen­dungs­be­reich des AI Act erfasst. Sodann gilt der AI Act für Schwei­zer Anbie­ter und Nut­zer von KI-Syste­men, wenn das vom KI-System her­vor­ge­brach­te Ergeb­nis in der EU ver­wen­det wird.

Sodann dürf­te es in der Schweiz wohl auch zum sog. „Brüs­sel-Effekt“ kom­men. Vie­le Schwei­zer KI-Anbie­ter wer­den ihre Pro­duk­te nicht nur für die Schweiz ent­wickeln, womit sich die neu­en euro­päi­sche Stan­dards des AI Act auch in der Schweiz durch­set­zen dürften.

Wei­te­res Vor­ge­hen und Inkrafttreten

Bei der Abstim­mung im Par­la­ments­ple­num Mit­te Juni könn­te es durch­aus Über­ra­schun­gen geben; jedoch ist die Posi­ti­on des Par­la­ments weit­ge­hend kon­so­li­diert. Wenn das Par­la­ment sei­nen Stand­punkt for­mell fest­ge­legt hat, geht der Ent­wurf in die letz­te Pha­se des Gesetz­ge­bungs­ver­fah­rens: die sog. Tri­log-Ver­hand­lun­gen, bei denen sich Ver­tre­ter des EU-Rates, des EU-Par­la­ments und der EU-Kom­mis­si­on auf einen fina­len Text eini­gen. Der AI Act wird vor­aus­sicht­lich jedoch nicht vor Ende 2023 ver­ab­schie­det wer­den und damit frü­he­stens Mit­te 2024 in Kraft tre­ten. Danach wird es eine zwei­jäh­ri­ge Umset­zungs­frist geben. Die Bestim­mun­gen zu den noti­fi­zie­ren­den Behör­den und Stel­len sowie die Bestim­mun­gen zum Euro­päi­schen Aus­schuss für künst­li­che Intel­li­genz und den zustän­di­gen natio­na­len Behör­den sol­len jedoch bereits schon drei Mona­te nach Inkraft­tre­ten vol­le Wir­kung haben. Auch Art. 71 (Sank­tio­nen) ist bereits 12 Mona­te nach Inkraft­tre­ten anwendbar.

Selbst wenn es noch dau­ern wird, bis die Ver­ord­nung für (Schwei­zer) Unter­neh­men rele­vant sein wird, soll­ten sich die­se mit dem aktu­el­len Ent­wurf ver­traut machen.

Behörde

Gebiet

Themen

Ähnliche Beiträge

Newsletter