In der EU befindet sich das Gesetzgebungsverfahren zum «Artificial Intelligence Act» («AI Act» bzw. «KI-Verordnung») nach monatelangen intensiven Verhandlungen auf der Zielgeraden. Die beiden zuständigen Ausschüsse (IMCO und LIBE) des EU-Parlaments haben in der am 11. Mai 2023 durchgeführten Abstimmung über den Kompromiss-Text eine politische Einigung über das weltweit erste Regelwerk für künstliche Intelligenz erzielt, nachdem Ende April 2023 in den beiden Ausschüssen bereits eine vorläufige Einigung erreicht werden konnte. Der aktuelle Entwurf wird nun Mitte Juni (14. Juni) im Plenum des EU-Parlaments zur Abstimmung kommen. Danach starten die Trilog-Verhandlungen zwischen Parlament, Rat und Kommission.
Ausgangslage
Beim AI Act handelt es sich um ein Gesetzesvorhaben der Europäischen Kommission zur Regulierung von Künstlicher Intelligenz (KI). Sie hat damit am 21. April 2021 als erster Gesetzgeber einen umfangreichen Vorschlag zur Regulierung von KI vorgelegt. Mit dem Gesetzesvorhaben versucht die EU einen Spagat, denn einerseits soll der AI Act sicherstellen, dass betroffene Personen durch den Einsatz von KI-Systemen keine Nachteile erleiden, andererseits soll die neue Verordnung Innovationen weiter fördern und der Entwicklung und Verwendung von KI möglichst viel Raum geben.
Seit Ende 2022 hatte es im Gesetzgebungsprozess Verzögerungen gegeben. Grund hierfür waren nicht nur die 3000 eingereichten Änderungsanträge, sondern das Aufkommen generativer KI (insbesondere ChatGPT) und die Diskussion, wie der AI Act damit umzugehen hat. Im Entwurf des AI Act vom 21. April 2021 spielten Modelle wie ChatGPT noch keine Rolle.
Der AI Act ist auf Anbieter und Nutzer von KI-Systemen anwendbar. Als «Anbieter» werden jene Akteure verstanden, die ein System entwickeln und in Verkehr bringen, während unter «Nutzer» diejenigen Stellen fallen, die ein System unter ihrer Verantwortung verwenden, wobei der persönliche, nichtberufliche Bereich ausgenommen ist. Konsumenten, Endnutzer und andere von Ergebnissen der Systeme betroffene natürliche oder juristische Personen sind nicht erfasst.
Risikobasierter Ansatz der Verordnung
Kernelement des AI Act ist ein risikobasierter Ansatz, der anhand der potenziellen Fähigkeiten und Risiken verschiedene Auflagen und Verbote mit sich bringt. Je höher das Risiko eines KI-Systems für die Gesundheit, Sicherheit oder Grundrechte von Personen, desto strenger sind die regulatorischen Anforderungen. Im AI Act werden KI-Anwendungen somit in verschiedene Risikokategorien mit unterschiedlichen Konsequenzen eingeteilt:
- Inakzeptables Risiko(z.B. Social Scoring) – der Einsatz entsprechender KI-Systeme ist verboten
- Hohes Risiko (z.B. KI-Systeme, die zur biometrischen Identifizierung natürlicher Personen verwendet werden sollen oder für die Bewertung von Prüfungen)
- Begrenztes Risiko oder kein Risiko(z.B. Spam-Filter)
Wichtigste Änderungen
Die wichtigsten Änderungen im Vergleich zum Entwurf der Kommission vom 21. April 2021 sind Folgende:
- Definition KI-Systeme
- Hochrisiko-KI-Systeme: zusätzliche Ebene für die Einstufung in Hochrisikokategorien und umfangreichere Verpflichtungen für entsprechende Systeme
- Verbotene KI-Systeme: erweiterte Liste
- Strengere Regeln für sog. Foundation Models und General Purpose AI
- Einrichtung eines AI-Büros
- Sechs KI-Grundsätze
Definition KI-Systeme
Ein grosser Diskussionspunkt betraf die Definition von KI bzw. von «KI-Systemen». Wirtschaft und Wissenschaft kritisieren insbesondere die unzureichende Definitionsschärfe von KI-Systemen, denn die erste Definition im Entwurf vom April 2021 liess sich auf nahezu alle Formen von Software beziehen. Aus diesem Grund haben sich die zuständigen Parlamentsabgeordneten auf eine neue Definition geeinigt, welche an die künftige Definition der OECD angeglichen wurde:
Art. 3(1): «System der künstlichen Intelligenz“ (KI-System) ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichen Autonomiegraden arbeitet und das zu expliziten oder impliziten Zwecken Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen.»
Damit ein KI-System in den Anwendungsbereich des AI Act fällt, muss dem System also eine gewisse Autonomie zugesprochen werden. Damit wird eine gewisse Unabhängigkeit vom menschlichen Bediener oder von menschlichem Einfluss ausgedrückt.
Hochrisiko-Systeme («High-risk AI systems»)
Ein Bereich, der sowohl innerhalb der beiden Parlamentsausschüsse streitig war und wohl auch in den Trilogverhandlungen zu Diskussionen führen wird, ist die umfangreiche Liste der Hochrisiko-Anwendungen (Anhang III der Verordnung). Der ursprüngliche Entwurf stufte KI-Systeme, die unter die in Anhang III aufgelisteten kritischen Anwendungsfälle fallen, immer als hochriskant ein. Die Parlamentsabgeordneten fügten nun eine zusätzliche Voraussetzung ein: Ein Hochrisiko-KI-System soll nur noch vorliegen, wenn dieses auch ein erhebliches Risiko («significant risk») für Gesundheit, Sicherheit oder Grundrechte mit sich bringt. Als erhebliches Risiko gilt ein Risiko, welches aufgrund der Kombination von Schwere, Intensität, Eintrittswahrscheinlichkeit und Dauer seiner Auswirkungen erheblich ist und eine Einzelperson, eine Vielzahl von Personen oder eine bestimmte Gruppe von Personen beeinträchtigen kann (vgl. Art. 1b).
Wenn KI-Systeme unter Anhang III fallen, Anbieter jedoch der Ansicht sind, dass kein erhebliches Risiko besteht, müssen sie dies der zuständigen Behörde mitteilen, welche drei Monate Zeit für Einwände hat. In der Zwischenzeit können die Anbieter ihr System auf den Markt bringen – bei einer falschen Einschätzung kann der Anbieter aber sanktioniert werden.
Neu werden sodann auch KI-Systeme, die zur Verwaltung kritischer Infrastrukturen wie Energienetzen oder Wasserwirtschaftssystemen eingesetzt werden, als hohes Risiko eingestuft, sofern diese Anwendungen zu schwerwiegende Umweltrisiken führen können. Auch Empfehlungssysteme von «sehr grossen Online-Plattformen» (mehr als 45 Millionen Nutzer), wie sie im Gesetz über digitale Dienste (DSA) definiert sind, werden als hochriskant eingestuft. Des Weiteren wurden zusätzliche Sicherheitsvorkehrungen (z.B. Dokumentationspflicht) für das Verfahren aufgenommen, mit dem Anbieter von Hochrisiko-KI-Systemen sensible Daten wie sexuelle Orientierung oder religiöse Überzeugungen bearbeiten können, um negative Verzerrungen zu erkennen. KI-Systeme, welche in die Hochrisiko-Kategorie fallen, müssen nach dem neusten Entwurf sodann ihren ökologischen Fussabdruck aufzeichnen.
Anbietern und Nutzern von Hochrisiko-KI-Systemen werden umfassende Pflichten auferlegt, z.B. in Bezug auf Konformitätsbewertung, Risikomanagement-Systeme, technischer Dokumentation, Aufzeichnungspflichten, Transparenz und Bereitstellung von Informationen für die Nutzer, menschlicher Aufsicht, Genauigkeit, Robustheit und Cybersicherheit, Qualitätsmanagement-Systeme, Meldung schwerwiegender Vorfälle und Fehlfunktionen usw. Auch müssen festgelegte Qualitätskriterien für Trainings‑, Validierungs- und Testdatensätze eingehalten werden.
Verbotene Praktiken («Prohibited practices»)
Eine politisch heikle Diskussion drehte sich um die Frage, welche Art von KI-Systemen verboten werden sollen, weil sie ein inakzeptables Risiko darstellen. Trotzdem wurde diese Kategorie ausgeweitet: Der Einsatz von Software zur biometrischen Identifizierung würde neu ganz verboten. Eine entsprechende Erkennungssoftware darf gemäss Kompromisstext nur bei schweren Straftaten und mit einer vorherigen gerichtlichen Genehmigung eingesetzt werden. Auch soll der Einsatz von KI-gestützter Software zur Emotionserkennung in den Bereichen Strafverfolgung, Grenzmanagement, Arbeitsplatz und Bildung verboten werden.
Sodann werden neu «absichtlich manipulative oder täuschende Techniken» verboten (obwohl der Nachweis der Absicht schwierig sein könnte). Dieses Verbot gilt nicht für KI-Systeme, die für genehmigte therapeutische Zwecke auf der Grundlage einer aufgeklärten und ausdrücklichen Einwilligung verwendet werden sollen. Im Übrigen wurde auch das Verbot der EU-Abgeordneten für „Predictive Policing“ von Straftaten auf Übertretungen ausgeweitet.
«General Purpose AI» und «Foundation models»
Vorbemerkungen:
- Machine Learning (ML) ist ein Teilbereich der KI.
- General Purpose AI (GPAI; Deutsch: generative KI) ist wiederum ein Teilbereich von ML, die neue Inhalte wie Text, Bilder, Video, Code usw. als Ergebnis einer Eingabeaufforderung generieren kann.
- Foundation Models (FMs; Deutsch: Basismodelle). Hierbei handelt es sich um eine Deep-Learning-Anwendung, die i.d.R. auf einem breiten Spektrum von Datenquellen und grossen Datenmengen trainiert wurde, um ein breites Spektrum an Aufgaben zu erfüllen, auch solche, für die sie nicht speziell entwickelt und trainiert wurden. FMs sind eine Variante der GPAI.
- Ein Large Language Model (LLM) ist eine Untervariante von FMs. LLM ist ein Sprachmodell, das ein neuronales Netz nachbildet.
- GPT ist eine Serie von LLMs von OpenAI, die seit 2018 entwickelt wird. Die neueste Version ist GPT‑4.
Im Entwurf des AI Act vom 21. April 2021 fehlten Verweise auf KI-Systeme ohne spezifischen Zweck (General Purpose AI). Dies ändert sich mit dem aktuellen Kompromisstext. Der Aufstieg von ChatGPT und anderen generativen KI-Systemen hat die Parlamentsabgeordneten dazu veranlasst, auch «General Purpose AI systems» (GPAI) und «Foundation Models» regulieren zu wollen.
Anfänglich wurden Forderungen nach einem Verbot oder nach einer dauerhaften Einstufung von ChatGPT und ähnlichen KI-Systemen in die Hochrisiko-Kategorie diskutiert. Der aktuelle Kompromisstext stuft GPAI jedoch nicht per se als hochriskant ein. Erst wenn Anbieter in ihre KI-Systeme, die als hochriskant gelten, GPAI integrieren, gelten die strengen Vorgaben der Hochrisiko-Kategorie auch für GPAI. In diesem Fall müssen die GPAI-Anbieter die nachgelagerten Anbieter bei der Einhaltung der Vorschriften unterstützen, indem sie Informationen und Unterlagen über das KI-Modell bereitstellen.
Für Foundation Models werden ebenfalls strengere Anforderungen vorgeschlagen. Diese betreffen bspw. das Risikomanagement, das Qualitätsmanagement, die Datenverwaltung, die Sicherheit und Cybersicherheit sowie den Grad der Robustheit eines Foundation Models. Art. 28b des Kompromisstextes regelt die Pflichten der Anbieter eines Foundation Models unabhängig davon, ob dieses als eigenständiges Modell oder eingebettet in ein KI-System oder ein Produkt, unter kostenlosen und Open Source-Lizenzen, als Dienstleistung oder über andere Vertriebskanäle bereitgestellt wird. Neben einer Reihe detaillierter Transparenzverpflichtungen (Verweis auf Art. 52; z.B. Offenlegung für natürliche Personen, dass sie mit einem KI-System interagieren) sollen Anbieter von Foundation Models auch verpflichtet werden, eine «hinreichend detaillierte» Zusammenfassung der Verwendung von Urheberrechts-geschützten Trainingsdaten vorzulegen (Art. 28b Abs. 4 Bst. c). Wie dies bei Unternehmen wie OpenAI umgesetzt werden soll, ist nicht klar, denn bspw. ChatGPT wurde auf einem Datensatz von über 570 GB Textdaten trainiert.
Neue KI-Grundsätze
Schliesslich enthält der Kompromisstext mit Art. 4a sog. «General Principles applicable to all AI systems». Alle Akteure, die unter den AI Act fallen, sollen KI-Systeme und Foundation Models im Einklang mit den folgenden sechs «KI-Grundsätzen» entwickeln und einsetzen:
- Menschliches Handeln und Kontrolle: KI-Systeme sollen dem Menschen dienen und die Menschenwürde sowie persönliche Autonomie respektieren, und so funktionieren, dass sie von Menschen kontrolliert und überwacht werden können.
- Technische Robustheit und Sicherheit: Unbeabsichtigte und unerwartete Schäden sollen auf ein Mindestmass reduziert werden und KI-Systeme sollen im Falle von unbeabsichtigten Problemen robust sein.
- Datenschutz und Data Governance: KI-Systeme sollen im Einklang mit den datenschutzrechtlichen Vorschriften entwickelt und eingesetzt werden.
- Transparenz: Es muss eine Rückverfolgbarkeit und Erklärbarkeit möglich sein den und Menschen muss bewusst gemacht werden, dass sie mit einem KI-System interagieren.
- Vielfalt, Nichtdiskriminierung und Fairness: KI-Systeme sollen unterschiedliche Akteure einbeziehen und den gleichberechtigten Zugang, die Gleichstellung der Geschlechter und die kulturelle Vielfalt fördern, und umgekehrt diskriminierende Auswirkungen vermeiden.
- Soziales und ökologisches Wohlergehen: KI-Systeme sollen nachhaltig und umweltfreundlich sein sowie zum Nutzen aller Menschen entwickelt und eingesetzt werden.
Einrichtung eines European AI Office
In den beiden Ausschüssen des Parlaments war man sich einig, dass die Durchsetzungsarchitektur ein zentrales Element enthalten sollte, insbesondere zur Unterstützung der harmonisierten Anwendung des AI Act und für grenzüberschreitende Untersuchungen. Aus diesem Grund wurde die Einrichtung eines AI Office vorgeschlagen. Im neuen Kompromisstext (Art. 56 ff.) werden die Aufgaben dieses Büros detailliert erläutert.
Sanktionen
Bei einem Verstoss gegen den AI Act können ähnlich wie bei der DSGVO empfindliche Bussen drohen. Bei Verstössen gegen Verbote oder Anforderungen der Hochrisiko-Systeme an die Data Governance sind Bussen in der Höhe von bis zu 30 Mio. Euro oder 6% des weltweiten Jahresumsatzes – je nachdem, welche Summe höher ist – vorgesehen.
Internationaler Anwendungsbereich: Auswirkungen auf die Schweiz
Auch Schweizer Anbieter, die KI-Systeme in der EU in Verkehr bringen oder in Betrieb nehmen, werden vom räumlichen Anwendungsbereich des AI Act erfasst. Sodann gilt der AI Act für Schweizer Anbieter und Nutzer von KI-Systemen, wenn das vom KI-System hervorgebrachte Ergebnis in der EU verwendet wird.
Sodann dürfte es in der Schweiz wohl auch zum sog. „Brüssel-Effekt“ kommen. Viele Schweizer KI-Anbieter werden ihre Produkte nicht nur für die Schweiz entwickeln, womit sich die neuen europäische Standards des AI Act auch in der Schweiz durchsetzen dürften.
Weiteres Vorgehen und Inkrafttreten
Bei der Abstimmung im Parlamentsplenum Mitte Juni könnte es durchaus Überraschungen geben; jedoch ist die Position des Parlaments weitgehend konsolidiert. Wenn das Parlament seinen Standpunkt formell festgelegt hat, geht der Entwurf in die letzte Phase des Gesetzgebungsverfahrens: die sog. Trilog-Verhandlungen, bei denen sich Vertreter des EU-Rates, des EU-Parlaments und der EU-Kommission auf einen finalen Text einigen. Der AI Act wird voraussichtlich jedoch nicht vor Ende 2023 verabschiedet werden und damit frühestens Mitte 2024 in Kraft treten. Danach wird es eine zweijährige Umsetzungsfrist geben. Die Bestimmungen zu den notifizierenden Behörden und Stellen sowie die Bestimmungen zum Europäischen Ausschuss für künstliche Intelligenz und den zuständigen nationalen Behörden sollen jedoch bereits schon drei Monate nach Inkrafttreten volle Wirkung haben. Auch Art. 71 (Sanktionen) ist bereits 12 Monate nach Inkrafttreten anwendbar.
Selbst wenn es noch dauern wird, bis die Verordnung für (Schweizer) Unternehmen relevant sein wird, sollten sich diese mit dem aktuellen Entwurf vertraut machen.