Entwurf der Verordnung
Die Europäische Kommission hatte im April 2021 den Entwurf einer Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (AI-Verordnung) vorgelegt. Derzeit befindet sich der Entwurf in der Beratung im Europäischen Parlament.
Anwendungsbereich
Die Verordnung reguliert KI-Systeme. Der slowenische Ratsvorsitz hat am 29. November 2021 einen Kompromisstext veröffentlicht und darin u.a. den Gegenstand und den Anwendungsbereich ergänzt und Definitionen angepasst. Insbesondere wurde der Begriff des “KI-Systems” geändert. Nicht massgebend ist dabei, ob ein System autonom oder als Komponente eines Produkts funktioniert. Ein KI-System ist nun bestimmt als:
‘artificial intelligence system’ (AI system) means a system that
(i) receives machine and/or human-based data and inputs,
(ii) infers how to achieve a given set of human-defined objectives using learning, reasoning or modelling implemented with the techniques and approaches listed in Annex I, and
(iii) generates outputs in the form of content (generative AI systems), predictions, recommendations or decisions, which influence the environments it interacts with;
Anhang I enthält eine Liste erfasster KI-Technologie:
(a) Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
(b) Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
(c) Statistical approaches, Bayesian estimation, search and optimization methods.
In räumlicher Hinsicht gilt die AI-Verordnung nicht nur für Nutzer und Anbieter, die in der EU niedergelassen sind, sondern auch für das Inverkehrbringen von KI-Systemen bzw. von Produkten, die ein KI-System nutzen, in der EU, und für Anbieter und Nutzer von KI-Systemen, soweit die von diesen Systemen erzeugten Ergebnisse in der EU verwendet werden. Erwägungsgründe 10 und 11 enthalten hierzu weitere Ausführungen.
Verbotene Praktiken (schwarze Liste)
Die Verordnung sieht ein Verbot für bestimmte besonders riskante bzw. ethisch fragwürdige Verwendungen künstlicher Intelligenz vor (“verbotene Praktiken”), bspw. ihren Einsatz
- zu einer Beeinflussung, die unbewusst wirkt,
- Personen betrifft, die besonders schutzbedürftig sind,
- zur Einstufung der Vertrauenswürdigkeit von Personen im Zusammenhang mit sozialer Zugehörigkeit oder gesellschaftlichem Verhalten verwendet werden können (Social Scoring).
In diesem Umfang ist nicht nur der Einsatz von KI-Systemen verboten, sondern bereits das Inverkehrbringen entsprechender Systeme. Dies ist ein weiteres Beispiel des Vorfeldschutzes im Datenrecht, der sich auch anderswo beobachten lässt (z.B. bei der Pflicht zur Durchführung von Folgenabschätzungen, beim Grundsatz von privacy by design und bei der Fiktion einer Persönlichkeitsverletzung selbst bei vernachlässigbaren Verletzungen von Bearbeitungsgrundsätzen).
Hochrisiko-Systeme
Die Verordnung verlangt unter bestimmten Voraussetzungen ferner eine Klassifizierung von KI-Systemen als Hochrisiko-Systeme (gemäss Anhang III der Verordnung), die zu besonderen Anforderungen an das System selbst führt. Dabei werden Systeme zum einen durch die verwendete Technologie und zum anderen durch den Einsatz in bestimmten Sektoren als hochriskant eingestuft. Als Hochrisiko-System gelten bspw. KI-Systeme bei folgenden Einsatzgebieten:
- einwilligungslose biometrische Identifikation (man kann sich hier vorstellen, welche Bedeutung die Wirksamkeit von Einwilligungen in biometrische Identifikationen erhält, wenn diese auf KI beruhen);
- Sicherheitskomponente in der Verkehrssteuerung, der Energieversorgung, der digitalen Infrastruktur oder der Emissionskontrolle;
- Zugangsprüfung bei Prüfungen;
- Bewerbungsprüfungen;
- Kontrolle des Zugangs zu bestimmten Leistungen;
- Strafverfolgung.
Solche Systeme müssen Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der EU in Verkehr gebracht werden dürfen. Ebenso gelten höhere Anforderungen an die Dokumentation und die Information gegenüber den Nutzern, und es muss eine “menschliche Aufsicht” sichergestellt werden – ein weiteres Beispiel einer zwingenden menschlichen Komponente bei automatisierten Systemen, die an die Betroffenenrechte bei automatisierten Einzelentscheidungen erinnert. Sämtliche Mitglieder der Wertschöpfungskette – Anbieter, Einführer, Händler und Nutzer – von Hochrisiko-Systemen haben ebenfalls besondere Pflichten, auch Marktbeobachtungsvorgaben.
Behörden und Sanktionen
Zudem werden Behörden geschaffen:
- Mitgliedstaaten müssen zuständige nationale Behörden einrichten oder bestehende Behörden benennen;
- ein Europäischer Ausschuss für künstliche Intelligenz geschaffen, der die Kommission der EU berät.
Abgesichert wird die Einhaltung durch Sanktionen, die im Extremfall bis zu 6% des Umsatzes oder EUR 30 Mio. gehen können.