Vertreter des Europäischen Parlaments und des Rats haben am Freitag nach einer mehrtätigen Debatte doch noch eine Einigung über den AI Act erzielt (Medienmitteilung). Der AI Act ist seiner Verabschiedung dadurch den entscheidenden Schritt näher gerückt. Er muss allerdings noch formell in Abstimmungen im Parlament und im Rat verabschiedet werden.
Am Donnerstag war ein vorläufiger Kompromiss über den Einbezug von Foundation Models gefunden worden, ein Pièce de Résistance in der Diskussion (siehe hier). Die Definition der vom AI Act erfassten Systeme lehnt sich nun offenbar an jene der OECD an, die seit einer Anpassung am 8. November 2023 nicht mehr verlangt, dass AI-Systeme von Menschen vorgegebene Ziele verfolgen, sondern nun wie folgt lautet:
An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment.
Diese Definition bezieht Foundation Models mit ein. Foundation Models heissen so, weil sich diese Machine Learning-Modelle aufgrund des Trainings mit umfangreichen Daten für eine Vielzahl von Anwendungen eignen (Spanien hatte in der Diskussion um den AI Act folgende Definition vorgeschlagen: Ein “AI model that is capable to competently perform a wide range of distinctive tasks”).
Weil Foundation Models nicht auf eine bestimmte Anwendung beschränkt sind, werden sie mit dem Kommissionsvorschlag des AI Act schlecht erfasst. In der nun erzielten Einigung wird offenbar ein von Spanien vorgeschlagener gestufter Ansatz übernommen. Dabei gelten für alle Modelle Transparenzpflichten (bspw. was das Training betrifft), AI-generierte Inhalte müssen als solche erkennbar sein, und das Urheberrecht muss – selbstverständlich – eingehalten werden.
Bestimmte Foundation Models werden als “systemic” – stärker reguliert, d.h. solche, die ein systemisches Risiko darstellen. Dazu gehören Modelle, die mit einer besonders hohen Rechenleistung trainiert wurden. Sie müssen bspw. einer Evaluation und Tests (Red Team) unterzogen werden, es mussen Systemrisiken bewerten und mitigiert werden, die Kommission muss über schwerwiegende Vorfälle informiert werden, die Cybersicherheit ist zu gewährleisten, und es muss über ihre Energieeffizienz berichtet werden.
Ebenfalls sei ein Kompromiss über den Umgang mit Open-Source-Modellen erzielt worden. Kostenlose und Open-Source-Systeme sollen nur vom AI Act erfasst werden, wenn sie eine verbotene Praktik sind, in die Kategorie eines Hochrisiko-Systems fallen oder zu Manipulation geeignet sind.
Am Freitag drehte sich die Debatte offenbar besonders um den Umgang mit biometrischen Erkennungssystemen im öffentlichen Raum und die Frage, ob es öffentliche Stellen erlaubt sein soll, biometrische Systeme einzusetzen, um Personen nach Kriterien wie Geschlecht, Rasse, Religion usw. zu kategorisieren, Emotionen zu erkennen oder für die Polizeiarbeit (“predictive policing”). Einige Mitgliedstaaten halten den Einsatz solcher Praktiken für Sicherheitszwecke für angezeigt, bspw. Frankreich für die Olympischen Spiele 2024.
Bei den Hochrisiko-Systemen soll u.a. ein Grundrechts-Assessment (Fundamental Rights Impact Assessment) zwingend werden. Auch was die verbotenen Praktiken betrifft, wurde Einigung erreicht. Folgende Praktiken sollen verboten sein:
- biometrische Kategorisierungssysteme, die besonders schützenswerte Daten bzw. Informationen verwenden (z. B. politische, religiöse oder philosophische Überzeugungen, sexuelle Orientierung, Rasse);
- ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder Videoüberwachungsanlagen zur Erstellung entsprechender Datenbanken;
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen;
- Social Scoring auf Grundlage des Sozialverhaltens oder persönlicher Merkmale;
- AI-Systeme, die Menschen manipulieren;
- AI-Systeme, die Schwächen (aufgrund des Alters, einer Behinderung oder der sozialen oder wirtschaftlichen Lage) ausnutzen.
Bei den Sanktionen wurden die Obergrenzen je nach Art des Verstosses und Grösse des Unternehmens auf EUR 35M bzw. 7% des weltweiten Umsatzes oder EUR 7.5M oder 1.5 % des Umsatzes angesetzt.
Innerhalb der EU-Kommission soll ferner ein Amt für künstliche Intelligenz eingerichtet werden (das AI Office). Hier sollen auch die zuständigen nationalen Behörden zusammenkommen, um eine einheitliche Anwendung des AI Act zu gewährleisten.