Die EU-Kommission hat Leitlinien zum Begriff des AI-Systems (AIS) gutgeheissen, wenn auch noch nicht formell verabschiedet (“Commission Guidelines on the definition of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act)”):
Die 12-seitigen Leitlinien – die auf die Leitlinien zu den verbotenen Praktiken folgen – versuchen, den im AI Act letztlich nicht definierten, sondern nur illustrierten Begriff des AIS zu klären. General-Purpose AI Models (GPAIM) werden nicht adressiert.
Nach Art. 3(1) AI Act ist ein AIS ein maschinengestütztes System, das mit “unterschiedlichem Grad an Autonomie betrieben” werden soll und nach seiner Einführung Anpassungsfähigkeit zeigen kann (“may”), und das für explizite oder implizite Ziele aus Eingaben ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, wobei diese Ausgaben “physische oder virtuelle Umgebungen beeinflussen können”.
Laut der Kommission umfasst diese Definition sieben Elemente, die allerdings nicht alle zwingend vorhanden sein müssen und die sich überschneiden:
- Maschinengestütztes System
- Graduelle Autonomie
- Anpassungsfähigkeit
- Aufgabenorientierung des Systems (“Ziele”)
- Inferenz
- Output: Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen
- Einfluss auf die Umgebung
Dass die Definition in Art. 3 (1) AI Act keine klare Abgrenzung erlaubt, haben wir in unseren FAQ zum AI Act darzulegen versucht; neu ist diese Erkenntnis allerdings nicht. Die EU-Kommission, die nach Art. 96 AI Act Leitlinien “für die praktische Durchführung” des AI Act erlassen soll, versucht deshalb, den Begriff nachzuschärfen. Das gelingt ihr allerdings höchstens ansatzweise mit einer Art Bagatellschwelle, die allerdings wenig greifbar ist. Das Scheitern hält die Kommission in der Zusammenfassung des Leitfadens mit frustrierender Deutlichkeit fest:
No automatic determination or exhaustive lists of systems that either fall within or outside the definition of an AI system are possible.
(1) Maschinen-gestütztes System: jeder Computer
Laut Kommission ist damit ein System gemeint, das auf Hardware und Software läuft – also ein Computer.
(2) Autonomie: “Some reasonable degree of independence”
Die Autonomie des Systems ist Kern der Definition. Wenig hilfreich ist der Hinweis in Art. 3(1) AI Act, dass es Grade an Autonomie gibt – im Gegenteil, damit würde an sich auch eine Autonomie von 1% erfasst. Nach ErwG 12 geht es aber immerhin um eine gewisse Unabhängigkeit von menschlichem Einfluss.
Die Kommission stellt klar, dass das Kriterium der Autonomie und der Ableitung von Output zusammenhängen, weil sich die Autonomie auf diese Ableitung bezieht. Entsprechend ist richtigerweise von einem und nicht zwei Kriterien auszugehen, aber klar wird dies bei der Kommission nicht.
Wichtiger ist die Frage, wie die Autonomie zu bestimmen ist und welcher Grad notwendig ist. Klar ist, dass ein System kein AIS ist, wenn es vollständig von einem Menschen beherrscht ist:
…excludes systems that are designed to operate solely with full manual human involvement and intervention. Human involvement and human intervention can be either direct, e.g. through manual controls, or indirect, e.g. though automated systems-based controls which allow humans to delegate or supervise system operations.
Welche Autonomie erforderlich ist, beantwortet die Kommission an dieser Stelle nicht; in der Sache kommt sie auf dieselbe Frage aber bei der Inferenz zurück (s. unten):
All systems that are designed to operate with some reasonable degree of independence of actions fulfil the condition of autonomy in the definition of an AI system.
(3) Anpassungsfähigkeit: nicht erforderlich
Anpassungsfähigkeit bezieht sich nach ErwG 12 auf eine Lernfähigkeit, also eine Anpassung an die Umgebung, die den Output ändern kann. So oder so – Bestandteil der Definition ist die Anpassungsfähigkeit nicht, weil es ein Kann- und kein Muss-Kriterium ist:
The use of the term ‘may’ in relation to this element of the definition indicates that a system may, but does not necessarily have to, possess adaptiveness or self-learning capabilities after deployment to constitute an AI system. Accordingly, a system’s ability to automatically learn […] is a facultative and thus not a decisive condition […].
(4) Aufgabenorientierung
Ein AIS muss aus dem Input einen Output generieren, und zwar “für explizite oder implizite Ziele”. Die Kommission versteht das Ziel wohl eher als Illustration und stellt nur klar, was unter einem Ziel in diesem Sinne zu verstehen ist
Explicit objectives refer to clearly stated goals that are directly encoded by the developer into the system. For example, they may be specified as the optimisation of some cost function, a probability, or a cumulative reward.
Implicit objectives refer to goals that are not explicitly stated but may be deduced from the behaviour or underlying assumptions of the system. These objectives may arise from the training data or from the interaction of the AI system with its environment.
Nicht dasselbe ist der “Verwendungszweck” (“intended use”), den Art. 3(12) AI Act als die vom Provider vorgesehene Verwendung definiert.
(5) Ableitung von Output: Bagatellschwelle (!)
Hier sieht die Kommission offenbar die wesentliche Abgrenzung beim AIS, und wie erwähnt kann man dieses Element zusammen mit der Autonomie lesen.
Bei der Ableitung – Inferenz – geht es der Kommission zufolge nicht allein um eine Ableitung von Output, sondern vielmehr um das Design des AIS – es muss so gebaut sein, dass es technisch in die Lage versetzt wird, Output abzuleiten:
The terms ‘infer how to’, used in Article 3(1) and clarified in recital 12 AI Act, is broader than, and not limited only to, a narrow understanding of the concept of inference as an ability of a system to derive outputs from given inputs, and thus infer the result. Accordingly, the formulation used in Article 3(1) AI Act, i.e. ‘infers, how to generate outputs’, should be understood as referring to the building phase, whereby a system derives outputs through AI techniques enabling inferencing.
[…]Focusing specifically on the building phase of the AI system, recital 12 AI Act further clarifies that ‘[t]he techniques that enable inference while building an AI system include
[…].This clarification explicitly underlines that the concept of ‘inference’ should be understood in a broader sense as encompassing the ‘building phase’ of the AI system.
[…]
Auf dieser Basis und jener von ErwG 12 schaut die Kommission genauer auf entsprechende Technologien:
- Machine Learning (ML) als Oberbegriff;
- Supervised Learning: Das System lernt Muster aus annotierten Daten zu erkennen und zu verallgemeinern (Bsp.: Spamfilter, Klassifizierung von Bildern, Betrugserkennung);
- Unsupervised Learning: Das System lernt, in nicht-annotierten Daten Muster zu erkennen (Bsp.: Erforschung neuer Wirkstoffe in der Pharma;
- Self-supervised Learning: Ein Anwendungsfall des nicht-überwachten Lernens, bei dem das System selbst Annotationen erstellt oder Ziele definiert (Bsp.: Bilderkennung, LLMs);
- Reinforcement Learning: Lernen durch Erfahrung über eine Belohnungsfunktion (Bsp.: ein Roboter lernt, Gegenstände zu ergreifen; Empfehlungsfunktionen in Suchmaschinen; autonomes Fahren);
- Deep Learning: Lernen mit neuronalen Netzwerken i.d.R. auf Basis grosser Datenmengen;
- Logic- and knowledge-based approaches: Deduktive oder induktive Ableitung aus kodiertem Wissen über Logik, definierte Regeln oder Ontologien (Bsp.: Klassische Sprachmodelle auf Basis von Grammatik und Semantik, frühe Expertensysteme zur medizinischen Diagnostik).
Was ist also kein AIS? ErwG 12:
… the definition should be based on key characteristics of AI systems that distinguish AI systems from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations.
Für die Kommission – und das ist der eigentliche Punkt in den Leitlinien – gibt es Systeme, die zu einer gewissen Inferenz in der Lage sind, aber kein AIS darstellen:
Some systems have the capacity to infer in a narrow manner but may nevertheless fall outside of the scope of the AI system definition because of their limited capacity to analyse patterns and adjust autonomously their output.
Das widerspricht zwar wohl ErwG 12, ist aber willkommen, weil AIS von anderen Systemen nur über quantitative Kriterien sinnvoll unterschieden werden können. Zu den ausgenommenen Systemen zählt die Kommission etwa die folgenden – interessant ist vor allem die Kategorie der einfachen Prognosemodelle:
- “Systems for improving mathematical optimization”: Das betrifft bspw. statistische Regressionsanalysen (→ FAQ AI Act):
This is because, while those models have the capacity to infer, they do not transcend ‘basic data processing’.
Beispiele sind etwa
- Seit Jahren eingesetzte Verfahren (nach Einzelfall, aber die lange Einsatzdauer sei ein Indiz), die etwa nur einen bekannten Algorithmus durch Verschiebung von Funktionen oder Parametern optimieren, etwa “physics-based systems”, die die Rechenleistung z.B. für prognostische Zwecke verbessern;
- ein System, das den Einsatz von Bandbreite oder Ressourcen in einem satellitengestützten Kommunikationssystem verbessert.
Was demgegenüber erfasst bleibe, sind Systeme, die “adjustments of their decision making models in an intelligent way” erlauben. Wenn eine Prognose eines Aktienkurses also mit einem Regressionsmodell funktioniert, das sich im Betrieb anpasst, ist es keine reine Regression und wäre erfasst. Dasselbe müsste für ein Empfehlungssystem gelten, dessen Parameter sich anpassen können.
- “Basic data processing”: Eine vordefinierte Datenbearbeitung, die Input nach fixen Regeln und ohne ML oder anderer Inferenz bearbeitet (z.B. eine Filterfunktion in einer Datenbank) und nicht lernt oder denkt. Dazu gehören auch bspw. Systeme, die ausschliesslich Daten mit statistischen Methoden visualisieren, oder eine statistische Auswertung von Umfragen.
- “Systems based on classical heuristics”: Dabei geht es darum, für ein Problem eine optimale Lösung zu finden, bspw. durch Regeln, Mustererkennung oder Trial-and-error. Im Unterschied zu ML wenden solche Systeme definierte Regeln an, bspw. ein Schachprogramm, das einen “Minimax”-Algorithmus verwendet, und können sich weder anpassen noch können sie verallgemeinern.
- “Simple prediction systems”: Das sind Systeme, die mit einfacher Statistik funktionieren, auch wenn sie technisch gesehen ML einsetzen. Sie sind keine AIS “due to its performance” – wie auch immer das quantifiziert werden soll. Beispiele sind
- Finanzprognosen, die Aktienkurse auf Basis des durchschnittlichen historischen Preises voraussagen,
- eine Prognose der Temperatur auf Basis historischer Messwerte,
- Schätzsysteme wie etwa ein Kundendienstsystem, das die Antwortzeit schätzt, oder Verkaufsprognosen.
(6) Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen
Nach Art. 3(1) AI Act können AIS und Output wie “Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen “generieren, die “physische oder virtuelle Umgebungen beeinflussen können”. Der Leitfaden spricht zunächst die Arten des Output an, enthält hier aber nicht mehr als allgemeine Umschreibungen, die zum Verständnis des Begriffs nichts beitragen.
Immerhin: Ein Indiz für ein AIS kann wohl die Komplexität des Output sein, aber dieses Kriterium dürfte mit jenem der Autonomie und Inferenz zusammenfallen:
AI systems can generally generate more nuanced outputs than other systems, for example, by leveraging patterns learned during training or by using expert-defined rules to make decisions, offering more sophisticated reasoning in structured environments.
(7) Einfluss auf die Umgebung
Dass die Inhalte die Umgebung beeinflussen können, nennt die Kommission als weiteres Begriffselement. Eine Abgrenzung zu anderen Systemen ergibt sich daraus allerdings nicht.