Eingereichter Text
Der Bundesrat wird beauftragt, die Bundesverwaltung zu verpflichten, bei ihrer Verwendung von algorithmischen und KI-basierten Systemen eine Folgenabschätzung zu grundrechtlichen und gesellschaftlichen Risiken durchzuführen und deren Resultate transparent zu machen. Diese Pflicht soll bei allen Systemen bestehen, die zur Entscheidungsfindung oder ‑unterstützung in der Bundesverwaltung eingesetzt werden.
Begründung
Systeme, die auf Künstlicher Intelligenz (KI) oder Algorithmen basieren, können Prognosen erstellen, Empfehlungen machen, Entscheidungen fällen und Inhalte generieren. Auch öffentliche Verwaltungen in der Schweiz testen oder verwenden solche Systeme vermehrt. Diese Systeme bergen Chancen für mehr Effizienz in der Verwaltung, aber auch Risiken in Bezug auf die Grundrechte oder demokratische und rechtsstaatliche Prozesse.
Insbesondere können sie diskriminierende Auswirkungen auf bestimmte Bevölkerungsgruppen mit sich bringen. In den Niederlanden gerieten Tausende von Familien in existenzielle Not, als ein diskriminierender Algorithmus sie fälschlicherweise dazu aufforderte, staatliche Kinderbetreuungsgelder zurückzuzahlen. In Österreich berechnete ein Algorithmus die Wahrscheinlichkeit, dass Arbeitslose wieder in den Arbeitsmarkt eingegliedert werden. Dieser vergab Minuspunkte, wenn Arbeitslose Fürsorgepflicht hatten – aber nur dann, wenn es sich um Frauen handelte.
Diese Risiken sind abhängig von Kontext, Zweck und Art und Weise der Anwendung. Darum müssen die Behörden diese Risiken systematisch prüfen. Eine erste Stufe der Risikoabschätzung ermöglicht dabei rasch und ohne grossen Aufwand eine Triage von risikoarmen und risikoreichen Anwendungen. Einzig dann, wenn sich bei dieser Triage-Stufe Risikosignale zeigen, ist eine umfassendere Folgenabschätzung vorzunehmen. Die Ergebnisse dieser Folgenabschätzung sind transparent zu machen und zu diesem Zweck in einem Verzeichnis zugänglich zu machen.
Die Notwendigkeit einer solchen Folgenabschätzung ist bereits in der KI-Konvention des Europarats festgelegt. Die Schweiz wird daher einen solchen Mechanismus einführen müssen, um das Übereinkommen ratifizieren zu können. Auch die Verordnung zum AI Act der Europäischen Union sieht eine grundrechtliche Folgenabschätzung bei der Verwendung von Hochrisiko-KI-Systemen durch die öffentliche Verwaltung vor, die transparent gemacht werden muss.