Keine Macht den Maschinen oder: Das Gesetz über künstliche Intelligenz
Der Europäische Gesetzgeber erarbeitet derzeit einen Gesetzesentwurf, der die gesamte Industrie nachhaltig beeinflussen wird: das Gesetz über künstliche Intelligenz (KI-Gesetz)[1]. KI-Systeme schweben derzeit regulatorisch in einem „luftleeren Raum“, der nun mit einer Reihe von Anforderungen gefüllt werden soll.
Derzeit gelten für die KI-Systeme keine gesonderten Vorschriften. Handelt es sich bei dem Produkt beispielsweise um ein Medizinprodukt mit einer KI-Komponente, so muss das Produkt den Anforderungen der Medizinprodukteverordnung (MP-V) genügen und für die Anwendung an Patient:innen sicher sein. Verarbeitet das Medizinprodukt zudem persönliche Daten, ist zudem die Datenschutzgrundverordnung (DSG-VO) zu beachten. Für die KI-Komponente des Produkts gelten jedoch keine gesonderten Vorgaben. Hersteller können ganz frei entscheiden, mit welchen Daten die KI trainiert wird, ob die KI eine Blackbox darstellt oder welchem Qualitätsanspruch die KI zu genügen hat. Das ändert sich nun.
Auf das Risiko kommt es an
Da auch der Gesetzgeber das Rad nicht jedes Mal neu erfindet, bedient er sich dem wohlbekannten risikobasierten Ansatz. Ganz ähnlich wie bei Medizinprodukten werden KI-Systeme künftig in Risikoklassen unterteilt:
- KI-Systeme mit geringem Risiko,
- KI-Systeme mit hohem Risiko und
- KI-Systeme mit unannehmbarem Risiko.
Für KI-Systeme mit geringem Risiko gelten Transparenzvorschriften. KI-Systeme, die mit Nutzer:innen interagieren, die zur Erkennung von Emotionen oder zur Assoziierung (gesellschaftlicher) Kategorien anhand biometrischer Daten eingesetzt werden oder KI-Systeme, die Inhalte erzeugen oder manipulieren (Stichwort „Deepfake“), wohnen Manipulationsrisiken inne. Um diese Risiken zu minimieren, müssen Hersteller von KI-Systemen künftig gegenüber Nutzer:innen offenlegen, wenn sie z.B. mit KI-basierten Chatbots interagieren. Gleiches gilt, wenn KI-Systeme eingesetzt werden, um Bild-, Audio- oder Video-Inhalte zu erzeugen oder zu manipulieren und hierbei kaum von authentischen Inhalten zu unterscheiden sind.
"Auch für generative KI-Systeme wie ChatGPT gelten künftig bestimmte gesetzliche Anforderungen. "
Auf der zweiten Risikostufe sind KI-Systeme angesiedelt, die ein Risiko für die Sicherheit der Nutzer:innen darstellen können. Solche KI-Systeme gelten als hochriskant und dürfen nur in Verkehr gebracht werden, sofern sie den in dem KI-Gesetz vorgeschriebenen zwingenden Anforderungen genügen und vorab ein Konformitätsbewertungsverfahren durchlaufen haben. Zu solchen Hochrisiko KI-Systemen zählen zum Beispiel Medizinprodukte mit KI-Komponenten. Medizinprodukte mit KI-Komponenten dürfen künftig nicht mit beliebigen Datensätzen trainiert werden, sondern die Datensätze müssen einem bestimmten Qualitätsanspruch genügen.
Elisabeth Kohoutek | Rechtsanwältin, King & Spalding | LinkedIn | Copyright: Elisabeth Kohoutek
Die KI-Komponente muss auch robust, genau und sicher sein, damit das Medizinprodukt in Verkehr gebracht werden darf. Zudem müssen die Prozesse der KI-Komponente erklärbar sein, eine „Blackbox“ ist nicht erlaubt. Auch eine technische Dokumentation ist zu erstellen. Hersteller von KI-Systemen mit hohem Risiko werden zudem in der Regel eine CE-Zertifizierung von einer benannten Stelle benötigen, um ein verkehrsfähiges Produkt zu erhalten. Es wird also künftig deutlich schwieriger, ein KI-System mit hohem Risiko in den Verkehr zu bringen. Hersteller werden ein deutlich aufwendigeres Entwicklungsverfahren durchführen müssen, das deutlich mehr Zeit und Investitionen in Anspruch nehmen wird.
Und dann gibt es noch eine Reihe von KI-Praktiken, die künftig gänzlich verboten sein sollen: Praktiken, die ein erhebliches Potential haben, Personen zu manipulieren, indem sie auf Techniken der unterschwelligen Beeinflussung zurückgreifen, die von diesen Personen nicht wahrgenommen werden. Gleiches gilt für KI-Systeme, die die Schwächen bestimmter schutzbedürftiger Gruppen, wie Kindern, ausnutzen, um deren Verhalten massiv so beeinflussen, dass sie selbst oder eine andere Person geschädigt werden. Solche KI-Systeme werden gänzlich verboten sein.
Generative KI
Auch für generative KI-Systeme wie ChatGPT gelten künftig bestimmte gesetzliche Anforderungen. So müssen generative KI-Systeme die Tatsache offenlegen, dass der Inhalt von KI generiert wurde. Zudem ist das Modell so zu gestalten, dass es keine illegalen Inhalte erzeugt und Hersteller müssen eine Zusammenfassung der für das Training verwendeten urheberrechtlich geschützten Daten veröffentlichen.
Der Europäische Gesetzgeber beabsichtigt, das KI-Gesetz noch dieses Jahr zu verabschieden. Die Vorschriften könnten dann EU-weit ab 2026 gelten. Keine Macht den Maschinen also.
[1] Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) COM(2021) 206 final
unsere Gründungspartner:
