Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828
Der AI Act stellt den europäischen Versuch dar, eine sektorunabhängige Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Der AI Act folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und Modellen. Kernstück des AI Act ist ein risikobasierter Ansatz, der KI-Systeme abhängig vom mit ihnen verbundenen Risiko verbietet, stark reguliert, Transparenzpflichten vorsieht oder Systeme mit minimalem Risiko unberührt lässt.
Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle eingefügt.[1]
Anwendungsbereich (Art 2 AI Act)
Sachlicher Anwendungsbereich
KI-Systeme
Zentraler Anknüpfungspunkt für die Anwendbarkeit des AI Act ist dabei das Vorliegen eines "KI-Systems" (Art 3 Z 1 AI Act).[2] Das wichtigsten Abgrenzungsmerkmal der breit gehaltenen Definition ist die Fähigkeit, abzuleiten. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Der Begriff umfasst damit sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.
GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck
General Purpose AI Modelle (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"[3]) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 AI Act). Ein KI-System bzw GPAI-System,[4] das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz des AI Act eingestuft werden.
In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.
Anbieter ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 AI Act).
Betreiber (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 AI Act).
(Geographischer) Anwendungsbereich
Der (geographische) Anwendungsbereich des AI Act (Art 2) umfasst dabei primär:[5]
Anbieter, die in der Union KI-Systeme in Verkehr bringen[6] oder in Betrieb nehmen[7] oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind
Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden
Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird
Ausnahmen
Art 2 Abs 2 ff AI Act enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:
KI-Systeme/KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen/KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.[8]
Zeitlicher Anwendungsbereich
Die KI-VO erlangt am 1. August 2024 Geltung und tritt generell am 2. August 2026 in Kraft und ist damit auf Sachverhalte anwendbar (Art 113 AI Act). Gestaffelt treten einige Bestimmungen jedoch bereits vorab in Kraft:[9]
allgemeine Bestimmungen und verbotene Praktiken ab 2. Februar 2025
Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027
Materielle Aspekte
KI-Kompetenz/AI literacy (Art 4 AI Act)
Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 AI Act, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.
KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 AI Act)
Nach Art 5 AI Act sind gewisse Praktiken im KI-Bereich verboten:[10]
unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken
Ausnutzen der Vulnerabilität/Schutzbedürftigkeit
social scoring (Bewertung/Einstufung von Personen/Gruppen von Personen auf der Grundlage ihres sozialen Verhaltens/Eigenschaften/Persönlichkeitsmerkmale)
Bewertung des Risikos, dass eine Person eine Straftat begeht (ausschließlich aufgrund von Profiling)
Erstellung/Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern
Emotionserkennungssysteme am Arbeitsplatz oder in Bildungseinrichtungen
biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)
Hochrisiko-KI-Systeme (Art 6 AI Act)
Einstufung
Der AI Act definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber im AI Act selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. [11]
Darüber hinaus enthält Art 6 Abs 3 AI Act Ausnahmen von der Einstufung als Hochrisiko-KI-System.
Nach Art 6 Abs 5 AI Act hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.
"Eingebettete" Hochrisiko-KI-Systeme (embedded high-risk AI systems) (Art 6 Abs 1 AI Act)
Nach Art 6 Abs 1 AI Act gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:
das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden
Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).
Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren: Software kann ein Medizinprodukte im Sinne der Medizinprodukteverordnung (MPVO) darstellen. Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko, unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen: einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I genannt wird, und anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter".
"Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 AI Act)
Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 AI Act definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten (bspw biometrisch Identifizierung, kritische Infrastrukturen, grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle). Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 AI Act).
Ausnahmen (Art 6 Abs 3 AI Act)
Art 6 Abs 3 AI Act enthält als Abweichung Ausnahmen von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.
Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn
es dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen (bspw ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt)
es dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (bspw KI-Systeme, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen
es dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (bspw KI-Systeme, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen)
es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)
Art 6 Abs 3 AI Act enthält dabei auch eine Rückausnahme, die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."
Anforderungen an Hochrisiko-KI-Systeme (Art 8-15 AI Act)
Hochrisiko-KI-Systeme müssen einer Reihe von Anforderungen genügen, die in einem sog Konformitätsbewertungsverfahren geprüft werden, darunter:
Risikomanagementsystem (Art 9 AI Act)
Daten und Daten-Governance (Art 10 AI Act)
Technische Dokumentation (Art 11 AI Act)
Aufzeichnungspflichten (Art 12 AI Act)
Transparenz und Bereitstellung von Informationen für die Betreiber (Art 13 AI Act)
Menschliche Aufsicht (Art 14 AI Act)
Genauigkeit, Robustheit und Cybersicherheit (Art 15 AI Act)
Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art 16-21 AI Act)
Anbieter von Hochrisiko-KI-Systemen müssen als wichtigste Pflichten ua (Art 16 AI Act):
sicherstellen, dass diese Systemen die Anforderungen der Art 8-15 AI Act erfüllen
damit verbunden sicherstellen, dass sie einem Konformitätsbewertungsverfahren unterzogen werden (resultierend in einer Konformitätserklärung und einer CE-Kennzeichnung)
über ein Qualitätsmanagementsystem (Art 17 AI Act) verfügen (ua Konzept zur Einhaltung der Regulierungsvorschriften, Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; Untersuchungs-, Test- und Validierungsverfahren; Systeme und Verfahren für das Datenmanagement)
Dokumentation (Art 18 AI Act) und Protokolle (Art 19 AI Act) aufbewahren
einer Registrierungspflicht nachkommen (Art 49 AI Act) und
erforderliche Korrekturmaßnahmen ergreifen und Informationen bereitstellen (Art 20 AI Act)
Konformitätsbewertungsverfahren
Zentrale Anbieterpflicht ist die Durchführung eines sog Konformitätsbewertungsverfahrens. In diesem Verfahren wird überprüft, ob das Hochrisiko-KI-System die Anforderungen nach Art 8-15 AI Act erfüllt (Art 3 Z 20 AI Act).
Dabei existieren zwei verschiedene Varianten dieses Verfahrens (Art 43 AI Act).
Diese unterscheiden sich primär darin, ob eine notifizierte Stelle, das heißt eine Stelle, die Konformitätsbewertungstätigkeiten einschließlich Prüfungen, Zertifizierungen und Inspektionen durchführt und dabei als Dritte auftritt und die nach dem AI Act "notifiziert" wurde (Art 3 Z 21, 22 AI Act). Die notifizierten Stellen finden sich in einer entsprechenden Datenbank.
interne Kontrolle (Anhang VI): Eigenzertifizierung, ohne Beiziehung einer notifizierten Stelle (vorgesehen für eigenständige Hochrisiko-KI-Systeme mit Ausnahme des Bereiches Biometrie)
Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation unter Beteiligung einer notifizierten Stelle (Anhang VII) (primär vorgesehen für eingebettete Hochrisiko-KI-Systeme)
Bei eingebetteten Hochrisiko-KI-Systemen ist vorgesehen, dass die nach dem Harmonisierungsrechtsakt einschlägige Konformitätsbewertung (zB nach Medizinprodukteverordnung) durchgeführt wird und die Aspekte des AI Act in dieses Verfahren einbezogen werden (Art 43 Abs 3 AI Act). Ein solches "kombiniertes" Verfahren kann für einer notifizierten Stelle durchgeführt werden, sofern diese die notwendige Expertise, etc aufweist.
Bei wesentlichen Änderungen des Systems ist eine erneute Durchführung notwendig. Dies gilt für Systeme, die im Betrieb weiterlernen, nicht für vorab durch den Anbieter festgelegte Änderungen des Systems und seiner Leistung (Art 43 Abs 4 AI Act).
Der Anbieter hat daraufhin eine EU-Konformitätserklärung (Art 47 AI Act) auszustellen, eine CE-Kennzeichnung (Art 48 AI Act) anzubringen und das (selbständige) Hochrisiko-KI-System in einer Datenbank zu registrieren (Art 49 AI Act).
Pflichten für Betreiber von Hochrisiko-KI-Systemen (Art 26 AI Act)
Betreiber von Hochrisiko-KI-Systemen unterliegen im Vergleich zu Anbietern nur eingeschränkten Pflichten. Sie müssen ua
geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie KI-Systeme entsprechend den beigefügten Betriebsanleitungen verwenden
die menschliche Aufsicht an natürliche Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und ihnen die erforderliche Unterstützung zukommen lassen
soweit die Eingabedaten ihrer Kontrolle unterliegen dafür sorgen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechend und ausreichend repräsentativ sind
den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung überwachen und gegebenenfalls Anbieter iSv Art 72 AI Act informieren. Besteht Grund zur Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Art 79 Abs 1 AI Act birgt, so informieren Betreiber unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Ähnliches gilt bei Feststellung eines schwerwiegenden Vorfalls.
Aufbewahrung von Protokollen
Information der Arbeitnehmervertreter und betroffenen Arbeitnehmer, wenn das KI-System am Arbeitsplatz eingesetzt wird
Information an natürliche Personen, dass sie der Verwendung eines Hochrisiko-KI-Systems unterliegen, wenn das Hochrisiko-KI-Systeme natürliche Personen betreffende Entscheidungen trifft oder bei solchen Entscheidungen Unterstützung leistet
Grundrechte-Folgenabschätzung (Art 27 AI Act)
Als Gegenstück zum Risikomanagement (Art 9 AI Act), das Anbieter von Hochrisiko-KI-Systemen betrifft, müssen gewisse Betreiber[12] von Hochrisiko-KI-Systemen vor der ersten Verwendung eine Abschätzung der Risiken auf Grundrechte durchführen (Art 27 Abs 1 AI Act).[13]
Die Abschätzung umfasst dabei
eine Beschreibung der Verfahren, bei denen das Hochrisiko-KI-System verwendet wird
eine Beschreibung des Zeitraums und der Häufigkeit der Verwendung
die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung betroffen sein könnten
die spezifischen Schadensrisiken, die sich auf die ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten
eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht
die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind.
Das Büro für KI wird dabei ein Muster für einen Fragebogen entwickeln, um dieser Pflicht in vereinfachter Weise nachkommen zu können (Art 27 Abs 5 AI Act).
Änderung der Rolle des Akteurs/Verantwortlichkeit entlang der Wertschöpfungskette (Art 25 AI Act)
Die Einstufung als Betreiber oder Anbieter ist dabei nicht statistisch, wie Art 25 AI Act zeigt. Dieser normiert Fälle, in denen Betreiber (und Händler, Einführung oder sonstige Dritte) als Anbieter eines Hochrisiko-KI-Systems gelten und damit auch den Anbieterpflichten (Art 16 AI Act) unterliegen.
Ein solcher "Rollenwechsel" findet in folgenden Konstellationen statt (Art 25 Abs 1 AI Act):
wenn sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen
wenn sie eine wesentliche Veränderung eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System gemäß Art 6 AI Act bleibt
wenn sie die Zweckbestimmung eines KI-Systems, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art 6 AI Act wird
In diesen Szenarien gilt der ursprüngliche Anbieter nicht mehr als Anbieter dieses spezifischen KI-Systems (Art 25 Abs 2 AI Act). Der Erstanbieter hat dabei mit dem neuen Anbieter zusammenzuarbeiten, Informationen zur Verfügung zu stellen, für technischen Zugang und sonstige Unterstützung zu sorgen.[14]
Transparenzpflichten (Art 50 AI Act)
Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 AI Act Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden.
Anbieter haben bei KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind (zB Chatbots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.[15]
Anbieter von KI-Systemen die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind.[16]
Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung müssen die davon betroffenen natürlichen Personen über den Betrieb des Systems informieren und personenbezogene Daten datenschutzkonform[17] verarbeiten.[18]
Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.[19]
Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.[20]
KI-Systeme mit minimalem Risiko
Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als KI-Systeme mit minimalem Risiko bezeichnet, sieht der AI Act keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter den AI Act möglich. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 AI Act).
Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 AI Act). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff AI Act).
Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.
Ein solches systemisches Risiko liegt vor (Art 51 AI Act),
wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]), mehr als 1025 beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 AI Act).
ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)
Pflichten für Anbieter von GPAI-Modellen
Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 AI Act):
eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).[21] Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.
Informationen und die Dokumentation (Mindestelemente in Anhang XII)[22] erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß dem AI Act nachzukommen.
eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen
Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko
Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 AI Act):
eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
mögliche systemische Risiken auf Unionsebene bewerten und mindern,
einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und die Behörden darüber unterrichten
ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.
Praxisleitfäden (codes of practice)
Die genannten Pflichten sollen dabei durch sog Praxisleitfäden auf Unionsebene konkretisiert werden, die unter Berücksichtigung internationaler Ansätze zur ordnungsgemäßen Anwendung dieser Verordnung beizutragen sollen (Art 56 Abs 1 AI Act).
Die Praxisleitfäden sollen mindestens die in Art 53-55 AI Act vorgesehenen Pflichten abdecken, darunter (Art 56 Abs 2 AI Act)
Mittel, mit denen sichergestellt wird, dass die in Art 53 Abs 1 lit a und b AI Act genannten Informationen (technische Dokumentation des Modells; Information und Dokumentation für die Integrierung des Modells) vor dem Hintergrund der Marktentwicklungen und technologischen Entwicklungen auf dem neuesten Stand gehalten werden
die angemessene Detailgenauigkeit bei der Zusammenfassung der für das Training verwendeten Inhalte
die Ermittlung von Art und Wesen der systemischen Risiken auf Unionsebene
die Maßnahmen, Verfahren und Modalitäten für die Bewertung und das Management der systemischen Risiken auf Unionsebene
Für die Ausarbeitung solcher Leitfäden können alle Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sowie die einschlägigen zuständigen nationalen Behörden ersucht werden, sich an der Ausarbeitung von Praxisleitfäden zu beteiligen. Organisationen der Zivilgesellschaft, die Industrie, die Wissenschaft und andere einschlägige Interessenträger wie nachgelagerte Anbieter und unabhängige Sachverständige können den Prozess ebenfalls unterstützen (Art 65 Abs 3 AI Act).
Ein erster Entwurf eines solchen Leitfadens, ausgearbeitet von internationalen Experten und Expertinnen, wurde im November 2024 von der Europäischen Kommission präsentiert.[23]
Bedeutung von Normen und Standards
Die Kommission hat die Entwicklung von harmonisierten Normen, die derzeit nicht existieren beauftragt.[24] Solche Normen werden im Amtsblatt der EU veröffentlicht. Stimmen Hochrisiko-KI-Systeme oder GPAI-Modelle mit solchen harmonisierten Normen überein, wird eine Konformität mit den Anforderungen an Hochrisiko-KI-Systeme (Art 8 ff KI-VO) oder gegebenenfalls mit den Pflichten für die Anbieter von GPAI-Modellen (Art 53 ff KI-VO) vermutet, soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind (Art 40 AI Act). Diesen harmonisierten Normen kommt somit eine hohe Bedeutung zu, für Rechtssicherheit zu sorgen und die abstrakten Anforderungen der KI-VO zu konkretisieren.[25]
Subsidiär kann die Kommission, wenn strenge Bedingungen erfüllt sind (harmonisierte Normen wurden nicht ausgearbeitet oder entsprechen nicht dem Auftrag), Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen erlassen, mit denen ebenfalls eine solche Konformitätsvermutung einhergeht (Art 41 KI-VO).
Ein Kurzüberblick über die Bedeutung von harmonisierten Normen und in Entwicklung befindliche Normen wurde vom Joint Research Centre der Kommission publiziert.[26]
Strafen/sonstige Konsequenzen
Verhältnis und Synergien zu anderen Rechtsakten
Folgenabschätzungen: Datenschutz- und Grundrechte-Folgenabschätzung
Der Anwendungsbereich einer Datenschutz-Folgenabschätzung kann sich mit einer Grundrechte-Folgenabschätzung (Art 27 AI Act) überschneiden, wobei eine integrierte Folgenabschätzung durchgeführt werden kann.[27]
Verarbeitung von sensiblen Kategorien personenbezogener Daten (Art 9 DSGVO)
Um Verzerrungen (Bias) zu zu erkennen und zu korrigieren dürfen Anbieter, wenn es unbedingt erforderlich, unter strengen Auflagen sensible Kategorien von personenbezogenen Daten (Art 9 DSGVO) verarbeiten (Art 10 Abs 5 AI Act).[28]
Bei der Entwicklung/Training leistungsfähigerer KI-Modelle kann es zu Friktionen zwischen Art 15 AI Act, der angemessene Genauigkeit iSv Performanz fordert, und Art 9 DSGVO, der die Verarbeitung sensibler personenbezogener Daten prinzipiell verbietet, kommen.[29] Zwar gab der Europäische Datenschutzausschuss Ende 2024 eine Stellungnahme zum Training von KI-Modellen heraus, diese behandelt die potentielle Friktion mit Art 9 DSGVO jedoch nur am Rande.[30]
Unterschiedliche Verantwortlichkeiten
Da die DSGVO primär auf den Verantwortlichen abstellt, diese Rolle wird häufig der Betreiber iSd AI Act einnehmen, die meisten Pflichten nach dem AI Act aber primär an Anbieter adressiert sind, kann es zu einem Auseinanderfallen der Verantwortlichkeiten kommen.[31]
Risikoanalyse: DSA vs AI Act
Bei VLOPs und VLOSEs, die generative KI, bspw GPAI-Modelle, integrieren, kann es zu einer Überschneidung zwischen DSA und AI Act, bspw in Bezug auf die nach DSA und AI Act notwendige Risikoanalyse kommen. Daher wird teilweise für eine konsolidierte und technologieübergreifende Risikoanalyse plädiert, wobei dem Umstand, dass mehrere Technologien verknüpft sind, entsprechend Rechnung getragen werden muss.[32]
↑MwN zu diesen Entwicklungen Hacker/Engel/Mauer, Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; Steindl, Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.
↑Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Zieleableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen."
Differenziert zum Begriff "KI-System" Wendehorst/Nessler/Aufreiter/Aichinger, Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.
↑Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."
↑Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)
↑Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst:
Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.
↑Art 3 Z 9 KI-VO: "'Inverkehrbringen' die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt".
Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
↑Art 3 Z 11 KI-VO: "'Inbetriebnahme' die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung".
Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
↑Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.
↑MwN Neuwirth, Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; Rostaski/Weiss, § 3. Verbotene Praktiken, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.
↑MwN Martini, § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).
↑Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b [Kreditwürdigkeitsprüfung und Bonitätsbewertung] und c [Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen]. Eine Ausnahme besteht wiederum im Bereich der kritischen Infrastruktur (Anhang III Nummer 2).
↑MwN Müller/Schneeberger, Menschenrechtsfolgenabschätzungen im Artificial Intelligence Act, juridikum 2024, 265.
↑Diese Pflicht zur Übergabe der Dokumentation gilt nicht, wenn der Anbieter festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.
↑Eine solche Kennzeichnung ist nicht notwendig, wenn es aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass mit einem KI-System interagiert wird. Diese Pflicht gilt ebenfalls nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.
↑Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.
↑Dabei wird explizit auf die DSGVO, die VO (EU) 2018/1725 des Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur Aufhebung der Verordnung (EG) Nr. 45/2001 und des Beschlusses Nr. 1247/2002/EG und die RL (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates verwiesen.
↑Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.
↑Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
↑Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
↑Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine ausführliche Beschreibung der Elemente des Modells und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).
↑Das heißt erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)
