Artificial Intelligence Act (AIA): Unterschied zwischen den Versionen
Aus RI Wiki
Zur Navigation springenZur Suche springen
| Zeile 65: | Zeile 65: | ||
Der Begriff des '''KI-Systems''' ist dabei weit gefasst und umfasst sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.<ref name=":0" /> | Der Begriff des '''KI-Systems''' ist dabei weit gefasst und umfasst sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.<ref name=":0" /> | ||
'''General Purpose AI Modelle''' | '''General Purpose AI Modelle''' (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"<ref>Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine '''erhebliche allgemeine Verwendbarkeit aufweist''' und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein '''breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen''', und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."</ref>) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,<ref>Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem '''KI-Modell mit allgemeinem Verwendungszweck beruht''' und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)</ref> das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden. | ||
==== Akteure der KI-VO ==== | ==== Akteure der KI-VO ==== | ||
| Zeile 162: | Zeile 162: | ||
Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 KI-VO): | Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 KI-VO): | ||
* eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI). Diese muss auf Anfrage Behörden zur Verfügung gestellt werden. | * eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).<ref>Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine '''ausführliche Beschreibung der Elemente des Modells''' und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).</ref> Diese muss auf Anfrage Behörden zur Verfügung gestellt werden. | ||
* Informationen und die Dokumentation (Mindestelemente in Anhang XII) erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß der KI-VO nachzukommen. | * Informationen und die Dokumentation (Mindestelemente in Anhang XII)<ref>Das heißt erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine '''Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw''' die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)</ref> erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß der KI-VO nachzukommen. | ||
* eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen | * eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen | ||
* eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen | * eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen | ||
| Zeile 189: | Zeile 189: | ||
== Einführungsbücher == | == Einführungsbücher == | ||
* Hense/Mustac, AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024, iE) | * ''Hense/Mustac'', AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024, iE) | ||
* Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) | * ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) | ||
* Ulbricht/Brajovic/Duhme, Praxishandbuch KI und Recht (2024, iE) | * ''Ulbricht/Brajovic/Duhme'', Praxishandbuch KI und Recht (2024, iE) | ||
* Schwartmann/Keber/Zenner (Hrsg), KI-Verordnung. Leitfaden für die Praxis (2024 | * ''Schwartmann/Keber/Zenner'' (Hrsg), KI-Verordnung. Leitfaden für die Praxis (2024) | ||
* Voigt/Hullen, Handbuch KI-Verordnung. FAQ zum EU AI Act (2024, iE) | * ''Voigt/Hullen'', Handbuch KI-Verordnung. FAQ zum EU AI Act (2024, iE) | ||
* Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024, iE) | * ''Wendt/Wendt'', Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024, iE) | ||
* Windholz, Praxishandbuch KI-VO (2024, iE) | * ''Windholz'', Praxishandbuch KI-VO (2024, iE) | ||
== Kommentare == | == Kommentare == | ||
* Bomhard/Pieper/Wende, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE) | * ''Bomhard/Pieper/Wende'', KI-VO. Künstliche Intelligenz-Verordnung (2024, iE) | ||
* Ebers/Zou, Artificial Intelligence Act. A Commentary (2024, iE) | * ''Ebers/Zou'', Artificial Intelligence Act. A Commentary (2024, iE) | ||
* Feiler/Forgó, KI-VO. EU-Verordnung über Künstliche Intelligenz (2024, iE) | * ''Feiler/Forgó'', KI-VO. EU-Verordnung über Künstliche Intelligenz (2024, iE) | ||
* Heinze/Steinrötter/Zerdick, KI-Verordnung. Gesetz über künstliche Intelligenz (2025) | * ''Heinze/Steinrötter/Zerdick'', KI-Verordnung. Gesetz über künstliche Intelligenz (2025) | ||
* Martini/Wendehorst, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE) | * ''Martini/Wendehorst'', KI-VO. Künstliche Intelligenz-Verordnung (2024, iE) | ||
* Reusch/Chibanguza, KI-VO. Künstliche Intelligenz-Verordnung (2025) | * ''Reusch/Chibanguza'', KI-VO. Künstliche Intelligenz-Verordnung (2025) | ||
* Schwartmann/Keber/Zenner, KI-VO (2024) | * ''Schwartmann/Keber/Zenner'', KI-VO (2024) | ||
* Wendt/Wendt, Artificial Intelligence Act. Article-by-Article Commentary (2024, iE) | * ''Wendt/Wendt'', Artificial Intelligence Act. Article-by-Article Commentary (2024, iE) | ||
* Wendt/Wendt, Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE) | * ''Wendt/Wendt'', Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE) | ||
== Allgemeinere Werke zu KI (Fokus auf Europa) == | == Allgemeinere Werke zu KI (Fokus auf Europa) == | ||
* Custers/Fosch-Villaronga (Hrsg), Law and Artificial Intelligence. Regulating AI and Applying AI in Legal Practice (2022) | * ''Custers/Fosch-Villaronga'' (Hrsg), Law and Artificial Intelligence. Regulating AI and Applying AI in Legal Practice (2022) | ||
* Ebers/Heinze/Steinrötter (Hrsg), Künstliche Intelligenz und Robotik. Rechtshandbuch<sup>2</sup> (2025) | * ''Ebers/Heinze/Steinrötter'' (Hrsg), Künstliche Intelligenz und Robotik. Rechtshandbuch<sup>2</sup> (2025) | ||
* Ebers/Quarch (Hrsg), Rechtshandbuch ChatGPT. KI-basierte Sprachmodelle in der Praxis (2024, iE) | * ''Ebers/Quarch'' (Hrsg), Rechtshandbuch ChatGPT. KI-basierte Sprachmodelle in der Praxis (2024, iE) | ||
* Kaulartz/Merkle (Hrsg), Rechtshandbuch Künstliche Intelligenz<sup>2</sup> (2025) | * ''Kaulartz/Merkle'' (Hrsg), Rechtshandbuch Künstliche Intelligenz<sup>2</sup> (2025) | ||
* Mayrhofer/Nessler/Bieber/Fister/Homar/Tumpel (Hrsg), ChatGPT, Gemini & Co. Große Sprachmodelle und Recht (2024) | * ''Mayrhofer/Nessler/Bieber/Fister/Homar/Tumpel'' (Hrsg), ChatGPT, Gemini & Co. Große Sprachmodelle und Recht (2024) | ||
* Wischmeyer/Rademacher (Hrsg), Regulating Artificial Intelligence (2019) | * ''Wischmeyer/Rademacher'' (Hrsg), Regulating Artificial Intelligence (2019) | ||
= Weiterführende Links = | = Weiterführende Materialien/Links = | ||
* [https://www.cnil.fr/en/self-assessment-guide-artificial-intelligence-ai-systems CNIL, Self-assessment guide for artificial intelligence (AI) systems] | * [https://www.cnil.fr/en/self-assessment-guide-artificial-intelligence-ai-systems CNIL, Self-assessment guide for artificial intelligence (AI) systems] | ||
* [https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence European Parlament, Legislative train: the AI Act] | * [https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence European Parlament, Legislative train: the AI Act] | ||
Version vom 31. Juli 2024, 11:44 Uhr
Kurztitel: Verordnung über Künstliche Intelligenz (KI-VO); Artificial Intelligence Act (AIA)
Kurzübersicht
| Ziele | Anwendungsbereich | Inhalt | Synergie | Konsequenzen |
|---|---|---|---|---|
| Förderung von Innnovation und Vertrauen | Anbieter (häufig Entwickler) bei in Verkehr bringen/in Betrieb nehmen
von KI-Systemen oder |
risikobasierter Ansatz | direkte Verknüpfung
mit der RL über außervertragliche Haftung (AILD) |
|
| Wahrung der Grundrechte und
Sicherheit von EU-Bürgern |
GPAI-Modellen (general pupose AI) | Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme) | einige Querbezüge zur DSGVO (zB
Verarbeitung zur Vermeidung von Verzerrungen Art 10), regulatory sandboxes |
|
| Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz
(eingeschränkt); reine Forschungszwecke Inkrafttreten am 1. August 2024; Geltung ab 2. August 2026; einige Aspekte (verbotene Systeme) bereits ab 2. Februar 2025 |
strenge Regulierung von Hochrisiko-
KI-Systemen (bspw Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht) |
|||
| eingeschränkte Pflichten für Betreiber (professionelle Nutzer) | Transparenzpflichten für gewisse KI-Systeme (bspw Chatbots, Deepfakes) |
Einführung
Die KI-VO stellt den europäischen Versuch dar, eine sektorunabhängige Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Thematisch handelt es sich dabei primär um Produktsicherheitsrecht, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und sog GPAI-Modellen. Kernstück ist ein risikobasierter Ansatz, der im Sinne der Verhältnismäßigkeit dafür sorgen sollte, dass höhere Risiken mit einer höheren Regulierungsdichte korrespondieren, während KI-Systeme[1] mit geringem Risiko nicht "überreguliert" werden sollen. Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle eingefügt.[2]
Anwendungsbereich (Art 2 KI-VO)
KI-Systeme und GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck
Zentraler Anknüpfungspunkt für die Anwendbarkeit der KI-VO ist dabei das Vorliegen eines "KI-Systems" oder eines "GPAI-Modells".
Der Begriff des KI-Systems ist dabei weit gefasst und umfasst sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.[1]
General Purpose AI Modelle (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"[3]) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,[4] das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden.
Akteure der KI-VO
In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.
Anbieter ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 KI-VO).
Betreiber (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 KI-VO).
(Geographischer) Anwendungsbereich
Der (geographische) Anwendungsbereich der KI-VO (Art 2) umfasst dabei primär:[5]
- Anbieter, die in der Union KI-Systeme in Verkehr bringen[6] oder in Betrieb nehmen[7] oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind
- Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden
- Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird
Ausnahmen
Art 2 Abs 2 ff KI-VO enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:
- Bereichen, die nicht unter das Unionsrecht fallen (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
- KI-Systeme/KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
- Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen/KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.[8]
Inhaltliche Aspekte
KI-Kompetenz (Art 4 KI-VO)
Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 KI-VO, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.
Verbotene Praktiken (Art 5 KI-VO)
Nach Art 5 KI-VO sind gewisse Praktiken im KI-Bereich verboten:[9]
- unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken
- Ausnutzen der Vulnerabilität/Schutzbedürftigkeit
- social scoring (Bewertung/Einstufung von Personen/Gruppen von Personen auf der Grundlage ihres sozialen Verhaltens/Eigenschaften/Persönlichkeitsmerkmale)
- Bewertung des Risikos, dass eine Person eine Straftat begeht (ausschließlich aufgrund von Profiling)
- Erstellung/Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern
- Emotionserkennungssysteme am Arbeitsplatz oder in Bildungseinrichtungen
- biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
- biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)
Hochrisiko-KI-Systeme (Art 5 KI-VO)
Die KI-VO definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber in der KI-VO selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. [10]
Darüber hinaus enthält Art 6 Abs 3 KI-VO Ausnahmen von der Einstufung als Hochrisiko-KI-System.
Nach Art 6 Abs 5 KI-VO hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.
"Eingebettete" Hochrisiko-KI-Systeme
Nach Art 6 Abs 1 KI-VO gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:
- das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
- das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden
Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).
Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren: Software kann ein Medizinprodukte im Sinne der Medizinprodukteverordnung (MPVO) darstellen. Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko, unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen: einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I genannt wird, und anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter".
"Eigenständige" Hochrisiko-KI-Systeme
Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 KI-VO definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten (bspw biometrisch Identifizierung, kritische Infrastrukturen, grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle). Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 KI-VO).
Ausnahmen
Art 6 Abs 3 KI-VO enthält als Abweichung Ausnahmen von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.
Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn
- es dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen (bspw ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt)
- es dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (bspw KI-Systeme, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen
- es dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (bspw KI-Systeme, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen)
- es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)
Art 6 Abs 3 KI-VO enthält dabei auch eine Rückausnahme, die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."
Pflichten für Anbieter
Pflichten für Betreiber
Transparenzpflichten
GPAI-Modelle
Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko
Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 KI-VO). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff KI-VO).
Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.
Ein solches systemisches Risiko liegt vor (Art 51 KI-VO),
- wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]), mehr als 1025 beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 KI-VO).
- ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)
Pflichten für Anbieter von GPAI-Modellen
Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 KI-VO):
- eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).[11] Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.
- Informationen und die Dokumentation (Mindestelemente in Anhang XII)[12] erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß der KI-VO nachzukommen.
- eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
- eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen
Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko
Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 KI-VO):
- eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
- mögliche systemische Risiken auf Unionsebene bewerten und mindern,
- einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und die Behörden darüber unterrichten
- ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.
Strafen/sonstige Konsequenzen
Verhältnis und Synergien zu anderen Rechtsakten
Fassungen der KI-VO
- Kommissionsvorschlag April 2021: Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union
- Allgemeine Ausrichtung des Rates Dezember 2022: Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union – Allgemeine Ausrichtung, 2021/0106(COD)
- Abänderungen des Europäischen Parlaments Juni 2023: Abänderungen des Europäischen Parlaments vom 14. Juni 2023 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD))
- Finale, im Amtsblatt veröffentlichte Fassung: Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (KI-VO)
Weiterführende Literatur
Einführungsbücher
- Hense/Mustac, AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024, iE)
- Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
- Ulbricht/Brajovic/Duhme, Praxishandbuch KI und Recht (2024, iE)
- Schwartmann/Keber/Zenner (Hrsg), KI-Verordnung. Leitfaden für die Praxis (2024)
- Voigt/Hullen, Handbuch KI-Verordnung. FAQ zum EU AI Act (2024, iE)
- Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024, iE)
- Windholz, Praxishandbuch KI-VO (2024, iE)
Kommentare
- Bomhard/Pieper/Wende, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
- Ebers/Zou, Artificial Intelligence Act. A Commentary (2024, iE)
- Feiler/Forgó, KI-VO. EU-Verordnung über Künstliche Intelligenz (2024, iE)
- Heinze/Steinrötter/Zerdick, KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
- Martini/Wendehorst, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
- Reusch/Chibanguza, KI-VO. Künstliche Intelligenz-Verordnung (2025)
- Schwartmann/Keber/Zenner, KI-VO (2024)
- Wendt/Wendt, Artificial Intelligence Act. Article-by-Article Commentary (2024, iE)
- Wendt/Wendt, Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE)
Allgemeinere Werke zu KI (Fokus auf Europa)
- Custers/Fosch-Villaronga (Hrsg), Law and Artificial Intelligence. Regulating AI and Applying AI in Legal Practice (2022)
- Ebers/Heinze/Steinrötter (Hrsg), Künstliche Intelligenz und Robotik. Rechtshandbuch2 (2025)
- Ebers/Quarch (Hrsg), Rechtshandbuch ChatGPT. KI-basierte Sprachmodelle in der Praxis (2024, iE)
- Kaulartz/Merkle (Hrsg), Rechtshandbuch Künstliche Intelligenz2 (2025)
- Mayrhofer/Nessler/Bieber/Fister/Homar/Tumpel (Hrsg), ChatGPT, Gemini & Co. Große Sprachmodelle und Recht (2024)
- Wischmeyer/Rademacher (Hrsg), Regulating Artificial Intelligence (2019)
Weiterführende Materialien/Links
- CNIL, Self-assessment guide for artificial intelligence (AI) systems
- European Parlament, Legislative train: the AI Act
- Future of Life Institute (FLI), AI Act Explorer
- GDD ([Deutsche] Gesellschaft für Datenschutz und Datensicherheit), GDD-Praxishilfe Europäische Datenstrategie: KI-VO, Data Act etc. - Adressaten und Regelungsschwerpunkte der neuen Digitalakte (Juli 2024)
- Österreichische Datenschutzbehörde, FAQ zum Thema KI und Datenschutz (Stand: 2. Juli 2024)
- ↑ 1,0 1,1 Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen." Zentrales Abgrenzungsmerkmal ist die Fähigkeit zur Ableitung von Ausgaben oder von Modellen oder Algorithmen. Nach ErwGr 12 geht "Die Fähigkeit eines KI-Systems, abzuleiten, [...] über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden." Differenziert zum Begriff "KI-System" Wendehorst/Nessler/Aufreiter/Aichinger, Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.
- ↑ MwN zu diesen Entwicklungen Hacker/Engel/Mauer, Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; Steindl, Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.
- ↑ Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."
- ↑ Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)
- ↑ Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst: Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.
- ↑ Art 3 Z 9 KI-VO: "'Inverkehrbringen' die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
- ↑ Art 3 Z 11 KI-VO: "'Inbetriebnahme' die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
- ↑ Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.
- ↑ MwN Neuwirth, Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; Rostaski/Weiss, § 3. Verbotene Praktiken, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.
- ↑ MwN Martini, § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).
- ↑ Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine ausführliche Beschreibung der Elemente des Modells und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).
- ↑ Das heißt erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)
