Artificial Intelligence Act (AIA): Unterschied zwischen den Versionen

Aus RI Wiki
Zur Navigation springenZur Suche springen
← Zum vorherigen VersionsunterschiedZum nächsten Versionsunterschied →
VisuellWikitext
Zeile 60: Zeile 60:
== Anwendungsbereich (Art 2 KI-VO) ==
== Anwendungsbereich (Art 2 KI-VO) ==


==== KI-Systeme und GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck ====
==== KI-Systeme ====
Zentraler Anknüpfungspunkt für die Anwendbarkeit der KI-VO ist dabei das Vorliegen eines "KI-Systems" oder eines "GPAI-Modells".  
Zentraler Anknüpfungspunkt für die Anwendbarkeit der KI-VO ist dabei das Vorliegen eines "KI-Systems". Zentrales Merkmal ist dabei die Fähigkeit, '''<u>abzuleiten</u>'''. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Technische Ansätze, die diese Fähigkeit besitzen, umfassen sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Vorgehensweisen.<ref name=":0">Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein '''maschinengestütztes''' System, das für einen in '''unterschiedlichem Grade autonomen Betrieb''' ausgelegt ist und das nach seiner Betriebsaufnahme '''anpassungsfähig sein kann''' und das aus den erhaltenen '''Eingaben''' für '''explizite oder implizite Ziele''' '''<u>ableitet</u>''', wie '''Ausgaben''' wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die '''physische oder virtuelle Umgebungen beeinflussen können'''." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen." Zentrales Abgrenzungsmerkmal ist die Fähigkeit zur Ableitung von Ausgaben oder von Modellen oder Algorithmen. Nach ErwGr 12 geht "Die Fähigkeit eines KI-Systems, abzuleiten, [...] über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden."  
 
Der Begriff des '''KI-Systems''' ist dabei weit gefasst und umfasst sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.<ref name=":0">Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein '''maschinengestütztes''' System, das für einen in '''unterschiedlichem Grade autonomen Betrieb''' ausgelegt ist und das nach seiner Betriebsaufnahme '''anpassungsfähig sein kann''' und das aus den erhaltenen '''Eingaben''' für '''explizite oder implizite Ziele''' '''<u>ableitet</u>''', wie '''Ausgaben''' wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die '''physische oder virtuelle Umgebungen beeinflussen können'''." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen." Zentrales Abgrenzungsmerkmal ist die Fähigkeit zur Ableitung von Ausgaben oder von Modellen oder Algorithmen. Nach ErwGr 12 geht "Die Fähigkeit eines KI-Systems, abzuleiten, [...] über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden."  


Differenziert zum Begriff "KI-System" ''Wendehorst/Nessler/Aufreiter/Aichinger'', Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.</ref>  
Differenziert zum Begriff "KI-System" ''Wendehorst/Nessler/Aufreiter/Aichinger'', Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.</ref>  


=== GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck ===
'''General Purpose AI Modelle''' (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"<ref>Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine '''erhebliche allgemeine Verwendbarkeit aufweist''' und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein '''breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen''', und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."</ref>) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,<ref>Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem '''KI-Modell mit allgemeinem Verwendungszweck beruht''' und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)</ref> das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden.  
'''General Purpose AI Modelle''' (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"<ref>Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine '''erhebliche allgemeine Verwendbarkeit aufweist''' und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein '''breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen''', und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."</ref>) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,<ref>Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem '''KI-Modell mit allgemeinem Verwendungszweck beruht''' und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)</ref> das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden.  


Version vom 31. Juli 2024, 13:00 Uhr

Langtitel: Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828

Kurztitel: Verordnung über Künstliche Intelligenz (KI-VO); Artificial Intelligence Act (AIA)

Kurzübersicht

Ziele Anwendungsbereich Inhalt Synergie Konsequenzen
Förderung von Innnovation und Vertrauen Anbieter (häufig Entwickler) bei in Verkehr bringen/in Betrieb nehmen

von KI-Systemen oder

risikobasierter Ansatz direkte Verknüpfung

mit der RL über außervertragliche Haftung (AILD)

Wahrung der Grundrechte und

Sicherheit von EU-Bürgern

GPAI-Modellen (general pupose AI) Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme) einige Querbezüge zur DSGVO (zB

Verarbeitung zur Vermeidung von Verzerrungen Art 10), regulatory sandboxes

Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz

(eingeschränkt); reine Forschungszwecke

Inkrafttreten am 1. August 2024; Geltung ab 2. August 2026;

einige Aspekte (verbotene Systeme) bereits ab 2. Februar 2025

strenge Regulierung von Hochrisiko-

KI-Systemen (bspw Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht)

eingeschränkte Pflichten für Betreiber (professionelle Nutzer) Transparenzpflichten für gewisse KI-Systeme (bspw Chatbots, Deepfakes)

Einführung

Datei:KI-VO Risikopyramide Kommission.jpg
Risikopyramide der KI-VO (Europäische Kommission)

Die KI-VO stellt den europäischen Versuch dar, eine sektorunabhängige Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Die KI-VO folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und Modellen. Kernstück der KI-VO ein risikobasierter Ansatz, der KI-Systeme abhängig vom mit ihnen verbundenen Risiko verbietet, stark reguliert, Transparenzpflichten vorsieht oder Systeme mit minimalem Risiko unberührt lässt.

Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle eingefügt.[1]

Anwendungsbereich (Art 2 KI-VO)

KI-Systeme

Zentraler Anknüpfungspunkt für die Anwendbarkeit der KI-VO ist dabei das Vorliegen eines "KI-Systems". Zentrales Merkmal ist dabei die Fähigkeit, abzuleiten. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Technische Ansätze, die diese Fähigkeit besitzen, umfassen sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Vorgehensweisen.[2]

GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck

General Purpose AI Modelle (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"[3]) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,[4] das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden.

Akteure der KI-VO

In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.

Anbieter ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 KI-VO).

Betreiber (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 KI-VO).

(Geographischer) Anwendungsbereich

Der (geographische) Anwendungsbereich der KI-VO (Art 2) umfasst dabei primär:[5]

  • Anbieter, die in der Union KI-Systeme in Verkehr bringen[6] oder in Betrieb nehmen[7] oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind
  • Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden
  • Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird

Ausnahmen

Art 2 Abs 2 ff KI-VO enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:

  • Bereiche, die nicht unter das Unionsrecht fallen (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
  • KI-Systeme/KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
  • Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen/KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.[8]

Zeitlicher Anwendungsbereich

Die KI-VO erlangt am 1. August 2024 Geltung und tritt generell am 2. August 2026 in Kraft und ist damit auf Sachverhalte anwendbar (Art 113 KI-VO). Gestaffelt treten einige Bestimmungen jedoch bereits vorab in Kraft:

  • allgemeine Bestimmungen und verbotene Praktiken ab 2. Februar 2025
  • Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
  • Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027

Materielle Aspekte: Risikobasierter Ansatz

KI-Kompetenz/AI literacy (Art 4 KI-VO)

Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 KI-VO, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.

KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 KI-VO)

Nach Art 5 KI-VO sind gewisse Praktiken im KI-Bereich verboten:[9]

  • unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken
  • Ausnutzen der Vulnerabilität/Schutzbedürftigkeit
  • social scoring (Bewertung/Einstufung von Personen/Gruppen von Personen auf der Grundlage ihres sozialen Verhaltens/Eigenschaften/Persönlichkeitsmerkmale)
  • Bewertung des Risikos, dass eine Person eine Straftat begeht (ausschließlich aufgrund von Profiling)
  • Erstellung/Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern
  • Emotionserkennungssysteme am Arbeitsplatz oder in Bildungseinrichtungen
  • biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
  • biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)

Hochrisiko-KI-Systeme (Art 6 KI-VO)

Die KI-VO definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber in der KI-VO selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. [10]

Darüber hinaus enthält Art 6 Abs 3 KI-VO Ausnahmen von der Einstufung als Hochrisiko-KI-System.

Nach Art 6 Abs 5 KI-VO hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.

"Eingebettete" Hochrisiko-KI-Systeme (embedded high-risk AI systems) (Art 6 Abs 1 KI-VO)

Nach Art 6 Abs 1 KI-VO gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:

  • das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
  • das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden

Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).

Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren: Software kann ein Medizinprodukte im Sinne der Medizinprodukteverordnung (MPVO) darstellen. Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko, unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen: einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I genannt wird, und anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter".

"Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 KI-VO)

Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 KI-VO definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten (bspw biometrisch Identifizierung, kritische Infrastrukturen, grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle). Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 KI-VO).

Ausnahmen (Art 6 Abs 3 KI-VO)

Art 6 Abs 3 KI-VO enthält als Abweichung Ausnahmen von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.

Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn

  1. es dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen (bspw ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt)
  2. es dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (bspw KI-Systeme, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen
  3. es dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (bspw KI-Systeme, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen)
  4. es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)

Art 6 Abs 3 KI-VO enthält dabei auch eine Rückausnahme, die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."

Pflichten für Anbieter

Pflichten für Betreiber

Transparenzpflichten (Art 50 KI-VO)

Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 KI-VO Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden.

  • Anbieter haben bei KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind (zB Chatbots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.[11]
  • Anbieter von KI-Systemen die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind.[12]
  • Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung müssen die davon betroffenen natürlichen Personen über den Betrieb des Systems informieren und personenbezogene Daten datenschutzkonform[13] verarbeiten.[14]
  • Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.[15]
  • Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.[16]

KI-Systeme mit minimalem Risiko

Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als KI-Systeme mit minimalem Risiko bezeichnet, sieht die KI-VO keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter die KI-VO möglich.. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 KI-VO).

GPAI-Modelle (Art 51 ff KI-VO)

Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko

Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 KI-VO). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff KI-VO).

Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.

Ein solches systemisches Risiko liegt vor (Art 51 KI-VO),

  • wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]), mehr als 1025 beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 KI-VO).
  • ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)

Pflichten für Anbieter von GPAI-Modellen

Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 KI-VO):

  • eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).[17] Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.
  • Informationen und die Dokumentation (Mindestelemente in Anhang XII)[18] erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß der KI-VO nachzukommen.
  • eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
  • eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen

Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko

Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 KI-VO):

  • eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
  • mögliche systemische Risiken auf Unionsebene bewerten und mindern,
  • einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und die Behörden darüber unterrichten
  • ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.

Strafen/sonstige Konsequenzen

Verhältnis und Synergien zu anderen Rechtsakten

Fassungen der KI-VO

Weiterführende Literatur

Einführungsbücher

  • Hense/Mustac, AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024, iE)
  • Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
  • Ulbricht/Brajovic/Duhme, Praxishandbuch KI und Recht (2024, iE)
  • Schwartmann/Keber/Zenner (Hrsg), KI-Verordnung. Leitfaden für die Praxis (2024)
  • Voigt/Hullen, Handbuch KI-Verordnung. FAQ zum EU AI Act (2024, iE)
  • Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024, iE)
  • Windholz, Praxishandbuch KI-VO (2024, iE)

Kommentare

  • Bomhard/Pieper/Wende, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
  • Ebers/Zou, Artificial Intelligence Act. A Commentary (2024, iE)
  • Feiler/​Forgó, KI-VO. EU-Verordnung über Künstliche Intelligenz (2024, iE)
  • Heinze/Steinrötter/Zerdick, KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
  • Martini/Wendehorst, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
  • Reusch/Chibanguza, KI-VO. Künstliche Intelligenz-Verordnung (2025)
  • Schwartmann/Keber/Zenner, KI-VO (2024)
  • Wendt/Wendt, Artificial Intelligence Act. Article-by-Article Commentary (2024, iE)
  • Wendt/Wendt, Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE)

Allgemeinere Werke zu KI (Fokus auf Europa)

  • Custers/Fosch-Villaronga (Hrsg), Law and Artificial Intelligence. Regulating AI and Applying AI in Legal Practice (2022)
  • Ebers/Heinze/Steinrötter (Hrsg), Künstliche Intelligenz und Robotik. Rechtshandbuch2 (2025)
  • Ebers/Quarch (Hrsg), Rechtshandbuch ChatGPT. KI-basierte Sprachmodelle in der Praxis (2024, iE)
  • Kaulartz/Merkle (Hrsg), Rechtshandbuch Künstliche Intelligenz2 (2025)
  • Mayrhofer/Nessler/Bieber/Fister/Homar/Tumpel (Hrsg), ChatGPT, Gemini & Co. Große Sprachmodelle und Recht (2024)
  • Wischmeyer/Rademacher (Hrsg), Regulating Artificial Intelligence (2019)

Weiterführende Materialien/Links

  1. ↑ MwN zu diesen Entwicklungen Hacker/Engel/Mauer, Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; Steindl, Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.
  2. ↑ Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen." Zentrales Abgrenzungsmerkmal ist die Fähigkeit zur Ableitung von Ausgaben oder von Modellen oder Algorithmen. Nach ErwGr 12 geht "Die Fähigkeit eines KI-Systems, abzuleiten, [...] über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden." Differenziert zum Begriff "KI-System" Wendehorst/Nessler/Aufreiter/Aichinger, Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.
  3. ↑ Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."
  4. ↑ Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)
  5. ↑ Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst: Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.
  6. ↑ Art 3 Z 9 KI-VO: "'Inverkehrbringen' die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
  7. ↑ Art 3 Z 11 KI-VO: "'Inbetriebnahme' die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
  8. ↑ Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.
  9. ↑ MwN Neuwirth, Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; Rostaski/Weiss, § 3. Verbotene Praktiken, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.
  10. ↑ MwN Martini, § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).
  11. ↑ Eine solche Kennzeichnung ist nicht notwendig, wenn es aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass mit einem KI-System interagiert wird. Diese Pflicht gilt ebenfalls nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.
  12. ↑ Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.
  13. ↑ Dabei wird explizit auf die DSGVO, die VO (EU) 2018/1725 des Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur Aufhebung der Verordnung (EG) Nr. 45/2001 und des Beschlusses Nr. 1247/2002/EG und die RL (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates verwiesen.
  14. ↑ Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.
  15. ↑ Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
  16. ↑ Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
  17. ↑ Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine ausführliche Beschreibung der Elemente des Modells und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).
  18. ↑ Das heißt erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)
Abgerufen von „https://wiki.atlaws.eu/index.php?title=Artificial_Intelligence_Act_(AIA)&oldid=160“