Artificial Intelligence Act (AIA): Unterschied zwischen den Versionen

Aus RI Wiki
Zur Navigation springenZur Suche springen
 
(102 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
'''Langtitel''': [https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A32024R1689 Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828]
{{Infobox Rechtsakt (EU)|Typ=Verordnung|Jahr=2024|Nummer=1689|Vertrag=EU|EWR=ja|Titel=Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828|Kurztitel=Verordnung über Künstliche Intelligenz|Bezeichnung=AI Act (AIA)/KI-VO|Rechtsmaterie=Binnenmarkt, Künstliche Intelligenz|Grundlage=AEUV, insbesondere {{Art.|114|AEUV|dejure|}}|Fundstelle=ABl L 2024/1689, 1|Anzuwenden=2. August 2026 (mit Ausnahmen)|Gültig=inkraft}}


'''Kurztitel''': Verordnung über Künstliche Intelligenz (KI-VO); Artificial Intelligence Act (AIA) 


== Kurzübersicht ==
== Kurzübersicht ==
Zeile 9: Zeile 8:
!Anwendungsbereich
!Anwendungsbereich
!Inhalt
!Inhalt
!Synergie
!Synergien
!Konsequenzen
!Konsequenzen
|-
|-
Zeile 19: Zeile 18:
mit der RL über außervertragliche  
mit der RL über außervertragliche  
Haftung (AILD)
Haftung (AILD)
|
|Geldbußen von bis zu 35 000 000 Euro/7% des gesamten weltweiten Jahresumsatzes (Verstoß gegen verbotene Praktiken)
|-
|-
|Wahrung der Grundrechte und  
|Wahrung der Grundrechte und  
Sicherheit von EU-Bürgern
Sicherheit von EU-Bürger*innen
|GPAI-Modellen (general pupose AI)
|GPAI-Modellen (general pupose AI)
|Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme)  
|Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme)  
Zeile 29: Zeile 28:
Verzerrungen Art 10), regulatory
Verzerrungen Art 10), regulatory
sandboxes
sandboxes
|
|Geldbußen von bis zu 15 000 000 Euro/3 % des gesamten weltweiten Jahresumsatzes (bspw Anbieter- und Betreiberpflichten)
|-
|-
|
|Förderung des Funktionierens des Binnenmarktes
|Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz
|Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz
(eingeschränkt); reine Forschungszwecke
(eingeschränkt); reine Forschungszwecke
Zeile 42: Zeile 41:
Datenqualität, Dokumentation, Transparenz,
Datenqualität, Dokumentation, Transparenz,
menschliche Aufsicht)  
menschliche Aufsicht)  
|Integrierung/Kombination von Anforderungen stellenweise möglich (zB Riskomanagementsysteme)
|Geldbußen von bis zu 7 500 000 Euro/1% des gesamten weltweiten Jahresumsatzes (Bereitstellung von falschen, unvollständigen oder irreführenden Informationen)
|-
|
|
|eingeschränkte Pflichten für Betreiber (professionelle Nutzer*innen)
|Transparenzpflichten für gewisse KI-Systeme (bspw Chatbots, Deepfakes)
|
|
|Geldbußen von bis zu 15 000 000 Euro/3% des gesamten weltweiten Jahresumsatzes (Verstöße gegen Pflichten von Anbietern von GPAI-Modellen)
|-
|-
|
|
|eingeschränkte Pflichten für Betreiber (professionelle Nutzer)
|
|Transparenzpflichten für gewisse KI-Systeme (bspw Chatbots, Deepfakes)
|Sonderregeln für GPAI-Modelle
|
|
|
|
Zeile 53: Zeile 58:


== Einführung ==
== Einführung ==
[[Datei:KI-VO Risikopyramide Kommission.jpg|mini|Risikopyramide der KI-VO (Europäische Kommission)]]
[[Datei:AI Act Risikopyramide Neu.png|mini|354x354px|Risikopyramide des AI Act; ''Europäische Kommission'', https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai.]]  
Die KI-VO stellt den europäischen Versuch dar, eine sektorunabhängige Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Die KI-VO folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und Modellen. Kernstück der KI-VO ein risikobasierter Ansatz, der KI-Systeme abhängig vom mit ihnen verbundenen Risiko verbietet, stark reguliert, Transparenzpflichten vorsieht oder Systeme mit minimalem Risiko unberührt lässt.
Der AI Act stellt den europäischen Versuch dar, eine sektorübergreifende Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Der AI Act folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und Modellen.


Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle eingefügt.<ref>MwN zu diesen Entwicklungen ''Hacker/Engel/Mauer'', Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; ''Steindl'', Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.</ref>  
Der AI Act verfolgt dabei kontrastierende Ziele: So soll das '''Funktionieren des Binnenmarktes''' durch einen einheitlichen Rechtsrahmen verbessert, '''menschenzentrierte und vertrauenswürdige KI''' gefördert und gleichzeitig ein hohes '''Schutzniveau''' in Bezug auf Gesundheit, Sicherheit und der Grundrechte sichergestellt, der '''Schutz vor schädlichen Auswirkungen''' von KI-Systemen gewährleistet und gleichzeitig die '''Innovation''' unterstützt werden (ErwGr 1 AI Act).   


== Anwendungsbereich (Art 2 KI-VO) ==
Kernstück des AI Act ist ein '''risikobasierter Ansatz''', der KI-Systeme abhängig vom mit ihnen verbundenen Risiko verbietet, Hochrisiko-KI-Systeme stark reguliert, Transparenzpflichten für gewisse Systeme vorsieht oder Systeme mit minimalem Risiko unberührt lässt.
 
Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog '''general purpose AI (GPAI) Modell'''e bzw KI-Modelle mit allgemeinem Verwendungszweck eingefügt.<ref>MwN zu diesen Entwicklungen ''Hacker/Engel/Mauer'', Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; ''Steindl'', Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.</ref>
 
== Anwendungsbereich ==


=== Sachlicher Anwendungsbereich ===
=== Sachlicher Anwendungsbereich ===


==== KI-Systeme ====
==== KI-Systeme ====
Zentraler Anknüpfungspunkt für die Anwendbarkeit der KI-VO ist dabei das Vorliegen eines "KI-Systems" (Art 3 Z 1 KI-VO).<ref name=":0">Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein '''maschinengestütztes''' System, das für einen in '''unterschiedlichem Grade autonomen Betrieb''' ausgelegt ist und das nach seiner Betriebsaufnahme '''anpassungsfähig sein kann''' und das aus den erhaltenen '''Eingaben''' für '''explizite oder implizite Ziele''' '''<u>ableitet</u>''', wie '''Ausgaben''' wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die '''physische oder virtuelle Umgebungen beeinflussen können'''." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen."   
Zentraler Anknüpfungspunkt für die Anwendbarkeit des AI Act ist dabei das Vorliegen eines "KI-Systems" (Art 3 Z 1 AI Act).<ref name=":0">Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein '''maschinengestütztes''' System, das für einen in '''unterschiedlichem Grade autonomen Betrieb''' ausgelegt ist und das nach seiner Betriebsaufnahme '''anpassungsfähig sein kann''' und das aus den erhaltenen '''Eingaben''' für '''explizite oder implizite Ziele''' '''<u>ableitet</u>''', wie '''Ausgaben''' wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die '''physische oder virtuelle Umgebungen beeinflussen können'''." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen."   


Differenziert zum Begriff "KI-System" ''Wendehorst/Nessler/Aufreiter/Aichinger'', Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.</ref> Das wichtigsten Abgrenzungsmerkmal der breit gehaltenen Definition ist die Fähigkeit, '''<u>abzuleiten</u>'''. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Der Begriff umfasst damit sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.  
Differenziert zum Begriff "KI-System" ''Wendehorst/Nessler/Aufreiter/Aichinger'', Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.</ref> Das wichtigsten Abgrenzungsmerkmal der breit gehaltenen Definition ist die Fähigkeit, '''<u>abzuleiten</u>'''. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Der Begriff umfasst damit sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.  
Um Unklarheiten zu beseitigen, wird die Kommission Leitlinien vorlegen, um auch den Begriff KI-System zu klären.<ref>Dafür wurde ein Konsultationsprozess durchgeführt, vgl ''European Commission'', Commission launches consultation on AI Act prohibitions and AI system definition, https://digital-strategy.ec.europa.eu/en/news/commission-launches-consultation-ai-act-prohibitions-and-ai-system-definition (Stand 13. 11. 2024).</ref> So wurden Unklarheiten bemängelt, zB ob hybride (neurosymbolische) Systeme unter den Begriff fallen.<ref>''EDPS'', EDPS comments to the AI Office’s consultation on the application of the definition of an AI system and the prohibited AI practices established in the AI Act launched by the European AI Office (2024) 3, https://www.edps.europa.eu/data-protection/our-work/publications/formal-comments/2024-12-19-edps-ai-offices-consultation-application-definition-ai-system-and-prohibited-ai-practices-established-ai-act-launched-european-ai_en.</ref>
Die entsprechenden (unverbindlichen) '''Leitlinien''' der Kommission wurden am 6. Februar 2025 veröffentlicht und stellen bspw klar, welche Systeme nicht in den Anwendungsbereich fallen (zB etablierte lineare Modelle).<ref>Annex to the Communication to the Commission Approval of the content of the draft Communication from the Commission - Commission Guidelines on the defintion of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act), C(2025) 924 final, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-ai-system-definition-facilitate-first-ai-acts-rules-application.</ref>


==== GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck ====
==== GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck ====
'''General Purpose AI Modelle''' (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"<ref>Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine '''erhebliche allgemeine Verwendbarkeit aufweist''' und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein '''breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen''', und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."</ref>) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 KI-VO). Ein KI-System bzw GPAI-System,<ref>Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem '''KI-Modell mit allgemeinem Verwendungszweck beruht''' und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)</ref> das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz der KI-VO eingestuft werden.  
'''General Purpose AI Modelle''' (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"<ref>Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine '''erhebliche allgemeine Verwendbarkeit aufweist''' und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein '''breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen''', und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."</ref>) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 AI Act). Ein KI-System bzw GPAI-System,<ref>Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem '''KI-Modell mit allgemeinem Verwendungszweck beruht''' und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)</ref> das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz des AI Act eingestuft werden.  


=== Personeller Anwendungsbereich ===
=== Personeller Anwendungsbereich ===
[[Datei:KI-Servicestelle bei der RTR, AI Act Akteure.svg|links|mini|390x390px|Überblick über die Interaktion der einzelnen Akteure im AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html. ]] 
In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.   
In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.   


'''Anbieter''' ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 KI-VO).  
'''Anbieter''' ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 AI Act).  


'''Betreiber''' (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 KI-VO).  
'''Betreiber''' (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 AI Act).  


=== (Geographischer) Anwendungsbereich ===
Daneben existieren auch weniger relevante Akteure wie Einführer, Händler und Bevollmächtigte.
Der (geographische) Anwendungsbereich der KI-VO (Art 2) umfasst dabei primär:<ref>Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst:  
 
=== (Geographischer) Anwendungsbereich (Art 2 AI Act) ===
Der (geographische) Anwendungsbereich des AI Act (Art 2) umfasst dabei primär:<ref>Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst:  


Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.</ref>   
Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.</ref>   
Zeile 90: Zeile 108:
* Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird
* Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird


=== Ausnahmen ===
=== Ausnahmen (Art 2 Abs 2 ff AI Act) ===
Art 2 Abs 2 ff KI-VO enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:
Art 2 Abs 2 ff AI Act enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:


* Bereiche, die '''<u>nicht</u> unter das Unionsrecht fallen''' (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
* Bereiche, die '''<u>nicht</u> unter das Unionsrecht fallen''' (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
* KI-Systeme/KI-Modelle, die eigens für den '''<u>alleinigen</u> Zweck der wissenschaftlichen Forschung und Entwicklung''' entwickelt und in Betrieb genommen werden.
* KI-Systeme/KI-Modelle, die eigens für den '''<u>alleinigen</u> Zweck der wissenschaftlichen Forschung und Entwicklung''' entwickelt und in Betrieb genommen werden.
* '''Forschungs-, Test- und Entwicklungstätigkeiten''' zu KI-Systemen/KI-Modellen, '''<u>bevor</u>''' diese in Verkehr gebracht oder in Betrieb genommen werden.<ref>Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.</ref>
* '''Forschungs-, Test- und Entwicklungstätigkeiten''' zu KI-Systemen/KI-Modellen, '''<u>bevor</u>''' diese in Verkehr gebracht oder in Betrieb genommen werden.<ref>Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.</ref>
* Der AI Act gilt für Betreiber, die natürliche Personen sind und KI-Systeme im Rahmen einer '''ausschließlich persönlichen und nicht beruflichen Tätigkeit''' verwenden ("Haushaltsausnahme")
*
{| class="wikitable"
|+
!Hinweis zur Sonderregelung von älterem Produktsicherheitsrecht (zB Mobilität)
|-
|Produkte, die unter Produktsicherheitsvorschriften mit dem älteren Ansatz (old approach) fallen und in Anhang I Abschnitt B gelistet werden (zB Luftfahrt und Mobilität) unterliegen nur eingeschränkt dem AI Act (Art 2 Abs 2 AI Act). Sie sind zwar nicht vollständig vom Anwendungsbereich ausgenommen, für sie gelten jedoch nur wenige Bestimmungen (Art 6 Abs 1, Art 102-109, Art 112 und Art 57 AI Act zu Reallaboren).
In der Praxis werden die Anforderungen des AI Act dabei "indirekt" im Wege der delegierten Gesetzgebung/von Durchführungsrechtsakten dieser Produktsicherheitsrechtsakte zur Anwendung kommen.
Die Trennung von Anhang I in Abschnitt A, der direkt dem AI Act unterfällt, und Abschnitt B, für den diese Wirkung indirekt erzielt wird, sollte somit in der Praxis beachtet werden.
|}
*


=== Zeitlicher Anwendungsbereich ===
Die KI-VO erlangt am 1. August 2024 Geltung und tritt generell am 2. August 2026 in Kraft und ist damit auf Sachverhalte anwendbar (Art 113 KI-VO). Gestaffelt treten einige Bestimmungen jedoch bereits vorab in Kraft:<ref>''Future of Privacy Forum (FPF)'', EU AI Act. A Comprehensive Implementation & Compliance Timeline, https://fpf.org/wp-content/uploads/2024/07/FPF_EU_AI_Act_Timeline_July_24.pdf. </ref>


* allgemeine Bestimmungen und verbotene Praktiken ab 2. Februar 2025
=== Zeitlicher Anwendungsbereich (Art 113 AI Act) ===
Der AI Act erlangt am 1. August 2024 Geltung und tritt generell am 2. August 2026 in Kraft und ist damit auf Sachverhalte anwendbar (Art 113 AI Act). Gestaffelt treten einige Bestimmungen jedoch bereits vorab in Kraft:<ref>''Future of Privacy Forum (FPF)'', EU AI Act. A Comprehensive Implementation & Compliance Timeline, https://fpf.org/wp-content/uploads/2024/07/FPF_EU_AI_Act_Timeline_July_24.pdf. </ref>
 
* allgemeine Bestimmungen (inklusive KI-Kompetenz) und verbotene Praktiken ab '''2. Februar 2025'''
* Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
* Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
* Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027
* Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027
[[Datei:KI-Servicestelle bei der RTR, AI Act Zeitlicher Rahmen.svg|mini|394x394px|Überblick über den abgestuften zeitlichen Geltungsbereich des AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/Zeitplan.de.html.|zentriert]]
== Zentrale Inhalte ==


== Materielle Aspekte: Risikobasierter Ansatz ==
=== KI-Kompetenz/AI literacy (Art 4 AI Act) ===
Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 AI Act, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.


=== KI-Kompetenz/AI literacy (Art 4 KI-VO) ===
=== KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 AI Act) ===
Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 KI-VO, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.
Nach Art 5 AI Act sind gewisse Praktiken im KI-Bereich verboten:<ref>MwN ''Neuwirth'', Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; ''Rostaski/Weiss'', § 3. Verbotene Praktiken, in ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.</ref>
 
=== KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 KI-VO) ===
Nach Art 5 KI-VO sind gewisse Praktiken im KI-Bereich verboten:<ref>MwN ''Neuwirth'', Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; ''Rostaski/Weiss'', § 3. Verbotene Praktiken, in ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.</ref>


* unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken  
* unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken  
Zeile 120: Zeile 151:
* biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
* biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
* biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)
* biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)
(Unverbindliche) '''Leitlinien''' der Kommission zu den verbotenen Praktiken konkretisieren die verbotenen Praktiken insbesondere durch zahlreiche Beispiele.<ref>Annex to the Communication to the Commission Approval of the content of the draft Communication from the Commission - Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act.</ref>


=== Hochrisiko-KI-Systeme (Art 6 KI-VO) ===
=== Hochrisiko-KI-Systeme (Art 6 AI Act) ===


==== Einstufung ====
==== Einstufung ====
Die KI-VO definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber in der KI-VO selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. <ref>MwN ''Martini'', § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).</ref>
Der AI Act definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber im AI Act selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. <ref>MwN ''Martini'', § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).</ref>


Darüber hinaus enthält Art 6 Abs 3 KI-VO Ausnahmen von der Einstufung als Hochrisiko-KI-System.
Darüber hinaus enthält Art 6 Abs 3 AI Act Ausnahmen von der Einstufung als Hochrisiko-KI-System.


Nach Art 6 Abs 5 KI-VO hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 '''Leitlinien''' zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.
Nach Art 6 Abs 5 AI Act hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 '''Leitlinien''' zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.


===== "Eingebettete" Hochrisiko-KI-Systeme  (embedded high-risk AI systems) (Art 6 Abs 1 KI-VO) =====
===== "Eingebettete" Hochrisiko-KI-Systeme  (embedded high-risk AI systems) (Art 6 Abs 1 AI Act) =====
Nach Art 6 Abs 1 KI-VO gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:
Nach Art 6 Abs 1 AI Act gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:
* das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
* das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
* das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden  
* das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden  
Zeile 137: Zeile 169:
Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).   
Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).   


Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren: Software kann ein Medizinprodukte im Sinne der Medizinprodukteverordnung (MPVO) darstellen. Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko, unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen: einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I genannt wird, und anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter".
Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren:  
{| class="wikitable"
|+
!Beispiel
|-
|Software kann ein '''Medizinprodukt''' im Sinne der Medizinprodukteverordnung (MPVO) darstellen.<ref>MwN ''Schreitmüller'', Regulierung intelligenter Medizinprodukte. Eine Analyse unter besonderer Berücksichtigung der MPVO und DSGVO (2023).</ref>
Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko (zB Diagnose oder Überwachung), unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle.  
Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen:  


===== "Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 KI-VO) =====
* einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I Abschnitt A genannt wird, und
Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 KI-VO definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten (bspw biometrisch Identifizierung, kritische Infrastrukturen,  grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle). Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 KI-VO).  
* anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter" (mit Ausnahme eines Medizinproduktes der Klasse I).
Software als Medizinprodukt fällt somit <u>gleichzeitig</u> als Medizinprodukt unter die MPVO und, sofern die Software den KI-Begriff erfüllt, als Hochrisiko-KI-System unter den AI Act.
|}


===== Ausnahmen (Art 6 Abs 3 KI-VO) =====
===== "Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 AI Act) =====
Art 6 Abs 3 KI-VO enthält als Abweichung '''Ausnahmen''' von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.
Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 AI Act definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten: 
 
(bspw biometrisch Identifizierung, kritische Infrastrukturen,  grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle). 
 
Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 AI Act).
 
===== Ausnahmen (Art 6 Abs 3 AI Act) =====
Art 6 Abs 3 AI Act enthält als Abweichung '''Ausnahmen''' von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.


Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn  
Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn  
Zeile 151: Zeile 199:
# es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)
# es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)


Art 6 Abs 3 KI-VO enthält dabei auch eine '''Rückausnahme''', die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."
Art 6 Abs 3 AI Act enthält dabei auch eine '''Rückausnahme''', die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."


==== Anforderungen an Hochrisiko-KI-Systeme (Art 8-15 KI-VO) ====
==== Anforderungen an Hochrisiko-KI-Systeme (Art 8-15 AI Act) ====
Hochrisiko-KI-Systeme müssen einer Reihe von Anforderungen genügen, die in einem sog Konformitätsbewertungsverfahren geprüft werden, darunter:
Hochrisiko-KI-Systeme müssen einer Reihe von Anforderungen genügen, die in einem sog Konformitätsbewertungsverfahren geprüft werden, darunter:


* Risikomanagementsystem (Art 9 KI-VO):
===== Risikomanagementsystem (Art 9 AI Act) =====
* Daten und Daten-Governance (Art 10 KI-VO):
Ein umfassendes Risikomanagementsystem muss eingerichtet, angewandt, dokumentiert und aufrechterhalten werden.
* Technische Dokumentation (Art 11 KI-VO):
 
* Aufzeichnungspflichten (Art 12 KI-VO):
Dies umfasst die Ermittlung und Analyse von '''Risiken''', ihre Abschätzung und Bewertung sowie die Ergreifung von Risikomanagementmaßnahmen und die Abwägung der Maßnahmen mit dem Restrisiko.
* Transparenz und Bereitstellung von Informationen für die Betreiber (Art 13 KI-VO):
 
* Menschliche Aufsicht (Art 14 KI-VO):
Vorgesehen sind auch Testverfahren.
* Genauigkeit, Robustheit und Cybersicherheit (Art 15 KI-VO):
 
===== Daten und Daten-Governance (Art 10 AI Act) =====
Hochrisiko-KI-Systeme müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die gewissen '''Qualitätskriterien''' entsprechen.
 
So müssen die Datensätze neben Verfahren in Bezug auf konzeptionelle Entscheidungen, die Datenerhebung und Aufbereitung  (hinreichend) '''relevant und so weit wie möglich repräsentativ, fehlerfrei und vollständig''' sein und Verzerrungen (Bias) müssen vermieden werden.
 
Merkmale/Elemente, die für '''besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen''' typisch sind, müssen berücksichtigt werden.
 
In Bezug auf '''Bias''' ist auch eine Regelung zur Verarbeitung von besonders sensiblen personenbezogenen Daten zur Erkennung und Korrektur enthalten, die mit der DSGVO interagiert (Art 10 Abs 5 AI Act).
 
===== Technische Dokumentation (Art 11 AI Act) =====
Als Basis der Konformitätsbewertung muss eine technische Dokumentation erstellt werden, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Diese ist stets auf dem neuesten Stand zu halten.
 
Aus ihr muss der '''Nachweis''' hervorgehen, wie das Hochrisiko-KI-System die Anforderungen der Art 8 bis 15 AI Act erfüllt.
 
Durch die Dokumentation sollen den zuständigen nationalen Behörden und den notifizierten Stellen alle Informationen zur Verfügung stehen, die erforderlich sind, um zu beurteilen, ob das KI-System diese Anforderungen erfüllt.
 
KMUs können diese Dokumentation in '''vereinfachter Weise''' bereitstellen.
 
===== Aufzeichnungspflichten (Art 12 AI Act) =====
Hochrisiko-KI-Systeme müssen mit Funktionsmerkmalen konzipiert und entwickelt werden, die eine '''automatische Aufzeichnung''' von Vorgängen und Ereignissen („Protokollierung“) während des Betriebs der Hochrisiko-KI-Systeme ermöglichen.
 
Die Protokollierung (zB von Situationen, die dazu führen können, dass das System ein Risiko birgt oder dass es zu einer wesentlichen Änderung kommt) gewährleistet, dass das Funktionieren des KI-Systems während seines gesamten Lebenszyklus '''rückverfolgbar''' ist.
 
===== Transparenz und Bereitstellung von Informationen für die Betreiber (Art 13 AI Act) =====
Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend '''transparent''' ist, damit die Nutzer die Ergebnisse des Systems angemessen '''interpretieren''' und verwenden können.
 
Auch müssen den Nutzern/Betreibern entsprechende '''Betriebsanleitungen''' (zB zu Merkmalen, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems) zur Verfügung gestellt werden.
 
===== Menschliche Aufsicht (Art 14 AI Act) =====
Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie während der Dauer der Verwendung des KI-Systems von natürlichen Personen '''wirksam beaufsichtigt''' werden können.
 
Dies dient der Verhinderung/Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte und erfordert bspw die Möglichkeit die Fähigkeiten und Grenzen des KI-Systems angemessen und verstehen und seinen Betrieb zu überwachen, Maßnahmen gegen automation bias und die Option, das System nicht zu verwenden, seine Ausgabe außer Acht zu lassen oder in den Betrieb einzugreifen bzw ihn mit einer "Stopptaste" zu unterbrechen.


==== Pflichten für Anbieter von Hochrisiko-KI-Systemen ====
===== Genauigkeit, Robustheit und Cybersicherheit (Art 15 AI Act) =====
Anbieter von Hochrisiko-KI-Systemen müssen als wichtigste Pflichten (Art 16 KI-VO):
Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein '''angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit''' erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.


* sicherstellen, dass diese Systemen die Anforderungen der Art 8-15 KI-VO erfüllen
Dies umfasst somit Maßnahmen in Hinblick auf '''innere Fehlerquellen''' (Performanzmetriken für Genauigkeit, Widerstandsfähigkeit gegenüber Fehlern, Störungen, Unstimmigkeiten für Robustheit; Maßnahmen gegen Rückkopplungsschleifen), als auch '''Angriffe von Außen''' (Cybersicherheit).
 
==== Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art 16-21 AI Act) ====
Anbieter von Hochrisiko-KI-Systemen müssen als wichtigste Pflichten ua (Art 16 AI Act):
 
* sicherstellen, dass diese Systemen die Anforderungen der Art 8-15 AI Act erfüllen
* damit verbunden sicherstellen, dass sie einem Konformitätsbewertungsverfahren unterzogen werden (resultierend in einer Konformitätserklärung und einer CE-Kennzeichnung)
* damit verbunden sicherstellen, dass sie einem Konformitätsbewertungsverfahren unterzogen werden (resultierend in einer Konformitätserklärung und einer CE-Kennzeichnung)
* über ein Qualitätsmanagementsystem (Art 17 KI-VO) verfügen (ua Konzept zur Einhaltung der Regulierungsvorschriften, Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; Untersuchungs-, Test- und Validierungsverfahren; Systeme und Verfahren für das Datenmanagement)
* über ein Qualitätsmanagementsystem (Art 17 AI Act) verfügen (ua Konzept zur Einhaltung der Regulierungsvorschriften, Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; Untersuchungs-, Test- und Validierungsverfahren; Systeme und Verfahren für das Datenmanagement)
* Dokumentation (Art 18 KI-VO) und Protokolle (Art 19 KI-VO) aufbewahren
* Dokumentation (Art 18 AI Act) und Protokolle (Art 19 AI Act) aufbewahren
* einer Registrierungspflicht nachkommen (Art 49 KI-VO) und  
* einer Registrierungspflicht nachkommen (Art 49 AI Act) und
* erforderliche Korrekturmaßnahmen ergreifen  
* erforderliche Korrekturmaßnahmen ergreifen und Informationen bereitstellen (Art 20 AI Act)


==== Konformitätsbewertungsverfahren ====
==== Konformitätsbewertungsverfahren (Art 43 AI Act) ====
Zentrale Anbieterpflicht ist die Durchführung eines sog Konformitätsbewertungsverfahrens. In diesem Verfahren wird überprüft, ob das Hochrisiko-KI-System die Anforderungen nach Art 8-15 KI-VO erfüllt (Art 3 Z 20 KI-VO).  
Zentrale Anbieterpflicht ist die Durchführung eines sog Konformitätsbewertungsverfahrens. In diesem Verfahren wird überprüft, ob das Hochrisiko-KI-System die Anforderungen nach Art 8-15 AI Act erfüllt (Art 3 Z 20 AI Act).  


Dabei existieren zwei verschiedene Varianten dieses Verfahrens (Art 43 KI-VO).  
Dabei existieren zwei verschiedene Varianten dieses Verfahrens (Art 43 AI Act).  


Diese unterscheiden sich primär darin, ob eine notifizierte Stelle, das heißt eine Stelle, die Konformitätsbewertungstätigkeiten einschließlich Prüfungen, Zertifizierungen und Inspektionen durchführt und dabei als Dritte auftritt und die nach der KI-VO "notifiziert" wurde (Art 3 Z 21, 22 KI-VO). Die notifizierten Stellen finden sich in einer entsprechenden [https://webgate.ec.europa.eu/single-market-compliance-space/notified-bodies/notified-body-list?filter=countryId:40,notificationStatusId:1 Datenbank].
Diese unterscheiden sich primär darin, ob eine notifizierte Stelle, das heißt eine Stelle, die Konformitätsbewertungstätigkeiten einschließlich Prüfungen, Zertifizierungen und Inspektionen durchführt und dabei als Dritte auftritt und die nach dem AI Act "notifiziert" wurde (Art 3 Z 21, 22 AI Act). Die notifizierten Stellen finden sich in einer entsprechenden [https://webgate.ec.europa.eu/single-market-compliance-space/notified-bodies/notified-body-list?filter=countryId:40,notificationStatusId:1 Datenbank].


* '''interne Kontrolle''' (Anhang VI): Eigenzertifizierung, ohne Beiziehung einer notifizierten Stelle (vorgesehen für eigenständige Hochrisiko-KI-Systeme mit Ausnahme des Bereiches Biometrie)
* '''interne Kontrolle''' (Anhang VI): Eigenzertifizierung, ohne Beiziehung einer notifizierten Stelle (vorgesehen für eigenständige Hochrisiko-KI-Systeme mit Ausnahme des Bereiches Biometrie)
* '''Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation''' unter Beteiligung einer notifizierten Stelle (Anhang VII) (primär vorgesehen für eingebettete Hochrisiko-KI-Systeme)
* '''Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation''' unter Beteiligung einer notifizierten Stelle (Anhang VII) (primär vorgesehen für eingebettete Hochrisiko-KI-Systeme)


Bei eingebetteten Hochrisiko-KI-Systemen ist vorgesehen, dass die nach dem Harmonisierungsrechtsakt einschlägige Konformitätsbewertung (zB nach Medizinprodukteverordnung) durchgeführt wird und die Aspekte der KI-VO in dieses Verfahren einbezogen werden (Art 43 Abs 3 KI-VO). Ein solches "kombiniertes" Verfahren kann für einer notifizierten Stelle durchgeführt werden, sofern diese die notwendige Expertise, etc aufweist.
Bei eingebetteten Hochrisiko-KI-Systemen ist vorgesehen, dass die nach dem Harmonisierungsrechtsakt einschlägige Konformitätsbewertung (zB nach Medizinprodukteverordnung) durchgeführt wird und die Aspekte des AI Act in dieses Verfahren einbezogen werden (Art 43 Abs 3 AI Act). Ein solches "kombiniertes" Verfahren kann für einer notifizierten Stelle durchgeführt werden, sofern diese die notwendige Expertise, etc aufweist.


Bei wesentlichen Änderungen des Systems ist eine erneute Durchführung notwendig. Dies gilt für Systeme, die im Betrieb weiterlernen, nicht für vorab durch den Anbieter festgelegte Änderungen des Systems und seiner Leistung (Art 43 Abs 4 KI-VO).
Bei wesentlichen Änderungen des Systems ist eine erneute Durchführung notwendig. Dies gilt für Systeme, die im Betrieb weiterlernen, nicht für vorab durch den Anbieter festgelegte Änderungen des Systems und seiner Leistung (Art 43 Abs 4 AI Act).


Der Anbieter hat daraufhin eine '''EU-Konformitätserklärung''' (Art 47 KI-VO) auszustellen, eine '''CE-Kennzeichnung''' (Art 48 KI-VO) anzubringen und das (selbständige) Hochrisiko-KI-System in einer Datenbank zu '''registrieren''' (Art 49 KI-VO).
Der Anbieter hat daraufhin eine '''EU-Konformitätserklärung''' (Art 47 AI Act) auszustellen, eine '''CE-Kennzeichnung''' (Art 48 AI Act) anzubringen und das (selbständige) Hochrisiko-KI-System in einer Datenbank zu '''registrieren''' (Art 49 AI Act).


==== Pflichten für Betreiber von Hochrisiko-KI-Systemen ====
==== Pflichten für Betreiber von Hochrisiko-KI-Systemen (Art 26 AI Act) ====
Betreiber von Hochrisiko-KI-Systemen unterliegen im Vergleich zu Anbietern nur eingeschränkten Pflichten. Sie müssen ua


=== Transparenzpflichten (Art 50 KI-VO) ===
* geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie KI-Systeme '''entsprechend den beigefügten Betriebsanleitungen verwenden'''
Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 KI-VO Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden.
* die '''menschliche Aufsicht''' an natürliche Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und ihnen die erforderliche Unterstützung zukommen lassen
* soweit die '''Eingabedaten''' ihrer Kontrolle unterliegen dafür sorgen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechend und ausreichend repräsentativ sind
*den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung '''überwachen''' und gegebenenfalls Anbieter iSv Art 72 AI Act '''informieren'''. Besteht Grund zur Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Art 79 Abs 1 AI Act birgt, so informieren Betreiber unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Ähnliches gilt bei Feststellung eines schwerwiegenden Vorfalls.
*Aufbewahrung von '''Protokollen'''
*'''Information der Arbeitnehmervertreter und betroffenen Arbeitnehmer''', wenn das KI-System am Arbeitsplatz eingesetzt wird
*'''Information an natürliche Personen''', dass sie der Verwendung eines Hochrisiko-KI-Systems unterliegen, wenn das Hochrisiko-KI-Systeme natürliche Personen betreffende Entscheidungen trifft oder bei solchen Entscheidungen Unterstützung leistet
 
===== Grundrechte-Folgenabschätzung (Art 27 AI Act) =====
Als Gegenstück zum Risikomanagement (Art 9 AI Act), das Anbieter von Hochrisiko-KI-Systemen betrifft, müssen gewisse Betreiber<ref>Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b [Kreditwürdigkeitsprüfung und Bonitätsbewertung] und c [Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen]. Eine Ausnahme besteht wiederum im Bereich der kritischen Infrastruktur (Anhang III Nummer 2).</ref> von Hochrisiko-KI-Systemen vor der ersten Verwendung eine Abschätzung der Risiken auf Grundrechte durchführen (Art 27 Abs 1 AI Act).<ref>MwN ''Müller/Schneeberger'', Menschenrechtsfolgenabschätzungen im Artificial Intelligence Act, juridikum 2024, 265.</ref>
 
Die Abschätzung umfasst dabei
 
* eine Beschreibung der Verfahren, bei denen das Hochrisiko-KI-System verwendet wird
* eine Beschreibung des Zeitraums und der Häufigkeit der Verwendung
* die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung betroffen sein könnten
* die spezifischen Schadensrisiken, die sich auf die ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten
* eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht
* die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind.
 
Das Büro für KI wird dabei ein Muster für einen Fragebogen entwickeln, um dieser Pflicht in vereinfachter Weise nachkommen zu können (Art 27 Abs 5 AI Act).
 
==== Änderung der Rolle des Akteurs/Verantwortlichkeit entlang der Wertschöpfungskette (Art 25 AI Act) ====
[[Datei:KI-Servicestelle bei der RTR, Rollenverteilung Hochrisiko-KI-Systeme.svg|links|mini|Übersicht über die Rollenverteilung und mögliche Rollenwechsel von Betreiber zu Anbieter bei Hochrisiko-KI-Systemen. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html.]]
 
 
 
Die Einstufung als Betreiber oder Anbieter ist dabei nicht statistisch, wie Art 25 AI Act zeigt. Dieser normiert Fälle, in denen Betreiber (und Händler, Einführung oder sonstige Dritte) als Anbieter eines Hochrisiko-KI-Systems gelten und damit auch den Anbieterpflichten (Art 16 AI Act) unterliegen.
 
Ein solcher "Rollenwechsel" findet in folgenden Konstellationen statt (Art 25 Abs 1 AI Act):
 
* wenn sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System '''mit ihrem Namen oder ihrer Handelsmarke versehen''', unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen
* wenn sie eine '''wesentliche Veränderung''' eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System gemäß Art 6 AI Act bleibt
* wenn sie die '''Zweckbestimmung eines KI-Systems''', das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so '''verändern''', dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art 6 AI Act wird
 
In diesen Szenarien gilt der ursprüngliche Anbieter nicht mehr als Anbieter dieses spezifischen KI-Systems (Art 25 Abs 2 AI Act). Der Erstanbieter hat dabei mit dem neuen Anbieter zusammenzuarbeiten, Informationen zur Verfügung zu stellen, für technischen Zugang und sonstige Unterstützung zu sorgen.<ref>Diese Pflicht zur Übergabe der Dokumentation gilt nicht, wenn der Anbieter festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.</ref>
 
 
{| class="wikitable"
|+
!Hinweis:
|-
|Aufgrund von Art 25 AI muss beachtet werden, dass die Rollenverteilung im AI Act eine dynamische und nicht statische ist. So könnte zB ein Betreiber eines Large Language Models, der dieses zur Generierung von medizinischen Diagnosen verwendet, wenn diese Verwendung entgegen der Zweckbestimmung des (ursprünglichen) Anbieters ist, durch diese Verwendung zum neuen Anbieter werden und auch dessen Pflichten übernehmen. Auch ein Zusammentreffen der Rolle von Anbieter und Betreiber in einem Akteur ist möglich.
|}
 
 
 
 
=== Transparenzpflichten (Art 50 AI Act) ===
Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 AI Act Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden.


* Anbieter haben bei KI-Systemen, die für die direkte '''Interaktion mit natürlichen Personen''' bestimmt sind (zB Chatbots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.<ref>Eine solche Kennzeichnung ist nicht notwendig, wenn es aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass mit einem KI-System interagiert wird. Diese Pflicht gilt ebenfalls nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.</ref>
* Anbieter haben bei KI-Systemen, die für die direkte '''Interaktion mit natürlichen Personen''' bestimmt sind (zB Chatbots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.<ref>Eine solche Kennzeichnung ist nicht notwendig, wenn es aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass mit einem KI-System interagiert wird. Diese Pflicht gilt ebenfalls nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.</ref>
Zeile 202: Zeile 336:


=== KI-Systeme mit minimalem Risiko ===
=== KI-Systeme mit minimalem Risiko ===
Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als KI-Systeme mit minimalem Risiko bezeichnet, sieht die KI-VO keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter die KI-VO möglich.. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 KI-VO).
Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als KI-Systeme mit minimalem Risiko bezeichnet, sieht der AI Act keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter den AI Act möglich. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 AI Act).


== GPAI-Modelle (Art 51 ff KI-VO) ==
=== GPAI-Modelle (Art 51 ff AI Act) ===


=== Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko ===
==== Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko (Art 51-52 AI Act) ====
Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 KI-VO). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff KI-VO).  
Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 AI Act). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff AI Act).  


Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.  
Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.  


Ein solches '''systemisches Risiko''' liegt vor (Art 51 KI-VO),
Ein solches '''systemisches Risiko''' liegt vor (Art 51 AI Act),


* wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]), mehr als 10<sup>25</sup> beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 KI-VO).
* wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]),<ref>Definiert als "jede Rechenoperation oder jede Zuweisung mit Gleitkommazahlen, bei denen es sich um eine Teilmenge der reellen Zahlen handelt, die auf Computern typischerweise durch das Produkt aus einer ganzen Zahl mit fester Genauigkeit und einer festen Basis mit ganzzahligem Exponenten dargestellt wird (Art 3 Z 67 AI Act). Grafisch dargestellt in ''RTR'', FLOPs und der AI Act, https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/2024-07-19_FLOPs-AIA-DE.svg.</ref> mehr als 10<sup>25</sup> beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 AI Act).
* ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)  
* ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)  


=== Pflichten für Anbieter von GPAI-Modellen ===
==== Pflichten für Anbieter von GPAI-Modellen (Art 53 AI Act) ====
Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 KI-VO):
Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 AI Act):


* eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).<ref>Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine '''ausführliche Beschreibung der Elemente des Modells''' und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).</ref> Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.  
* eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).<ref>Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine '''ausführliche Beschreibung der Elemente des Modells''' und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).</ref> Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.  
* Informationen und die Dokumentation (Mindestelemente in Anhang XII)<ref>Das heißt erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine '''Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw''' die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)</ref> erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß der KI-VO nachzukommen.
* Informationen und die Dokumentation (Mindestelemente in Anhang XII)<ref>Das heißt erstens eine '''allgemeine Beschreibung des KI-Modells''' (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine '''Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw''' die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)</ref> erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß dem AI Act nachzukommen.
* eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
* eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
* eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen
* eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen


==== Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko ====
===== Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko (Art 55 AI Act) =====
Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 KI-VO):
Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 AI Act):


* eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
* eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
Zeile 232: Zeile 366:
* ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.
* ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.


== Bedeutung von Normen und Standards ==
===== Praxisleitfäden (codes of practice) (Art 56 AI Act) =====
Die Kommission hat die Entwicklung von harmonisierten Normen, die derzeit nicht existieren beauftragt.<ref>Commission Implementing Decision on a standardisation request to the European Committee for Standardisation and the European Committee for Electrotechnical Standardisation in support of Union policy on artificial intelligence, C(2023)3215, https://ec.europa.eu/transparency/documents-register/detail?ref=C(2023)3215&lang=en.</ref> Solche Normen werden im Amtsblatt der EU veröffentlicht. Stimmen Hochrisiko-KI-Systeme oder GPAI-Modelle mit solchen harmonisierten Normen überein, wird eine Konformität mit den Anforderungen an Hochrisiko-KI-Systeme (Art 8 ff KI-VO) oder gegebenenfalls mit den Pflichten für die Anbieter von GPAI-Modellen (Art 53 ff KI-VO) vermutet, soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind (Art 40 KI-VO). Diesen harmonisierten Normen kommt somit eine hohe Bedeutung zu, für Rechtssicherheit zu sorgen und die abstrakten Anforderungen der KI-VO zu konkretisieren.<ref>MwN ''Ebers'', Standardisierung Künstlicher Intelligenz und KI-Verordnungsvorschlag, RDi 2021, 588.</ref>
Die genannten Pflichten sollen dabei durch sog Praxisleitfäden auf Unionsebene konkretisiert werden, die unter Berücksichtigung internationaler Ansätze zur ordnungsgemäßen Anwendung dieser Verordnung beizutragen sollen (Art 56 Abs 1 AI Act).


Subsidiär kann die Kommission, wenn strenge Bedingungen erfüllt sind (harmonisierte Normen wurden nicht ausgearbeitet oder entsprechen nicht dem Auftrag), Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen erlassen, mit denen ebenfalls eine solche Konformitätsvermutung einhergeht (Art 41 KI-VO).
Die Praxisleitfäden sollen mindestens die in Art 53-55 AI Act vorgesehenen Pflichten abdecken, darunter (Art 56 Abs 2 AI Act)


= Strafen/sonstige Konsequenzen =
* Mittel, mit denen sichergestellt wird, dass die in Art 53 Abs 1 lit a und b AI Act genannten Informationen (technische Dokumentation des Modells; Information und Dokumentation für die Integrierung des Modells) vor dem Hintergrund der Marktentwicklungen und technologischen Entwicklungen auf dem neuesten Stand gehalten werden
* die angemessene Detailgenauigkeit bei der Zusammenfassung der für das Training verwendeten Inhalte
* die Ermittlung von Art und Wesen der systemischen Risiken auf Unionsebene
* die Maßnahmen, Verfahren und Modalitäten für die Bewertung und das Management der systemischen Risiken auf Unionsebene


= Verhältnis und Synergien zu anderen Rechtsakten =
Für die Ausarbeitung solcher Leitfäden können alle '''Anbieter''' von KI-Modellen mit allgemeinem Verwendungszweck sowie die einschlägigen zuständigen nationalen '''Behörden''' ersucht werden, sich an der Ausarbeitung von Praxisleitfäden zu beteiligen. Organisationen der '''Zivilgesellschaft''', die Industrie, die '''Wissenschaft''' und andere einschlägige '''Interessenträger''' wie nachgelagerte Anbieter und unabhängige Sachverständige können den Prozess ebenfalls unterstützen (Art 65 Abs 3 AI Act).


= Fassungen der KI-VO =
Ein erster Entwurf eines solchen Leitfadens, ausgearbeitet von internationalen Expert*innen, wurde im November 2024 von der Europäischen Kommission präsentiert.<ref>''European Commission'', First Draft of the General-Purpose AI Code of Practice published, written by independent experts, https://digital-strategy.ec.europa.eu/en/library/first-draft-general-purpose-ai-code-practice-published-written-independent-experts (Stand 14. 11. 2024).


* [https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A52021PC0206 Kommissionsvorschlag April 2021: Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union]
</ref>
* [https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/de/pdf Allgemeine Ausrichtung des Rates Dezember 2022: Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union – Allgemeine Ausrichtung, 2021/0106(COD)]
 
* Abänderungen des Europäischen Parlaments Juni 2023: [https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_DE.html Abänderungen des Europäischen Parlaments vom 14. Juni 2023 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD))]
Die Befugnisse für die '''Aufsicht, Ermittlung, Durchsetzung und Überwachung''' in Bezug auf Anbieter von GPAI-Modellen werden (ausschließlich) der Kommission zugewiesen und in den Art 88-94 AI Act abweichend geregelt.
* [https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A32024R1689 Finale, im Amtsblatt veröffentlichte Fassung: Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (KI-VO)]
 
== Durchsetzung/Rechtsbehelfe (Art 85-87 AI Act) ==
Der AI Act normiert nur wenige Rechtsbehelfe für Betroffene.  
{| class="wikitable"
|+
!Hinweis:
|-
|In Bezug auf mögliche Rechtsbehelfe muss der AI Act, der diesbezüglich nur eingeschränkte Möglichkeiten bereithält, im Zusammenhang mit der AILD und PLD gesehen werden.
|}
 
=== Recht auf Beschwerde bei der Marktüberwachungsbehörde (Art 85 AI Act) ===
Zunächst kann jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen des AI Act verstoßen wurde, unbeschadet anderer Rechtsbehelfe, bei der betreffenden Marktüberwachungsbehörde Beschwerden einreichen. Diese Beschwerden werden für die Zwecke der Durchführung von Marktüberwachungstätigkeiten berücksichtigt.
 
=== Recht auf Erläuterung der Entscheidungsfindung im Einzelfall (Art 86 AI Act) ===
Zweitens haben Personen,
 
* die von einer Entscheidung betroffen sind,
* die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Hochrisiko-KI-Systems getroffen hat (somit nur eigenständige Hochrisiko-KI-Systeme;<ref>Eine Ausnahme besteht für Hochrisiko-KI-Systeme im Bereich kritische Infrastruktur.</ref> eingebettete Hochrisiko-KI-Systeme wie Medizinprodukte sind nicht erfasst)
* und die rechtliche Auswirkungen hat oder
* sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt,
 
das Recht, vom Betreiber eine klare und aussagekräftige '''Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess''' und zu den '''wichtigsten Elementen der getroffenen Entscheidung''' zu erhalten (Art 86 Abs 1 AI Act).<ref>MwN ''Müller/Scheichenbauer/Schneeberger'', Der Auskunftsanspruch im Zeitalter KI-gestützter Entscheidungsprozesse. Querverbindungen von Art 15 Abs 1 lit h iVm Art 22 DSGVO und Art 86 AI Act in der Praxis, in ''Jahnel'' (Hrsg), Jahrbuch Datenschutzrecht 2024 (2025) 157.</ref>
 
Es handelt sich somit um ein Recht, das Betroffenen gegenüber Betreibern und nicht Anbietern zusteht. Anbieter wiederum haben Betreibern entsprechende Betriebsanleitungen bereitzustellen (Art 13 AI Act).
 
Dies gilt nur insoweit, als dieses Recht nicht anderweitig im Unionsrecht festgelegt ist (Art 86 Abs 3 AI Act). In Hinblick auf diese Subsidiarität ist insbesondere an das Auskunftsrecht nach Art 15 DSGVO (iVm Art 22 DSGVO) zu denken.
 
=== Meldung von Verstößen und Schutz von Hinweisgebern (Art 87 AI Act) ===
Zusätzlich normiert Art 87 AI Act, dass für die Meldung von Verstößen und den Schutz von Personen, die solche Verstöße melden, die Richtlinie zum Schutz von Whistleblowern gilt.<ref>RL (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden, ABl L 2019/305, 17.</ref>
 
== Bedeutung von Normen und Standards (Art 40-42 AI Act) ==
Die Kommission hat die Entwicklung von '''harmonisierten Normen''', die derzeit nicht existieren beauftragt.<ref>Commission Implementing Decision on a standardisation request to the European Committee for Standardisation and the European Committee for Electrotechnical Standardisation in support of Union policy on artificial intelligence, C(2023)3215, https://ec.europa.eu/transparency/documents-register/detail?ref=C(2023)3215&lang=en.</ref> Solche Normen werden im Amtsblatt der EU veröffentlicht.
 
Stimmen Hochrisiko-KI-Systeme oder GPAI-Modelle mit solchen harmonisierten Normen überein, wird eine Konformität mit den Anforderungen an Hochrisiko-KI-Systeme (Art 8 ff AI Act) oder gegebenenfalls mit den Pflichten für die Anbieter von GPAI-Modellen (Art 53 ff AI Act) vermutet ('''Konformitätsvermutung'''), soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind (Art 40 AI Act). Diesen harmonisierten Normen kommt somit eine hohe Bedeutung zu, für Rechtssicherheit zu sorgen und die abstrakten Anforderungen des AI Act zu konkretisieren.<ref>MwN ''Ebers'', Standardisierung Künstlicher Intelligenz und KI-Verordnungsvorschlag, RDi 2021, 588.</ref>
{| class="wikitable"
|+
!Hinweis:
|-
|Derartige harmonisierte Normen befinden sich derzeit in Entwicklung und wurden noch nicht veröffentlicht (siehe unterhalb).
|}
Subsidiär kann die Kommission, wenn strenge Bedingungen erfüllt sind (harmonisierte Normen wurden nicht ausgearbeitet oder entsprechen nicht dem Auftrag), Durchführungsrechtsakte zur Festlegung '''gemeinsamer Spezifikationen''' erlassen, mit denen ebenfalls eine solche Konformitätsvermutung einhergeht (Art 41 AI Act).
 
Ein Kurzüberblick über die Bedeutung von harmonisierten Normen und in Entwicklung befindliche Normen wurde vom Joint Research Centre der Kommission publiziert.<ref>''Soler Garrido/de Nigris/Bassani/Sanchez/Evas/André/Boulangé'', Harmonised Standards for the European AI Act (2024), https://publications.jrc.ec.europa.eu/repository/handle/JRC139430.</ref>
 
Weitere Konformitätsvermutungen werden in Art 42 AI Act in Bezug auf die Daten-Governance (Art 10 AI Act) und die Cybersicherheit (Art 15 AI Act) für Hochrisiko-KI-Systeme normiert, die mit entsprechenden Daten trainiert und getestet wurden bzw die Cybersicherheitszertifizierungen durchlaufen sind, normiert.
 
= Synergien =
 
=== Folgenabschätzungen: Datenschutz- und Grundrechte-Folgenabschätzung ===
* Der Anwendungsbereich einer Datenschutz-Folgenabschätzung (Art 35 DSGVO) kann sich mit einer Grundrechte-Folgenabschätzung (Art 27 AI Act) überschneiden, wobei eine integrierte Folgenabschätzung durchgeführt werden kann.<ref>''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 23 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.</ref>
 
=== Verarbeitung von sensiblen Kategorien personenbezogener Daten (Art 9 DSGVO) ===
* Um Verzerrungen (Bias) zu zu erkennen und zu korrigieren dürfen Anbieter, wenn es unbedingt erforderlich, unter strengen Auflagen sensible Kategorien von personenbezogenen Daten (Art 9 DSGVO) verarbeiten (Art 10 Abs 5 AI Act).<ref>''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 24 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.</ref>
* Bei der Entwicklung/Training leistungsfähigerer KI-Modelle kann es zu Friktionen zwischen Art 15 AI Act, der angemessene Genauigkeit iSv Performanz fordert, und Art 9 DSGVO, der die Verarbeitung sensibler personenbezogener Daten prinzipiell verbietet, kommen.<ref>''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 25 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.</ref> Zwar gab der Europäische Datenschutzausschuss Ende 2024 eine Stellungnahme zum Training von KI-Modellen heraus, diese behandelt die potentielle Friktion mit Art 9 DSGVO jedoch nur am Rande.<ref>''EDPB'', Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models (2024), https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_en.</ref>
 
=== Unterschiedliche Verantwortlichkeiten ===
 
* Da die DSGVO primär auf den Verantwortlichen abstellt, diese Rolle wird häufig der Betreiber iSd AI Act einnehmen, die meisten Pflichten nach dem AI Act aber primär an Anbieter adressiert sind, kann es zu einem Auseinanderfallen der Verantwortlichkeiten kommen.<ref>''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 24, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.</ref>
 
=== Risikoanalyse: DSA vs AI Act ===
* Bei VLOPs und VLOSEs, die generative KI, bspw GPAI-Modelle, integrieren, kann es zu einer Überschneidung zwischen [[Digital Services Act (DSA)|DSA]] und AI Act, bspw in Bezug auf die nach DSA und AI Act notwendige Risikoanalyse kommen. Daher wird teilweise für eine konsolidierte und technologieübergreifende Risikoanalyse plädiert, wobei dem Umstand, dass mehrere Technologien verknüpft sind, entsprechend Rechnung getragen werden muss.<ref>''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 19 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.</ref>
 
=== Überlappende Anforderungen mit anderem Produktsicherheitsrecht ===
 
* Art 8 Abs 2 AI Act betont für Produkte, die bereits untere andere Produktsicherheitsvorschriften fallen (Anhang I Abschnitt A), "im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen" die Anbieter die Wahl haben, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen gegebenenfalls in existierende Dokumentationen und Verfahren zu integrieren.
 
=== Integriertes/kombiniertes Risikomangement ===
 
* Anbieter von Hochrisiko-KI-Systemen, die den Anforderungen an interne Risikomanagementprozesse gemäß anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in Art 9 AI Act enthaltenen Aspekte als Bestandteil der nach diesem Recht festgelegten Risikomanagementverfahren integrieren bzw die Verfahren kombinieren (Art 9 Abs 10 AI Act). 
 
=== Cybersicherheitsanforderungen ===
 
* Art 15 Abs 1 AI Act normiert, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden müssen, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Neben den in Art 15 Abs 5 AI Act konkretisierten speziellen Maßnahmen an die Cybersicherheit von KI-Systemen bleiben auch andere Anforderungen, bspw nach [[Network and Information Security Directive (NIS II-RL)|NIS2-RL]] anwendbar.
 
=== Recht auf Erläuterung ===
 
* In Bezug auf das in Art 86 AI Act normierte Recht auf Erläuterung besteht potentiell eine Subsidiarität gegenüber der Auskunftspflicht nach Art 15 DSGVO iVm Art 22 DSGVO zur automatisierten Entscheidungsfindung, das für vollautomatisierte Entscheidungsfindung ein Recht auf Zugang zu besonderen Informationen wie der involvierten Logik gewährt.
 
=== AILD ===
 
* Insbesondere die AILD, aber auch eingeschränkter die PHRL neu, nimmt direkt auf den AI Act Bezug und verweist bei der Begriffsverwendung häufig auf diesen. Somit kann die AILD nicht ohne den Kontext des AI Act verstanden werden. So bilden die Pflichten in Bezug auf Hochrisiko-KI-Systeme (Art 8-15 AI Act) wichtige Sorgfaltspflichten in der AILD ([[KI-Haftungsregelungen#AI Act und AILD|siehe ausführlicher im Rahmen der Haftungsregeln]]).
 
= Sanktionen/sonstige Konsequenzen =
 
=== Sanktionen (Art 99 AI Act) ===
Art 99 Abs 1 AI Act übertragt die Festsetzung von Sanktionen primär den MS und normiert nur grobe '''Richtlinien''' dafür. Die Kommission hat jedoch Leitlinien (Art 96 AI Act) zu veröffentlichen, die zu berücksichtigen sind.
{| class="wikitable"
|+
!Hinweis
|-
|Zum derzeitigen Stand gibt es noch <u>kein</u> nationales Durchführungsgesetz, das die Sanktionen konkretisiert.
|}
Somit sind nach dieser Bestimmung Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen, zu denen auch Verwarnungen und nicht monetäre Maßnahmen gehören können, von den MS zu erlassen. MS müssen alle Maßnahmen ergreifen, die für deren ordnungsgemäße und wirksame Durchsetzung notwendig sind.
 
Die vorgesehenen Sanktionen müssen '''wirksam, verhältnismäßig''' und '''abschreckend''' sein und die '''Interessen von KMU''' sowie deren wirtschaftliches Überleben berücksichtigen.
 
Jeder MS erlässt auch Vorschriften darüber, in welchem Umfang '''gegen Behörden und öffentliche Stellen''' im MS Geldbußen verhängt werden können (Art 99 Abs 8 AI Act).
 
Die höchsten Geldstrafen drohen für eine Verletzung gegen die verbotenen Praktiken (Art 5 AI Act). Bei Missachtung des Verbots werden '''Geldbußen von bis zu 35 000 000''' Euro oder — im Falle von Unternehmen — von bis zu '''7% des gesamten weltweiten Jahresumsatzes''' des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 3 AI Act).
 
Für Verstöße gegen andere Bestimmungen werden '''Geldbußen von bis zu 15 000 000 Euro''' oder — im Falle von Unternehmen — von bis zu '''3 % des gesamten weltweiten Jahresumsatze'''s des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 4 AI Act):
 
* Verstöße gegen Pflichten der Anbieter (Art 16 AI Act)
* Verstöße gegen Pflichten der Bevollmächtigten (Art 22 AI Act)
* Verstöße gegen Pflichten der Einführer (Art 23 AI Act)
* Verstöße gegen Pflichten der Händler (Art 24 AI Act)
* Verstöße gegen Pflichten der Betreiber (Art 26 AI Act)
* Verstöße gegen für notifizierte Stellen geltende Anforderungen und Pflichten (Art 31, Art 33 Abs 1, 3, 4, Art 34 AI Act)
* Verstöße gegen Transparenzpflichten für Anbieter und Betreiber (Art 50)
Für die Bereitstellung von '''falschen, unvollständigen''' oder '''irreführenden Informationen''' an notifizierte Stellen oder zuständige nationalen Behörden werden '''Geldbußen von bis zu 7 500 000 Euro''' oder — im Falle von Unternehmen — von bis zu '''1% des gesamten weltweiten Jahresumsatzes''' des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 5 AI Act).
 
Um nicht die Wirtschaft zugunsten von größeren Unternehmen zu verzerren sieht Art 99 Abs 6 AI Act '''Sondervorschriften für KMUs''' vor. Diesbezüglich gilt für jede genannte Geldbuße der jeweils niedrigere Betrag aus den genannten Prozentsätzen oder Summen.
 
Art 99 Abs 7 AI Act präzisiert, welche '''Kriterien''' bei der Entscheidung, ob eine Geldbuße verhängt wird, und bei der Festsetzung der Höhe der Geldbuße zu berücksichtigen sind.<ref>In jedem Einzelfall sind alle relevanten Umstände der konkreten Situation zu berücksichtigen. Darüber hinaus sind bspw die Art, Schwere und Dauer des Verstoßes und seiner Folgen; Größe, Jahresumsatz und Marktanteil des Akteurs; jegliche anderen erschwerenden oder mildernden Umstände etc.</ref>
 
=== Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union (Art 100 AI Act) ===
Parallel dazu gibt Art 100 AI Act Kriterien für die Verhängung von '''Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union''' durch den Europäischen Datenschutzbeauftragen vor.
 
Diesbezüglich drohen bei Missachtung der Verbotenen Praktiken (Art 5 AI Act) Geldbußen von bis zu 1 500 000 EUR und bei bei Nichtkonformität des KI-Systems anderen Anforderungen oder Pflichten Geldbußen von bis zu 750 000 EUR (Art 100 Abs 2, 3 AI Act). 
 
=== Geldbußen für Anbieter GPAI-Modellen (Art 101 AI Act) ===
Art 101 AI Act wiederum normiert Sonderbestimmungen für Geldbußen für Anbieter von [[Artificial Intelligence Act (AIA)#GPAI-Modelle (Art 51 ff AI Act)|GPAI-Modellen]], die sich somit nur an einen eingeschränkteren Personen- bzw Unternehmenskreis richten als die "allgemeinen" Sanktionsbestimmungen des Art 99 AI Act.  
 
Diesbezüglich liegt die Zuständigkeit, anders als bei den allgemeinen Sanktionen, bei der Europäischen Kommission. Diese kann gegen Anbieter von GPAI-Modellen '''Geldbußen von bis zu 3% ihres gesamten weltweiten Jahresumsatzes''' im vorangegangenen Geschäftsjahr oder '''15 000 000 Euro''' verhängen, je nachdem, welcher Betrag höher ist. 
 
Dazu muss sie feststellen, dass der Anbieter vorsätzlich oder fahrlässig 
 
* gegen die einschlägigen Bestimmungen des AI Act verstoßen hat (diese Blankettstrafnorm erfasst somit undefiniert alle relevanten Bestimmungen für GPAI-Modelle)
* der Anforderung eines Dokuments oder von Informationen durch die Kommission (Art 91 AI Act) nicht nachgekommen ist oder falsche, unvollständige oder irreführende Informationen bereitgestellt hat
* einer geforderten Maßnahme nicht nachgekommen ist (Art 93 AI Act, bspw Maßnahmen, um die Verpflichtungen gem Art 53, 54 AI Act einzuhalten oder Risikominderungsmaßnahmen)
* der Kommission keinen Zugang zu dem GPAI-Modell oder dem GPAI-Modell  mit systemischem Risiko gewährt hat, um eine Bewertung durchführen (Art 92 AI Act, bspw um die Einhaltung der Pflichten aus dieser Verordnung durch den Anbieter zu beurteilen oder systemische Risiken auf Unionsebene zu ermitteln)
Bei der Festsetzung der Höhe der Geldbuße oder des Zwangsgelds muss der '''Art, der Schwere und der Dauer des Verstoßes''' sowie den Grundsätzen der Verhältnismäßigkeit und der Angemessenheit gebührend Rechnung getragen werden.
 
Geldbußen müssen wiederum wirksam, verhältnismäßig und abschreckend sein (Art 101 Abs 3 AI Act).
 
== Fallbeispiele ==
 
=== Beispiel 1: KI-gestütztes Kreditscoring ===
{| class="wikitable"
!Sachverhalt
|Ein KI-System, das bestimmungsgemäß für Kreditscoring eingesetzt wird, führt zur Verweigerung eines Kredits bzw günstigerer Kreditkonditionen für eine Interessentin.
Durch die Trainingsdaten des Systems wurde suggeriert, dass Frauen aufgrund eines niedrigeren Durchschnittseinkommens weniger kreditwürdig wären.
|-
!Einordnung AI Act
|Es liegt ein Hochrisiko-KI-System gemäß Artikel 6 Absatz 2 in Verbindung mit Anhang III Z 5 lit b vor (siehe im Detail [[Artificial Intelligence Act (AIA)#Hochrisiko-KI-Systeme (Art 6 AI Act)|Hochrisiko-KI-Systeme im AI Act]]).
|-
!Einordnung AILD/PLD
|[[KI-Haftungsregelungen#Beispiel 1: KI-gestütztes Kreditscoring|Siehe die Analyse im Rahmen der KI-Haftungsregelungen.]]
|}
 
=== Beispiel 2: KI-Chatbot-Assistent für Bankkund*innen ===
{| class="wikitable"
!Sachverhalt
|Ein KI-Chatbotassistenz wird von einer Bank im Überweisungsprozess eingesetzt, um Kund*innen die Dateneingabe zu erleichtern.
Bei einem Kunden kommt es in der Folge (ohne sein Verschulden) dadurch zu einer fehlerhaften Überweisung, wobei der zehnfache Betrag überwiesen wird, weil das KI-System bei der Überweisungssumme eine Kommastelle falsch übernommen hat.<ref>Eventuelle sektorale bankenrechtliche Sonderbestimmungen, die auf dieses Beispiel Anwendung finden könnten, werden in diesem Kontext nicht behandelt und einbezogen.</ref>
|-
!Einordnung AI Act
|Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen.
Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein, wobei auf die Interaktion mit einem Chatbot hingewiesen werden muss (siehe im Detail [[Artificial Intelligence Act (AIA)#Transparenzpflichten (Art 50 AI Act)|Transparenzpflichten]]). Je nach Ausgestaltung könnte die Bank die Rolle des Anbieters, des Betreibers des KI-Systems oder beide Rollen zugleich einnehmen.
|-
!Einordnung AILD/PLD
|[[KI-Haftungsregelungen#Beispiel 2: KI-Chatbot-Assistent für Bankkund*innen|Siehe die Analyse im Rahmen der KI-Haftungsregelungen.]]
|}
 
=== Beispiel 3: KI-Assistenzsystem auf Betriebssystemebene für private Computer ===
{| class="wikitable"
!Sachverhalt
|Ein KI-Assistenzsystem, das standardmäßig auf Betriebssysstemebene bei einer bestimmten Marke privater Computer impementiert ist, wird durch eine Nutzerin des Computers aufgefordert, eine bestimmte Dateien (Scans von wichtigen, privaten Dokumenten) zu suchen.
Aufgrund einer Cybersicherheits-Schwachstelle ist es einem Angreifer allerdings zuvor gelungen, in das System einzudringen, sodass das Assistenzsystem die Dateien an den Angreifer schickt und anschließend auf dem Computer der Nutzerin löscht.
 
'''Variante:''' Es liegt kein Cyberangriff vor. Bei den von der Nutzerin gesuchten Dateien handelt es sich um Scans von einem Beschluss eines Grundbuchsgerichts zur Löschung eines Pfandrechts. Für die Nutzerin ist weiters nicht erkennbar, dass bei der Eingabe ihrer Suche ein KI-Assistenzsystem aktiv wird. Dieses interpretiert das Wort „''Löschung''“ im Suchbefehl als Anweisung, die entsprechenden Dateien direkt zu löschen, was daraufhin auch passiert.
|-
!Einordnung AI Act
|Für die Nutzerin als Betreiberin liegt vermutlich die "Haushaltsausnahme" vor, wodurch der AI Act nicht zur Anwendung kommt (Art 2 Abs 10 AI Act).
Für den Anbieter: Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen. Selbst wenn das Assistenzsystem in einem Hochrisikobereich iSv Anhang III (zB durch Justizbehörden) Verwendung finden würde, könnte eine Ausnahme nach Art 6 Abs 3 AI Act vorliegen, wenn es kein erhebliches Risiko birgt. Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein (siehe im Detail [[Artificial Intelligence Act (AIA)#Transparenzpflichten (Art 50 AI Act)|'''Transparenzpflichten''']]). Dies ist primär davon abhängig, ob man das Assistenzsystem als ein System klassifiziert, das "für die direkte Interaktion mit natürlichen Personen bestimmt" ist.
|-
!EInordnung AILD/PLD
|[[KI-Haftungsregelungen#Beispiel 3: KI-Assistenzsystem auf Betriebssystemebene für private Computer|Siehe die Analyse im Rahmen der KI-Haftungsregelungen.]]
|}
 
=== Beispiel 4: KI-System zur Hautkrebserkennung, Diagnoseerstellung und Therapieempfehlung ===
{| class="wikitable"
!Sachverhalt
|Ein KI-System wird in einer Klinik zur Erkennung von Hautkrebs eingesetzt, wobei Bildaufnahmen der entsprechenden Hautstellen analysiert werden. Daraufhin erstellt das System eine vorläufige Diagnose und eine Empfehlung für eine Therapie.
Die Trainingsdaten des Systems bezogen sich jedoch überwiegend auf Personen mit hellerer Hautfabe, weshalb das System Hautkrebs bei Personen mit dünklerer Hautfarbe seltener erkennt bzw häufiger fehlerhafte Diagnosen und Therapievorschläge erstellt.
 
Im Fall eines Patienten folgt die behandelnde Ärztin den fehlerhaften Empfehlungen ohne ausreichende Prüfung, wodurch der Patient einen körperlichen Schaden erleidet.
|-
!Einordnung AI Act
|Da das KI-System ein entsprechendes Medizinprodukt nach der Medizinprodukteverordnung darstellt, die in Anhang I Abschnitt A genannt wird, und ein Konformitätsbewertungsverfahren unter Einbindung Dritter durchlaufen muss, handelt es sich um ein Hochrisiko-KI-System im Sinne des Art 6 Abs 1 AI Act.
Auf Seiten des Anbieters wurden insbesondere die Anforderungen an Trainingsdaten gemäß Art 10 AI Act verletzt.
 
Grundsätzlich würde die im Sachverhalt genannte Klinik wohl den Betreiber im Sinne des AI Acts darstellen (vgl jedoch die [[Artificial Intelligence Act (AIA)#Änderung der Rolle des Akteurs/Verantwortlichkeit entlang der Wertschöpfungskette (Art 25 AI Act)|Möglichkeit der Änderung der Rolle]]). Diesbezüglich könnte eine Verletzung gegen die Pflicht zur menschlichen Aufsicht (Art 14 AI Act) vorliegen, wenn der Betrieb des Systems nicht entsprechend überwacht wird.
|-
!Einordnung AILD/PLD
|[[KI-Haftungsregelungen#Beispiel 4: KI-System zur Hautkrebserkennung, Diagnoseerstellung und Therapieempfehlung|Siehe die Analyse im Rahmen der KI-Haftungsregelungen.]]
|}


= Weiterführende Literatur =
= Weiterführende Literatur =


== Einführungsbücher ==  
== Einführungsbücher ==  
* ''Hense/Mustac'', AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024, iE)
* ''Hense/Mustac'', AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024)
* ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
* ''Hilgendorf/Roth-Isigkeit'' (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
* ''Ulbricht/Brajovic/Duhme'', Praxishandbuch KI und Recht (2024, iE)
* ''Ulbricht/Brajovic/Duhme'', Praxishandbuch KI und Recht (2024, iE)
* ''Schwartmann/Keber/Zenner'' (Hrsg), KI-Verordnung. Leitfaden für die Praxis (2024)
* ''Schwartmann/Keber/Zenner'' (Hrsg), KI-Verordnung. Leitfaden für die Praxis² (2024)
* ''Voigt/Hullen'', Handbuch KI-Verordnung. FAQ zum EU AI Act (2024, iE)
* ''Voigt/Hullen'', Handbuch KI-Verordnung. FAQ zum EU AI Act (2024)
* ''Wendt/Wendt'', Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024, iE)
* ''Wendt/Wendt'', Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024)
* ''Windholz'', Praxishandbuch KI-VO (2024, iE)
* ''Windholz'', Praxishandbuch KI-VO (2024, iE)


Zeile 262: Zeile 595:
* ''Bomhard/Pieper/Wende'', KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
* ''Bomhard/Pieper/Wende'', KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
* ''Ebers/Zou'', Artificial Intelligence Act. A Commentary (2024, iE)  
* ''Ebers/Zou'', Artificial Intelligence Act. A Commentary (2024, iE)  
* ''Feiler/​Forgó'', KI-VO. EU-Verordnung über Künstliche Intelligenz (2024, iE)
* ''Feiler/​Forgó'', KI-VO. EU-Verordnung über Künstliche Intelligenz (2024)
* ''Heinze/Steinrötter/Zerdick'', KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
* ''Heinze/Steinrötter/Zerdick'', KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
* ''Martini/Wendehorst'', KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
* ''Martini/Wendehorst'', KI-VO. Künstliche Intelligenz-Verordnung (2024)
* ''Reusch/Chibanguza'', KI-VO. Künstliche Intelligenz-Verordnung (2025)
* ''Pehlivan/Forgó/Valcke'', The EU Artificial Intelligence (AI) Act. A Commentary (2024)
* ''Reusch/Chibanguza'', KI-VO. Künstliche Intelligenz-Verordnung (2025, iE)
* ''Schwartmann/Keber/Zenner'', KI-VO (2024)
* ''Schwartmann/Keber/Zenner'', KI-VO (2024)
* ''Wendt/Wendt'', Artificial Intelligence Act. Article-by-Article Commentary (2024, iE)
* ''Wendt/Wendt'', Artificial Intelligence Act. Article-by-Article Commentary (2024, iE)
* ''Wendt/Wendt'', Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE)
* ''Wendt/Wendt'', Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE)
* ''Zankl'', KI-Verordnung. Verordnung über künstliche Intelligenz (Artificial Intelligence Act) (2025)


== Allgemeinere Werke zu KI (Fokus auf Europa) ==  
== Weiterführende Materialien/Links ==
* ''Custers/Fosch-Villaronga'' (Hrsg), Law and Artificial Intelligence. Regulating AI and Applying AI in Legal Practice (2022)
* ''BITKOM'', Get Started Guide. AI Act (Stand April 2024), https://www.bitkom.org/sites/main/files/2024-04/bitkom-get-started-guide-ai-act.pdf
* ''Ebers/Heinze/Steinrötter'' (Hrsg), Künstliche Intelligenz und Robotik. Rechtshandbuch<sup>2</sup> (2025)
* ''BITKOM'', Umsetzungsleitfaden zur KI-Verordnung. Compliance in der Praxis – Schritt für Schritt (Version 1.0 - Stand 29.10.2024), https://www.bitkom.org/sites/main/files/2024-10/241028-bitkom-umsetzungsleitfaden-ki.pdf
* ''Ebers/Quarch'' (Hrsg), Rechtshandbuch ChatGPT. KI-basierte Sprachmodelle in der Praxis (2024, iE)
* ''BITKOM'', Umsetzungsleitfaden zur KI-Verordnung. Click-Through-Tool, https://www.bitkom.org/Klick-Tool-Umsetzungsleitfaden-KI-Verordnung
* ''Kaulartz/Merkle'' (Hrsg), Rechtshandbuch Künstliche Intelligenz<sup>2</sup> (2025)
* ''CNIL'', Self-assessment guide for artificial intelligence (AI) systems, https://www.cnil.fr/en/self-assessment-guide-artificial-intelligence-ai-systems
* ''Mayrhofer/Nessler/Bieber/Fister/Homar/Tumpel'' (Hrsg), ChatGPT, Gemini & Co. Große Sprachmodelle und Recht (2024)
* ''EDPB'', Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models (2024), https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_en
* ''Wischmeyer/Rademacher'' (Hrsg), Regulating Artificial Intelligence (2019)
* ''European Parliament'', Legislative train: the AI Act, https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence
* ''Future of Life Institute (FLI)'', AI Act Explorer, https://artificialintelligenceact.eu/ai-act-explorer/
* ''Future of Life Institute (FLI)'', EU AI Act Compliance Checker, https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/
* ''Gesellschaft für Datenschutz und Datensicherheit (GDD)'', GDD-Praxishilfe Europäische Datenstrategie: KI-VO, Data Act etc. - Adressaten und Regelungsschwerpunkte der neuen Digitalakte (Stand Juli 2024), https://www.gdd.de/wp-content/uploads/2024/07/GDD-Praxishilfe-Europaeische-Datenstrategie-KI-VO-Data-Act-etc-1.pdf
* ''Hacker'', Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024), https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
* ''Österreichische Datenschutzbehörde'', FAQ zum Thema KI und Datenschutz (Stand: 2. Juli 2024), https://www.dsb.gv.at/download-links/FAQ-zum-Thema-KI-und-Datenschutz.html
* ''Plattform Lernende Systeme'', AI Act der Europäischen Union. Regeln für vertrauenswürdige KI (Juni 2024), https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/KI_Kompakt/KI_Kompakt_AI_Act_Plattform_Lernende_Systeme_2024.pdf
* ''WKO'', KI-Guidelines für KMU. Empfehlungen zum positiven Umgang mit künstlicher Intelligenz (Stand 11.03.2024), https://www.wko.at/digitalisierung/ki-guidelines-fuer-kmu


= Weiterführende Materialien/Links =
== Einzelnachweise ==
* [https://www.bitkom.org/sites/main/files/2024-04/bitkom-get-started-guide-ai-act.pdf bitkom, Get Started Guide. AI Act (Stand April 2024)]
* [https://www.cnil.fr/en/self-assessment-guide-artificial-intelligence-ai-systems CNIL, Self-assessment guide for artificial intelligence (AI) systems]
* [https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence European Parlament, Legislative train: the AI Act]
* [https://artificialintelligenceact.eu/ai-act-explorer/ Future of Life Institute (FLI), AI Act Explorer]
* [https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/ Future of Life Institute (FLI), EU AI Act Compliance Checker]
* [https://www.gdd.de/wp-content/uploads/2024/07/GDD-Praxishilfe-Europaeische-Datenstrategie-KI-VO-Data-Act-etc-1.pdf Gesellschaft für Datenschutz und Datensicherheit (GDD), GDD-Praxishilfe Europäische Datenstrategie: KI-VO, Data Act etc. - Adressaten und Regelungsschwerpunkte der neuen Digitalakte (Juli 2024)]
* [https://www.dsb.gv.at/download-links/FAQ-zum-Thema-KI-und-Datenschutz.html Österreichische Datenschutzbehörde, FAQ zum Thema KI und Datenschutz (Stand: 2. Juli 2024)]
* [https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/KI_Kompakt/KI_Kompakt_AI_Act_Plattform_Lernende_Systeme_2024.pdf Plattform Lernende Systeme, AI Act der Europäischen Union. Regeln für vertrauenswürdige KI (Juni 2024)]
* [https://www.wko.at/digitalisierung/ki-guidelines-fuer-kmu WKO, KI-Guidelines für KMU. Empfehlungen zum positiven Umgang mit künstlicher Intelligenz (Stand 11.03.2024)]

Aktuelle Version vom 12. Februar 2025, 12:55 Uhr

Flagge der Europäischen Union

Verordnung (EU) 2024/1689

Titel: Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828
Kurztitel: Verordnung über Künstliche Intelligenz
Bezeichnung:
(nicht amtlich)
AI Act (AIA)/KI-VO
Geltungsbereich: EWR
Rechtsmaterie: Binnenmarkt, Künstliche Intelligenz
Grundlage: AEUV, insbesondere Art. 114
Anzuwenden ab: 2. August 2026 (mit Ausnahmen)
Fundstelle: ABl L 2024/1689, 1
Volltext Konsolidierte Fassung (nicht amtlich)
Grundfassung
Regelung ist in Kraft getreten, aber noch nicht anwendbar.
Hinweis zur geltenden Fassung von Rechtsakten der Europäischen Union


Kurzübersicht

Ziele Anwendungsbereich Inhalt Synergien Konsequenzen
Förderung von Innnovation und Vertrauen Anbieter (häufig Entwickler) bei in Verkehr bringen/in Betrieb nehmen

von KI-Systemen oder

risikobasierter Ansatz direkte Verknüpfung

mit der RL über außervertragliche Haftung (AILD)

Geldbußen von bis zu 35 000 000 Euro/7% des gesamten weltweiten Jahresumsatzes (Verstoß gegen verbotene Praktiken)
Wahrung der Grundrechte und

Sicherheit von EU-Bürger*innen

GPAI-Modellen (general pupose AI) Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme) einige Querbezüge zur DSGVO (zB

Verarbeitung zur Vermeidung von Verzerrungen Art 10), regulatory sandboxes

Geldbußen von bis zu 15 000 000 Euro/3 % des gesamten weltweiten Jahresumsatzes (bspw Anbieter- und Betreiberpflichten)
Förderung des Funktionierens des Binnenmarktes Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz

(eingeschränkt); reine Forschungszwecke

Inkrafttreten am 1. August 2024; Geltung ab 2. August 2026;

einige Aspekte (verbotene Systeme) bereits ab 2. Februar 2025

strenge Regulierung von Hochrisiko-

KI-Systemen (bspw Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht)

Integrierung/Kombination von Anforderungen stellenweise möglich (zB Riskomanagementsysteme) Geldbußen von bis zu 7 500 000 Euro/1% des gesamten weltweiten Jahresumsatzes (Bereitstellung von falschen, unvollständigen oder irreführenden Informationen)
eingeschränkte Pflichten für Betreiber (professionelle Nutzer*innen) Transparenzpflichten für gewisse KI-Systeme (bspw Chatbots, Deepfakes) Geldbußen von bis zu 15 000 000 Euro/3% des gesamten weltweiten Jahresumsatzes (Verstöße gegen Pflichten von Anbietern von GPAI-Modellen)
Sonderregeln für GPAI-Modelle

Einführung

Risikopyramide des AI Act; Europäische Kommission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai.

Der AI Act stellt den europäischen Versuch dar, eine sektorübergreifende Regulierung von Künstlicher Intelligenz (KI) zu erreichen. Der AI Act folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, das heißt primäres Regulierungsziel ist die Sicherheit von KI-Systemen und Modellen.

Der AI Act verfolgt dabei kontrastierende Ziele: So soll das Funktionieren des Binnenmarktes durch einen einheitlichen Rechtsrahmen verbessert, menschenzentrierte und vertrauenswürdige KI gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der Grundrechte sichergestellt, der Schutz vor schädlichen Auswirkungen von KI-Systemen gewährleistet und gleichzeitig die Innovation unterstützt werden (ErwGr 1 AI Act).

Kernstück des AI Act ist ein risikobasierter Ansatz, der KI-Systeme abhängig vom mit ihnen verbundenen Risiko verbietet, Hochrisiko-KI-Systeme stark reguliert, Transparenzpflichten für gewisse Systeme vorsieht oder Systeme mit minimalem Risiko unberührt lässt.

Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle bzw KI-Modelle mit allgemeinem Verwendungszweck eingefügt.[1]


Anwendungsbereich

Sachlicher Anwendungsbereich

KI-Systeme

Zentraler Anknüpfungspunkt für die Anwendbarkeit des AI Act ist dabei das Vorliegen eines "KI-Systems" (Art 3 Z 1 AI Act).[2] Das wichtigsten Abgrenzungsmerkmal der breit gehaltenen Definition ist die Fähigkeit, abzuleiten. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Der Begriff umfasst damit sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.

Um Unklarheiten zu beseitigen, wird die Kommission Leitlinien vorlegen, um auch den Begriff KI-System zu klären.[3] So wurden Unklarheiten bemängelt, zB ob hybride (neurosymbolische) Systeme unter den Begriff fallen.[4]

Die entsprechenden (unverbindlichen) Leitlinien der Kommission wurden am 6. Februar 2025 veröffentlicht und stellen bspw klar, welche Systeme nicht in den Anwendungsbereich fallen (zB etablierte lineare Modelle).[5]

GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck

General Purpose AI Modelle (auf Deutsch "Modelle mit allgemeinem Verwendungszweck"[6]) zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen aus. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 AI Act). Ein KI-System bzw GPAI-System,[7] das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz des AI Act eingestuft werden.

Personeller Anwendungsbereich

Überblick über die Interaktion der einzelnen Akteure im AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html.

In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.

Anbieter ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 AI Act).

Betreiber (in früheren Fassungen Nutzer) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 AI Act).

Daneben existieren auch weniger relevante Akteure wie Einführer, Händler und Bevollmächtigte.

(Geographischer) Anwendungsbereich (Art 2 AI Act)

Der (geographische) Anwendungsbereich des AI Act (Art 2) umfasst dabei primär:[8]

  • Anbieter, die in der Union KI-Systeme in Verkehr bringen[9] oder in Betrieb nehmen[10] oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind
  • Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder in der Union befinden
  • Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird

Ausnahmen (Art 2 Abs 2 ff AI Act)

Art 2 Abs 2 ff AI Act enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollten:

  • Bereiche, die nicht unter das Unionsrecht fallen (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
  • KI-Systeme/KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
  • Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen/KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.[11]
  • Der AI Act gilt für Betreiber, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden ("Haushaltsausnahme")
Hinweis zur Sonderregelung von älterem Produktsicherheitsrecht (zB Mobilität)
Produkte, die unter Produktsicherheitsvorschriften mit dem älteren Ansatz (old approach) fallen und in Anhang I Abschnitt B gelistet werden (zB Luftfahrt und Mobilität) unterliegen nur eingeschränkt dem AI Act (Art 2 Abs 2 AI Act). Sie sind zwar nicht vollständig vom Anwendungsbereich ausgenommen, für sie gelten jedoch nur wenige Bestimmungen (Art 6 Abs 1, Art 102-109, Art 112 und Art 57 AI Act zu Reallaboren).

In der Praxis werden die Anforderungen des AI Act dabei "indirekt" im Wege der delegierten Gesetzgebung/von Durchführungsrechtsakten dieser Produktsicherheitsrechtsakte zur Anwendung kommen.

Die Trennung von Anhang I in Abschnitt A, der direkt dem AI Act unterfällt, und Abschnitt B, für den diese Wirkung indirekt erzielt wird, sollte somit in der Praxis beachtet werden.


Zeitlicher Anwendungsbereich (Art 113 AI Act)

Der AI Act erlangt am 1. August 2024 Geltung und tritt generell am 2. August 2026 in Kraft und ist damit auf Sachverhalte anwendbar (Art 113 AI Act). Gestaffelt treten einige Bestimmungen jedoch bereits vorab in Kraft:[12]

  • allgemeine Bestimmungen (inklusive KI-Kompetenz) und verbotene Praktiken ab 2. Februar 2025
  • Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
  • Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027
Überblick über den abgestuften zeitlichen Geltungsbereich des AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/Zeitplan.de.html.

Zentrale Inhalte

KI-Kompetenz/AI literacy (Art 4 AI Act)

Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 AI Act, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.

KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 AI Act)

Nach Art 5 AI Act sind gewisse Praktiken im KI-Bereich verboten:[13]

  • unterschwellige Beeinflussung außerhalb des Bewusstseins, manipulative/täuschende Techniken
  • Ausnutzen der Vulnerabilität/Schutzbedürftigkeit
  • social scoring (Bewertung/Einstufung von Personen/Gruppen von Personen auf der Grundlage ihres sozialen Verhaltens/Eigenschaften/Persönlichkeitsmerkmale)
  • Bewertung des Risikos, dass eine Person eine Straftat begeht (ausschließlich aufgrund von Profiling)
  • Erstellung/Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern
  • Emotionserkennungssysteme am Arbeitsplatz oder in Bildungseinrichtungen
  • biometrische Kategorisierung, Ableitung von sensiblen Daten (Rasse, politische Einstellung)
  • biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)

(Unverbindliche) Leitlinien der Kommission zu den verbotenen Praktiken konkretisieren die verbotenen Praktiken insbesondere durch zahlreiche Beispiele.[14]

Hochrisiko-KI-Systeme (Art 6 AI Act)

Einstufung

Der AI Act definiert Hochrisiko-KI-Systeme in Art 6. Dabei kennt sie zwei Varianten dieser Systeme, die in der Literatur - nicht aber im AI Act selbst - als "eingebettete" und "eigenständige Hochrisiko-KI-Systeme" bezeichnet werden. [15]

Darüber hinaus enthält Art 6 Abs 3 AI Act Ausnahmen von der Einstufung als Hochrisiko-KI-System.

Nach Art 6 Abs 5 AI Act hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.

"Eingebettete" Hochrisiko-KI-Systeme (embedded high-risk AI systems) (Art 6 Abs 1 AI Act)

Nach Art 6 Abs 1 AI Act gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei Bedingungen erfüllt sind:

  • das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt fällt unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union
  • das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden

Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).

Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren:

Beispiel
Software kann ein Medizinprodukt im Sinne der Medizinprodukteverordnung (MPVO) darstellen.[16]

Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko (zB Diagnose oder Überwachung), unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen:

  • einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I Abschnitt A genannt wird, und
  • anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter" (mit Ausnahme eines Medizinproduktes der Klasse I).

Software als Medizinprodukt fällt somit gleichzeitig als Medizinprodukt unter die MPVO und, sofern die Software den KI-Begriff erfüllt, als Hochrisiko-KI-System unter den AI Act.

"Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 AI Act)

Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 AI Act definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten:

(bspw biometrisch Identifizierung, kritische Infrastrukturen, grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle).

Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 AI Act).

Ausnahmen (Art 6 Abs 3 AI Act)

Art 6 Abs 3 AI Act enthält als Abweichung Ausnahmen von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.

Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn

  1. es dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen (bspw ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt)
  2. es dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (bspw KI-Systeme, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen
  3. es dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (bspw KI-Systeme, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen)
  4. es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)

Art 6 Abs 3 AI Act enthält dabei auch eine Rückausnahme, die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt."

Anforderungen an Hochrisiko-KI-Systeme (Art 8-15 AI Act)

Hochrisiko-KI-Systeme müssen einer Reihe von Anforderungen genügen, die in einem sog Konformitätsbewertungsverfahren geprüft werden, darunter:

Risikomanagementsystem (Art 9 AI Act)

Ein umfassendes Risikomanagementsystem muss eingerichtet, angewandt, dokumentiert und aufrechterhalten werden.

Dies umfasst die Ermittlung und Analyse von Risiken, ihre Abschätzung und Bewertung sowie die Ergreifung von Risikomanagementmaßnahmen und die Abwägung der Maßnahmen mit dem Restrisiko.

Vorgesehen sind auch Testverfahren.

Daten und Daten-Governance (Art 10 AI Act)

Hochrisiko-KI-Systeme müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die gewissen Qualitätskriterien entsprechen.

So müssen die Datensätze neben Verfahren in Bezug auf konzeptionelle Entscheidungen, die Datenerhebung und Aufbereitung (hinreichend) relevant und so weit wie möglich repräsentativ, fehlerfrei und vollständig sein und Verzerrungen (Bias) müssen vermieden werden.

Merkmale/Elemente, die für besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen typisch sind, müssen berücksichtigt werden.

In Bezug auf Bias ist auch eine Regelung zur Verarbeitung von besonders sensiblen personenbezogenen Daten zur Erkennung und Korrektur enthalten, die mit der DSGVO interagiert (Art 10 Abs 5 AI Act).

Technische Dokumentation (Art 11 AI Act)

Als Basis der Konformitätsbewertung muss eine technische Dokumentation erstellt werden, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Diese ist stets auf dem neuesten Stand zu halten.

Aus ihr muss der Nachweis hervorgehen, wie das Hochrisiko-KI-System die Anforderungen der Art 8 bis 15 AI Act erfüllt.

Durch die Dokumentation sollen den zuständigen nationalen Behörden und den notifizierten Stellen alle Informationen zur Verfügung stehen, die erforderlich sind, um zu beurteilen, ob das KI-System diese Anforderungen erfüllt.

KMUs können diese Dokumentation in vereinfachter Weise bereitstellen.

Aufzeichnungspflichten (Art 12 AI Act)

Hochrisiko-KI-Systeme müssen mit Funktionsmerkmalen konzipiert und entwickelt werden, die eine automatische Aufzeichnung von Vorgängen und Ereignissen („Protokollierung“) während des Betriebs der Hochrisiko-KI-Systeme ermöglichen.

Die Protokollierung (zB von Situationen, die dazu führen können, dass das System ein Risiko birgt oder dass es zu einer wesentlichen Änderung kommt) gewährleistet, dass das Funktionieren des KI-Systems während seines gesamten Lebenszyklus rückverfolgbar ist.

Transparenz und Bereitstellung von Informationen für die Betreiber (Art 13 AI Act)

Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können.

Auch müssen den Nutzern/Betreibern entsprechende Betriebsanleitungen (zB zu Merkmalen, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems) zur Verfügung gestellt werden.

Menschliche Aufsicht (Art 14 AI Act)

Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie während der Dauer der Verwendung des KI-Systems von natürlichen Personen wirksam beaufsichtigt werden können.

Dies dient der Verhinderung/Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte und erfordert bspw die Möglichkeit die Fähigkeiten und Grenzen des KI-Systems angemessen und verstehen und seinen Betrieb zu überwachen, Maßnahmen gegen automation bias und die Option, das System nicht zu verwenden, seine Ausgabe außer Acht zu lassen oder in den Betrieb einzugreifen bzw ihn mit einer "Stopptaste" zu unterbrechen.

Genauigkeit, Robustheit und Cybersicherheit (Art 15 AI Act)

Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

Dies umfasst somit Maßnahmen in Hinblick auf innere Fehlerquellen (Performanzmetriken für Genauigkeit, Widerstandsfähigkeit gegenüber Fehlern, Störungen, Unstimmigkeiten für Robustheit; Maßnahmen gegen Rückkopplungsschleifen), als auch Angriffe von Außen (Cybersicherheit).

Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art 16-21 AI Act)

Anbieter von Hochrisiko-KI-Systemen müssen als wichtigste Pflichten ua (Art 16 AI Act):

  • sicherstellen, dass diese Systemen die Anforderungen der Art 8-15 AI Act erfüllen
  • damit verbunden sicherstellen, dass sie einem Konformitätsbewertungsverfahren unterzogen werden (resultierend in einer Konformitätserklärung und einer CE-Kennzeichnung)
  • über ein Qualitätsmanagementsystem (Art 17 AI Act) verfügen (ua Konzept zur Einhaltung der Regulierungsvorschriften, Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; Untersuchungs-, Test- und Validierungsverfahren; Systeme und Verfahren für das Datenmanagement)
  • Dokumentation (Art 18 AI Act) und Protokolle (Art 19 AI Act) aufbewahren
  • einer Registrierungspflicht nachkommen (Art 49 AI Act) und
  • erforderliche Korrekturmaßnahmen ergreifen und Informationen bereitstellen (Art 20 AI Act)

Konformitätsbewertungsverfahren (Art 43 AI Act)

Zentrale Anbieterpflicht ist die Durchführung eines sog Konformitätsbewertungsverfahrens. In diesem Verfahren wird überprüft, ob das Hochrisiko-KI-System die Anforderungen nach Art 8-15 AI Act erfüllt (Art 3 Z 20 AI Act).

Dabei existieren zwei verschiedene Varianten dieses Verfahrens (Art 43 AI Act).

Diese unterscheiden sich primär darin, ob eine notifizierte Stelle, das heißt eine Stelle, die Konformitätsbewertungstätigkeiten einschließlich Prüfungen, Zertifizierungen und Inspektionen durchführt und dabei als Dritte auftritt und die nach dem AI Act "notifiziert" wurde (Art 3 Z 21, 22 AI Act). Die notifizierten Stellen finden sich in einer entsprechenden Datenbank.

  • interne Kontrolle (Anhang VI): Eigenzertifizierung, ohne Beiziehung einer notifizierten Stelle (vorgesehen für eigenständige Hochrisiko-KI-Systeme mit Ausnahme des Bereiches Biometrie)
  • Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation unter Beteiligung einer notifizierten Stelle (Anhang VII) (primär vorgesehen für eingebettete Hochrisiko-KI-Systeme)

Bei eingebetteten Hochrisiko-KI-Systemen ist vorgesehen, dass die nach dem Harmonisierungsrechtsakt einschlägige Konformitätsbewertung (zB nach Medizinprodukteverordnung) durchgeführt wird und die Aspekte des AI Act in dieses Verfahren einbezogen werden (Art 43 Abs 3 AI Act). Ein solches "kombiniertes" Verfahren kann für einer notifizierten Stelle durchgeführt werden, sofern diese die notwendige Expertise, etc aufweist.

Bei wesentlichen Änderungen des Systems ist eine erneute Durchführung notwendig. Dies gilt für Systeme, die im Betrieb weiterlernen, nicht für vorab durch den Anbieter festgelegte Änderungen des Systems und seiner Leistung (Art 43 Abs 4 AI Act).

Der Anbieter hat daraufhin eine EU-Konformitätserklärung (Art 47 AI Act) auszustellen, eine CE-Kennzeichnung (Art 48 AI Act) anzubringen und das (selbständige) Hochrisiko-KI-System in einer Datenbank zu registrieren (Art 49 AI Act).

Pflichten für Betreiber von Hochrisiko-KI-Systemen (Art 26 AI Act)

Betreiber von Hochrisiko-KI-Systemen unterliegen im Vergleich zu Anbietern nur eingeschränkten Pflichten. Sie müssen ua

  • geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie KI-Systeme entsprechend den beigefügten Betriebsanleitungen verwenden
  • die menschliche Aufsicht an natürliche Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen und ihnen die erforderliche Unterstützung zukommen lassen
  • soweit die Eingabedaten ihrer Kontrolle unterliegen dafür sorgen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechend und ausreichend repräsentativ sind
  • den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung überwachen und gegebenenfalls Anbieter iSv Art 72 AI Act informieren. Besteht Grund zur Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Art 79 Abs 1 AI Act birgt, so informieren Betreiber unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Ähnliches gilt bei Feststellung eines schwerwiegenden Vorfalls.
  • Aufbewahrung von Protokollen
  • Information der Arbeitnehmervertreter und betroffenen Arbeitnehmer, wenn das KI-System am Arbeitsplatz eingesetzt wird
  • Information an natürliche Personen, dass sie der Verwendung eines Hochrisiko-KI-Systems unterliegen, wenn das Hochrisiko-KI-Systeme natürliche Personen betreffende Entscheidungen trifft oder bei solchen Entscheidungen Unterstützung leistet
Grundrechte-Folgenabschätzung (Art 27 AI Act)

Als Gegenstück zum Risikomanagement (Art 9 AI Act), das Anbieter von Hochrisiko-KI-Systemen betrifft, müssen gewisse Betreiber[17] von Hochrisiko-KI-Systemen vor der ersten Verwendung eine Abschätzung der Risiken auf Grundrechte durchführen (Art 27 Abs 1 AI Act).[18]

Die Abschätzung umfasst dabei

  • eine Beschreibung der Verfahren, bei denen das Hochrisiko-KI-System verwendet wird
  • eine Beschreibung des Zeitraums und der Häufigkeit der Verwendung
  • die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung betroffen sein könnten
  • die spezifischen Schadensrisiken, die sich auf die ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten
  • eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht
  • die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind.

Das Büro für KI wird dabei ein Muster für einen Fragebogen entwickeln, um dieser Pflicht in vereinfachter Weise nachkommen zu können (Art 27 Abs 5 AI Act).

Änderung der Rolle des Akteurs/Verantwortlichkeit entlang der Wertschöpfungskette (Art 25 AI Act)

Übersicht über die Rollenverteilung und mögliche Rollenwechsel von Betreiber zu Anbieter bei Hochrisiko-KI-Systemen. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html.


Die Einstufung als Betreiber oder Anbieter ist dabei nicht statistisch, wie Art 25 AI Act zeigt. Dieser normiert Fälle, in denen Betreiber (und Händler, Einführung oder sonstige Dritte) als Anbieter eines Hochrisiko-KI-Systems gelten und damit auch den Anbieterpflichten (Art 16 AI Act) unterliegen.

Ein solcher "Rollenwechsel" findet in folgenden Konstellationen statt (Art 25 Abs 1 AI Act):

  • wenn sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen
  • wenn sie eine wesentliche Veränderung eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System gemäß Art 6 AI Act bleibt
  • wenn sie die Zweckbestimmung eines KI-Systems, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art 6 AI Act wird

In diesen Szenarien gilt der ursprüngliche Anbieter nicht mehr als Anbieter dieses spezifischen KI-Systems (Art 25 Abs 2 AI Act). Der Erstanbieter hat dabei mit dem neuen Anbieter zusammenzuarbeiten, Informationen zur Verfügung zu stellen, für technischen Zugang und sonstige Unterstützung zu sorgen.[19]


Hinweis:
Aufgrund von Art 25 AI muss beachtet werden, dass die Rollenverteilung im AI Act eine dynamische und nicht statische ist. So könnte zB ein Betreiber eines Large Language Models, der dieses zur Generierung von medizinischen Diagnosen verwendet, wenn diese Verwendung entgegen der Zweckbestimmung des (ursprünglichen) Anbieters ist, durch diese Verwendung zum neuen Anbieter werden und auch dessen Pflichten übernehmen. Auch ein Zusammentreffen der Rolle von Anbieter und Betreiber in einem Akteur ist möglich.



Transparenzpflichten (Art 50 AI Act)

Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 AI Act Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden.

  • Anbieter haben bei KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind (zB Chatbots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren.[20]
  • Anbieter von KI-Systemen die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind.[21]
  • Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung müssen die davon betroffenen natürlichen Personen über den Betrieb des Systems informieren und personenbezogene Daten datenschutzkonform[22] verarbeiten.[23]
  • Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.[24]
  • Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.[25]

KI-Systeme mit minimalem Risiko

Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als KI-Systeme mit minimalem Risiko bezeichnet, sieht der AI Act keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter den AI Act möglich. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 AI Act).

GPAI-Modelle (Art 51 ff AI Act)

Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko (Art 51-52 AI Act)

Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Baustein/Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 AI Act). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme in den risikobasierten Ansatz fallen (verbotene Systeme, Hochrisiko-KI-Systeme, Transparenzpflichten), unterliegen nur gewisse Modelle, nämlich GPAI-Modelle (in früheren Fassungen foundation models/Basismodelle) einer Sonderregulierung (Art 51 ff AI Act).

Dabei wird binär zwischen GPAI-Modelle ohne und GPAI-Modelle mit systemischem Risiko unterschieden.

Ein solches systemisches Risiko liegt vor (Art 51 AI Act),

  • wenn das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen (floating point operations [FLOPs]),[26] mehr als 1025 beträgt. Dies dürfte zurzeit nur auf GPT-4 und potentiell Varianten von Gemini zutreffen. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 AI Act).
  • ein solches Risiko kann von Amts wegen/aufgrund einer Warnung von der Kommission in einer Entscheidung festgestellt werden (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc)

Pflichten für Anbieter von GPAI-Modellen (Art 53 AI Act)

Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 AI Act):

  • eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI).[27] Diese muss auf Anfrage Behörden zur Verfügung gestellt werden.
  • Informationen und die Dokumentation (Mindestelemente in Anhang XII)[28] erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß dem AI Act nachzukommen.
  • eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
  • eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen
Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko (Art 55 AI Act)

Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 AI Act):

  • eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
  • mögliche systemische Risiken auf Unionsebene bewerten und mindern,
  • einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und die Behörden darüber unterrichten
  • ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten.
Praxisleitfäden (codes of practice) (Art 56 AI Act)

Die genannten Pflichten sollen dabei durch sog Praxisleitfäden auf Unionsebene konkretisiert werden, die unter Berücksichtigung internationaler Ansätze zur ordnungsgemäßen Anwendung dieser Verordnung beizutragen sollen (Art 56 Abs 1 AI Act).

Die Praxisleitfäden sollen mindestens die in Art 53-55 AI Act vorgesehenen Pflichten abdecken, darunter (Art 56 Abs 2 AI Act)

  • Mittel, mit denen sichergestellt wird, dass die in Art 53 Abs 1 lit a und b AI Act genannten Informationen (technische Dokumentation des Modells; Information und Dokumentation für die Integrierung des Modells) vor dem Hintergrund der Marktentwicklungen und technologischen Entwicklungen auf dem neuesten Stand gehalten werden
  • die angemessene Detailgenauigkeit bei der Zusammenfassung der für das Training verwendeten Inhalte
  • die Ermittlung von Art und Wesen der systemischen Risiken auf Unionsebene
  • die Maßnahmen, Verfahren und Modalitäten für die Bewertung und das Management der systemischen Risiken auf Unionsebene

Für die Ausarbeitung solcher Leitfäden können alle Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sowie die einschlägigen zuständigen nationalen Behörden ersucht werden, sich an der Ausarbeitung von Praxisleitfäden zu beteiligen. Organisationen der Zivilgesellschaft, die Industrie, die Wissenschaft und andere einschlägige Interessenträger wie nachgelagerte Anbieter und unabhängige Sachverständige können den Prozess ebenfalls unterstützen (Art 65 Abs 3 AI Act).

Ein erster Entwurf eines solchen Leitfadens, ausgearbeitet von internationalen Expert*innen, wurde im November 2024 von der Europäischen Kommission präsentiert.[29]

Die Befugnisse für die Aufsicht, Ermittlung, Durchsetzung und Überwachung in Bezug auf Anbieter von GPAI-Modellen werden (ausschließlich) der Kommission zugewiesen und in den Art 88-94 AI Act abweichend geregelt.

Durchsetzung/Rechtsbehelfe (Art 85-87 AI Act)

Der AI Act normiert nur wenige Rechtsbehelfe für Betroffene.

Hinweis:
In Bezug auf mögliche Rechtsbehelfe muss der AI Act, der diesbezüglich nur eingeschränkte Möglichkeiten bereithält, im Zusammenhang mit der AILD und PLD gesehen werden.

Recht auf Beschwerde bei der Marktüberwachungsbehörde (Art 85 AI Act)

Zunächst kann jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen des AI Act verstoßen wurde, unbeschadet anderer Rechtsbehelfe, bei der betreffenden Marktüberwachungsbehörde Beschwerden einreichen. Diese Beschwerden werden für die Zwecke der Durchführung von Marktüberwachungstätigkeiten berücksichtigt.

Recht auf Erläuterung der Entscheidungsfindung im Einzelfall (Art 86 AI Act)

Zweitens haben Personen,

  • die von einer Entscheidung betroffen sind,
  • die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Hochrisiko-KI-Systems getroffen hat (somit nur eigenständige Hochrisiko-KI-Systeme;[30] eingebettete Hochrisiko-KI-Systeme wie Medizinprodukte sind nicht erfasst)
  • und die rechtliche Auswirkungen hat oder
  • sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt,

das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten (Art 86 Abs 1 AI Act).[31]

Es handelt sich somit um ein Recht, das Betroffenen gegenüber Betreibern und nicht Anbietern zusteht. Anbieter wiederum haben Betreibern entsprechende Betriebsanleitungen bereitzustellen (Art 13 AI Act).

Dies gilt nur insoweit, als dieses Recht nicht anderweitig im Unionsrecht festgelegt ist (Art 86 Abs 3 AI Act). In Hinblick auf diese Subsidiarität ist insbesondere an das Auskunftsrecht nach Art 15 DSGVO (iVm Art 22 DSGVO) zu denken.

Meldung von Verstößen und Schutz von Hinweisgebern (Art 87 AI Act)

Zusätzlich normiert Art 87 AI Act, dass für die Meldung von Verstößen und den Schutz von Personen, die solche Verstöße melden, die Richtlinie zum Schutz von Whistleblowern gilt.[32]

Bedeutung von Normen und Standards (Art 40-42 AI Act)

Die Kommission hat die Entwicklung von harmonisierten Normen, die derzeit nicht existieren beauftragt.[33] Solche Normen werden im Amtsblatt der EU veröffentlicht.

Stimmen Hochrisiko-KI-Systeme oder GPAI-Modelle mit solchen harmonisierten Normen überein, wird eine Konformität mit den Anforderungen an Hochrisiko-KI-Systeme (Art 8 ff AI Act) oder gegebenenfalls mit den Pflichten für die Anbieter von GPAI-Modellen (Art 53 ff AI Act) vermutet (Konformitätsvermutung), soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind (Art 40 AI Act). Diesen harmonisierten Normen kommt somit eine hohe Bedeutung zu, für Rechtssicherheit zu sorgen und die abstrakten Anforderungen des AI Act zu konkretisieren.[34]

Hinweis:
Derartige harmonisierte Normen befinden sich derzeit in Entwicklung und wurden noch nicht veröffentlicht (siehe unterhalb).

Subsidiär kann die Kommission, wenn strenge Bedingungen erfüllt sind (harmonisierte Normen wurden nicht ausgearbeitet oder entsprechen nicht dem Auftrag), Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen erlassen, mit denen ebenfalls eine solche Konformitätsvermutung einhergeht (Art 41 AI Act).

Ein Kurzüberblick über die Bedeutung von harmonisierten Normen und in Entwicklung befindliche Normen wurde vom Joint Research Centre der Kommission publiziert.[35]

Weitere Konformitätsvermutungen werden in Art 42 AI Act in Bezug auf die Daten-Governance (Art 10 AI Act) und die Cybersicherheit (Art 15 AI Act) für Hochrisiko-KI-Systeme normiert, die mit entsprechenden Daten trainiert und getestet wurden bzw die Cybersicherheitszertifizierungen durchlaufen sind, normiert.

Synergien

Folgenabschätzungen: Datenschutz- und Grundrechte-Folgenabschätzung

  • Der Anwendungsbereich einer Datenschutz-Folgenabschätzung (Art 35 DSGVO) kann sich mit einer Grundrechte-Folgenabschätzung (Art 27 AI Act) überschneiden, wobei eine integrierte Folgenabschätzung durchgeführt werden kann.[36]

Verarbeitung von sensiblen Kategorien personenbezogener Daten (Art 9 DSGVO)

  • Um Verzerrungen (Bias) zu zu erkennen und zu korrigieren dürfen Anbieter, wenn es unbedingt erforderlich, unter strengen Auflagen sensible Kategorien von personenbezogenen Daten (Art 9 DSGVO) verarbeiten (Art 10 Abs 5 AI Act).[37]
  • Bei der Entwicklung/Training leistungsfähigerer KI-Modelle kann es zu Friktionen zwischen Art 15 AI Act, der angemessene Genauigkeit iSv Performanz fordert, und Art 9 DSGVO, der die Verarbeitung sensibler personenbezogener Daten prinzipiell verbietet, kommen.[38] Zwar gab der Europäische Datenschutzausschuss Ende 2024 eine Stellungnahme zum Training von KI-Modellen heraus, diese behandelt die potentielle Friktion mit Art 9 DSGVO jedoch nur am Rande.[39]

Unterschiedliche Verantwortlichkeiten

  • Da die DSGVO primär auf den Verantwortlichen abstellt, diese Rolle wird häufig der Betreiber iSd AI Act einnehmen, die meisten Pflichten nach dem AI Act aber primär an Anbieter adressiert sind, kann es zu einem Auseinanderfallen der Verantwortlichkeiten kommen.[40]

Risikoanalyse: DSA vs AI Act

  • Bei VLOPs und VLOSEs, die generative KI, bspw GPAI-Modelle, integrieren, kann es zu einer Überschneidung zwischen DSA und AI Act, bspw in Bezug auf die nach DSA und AI Act notwendige Risikoanalyse kommen. Daher wird teilweise für eine konsolidierte und technologieübergreifende Risikoanalyse plädiert, wobei dem Umstand, dass mehrere Technologien verknüpft sind, entsprechend Rechnung getragen werden muss.[41]

Überlappende Anforderungen mit anderem Produktsicherheitsrecht

  • Art 8 Abs 2 AI Act betont für Produkte, die bereits untere andere Produktsicherheitsvorschriften fallen (Anhang I Abschnitt A), "im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen" die Anbieter die Wahl haben, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen gegebenenfalls in existierende Dokumentationen und Verfahren zu integrieren.

Integriertes/kombiniertes Risikomangement

  • Anbieter von Hochrisiko-KI-Systemen, die den Anforderungen an interne Risikomanagementprozesse gemäß anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in Art 9 AI Act enthaltenen Aspekte als Bestandteil der nach diesem Recht festgelegten Risikomanagementverfahren integrieren bzw die Verfahren kombinieren (Art 9 Abs 10 AI Act).

Cybersicherheitsanforderungen

  • Art 15 Abs 1 AI Act normiert, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden müssen, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Neben den in Art 15 Abs 5 AI Act konkretisierten speziellen Maßnahmen an die Cybersicherheit von KI-Systemen bleiben auch andere Anforderungen, bspw nach NIS2-RL anwendbar.

Recht auf Erläuterung

  • In Bezug auf das in Art 86 AI Act normierte Recht auf Erläuterung besteht potentiell eine Subsidiarität gegenüber der Auskunftspflicht nach Art 15 DSGVO iVm Art 22 DSGVO zur automatisierten Entscheidungsfindung, das für vollautomatisierte Entscheidungsfindung ein Recht auf Zugang zu besonderen Informationen wie der involvierten Logik gewährt.

AILD

  • Insbesondere die AILD, aber auch eingeschränkter die PHRL neu, nimmt direkt auf den AI Act Bezug und verweist bei der Begriffsverwendung häufig auf diesen. Somit kann die AILD nicht ohne den Kontext des AI Act verstanden werden. So bilden die Pflichten in Bezug auf Hochrisiko-KI-Systeme (Art 8-15 AI Act) wichtige Sorgfaltspflichten in der AILD (siehe ausführlicher im Rahmen der Haftungsregeln).

Sanktionen/sonstige Konsequenzen

Sanktionen (Art 99 AI Act)

Art 99 Abs 1 AI Act übertragt die Festsetzung von Sanktionen primär den MS und normiert nur grobe Richtlinien dafür. Die Kommission hat jedoch Leitlinien (Art 96 AI Act) zu veröffentlichen, die zu berücksichtigen sind.

Hinweis
Zum derzeitigen Stand gibt es noch kein nationales Durchführungsgesetz, das die Sanktionen konkretisiert.

Somit sind nach dieser Bestimmung Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen, zu denen auch Verwarnungen und nicht monetäre Maßnahmen gehören können, von den MS zu erlassen. MS müssen alle Maßnahmen ergreifen, die für deren ordnungsgemäße und wirksame Durchsetzung notwendig sind.

Die vorgesehenen Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein und die Interessen von KMU sowie deren wirtschaftliches Überleben berücksichtigen.

Jeder MS erlässt auch Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen im MS Geldbußen verhängt werden können (Art 99 Abs 8 AI Act).

Die höchsten Geldstrafen drohen für eine Verletzung gegen die verbotenen Praktiken (Art 5 AI Act). Bei Missachtung des Verbots werden Geldbußen von bis zu 35 000 000 Euro oder — im Falle von Unternehmen — von bis zu 7% des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 3 AI Act).

Für Verstöße gegen andere Bestimmungen werden Geldbußen von bis zu 15 000 000 Euro oder — im Falle von Unternehmen — von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 4 AI Act):

  • Verstöße gegen Pflichten der Anbieter (Art 16 AI Act)
  • Verstöße gegen Pflichten der Bevollmächtigten (Art 22 AI Act)
  • Verstöße gegen Pflichten der Einführer (Art 23 AI Act)
  • Verstöße gegen Pflichten der Händler (Art 24 AI Act)
  • Verstöße gegen Pflichten der Betreiber (Art 26 AI Act)
  • Verstöße gegen für notifizierte Stellen geltende Anforderungen und Pflichten (Art 31, Art 33 Abs 1, 3, 4, Art 34 AI Act)
  • Verstöße gegen Transparenzpflichten für Anbieter und Betreiber (Art 50)

Für die Bereitstellung von falschen, unvollständigen oder irreführenden Informationen an notifizierte Stellen oder zuständige nationalen Behörden werden Geldbußen von bis zu 7 500 000 Euro oder — im Falle von Unternehmen — von bis zu 1% des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 5 AI Act).

Um nicht die Wirtschaft zugunsten von größeren Unternehmen zu verzerren sieht Art 99 Abs 6 AI Act Sondervorschriften für KMUs vor. Diesbezüglich gilt für jede genannte Geldbuße der jeweils niedrigere Betrag aus den genannten Prozentsätzen oder Summen.

Art 99 Abs 7 AI Act präzisiert, welche Kriterien bei der Entscheidung, ob eine Geldbuße verhängt wird, und bei der Festsetzung der Höhe der Geldbuße zu berücksichtigen sind.[42]

Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union (Art 100 AI Act)

Parallel dazu gibt Art 100 AI Act Kriterien für die Verhängung von Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union durch den Europäischen Datenschutzbeauftragen vor.

Diesbezüglich drohen bei Missachtung der Verbotenen Praktiken (Art 5 AI Act) Geldbußen von bis zu 1 500 000 EUR und bei bei Nichtkonformität des KI-Systems anderen Anforderungen oder Pflichten Geldbußen von bis zu 750 000 EUR (Art 100 Abs 2, 3 AI Act).

Geldbußen für Anbieter GPAI-Modellen (Art 101 AI Act)

Art 101 AI Act wiederum normiert Sonderbestimmungen für Geldbußen für Anbieter von GPAI-Modellen, die sich somit nur an einen eingeschränkteren Personen- bzw Unternehmenskreis richten als die "allgemeinen" Sanktionsbestimmungen des Art 99 AI Act.

Diesbezüglich liegt die Zuständigkeit, anders als bei den allgemeinen Sanktionen, bei der Europäischen Kommission. Diese kann gegen Anbieter von GPAI-Modellen Geldbußen von bis zu 3% ihres gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr oder 15 000 000 Euro verhängen, je nachdem, welcher Betrag höher ist.

Dazu muss sie feststellen, dass der Anbieter vorsätzlich oder fahrlässig

  • gegen die einschlägigen Bestimmungen des AI Act verstoßen hat (diese Blankettstrafnorm erfasst somit undefiniert alle relevanten Bestimmungen für GPAI-Modelle)
  • der Anforderung eines Dokuments oder von Informationen durch die Kommission (Art 91 AI Act) nicht nachgekommen ist oder falsche, unvollständige oder irreführende Informationen bereitgestellt hat
  • einer geforderten Maßnahme nicht nachgekommen ist (Art 93 AI Act, bspw Maßnahmen, um die Verpflichtungen gem Art 53, 54 AI Act einzuhalten oder Risikominderungsmaßnahmen)
  • der Kommission keinen Zugang zu dem GPAI-Modell oder dem GPAI-Modell mit systemischem Risiko gewährt hat, um eine Bewertung durchführen (Art 92 AI Act, bspw um die Einhaltung der Pflichten aus dieser Verordnung durch den Anbieter zu beurteilen oder systemische Risiken auf Unionsebene zu ermitteln)

Bei der Festsetzung der Höhe der Geldbuße oder des Zwangsgelds muss der Art, der Schwere und der Dauer des Verstoßes sowie den Grundsätzen der Verhältnismäßigkeit und der Angemessenheit gebührend Rechnung getragen werden.

Geldbußen müssen wiederum wirksam, verhältnismäßig und abschreckend sein (Art 101 Abs 3 AI Act).

Fallbeispiele

Beispiel 1: KI-gestütztes Kreditscoring

Sachverhalt Ein KI-System, das bestimmungsgemäß für Kreditscoring eingesetzt wird, führt zur Verweigerung eines Kredits bzw günstigerer Kreditkonditionen für eine Interessentin.

Durch die Trainingsdaten des Systems wurde suggeriert, dass Frauen aufgrund eines niedrigeren Durchschnittseinkommens weniger kreditwürdig wären.

Einordnung AI Act Es liegt ein Hochrisiko-KI-System gemäß Artikel 6 Absatz 2 in Verbindung mit Anhang III Z 5 lit b vor (siehe im Detail Hochrisiko-KI-Systeme im AI Act).
Einordnung AILD/PLD Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 2: KI-Chatbot-Assistent für Bankkund*innen

Sachverhalt Ein KI-Chatbotassistenz wird von einer Bank im Überweisungsprozess eingesetzt, um Kund*innen die Dateneingabe zu erleichtern.

Bei einem Kunden kommt es in der Folge (ohne sein Verschulden) dadurch zu einer fehlerhaften Überweisung, wobei der zehnfache Betrag überwiesen wird, weil das KI-System bei der Überweisungssumme eine Kommastelle falsch übernommen hat.[43]

Einordnung AI Act Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen.

Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein, wobei auf die Interaktion mit einem Chatbot hingewiesen werden muss (siehe im Detail Transparenzpflichten). Je nach Ausgestaltung könnte die Bank die Rolle des Anbieters, des Betreibers des KI-Systems oder beide Rollen zugleich einnehmen.

Einordnung AILD/PLD Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 3: KI-Assistenzsystem auf Betriebssystemebene für private Computer

Sachverhalt Ein KI-Assistenzsystem, das standardmäßig auf Betriebssysstemebene bei einer bestimmten Marke privater Computer impementiert ist, wird durch eine Nutzerin des Computers aufgefordert, eine bestimmte Dateien (Scans von wichtigen, privaten Dokumenten) zu suchen.

Aufgrund einer Cybersicherheits-Schwachstelle ist es einem Angreifer allerdings zuvor gelungen, in das System einzudringen, sodass das Assistenzsystem die Dateien an den Angreifer schickt und anschließend auf dem Computer der Nutzerin löscht.

Variante: Es liegt kein Cyberangriff vor. Bei den von der Nutzerin gesuchten Dateien handelt es sich um Scans von einem Beschluss eines Grundbuchsgerichts zur Löschung eines Pfandrechts. Für die Nutzerin ist weiters nicht erkennbar, dass bei der Eingabe ihrer Suche ein KI-Assistenzsystem aktiv wird. Dieses interpretiert das Wort „Löschung“ im Suchbefehl als Anweisung, die entsprechenden Dateien direkt zu löschen, was daraufhin auch passiert.

Einordnung AI Act Für die Nutzerin als Betreiberin liegt vermutlich die "Haushaltsausnahme" vor, wodurch der AI Act nicht zur Anwendung kommt (Art 2 Abs 10 AI Act).

Für den Anbieter: Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen. Selbst wenn das Assistenzsystem in einem Hochrisikobereich iSv Anhang III (zB durch Justizbehörden) Verwendung finden würde, könnte eine Ausnahme nach Art 6 Abs 3 AI Act vorliegen, wenn es kein erhebliches Risiko birgt. Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein (siehe im Detail Transparenzpflichten). Dies ist primär davon abhängig, ob man das Assistenzsystem als ein System klassifiziert, das "für die direkte Interaktion mit natürlichen Personen bestimmt" ist.

EInordnung AILD/PLD Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 4: KI-System zur Hautkrebserkennung, Diagnoseerstellung und Therapieempfehlung

Sachverhalt Ein KI-System wird in einer Klinik zur Erkennung von Hautkrebs eingesetzt, wobei Bildaufnahmen der entsprechenden Hautstellen analysiert werden. Daraufhin erstellt das System eine vorläufige Diagnose und eine Empfehlung für eine Therapie.

Die Trainingsdaten des Systems bezogen sich jedoch überwiegend auf Personen mit hellerer Hautfabe, weshalb das System Hautkrebs bei Personen mit dünklerer Hautfarbe seltener erkennt bzw häufiger fehlerhafte Diagnosen und Therapievorschläge erstellt.

Im Fall eines Patienten folgt die behandelnde Ärztin den fehlerhaften Empfehlungen ohne ausreichende Prüfung, wodurch der Patient einen körperlichen Schaden erleidet.

Einordnung AI Act Da das KI-System ein entsprechendes Medizinprodukt nach der Medizinprodukteverordnung darstellt, die in Anhang I Abschnitt A genannt wird, und ein Konformitätsbewertungsverfahren unter Einbindung Dritter durchlaufen muss, handelt es sich um ein Hochrisiko-KI-System im Sinne des Art 6 Abs 1 AI Act.

Auf Seiten des Anbieters wurden insbesondere die Anforderungen an Trainingsdaten gemäß Art 10 AI Act verletzt.

Grundsätzlich würde die im Sachverhalt genannte Klinik wohl den Betreiber im Sinne des AI Acts darstellen (vgl jedoch die Möglichkeit der Änderung der Rolle). Diesbezüglich könnte eine Verletzung gegen die Pflicht zur menschlichen Aufsicht (Art 14 AI Act) vorliegen, wenn der Betrieb des Systems nicht entsprechend überwacht wird.

Einordnung AILD/PLD Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Weiterführende Literatur

Einführungsbücher

  • Hense/Mustac, AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024)
  • Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
  • Ulbricht/Brajovic/Duhme, Praxishandbuch KI und Recht (2024, iE)
  • Schwartmann/Keber/Zenner (Hrsg), KI-Verordnung. Leitfaden für die Praxis² (2024)
  • Voigt/Hullen, Handbuch KI-Verordnung. FAQ zum EU AI Act (2024)
  • Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act) (2024)
  • Windholz, Praxishandbuch KI-VO (2024, iE)

Kommentare

  • Bomhard/Pieper/Wende, KI-VO. Künstliche Intelligenz-Verordnung (2024, iE)
  • Ebers/Zou, Artificial Intelligence Act. A Commentary (2024, iE)
  • Feiler/​Forgó, KI-VO. EU-Verordnung über Künstliche Intelligenz (2024)
  • Heinze/Steinrötter/Zerdick, KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
  • Martini/Wendehorst, KI-VO. Künstliche Intelligenz-Verordnung (2024)
  • Pehlivan/Forgó/Valcke, The EU Artificial Intelligence (AI) Act. A Commentary (2024)
  • Reusch/Chibanguza, KI-VO. Künstliche Intelligenz-Verordnung (2025, iE)
  • Schwartmann/Keber/Zenner, KI-VO (2024)
  • Wendt/Wendt, Artificial Intelligence Act. Article-by-Article Commentary (2024, iE)
  • Wendt/Wendt, Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2024, iE)
  • Zankl, KI-Verordnung. Verordnung über künstliche Intelligenz (Artificial Intelligence Act) (2025)

Weiterführende Materialien/Links

Einzelnachweise

  1. MwN zu diesen Entwicklungen Hacker/Engel/Mauer, Regulating ChatGPT and other Large Generative AI Models, in ACM (Hrsg), FAccT '23: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (2023) 1112, https://doi.org/10.1145/3593013.359406; Steindl, Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act, RdW 2023, 1.
  2. Art 3 Z 1 nennt die unterschiedlichen Komponenten des KI-Systems. Ein KI-System ist demnach "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können." (Hervorhebungen nicht om Original). Nach ErwGr 12 sollte der Begriff "KI-System" "sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen." Differenziert zum Begriff "KI-System" Wendehorst/Nessler/Aufreiter/Aichinger, Der Begriff des "KI-Systems" unter der neuen KI-VO, MMR 2024, 605.
  3. Dafür wurde ein Konsultationsprozess durchgeführt, vgl European Commission, Commission launches consultation on AI Act prohibitions and AI system definition, https://digital-strategy.ec.europa.eu/en/news/commission-launches-consultation-ai-act-prohibitions-and-ai-system-definition (Stand 13. 11. 2024).
  4. EDPS, EDPS comments to the AI Office’s consultation on the application of the definition of an AI system and the prohibited AI practices established in the AI Act launched by the European AI Office (2024) 3, https://www.edps.europa.eu/data-protection/our-work/publications/formal-comments/2024-12-19-edps-ai-offices-consultation-application-definition-ai-system-and-prohibited-ai-practices-established-ai-act-launched-european-ai_en.
  5. Annex to the Communication to the Commission Approval of the content of the draft Communication from the Commission - Commission Guidelines on the defintion of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act), C(2025) 924 final, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-ai-system-definition-facilitate-first-ai-acts-rules-application.
  6. Art 3 Z 63 KI-VO definiert ein solches Modell als "ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann."
  7. Art 3 Z 66 KI-VO: "'KI-System mit allgemeinem Verwendungszweck' ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen." (Hervorhebungen nicht im Original)
  8. Sekundär werden noch weitere Beteiligte von geringerer Relevanz erfasst: Einführer und Händler von KI-Systemen; Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen; Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind; betroffene Personen, die sich in der Union befinden.
  9. Art 3 Z 9 KI-VO: "'Inverkehrbringen' die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
  10. Art 3 Z 11 KI-VO: "'Inbetriebnahme' die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung". Art 3 Z 10 KI-VO: "'Bereitstellung auf dem Markt' die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit".
  11. Dabei ist zu beachten, dass Tests unter Realbedingungen nicht unter diesen Ausschluss fallen.
  12. Future of Privacy Forum (FPF), EU AI Act. A Comprehensive Implementation & Compliance Timeline, https://fpf.org/wp-content/uploads/2024/07/FPF_EU_AI_Act_Timeline_July_24.pdf.
  13. MwN Neuwirth, Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), CLSR 2023, https://doi.org/10.1016/j.clsr.2023.105798; Rostaski/Weiss, § 3. Verbotene Praktiken, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 35.
  14. Annex to the Communication to the Commission Approval of the content of the draft Communication from the Commission - Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act.
  15. MwN Martini, § 4. Hochrisiko-KI-Systeme: Risikobasierter Ansatz, in Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023) 51 (61 ff).
  16. MwN Schreitmüller, Regulierung intelligenter Medizinprodukte. Eine Analyse unter besonderer Berücksichtigung der MPVO und DSGVO (2023).
  17. Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b [Kreditwürdigkeitsprüfung und Bonitätsbewertung] und c [Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen]. Eine Ausnahme besteht wiederum im Bereich der kritischen Infrastruktur (Anhang III Nummer 2).
  18. MwN Müller/Schneeberger, Menschenrechtsfolgenabschätzungen im Artificial Intelligence Act, juridikum 2024, 265.
  19. Diese Pflicht zur Übergabe der Dokumentation gilt nicht, wenn der Anbieter festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.
  20. Eine solche Kennzeichnung ist nicht notwendig, wenn es aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass mit einem KI-System interagiert wird. Diese Pflicht gilt ebenfalls nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.
  21. Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.
  22. Dabei wird explizit auf die DSGVO, die VO (EU) 2018/1725 des Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur Aufhebung der Verordnung (EG) Nr. 45/2001 und des Beschlusses Nr. 1247/2002/EG und die RL (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates verwiesen.
  23. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.
  24. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
  25. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
  26. Definiert als "jede Rechenoperation oder jede Zuweisung mit Gleitkommazahlen, bei denen es sich um eine Teilmenge der reellen Zahlen handelt, die auf Computern typischerweise durch das Produkt aus einer ganzen Zahl mit fester Genauigkeit und einer festen Basis mit ganzzahligem Exponenten dargestellt wird (Art 3 Z 67 AI Act). Grafisch dargestellt in RTR, FLOPs und der AI Act, https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/2024-07-19_FLOPs-AIA-DE.svg.
  27. Das heißt (soweit es anhand der Größe und des Risikoprofils des betreffenden Modells angemessen ist) erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; die Architektur und die Anzahl der Parameter; die Modalität [zum Beispiel Text, Bild] und das Format der Ein- und Ausgaben; die Lizenz) und zweitens eine ausführliche Beschreibung der Elemente des Modells und relevante Informationen zum Entwicklungsverfahren (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; die Entwurfsspezifikationen des Modells und des Trainingsverfahrens einschließlich Trainingsmethoden und -techniken, die wichtigsten Entwurfsentscheidungen mit den Gründen und getroffenen Annahmen; gegebenenfalls, was das Modell optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden [zum Beispiel Bereinigung, Filterung usw.], der Zahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; gegebenenfalls die Art und Weise, wie die Daten erlangt und ausgewählt wurden, sowie alle anderen Maßnahmen zur Feststellung, ob Datenquellen ungeeignet sind, und Methoden zur Erkennung ermittelbarer Verzerrungen; die für das Trainieren des Modells verwendeten Rechenressourcen [zum Beispiel Anzahl der Gleitkommaoperationen], die Trainingszeit und andere relevante Einzelheiten im Zusammenhang mit dem Trainieren; bekannter oder geschätzter Energieverbrauch des Modells).
  28. Das heißt erstens eine allgemeine Beschreibung des KI-Modells (bspw der Aufgaben, die das Modell erfüllen soll, sowie der Art und des Wesens der KI-Systeme, in die es integriert werden kann; die anwendbaren Regelungen der akzeptablen Nutzung; das Datum der Freigabe und die Vertriebsmethoden; gegebenenfalls wie das Modell mit Hardware oder Software interagiert, die nicht Teil des Modells selbst ist, oder wie es zu einer solchen Interaktion verwendet werden kann; gegebenenfalls die Versionen der einschlägigen Software im Zusammenhang mit der Verwendung des KI-Modells mit allgemeinem Verwendungszweck; die Architektur und die Anzahl der Parameter; die Modalität (zum Beispiel Text, Bild) und das Format der Ein- und Ausgaben; die Lizenz für das Modell) und zweitens eine Beschreibung der Bestandteile des Modells und seines Entwicklungsprozesses (bspw die technischen Mittel [zum Beispiel Betriebsanleitungen, Infrastruktur, Instrumente], die für die Integration des KI-Modells mit allgemeinem Verwendungszweck in KI-Systeme erforderlich sind; Modalität [zum Beispiel Text, Bild usw.] und Format der Ein- und Ausgaben und deren maximale Größe [zum Beispiel Länge des Kontextfensters usw.]; gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Aufbereitungsmethoden.)
  29. European Commission, First Draft of the General-Purpose AI Code of Practice published, written by independent experts, https://digital-strategy.ec.europa.eu/en/library/first-draft-general-purpose-ai-code-practice-published-written-independent-experts (Stand 14. 11. 2024).
  30. Eine Ausnahme besteht für Hochrisiko-KI-Systeme im Bereich kritische Infrastruktur.
  31. MwN Müller/Scheichenbauer/Schneeberger, Der Auskunftsanspruch im Zeitalter KI-gestützter Entscheidungsprozesse. Querverbindungen von Art 15 Abs 1 lit h iVm Art 22 DSGVO und Art 86 AI Act in der Praxis, in Jahnel (Hrsg), Jahrbuch Datenschutzrecht 2024 (2025) 157.
  32. RL (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden, ABl L 2019/305, 17.
  33. Commission Implementing Decision on a standardisation request to the European Committee for Standardisation and the European Committee for Electrotechnical Standardisation in support of Union policy on artificial intelligence, C(2023)3215, https://ec.europa.eu/transparency/documents-register/detail?ref=C(2023)3215&lang=en.
  34. MwN Ebers, Standardisierung Künstlicher Intelligenz und KI-Verordnungsvorschlag, RDi 2021, 588.
  35. Soler Garrido/de Nigris/Bassani/Sanchez/Evas/André/Boulangé, Harmonised Standards for the European AI Act (2024), https://publications.jrc.ec.europa.eu/repository/handle/JRC139430.
  36. Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 23 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
  37. Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 24 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
  38. Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 25 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
  39. EDPB, Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models (2024), https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_en.
  40. Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 24, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
  41. Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024) 19 f, https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
  42. In jedem Einzelfall sind alle relevanten Umstände der konkreten Situation zu berücksichtigen. Darüber hinaus sind bspw die Art, Schwere und Dauer des Verstoßes und seiner Folgen; Größe, Jahresumsatz und Marktanteil des Akteurs; jegliche anderen erschwerenden oder mildernden Umstände etc.
  43. Eventuelle sektorale bankenrechtliche Sonderbestimmungen, die auf dieses Beispiel Anwendung finden könnten, werden in diesem Kontext nicht behandelt und einbezogen.