Artificial Intelligence Act (AIA)

Verordnung (EU) 2024/1689
Titel:	Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828
Kurztitel:	Verordnung über Künstliche Intelligenz
Bezeichnung: (nicht amtlich)	AI Act (AIA)/KI-VO
Geltungsbereich:	EWR
Rechtsmaterie:	Binnenmarkt, Künstliche Intelligenz
Grundlage:	AEUV, insbesondere Art. 114
Anzuwenden ab:	2. Februar 2025 (schrittweise)
Fundstelle:	ABl L 2024/1689, 1
Volltext	Konsolidierte Fassung (nicht amtlich) Grundfassung
Regelung ist in Kraft getreten und anwendbar.
Hinweis zur geltenden Fassung von Rechtsakten der Europäischen Union

Kurzübersicht

Ziele	Anwendungsbereich	Inhalt	Synergien	Konsequenzen
Förderung von Innnovation und Vertrauen	Anbieter (häufig Entwickler) bei in Verkehr bringen/in Betrieb nehmen von KI-Systemen	risikobasierter Ansatz	direkte Verknüpfung mit der RL über außervertragliche Haftung (AILD, von der Kommission zurückgezogen)	Geldbußen von bis zu 35 000 000 Euro/7% des gesamten weltweiten Jahresumsatzes (Verstoß gegen verbotene Praktiken)
Wahrung der Grundrechte und Sicherheit von EU-Bürger*innen	GPAI-Modelle (general purpose AI)	Verbote von besonders riskanten Praktiken (zB social scoring, manipulative Systeme)	einige Querbezüge zur DSGVO (zB Verarbeitung zur Vermeidung von Verzerrungen, Art 10), regulatory sandboxes	Geldbußen von bis zu 15 000 000 Euro/3 % des gesamten weltweiten Jahresumsatzes (zB Anbieter- und Betreiberpflichten, Verstöße gegen Pflichten von Anbietern von GPAI-Modellen)
Förderung des Binnenmarktes	Ausnahmen: militärische Zwecke; Systeme unter open-source-Lizenz (eingeschränkt); reine Forschungszwecke Inkrafttreten am 1. August 2024; Geltung ab 2. August 2026; einige Aspekte (verbotene Systeme) gelten seit 2. Februar 2025	strenge Regulierung von Hochrisiko- KI-Systemen (zB Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht)	Integrierung/Kombination von Anforderungen stellenweise möglich (zB Riskomanagementsysteme)	Geldbußen von bis zu 7 500 000 Euro/1% des gesamten weltweiten Jahresumsatzes (Bereitstellung von falschen, unvollständigen oder irreführenden Informationen)
Gewährleistung von Transparenz und Verantwortlichkeit	Pflichten für Betreiber (professionelle Nutzer*innen) und Anbieter	Transparenzpflichten für gewisse KI-Systeme (zB Chatbots, Deepfakes)	Informationspflichten nach der DSGVO	Geldbußen von bis zu 15 000 000 Euro/3% des gesamten weltweiten Jahresumsatzes

Einführung

Risikopyramide des AI Act; Europäische Kommission, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai.

Der AI Act ist die erste EU-weite, sektorübergreifende Regulierung von Künstlicher Intelligenz (KI) und folgt dabei primär einem produktsicherheitsrechtlichem Ansatz, dessen vorrangiges Regulierungsziel die Sicherheit von KI-Systemen und Modellen ist. Damit ist er Teil des sog "New Legislative Framework" (NLF), einem unionsrechtlichen Maßnahmenpaket zur Produktregulierung, das auf die Verbesserung der Marktüberwachung abzielt und sich durch einheitliche Kernelemente auszeichnet (zB Konformitätsbewertungsverfahren, Selbstregulierung, Standards und einheitliche Anforderungen). Im Rahmen des Gesetzgebungsprozesses wurde der Rechtsakt - insbesondere auf Bestreben des Europäischen Parlaments - um menschenrechtliche Aspekte und Betroffenenrechte erweitert, weshalb der AI Act mittlerweile deutlich über reines Produktsicherheitsrecht hinausgeht.

Der AI Act verfolgt dabei kontrastierende Ziele: So soll das Funktionieren des Binnenmarktes durch einen einheitlichen Rechtsrahmen verbessert, menschenzentrierte und vertrauenswürdige KI gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der Grundrechte sichergestellt, der Schutz vor schädlichen Auswirkungen von KI-Systemen gewährleistet und gleichzeitig die Innovation unterstützt werden (ErwGr 1 AI Act).

Kernstück des AI Act ist ein risikobasierter Ansatz, der KI-Systeme nach dem mit ihnen verbundenen Risiko in vier Klassen einteilt und KI-Systeme mit inakzeptablem Risiko verbietet, Hochrisiko-KI-Systeme stark reguliert, für gewisse Systeme lediglich Transparenzpflichten vorsieht und Systeme mit minimalem Risiko unberührt lässt.

Durch die Prominenz von ChatGPT wurden spät im Gesetzgebungsprozess auch noch spezielle Bestimmungen in Bezug auf sog general purpose AI (GPAI) Modelle bzw KI-Modelle mit allgemeinem Verwendungszweck eingefügt.

Anwendungsbereich

Sachlicher Anwendungsbereich

KI-Systeme

Zentraler Anknüpfungspunkt für die Anwendbarkeit des AI Act ist dabei das Vorliegen eines "KI-Systems". Dabei handelt es sich um "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können."

Das wichtigsten Abgrenzungsmerkmal der breit gehaltenen Definition ist die Fähigkeit, abzuleiten. Diese Fähigkeit kann sich auf den Prozess der Erzeugung von Ausgaben sowie auf die Fähigkeit, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten, beziehen. Der Begriff umfasst damit sowohl Machine-Learning- als auch (ältere) logik- und wissensgestützte Ansätze.

Hingegen soll sich nach ErwGr 12 der Begriff "KI-System" "nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen [...]", womit auf eine Abgrenzung von KI von herkömmlichen Softwarelösungen und Programmierungsansätzen abgezielt wird.

Zusammenfassend möchte der EU-Gesetzgeber mit dieser Definition einerseits Rechtssicherheit schaffen, allerdings immer noch Raum für technologischen Fortschritt lassen, um den Anwendungsbereich des AI Act nicht von Vornherein vor potenziellen künftigen technologischen Entwicklungen zu verschließen. Dennoch wurde die Definition als zu vage und unbestimmt empfunden. So wurden diverse Unklarheiten bemängelt, zB ob hybride (neurosymbolische) Systeme unter den Begriff fallen. Um den Begriff des KI-Systems also zu konkretisieren und Unsicherheiten zu beseitigen, sollte die Kommission gemäß Art 96 Abs 1 lit f AI Act Leitlinien vorlegen, und damit eine einheitliche Anwendung des Regelwerks fördern sowie Rechtsicherheit gewährleisten. Die entsprechenden (unverbindlichen) Leitlinien der Kommission wurden am 6. Februar 2025 veröffentlicht und stellen bspw klar, welche Systeme nicht in den Anwendungsbereich fallen (zB etablierte lineare Modelle, einfache Datenverarbeitungssysteme, auf klassische Heuristik gestützte Systeme, einfache Vorhersagesysteme etc.). Eine Positiv-Liste, welche Systeme jedenfalls unter den KI-Begriff fallen, enthalten die Leitlinien allerdings nicht. Sie orientieren sich vielmehr an den 7 Kernelementen der KI-Definition gemäß Art 3 Z 1 AI Act. Es wird überdies betont, dass nicht alle Elemente kontinuierlich in den beiden Hauptphasen des Lebenszyklus von KI ("building phase" / "pre-deployment" oder "use phase" / "post-deployment") vorhanden sein müssen und, dass sich die Leitlinien kontinuierlich weiterentwickeln sollen.

Folgende Konkretisierungen der KI-Definition und Beispiele sind den Leitlinien zu entnehmen:

Elemente der KI-Definition	Erläuterungen in den Leitlinien der EU-Kommission	Beispiele
Maschinengestütztes System	KI benötigt Hardware- und Softwarekomponenten	zB eine Hardwareinfrastruktur wie processing units, Speicher, Input/Output-Schnittstellen und Software (Code, Programme etc.)
autonomer Betrieb (in unterschiedlichem Grade)	Erfordert einen gewissen Grad an Unabhängigkeit von menschlichem Eingreifen, wobei Systeme, die vollständig manuelle menschliche Interaktion erfordern, nicht darunter fallen.	Umfasst sind Systeme, die zwar einen manuellen Input erfordern, aber von selbst einen Output generieren (zB Chatbots)
Anpassungsfähigkeit nach Betriebsaufnahme (optional)	Selbstlernfähigkeiten (nicht zwingend erforderlich); darunter versteht man, ob sich das Verhalten des Systems während seiner Verwendung anpassen oder verändern kann (zB automatisches Lernen, wie Muster oder Beziehungen zwischen Daten erkannt werden können).
Ableitungsfähigkeit	Inferenz, Schlüsseleigenschaft; dient der Abgrenzung von KI-Systemen von einfacheren herkömmlichen Softwaresystemen und Programmierungsansätzen. Nicht umfasst sind hingegen Systeme, die nur von Menschen programmierten Regeln folgen und automatisiert Operationen ausführen. Die Ableitungsfähigkeit bedeutet daher die Erlernung allgemeiner Konzepte statt fester, vorprogrammierter Regeln.	Bsp: maschinelles Lernen, logik- und wissensgestützte Systeme (Schlussfolgerungen mittels Deduktion oder Induktion)
Ableitung aus Eingaben für implizite oder explizite Ziele	Ableitungen müssen nach entweder: expliziten Zielen (klar definierte, direkt in den Code programmierte Ziele, Optimierung von Kostenfunktionen, Wahrscheinlichkeitsberechnung) oder impliziten Zielen (Ableitung des Ziels aus dem Verhalten oder den dahinterstehenden Annahmen des Systems; bspw Trainingsdaten oder Interaktion des Systems mit Umwelt) erfolgen.
Erzeugung von Ausgaben	Ausgabe-Arten umfassen unter anderem Vorhersagen (Schätzungen unbekannter Werte basierend auf komplexen Datenmustern) Inhalte (Texte, Bilder, Videos oder Musik) Empfehlungen (Vorschläge für Maßnahmen, Produkte oder Dienstleistungen, die hochgradig personalisiert sind und Massendaten nutzen). Entscheidungen (Vollautomatisierte Schlussfolgerungen oder Auswahlentscheidungen, die Prozesse automatisieren, die üblicherweise menschlichem Urteilsvermögen vorbehalten sind)	zB die generierten Inhalte von Chatbots, Produktvorschläge, Echtzeit-Vorhersagen, Auswahlentscheidungen
Beeinflussung physischer oder virtueller Umgebungen	Frage, ob das System einen aktiven Einfluss auf die Umgebungen hat, in denen es eingesetzt wird, sei es auf materielle physische Objekte oder auf digitale Räume	zB Roboterarm, Software-Ökosysteme, Datenströme

GPAI-Modelle/Modelle mit allgemeinem Verwendungszweck

General Purpose AI-Modelle (auf Deutsch "Modelle mit allgemeinem Verwendungszweck") zeichnen sich durch ihre erhebliche allgemeine Verwendbarkeit und der Fähigkeit aus, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen. Der Begriff "Modell" darf dabei, da Modelle gesondert reguliert werden, nicht mit dem Begriff eines KI-Systems verwechselt werden. Denn damit "KI-Modelle zu KI-Systemen werden, ist die Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle, erforderlich" (ErwGr 97 AI Act). Man kann hier den Vergleich zu einem KFZ ziehen, wobei das KI-Modell den Motor darstellt, der die eigentliche "Arbeit" leistet. Um jedoch fahrtüchtig zu sein, bedarf es nicht nur eines Motors, sondern das Fahrzeug benötigt darüber hinaus eine Karosserie, Räder, ein Lenkrad etc. Das wiederum bezeichnet das KI-System, welches das Modell erst durch seine Schnittstellen, seine Benutzeroberfläche etc. "fahrtüchtig" und damit nutzbar macht. Ein KI-System bzw GPAI-System, das auf einem GPAI-Modell beruht, muss dabei wiederum nach dem risikobasierten Ansatz des AI Act eingestuft werden.

Personeller Anwendungsbereich

Überblick über die Interaktion der einzelnen Akteure im AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html.

In Bezug auf die Akteure ist primär zwischen Anbietern und Betreibern zu unterscheiden.

Anbieter ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt (Art 3 Z 3 AI Act).

Betreiber (in früheren Fassungen "Nutzer") ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet (Art 3 Z 4 AI Act).

Daneben existieren auch weniger relevante Akteure wie Einführer, Händler und Bevollmächtigte.

(Geographischer) Anwendungsbereich (Art 2 AI Act)

Der (geographische) Anwendungsbereich des AI Act (Art 2) umfasst dabei primär:

• Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind
• Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder sich in der Union befinden
• Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird

Ausnahmen (Art 2 Abs 2 ff AI Act)

Art 2 Abs 2 ff AI Act enthält eine Reihe von Ausnahmen vom Anwendungsbereich, wobei hier die wichtigsten vorgestellt werden sollen:

• Bereiche, die nicht unter das Unionsrecht fallen (zB nationale Sicherheit): KI-Systeme (ausschließlich) für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit
• KI-Systeme/KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
• Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen/KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.
• Der AI Act gilt für Betreiber, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden ("Haushaltsausnahme")

Hinweis zur Sonderregelung von älterem Produktsicherheitsrecht (zB Mobilität)

Produkte, die unter Produktsicherheitsvorschriften mit dem älteren Ansatz (old approach) fallen und in Anhang I Abschnitt B gelistet werden (zB Luftfahrt und Mobilität), unterliegen nur eingeschränkt dem AI Act (Art 2 Abs 2 AI Act). Sie sind zwar nicht vollständig vom Anwendungsbereich ausgenommen, für sie gelten jedoch nur wenige Bestimmungen (Art 6 Abs 1, Art 102-109, Art 112 und Art 57 AI Act zu Reallaboren). In der Praxis werden die Anforderungen des AI Act dabei "indirekt" im Wege der delegierten Gesetzgebung/von Durchführungsrechtsakten dieser Produktsicherheitsrechtsakte zur Anwendung kommen. Die Trennung von Anhang I in Abschnitt A, der direkt dem AI Act unterfällt, und Abschnitt B, für den diese Wirkung indirekt erzielt wird, sollte somit in der Praxis beachtet werden.

Zeitlicher Anwendungsbereich (Art 113 AI Act)

Der AI Act trat am 1. August 2024 in Kraft und wird generell am 2. August 2026 anwendbar (Art 113 AI Act). Gestaffelt erlangen einige Bestimmungen jedoch bereits vorab oder danach Geltung:

• allgemeine Bestimmungen (inklusive KI-Kompetenz) und verbotene Praktiken ab 2. Februar 2025
• Bestimmungen über Notifizierende Behörden und notifizierte Stellen; GPAI-Modelle, Governance, Sanktionen, Vertraulichkeit ab 2. August 2025
• Artikel 6 Absatz 1 (eingebettete Hochrisiko-KI-Systeme) und die entsprechenden Pflichten ab dem 2. August 2027

Überblick über den abgestuften zeitlichen Geltungsbereich des AI Act. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/Zeitplan.de.html.

Art 111 Abs 2 AI Act enthält dabei jedoch eine sog „grandfathering“-Klausel, nach welcher der AI Act für Betreiber von Hochrisiko-KI-Systemen, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, nur dann gilt, wenn diese Systeme danach in ihrer Konzeption erheblich verändert wurden.

Zentrale Inhalte

KI-Kompetenz/AI literacy (Art 4 AI Act)

Als allgemeine Bestimmung für alle KI-Systeme fordert Art 4 AI Act, dass die Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an "KI-Kompetenz" verfügen. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen.

Die Verpflichtung zur Maßnahmenergreifung gilt für Betreiber und Anbieter gleichermaßen und ist ferner unabhängig von der Risikoklasse der infragestehenden KI-Anwendung.

Unter KI-Kompetenz versteht man grundsätzlich "die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden." Dies umfasst die notwendigen Kompetenzen, um fundierte Entscheidungen über KI-Systeme zu treffen, technische Elemente zu verstehen sowie korrekt anzuwenden, die Auswirkungen von KI-basierten Entscheidungen auf Betroffene zu verstehen und KI-generierte Ausgaben angemessen zu interpretieren. Dazu gehört auch, den einschlägigen Akteuren der KI-Wertschöpfungskette jene erforderlichen Kenntnisse zu vermitteln, um die Einhaltung und Durchsetzung der Vorschriften des AI Act zu gewährleisten.

Weitere Konkretisierungen oder zwingende Mindestvorgaben für die Sicherstellung der KI-Kompetenz enthält der AI Act allerdings nicht und betont sogar, dass die Konzepte der KI-Kompetenz in Bezug auf den jeweiligen Kontext unterschiedlich sein können. Die EU-Kommission hat daher ein "Living Repository" angelegt, in dem Unternehmen ihre Praktiken in Bezug auf KI-Kompetenz eingetragen haben. Das Repository wird laufend ergänzt, ist jedoch nicht rechtsverbindlich. Weiters bilden die darin enthaltenen Praktiken keine Garantie zur Compliance mit Art 4 AI Act, allerdings stellen sie eine gute Orientierung dar, welche Maßnahmen zur Sicherstellung von KI-Kompetenz in unterschiedlichen Branchen bereits ergriffen werden. Häufig genannte Praktiken umfassen:

• interne eLearning-Plattformen,
• interne Weiterbildungen und Trainingsprogramme,
• Kenntnis-basierte Schulungen,
• Video-/Podcast-Reihen,
• spielebasierte Trainings,
• Erstellung von KI-Verhaltenskodizes und Risikobewertungssystemen,
• eigene Chatbots zum Training im Umgang mit Sprachmodellen.

Denkbar ist überdies die Teilnahme an externen Fortbildungen und Schulungen, die Entwicklung von internen Richtlinien ("KI-Guidelines") oder die Schaffung von sog "KI-Beauftragten" in der Organisation. Ob die Schulungsmaßnahmen fortlaufend zu erfolgen haben, ist rechtlich nicht vorgeschrieben, wird allerdings anzunehmen sein. Ebensowenig sind die genauen Inhalte der Kompetenzvermittlungsmaßnahmen definiert. Es kann jedenfalls davon ausgegangen werden, dass diese zielgruppengerecht und zugeschnitten auf unterschiedliche Bedürfnisse erfolgen sollten. Weiters werden sie sich bei manchen Branchen, KI-Einsatzgebieten oder Personengruppen nicht lediglich auf rechtliche oder technische Anforderungen beschränken, sondern ebenso soziale und ethische Komponenten umfassen. Bei der Entwicklung und Nutzung von GPAI-Modellen wird beispielsweise die Vermittlung von Kenntnissen im Zusammenhang mit Urheberrecht, Datenschutz, "Bias" (Verzerrungen) oder "Halluzinationen" (erfundene falsche Ausgaben) sinnvoll sein.

Die EU-Kommission hat darüber hinaus eine "FAQ-Seite" mit Fragen und Antworten zur KI-Kompetenz angelegt, um einen besseren Überblick über die Anforderungen zu geben.

KI-Systeme mit inakzeptablem Risiko/verbotene Praktiken (Art 5 AI Act)

Nach Art 5 AI Act sind gewisse Praktiken im KI-Bereich verboten, da sie besonders schädlich sind, enormes Missbrauchspotenzial aufweisen und im Widerspruch zu europäischen Grundrechten und Grundfreiheiten stehen. (Unverbindliche) Leitlinien der Kommission zu den verbotenen Praktiken konkretisieren die verbotenen Praktiken insbesondere durch zahlreiche Beispiele. Folgende Praktiken sind davon umfasst:

Praktik	Beispiele	Nicht erfasste Praktiken	Rechtsgrundlage
Unterschwellige Beeinflussung außerhalb des Bewusstseins oder manipulative/täuschende Techniken, wodurch die freie Entscheidungsfähigkeit von Personen beeinträchtigt wird und ein Schaden mit hinreichender Wahrscheinlichkeit eintritt	Ableitung sensibler Informationen aus Gehirnen von Nutzern über Maschine-Gehirn-Schnittstellen Chatbots, die zur Selbstverletzung verleiten Unterschwellige visuelle oder auditive Reize bzw generelle sensorische Manipulation	Erlaubt ist hingegen der Einsatz eines KI-Systems, das personalisierte Empfehlungen auf der Grundlage transparenter Algorithmen und Nutzerpräferenzen verwendet, und sich nicht absichtlich manipulativer Techniken bedient.	Art 5 Abs 1 lit a
Ausnutzen der Vulnerabilität/Schutzbedürftigkeit aufgrund des Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation	Eine KI-Begleit-App, die durch gewisse Sprachmuster und Verhaltensweisen gezielt emotionale Abhängigkeiten und ungesunde Bindungen bei älteren Menschen erzeugt. Ein KI-gestütztes Spielzeug, das Kinder zu riskanten Herausforderungen ermutigt oder durch süchtig machende Techniken zu übermäßigem Spielen anregt KI-gestützte "Grooming-Praktiken" (gezielte Kontaktaufnahme Erwachsener mit Minderjährigen in Missbrauchsabsicht), um Mädchen mit Behinderung im Internet anzusprechen und zu manipulieren	KI-Systeme, die Kinder beim Lernen einer Fremdsprache durch den Einsatz unterschwelliger Techniken unterstützen soll, sofern sie transparent arbeitet und die Nutzerautonomie wahrt. KI-Systeme, die Benommenheit und Ermüdung bei Fahrern erkennen und sie im Einklang mit den Sicherheitsvorschriften mit Warnmeldungen auf Ruhepausen hinweisen, gelten ebenso nicht als Ausnutzung von Vulnerabilitäten.	Art 5 Abs 1 lit b
Social scoring (Bewertung/Einstufung von Personen/Gruppen von Personen auf der Grundlage ihres sozialen Verhaltens/Eigenschaften/Persönlichkeitsmerkmale)	Die Verwendung eines KI-Systems zur Schätzung der Betrugswahrscheinlichkeit bei Empfängern von Haushaltszulagen durch das Sozialamt, das sich auf Merkmale stützt, die in sozialen Kontexten ohne offensichtlichen Zusammenhang mit oder Relevanz für die Bewertung von Betrug erhoben oder abgeleitet werden, wie zB ein Ehepartner mit einer bestimmten Staatsangehörigkeit oder ethnischen Herkunft, der Besitz eines Internetanschlusses, das Verhalten auf sozialen Plattformen oder die Leistung am Arbeitsplatz etc. Die Nutzung eines KI-Systems durch eine öffentliche Stelle, um für die Früherkennung gefährdeter Kinder anhand von Kriterien wie der psychischen Gesundheit und Arbeitslosigkeit der Eltern, aber auch anhand von aus verschiedenen Kontexten abgeleiteten Informationen über das soziale Verhalten der Eltern Familienprofile zu erstellen. Auf der Grundlage der erzielten Bewertung werden Familien für Kontrollen ausgewählt und als „gefährdet“ geltende Kinder werden aus ihren Familien genommen, unter anderem auch in Fällen geringfügiger Übertretungen seitens der Eltern, wie zB gelegentlich verpasste Arzttermine oder verhängte Verkehrsstrafen. Eine Regierung führt ein umfassendes KI-gestütztes System ein, das die Bürgerinnen und Bürger auf der Grundlage ihres Verhaltens in verschiedenen Lebensbereichen wie sozialen Interaktionen, Online-Aktivitäten, Kaufgewohnheiten und Pünktlichkeit bei der Begleichung von Rechnungen überwacht und einstuft. Menschen mit einer niedrigeren Bewertung müssen damit rechnen, dass sie eingeschränkten Zugang zu öffentlichen Dienstleistungen erhalten, höhere Zinsen auf Kredite zahlen und auf Reisen und bei der Suche nach einer Wohnung oder sogar einem Arbeitsplatz Schwierigkeiten haben.	KI-Systeme zur Bonitätsprüfung natürlicher Personen auf Basis persönlicher Merkmale wie dem Einkommen vor Vergabe eines Kredits. KI-basierte Erhebung von Geschwindigkeitsüberschreitungen oder hochriskantem Fahrverhalten, die zur Erhöhung der KFZ-Versicherungsprämien führen. KI-gestützte gezielte kommerzielle Werbung fällt nicht in den Anwendungsbereich, wenn sie auf relevanten Daten (z. B. Nutzerpräferenzen) beruht, im Einklang mit den Rechtsvorschriften der Union über Verbraucherschutz, Datenschutz und digitale Dienste erfolgt und nicht zu einer Schlechterstellung oder Benachteiligung führt, die in keinem angemessenen Verhältnis zur Tragweite des sozialen Verhaltens des Nutzers steht (z. B. ausbeuterische und unfaire differenzierte Preisgestaltung).	Art 5 Abs 1 lit c
Bewertung des Risikos, dass eine Person eine Straftat begeht (ausschließlich aufgrund von Profiling)	Eine Polizeidienststelle verwendet KI-gestützte Risikobewertungsinstrumente, um das Risiko zu bewerten, dass kleine Kinder und Jugendliche an „künftigen Gewalttaten und Eigentumsdelikten“ beteiligt sein werden. Das System bewertet Kinder auf der Grundlage ihrer Beziehungen zu anderen Menschen und deren vermeintlichen Risikoniveaus, dh es wird eventuell davon ausgegangen, dass bei Kindern ein höheres Risiko für die Begehung von Straftaten besteht, einfach weil sie mit einer anderen Person wie einem Geschwisterkind oder einem Freund verbunden sind, bei der eine hohe Risikobewertung vorliegt. Das Risikoniveau der Eltern kann sich ebenfalls auf das Risikoniveau eines Kindes auswirken.	Standortbezogene oder geodatenbasierte Vorhersagen oder ortsbezogene Verbrechensvorhersagen (zB KI-System zur Berechnung der Kriminalitätswahrscheinlichkeit in bestimmten Stadtgebieten oder von Schmuggelrouten) KI-Systeme zur Unterstützung der durch Menschen durchgeführten Bewertung, die sich auf objektive und überprüfbare Tatsachen stützt, die in Zusammenhang mit einer kriminellen Aktivität stehen (zB Profiling zur Vorhersage gefährlichen Verhaltens in einer Menschenmenge, KI-basiertes Profiling von Personen, gegen die bereits ein Verdacht besteht, der auf mehreren überprüfbaren, objektiven Tatsachen beruht). KI-basiertes Profiling in Bezug auf juristische Personen KI-Systeme zur individuellen Vorhersage von Ordnungswidrigkeiten (zB Bagatellverkehrsdelikte)	Art 5 Abs 1 lit d
Erstellung/Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern	Ein Unternehmen für Gesichtserkennungssoftware sammelt Bilder von Gesichtern, die mit einem „automatisierten Bildausleser“, der das Internet durchsucht und Bilder mit menschlichen Gesichtern erkennt, aus sozialen Medien (zB Facebook, X) ausgelesen wurden. Der Bildausleser sammelt diese Bilder mit allen damit verbundenen Informationen (wie der Quelle des Bildes (URL), der Geolokalisierung und manchmal den Namen der einzelnen Personen). Die Gesichtsmerkmale werden dann aus den Bildern extrahiert und in mathematische Darstellungen umgewandelt, die für die Indexierung und den künftigen Vergleich mit Hashtags versehen werden. Wenn ein Nutzer das Bild einer Person in das KI-System hochlädt, wird dieses System bestimmen, ob dieses Bild mit einem Gesicht in der Datenbank übereinstimmt.	Das ungezielte Auslesen anderer biometrischer Daten als Gesichtsbilder (zB Stimmaufnahmen) Gesichtsbilddatenbanken, die nicht für die Erkennung von Personen verwendet werden KI-Systeme, die Gesichtsbilder aus dem Internet sammeln, um KI-Modelle zur Erzeugung neuer Bilder fiktiver Personen zu entwickeln	Art 5 Abs 1 lit e
Emotionserkennungssysteme am Arbeitsplatz oder in Bildungseinrichtungen	Ein KI-System, das beispielsweise aus Gesten, Stirnrunzeln oder fehlendem Lächeln ableitet, dass ein Mitarbeiter unglücklich, traurig oder gegenüber den Kunden wütend ist Systeme, die aus Stimmführung oder Körpersprache ableiten, dass ein Schüler zornig und im Begriff ist, gewalttätig zu werden Ein KI-System, das Emotionen aus Tastenanschlägen (Art des Tippens), Gesichtsausdrücken, Körperhaltungen oder Bewegungen ableitet, beruht auf biometrischen Daten und fällt in den Anwendungsbereich des Verbots KI-Systeme, die den emotionalen Ton in hybriden Arbeitsteams überwachen, indem sie Emotionen aus Stimm- und Bildaufnahmen hybrider Videokonferenzen erkennen und ableiten, was in Regel der Förderung des sozialen Bewusstseins, des Managements emotionaler Dynamik und der Konfliktverhütung dienen würde Die Nutzung eines KI-Systems bei Online-Prüfungen zur Erkennung von Emotionen wie Erregungs- und Angstzustände Emotionserkennung zur Bewertung des Wohlbefindens, des Motivationsniveaus und der Arbeits- oder Lernzufriedenheit von Studierenden oder Arbeitnehmern.	Der Einsatz von KI-Erkennungssystemen, um auf die Ermüdung eines Berufspiloten oder -fahrers zu schließen, ihn zu warnen und ihm zu empfehlen, zur Vermeidung von Unfällen Pausen einzulegen, da Emotionserkennung keine physischen Zustände wie Schmerzen oder Ermüdung einschließt Ein KI-System, das aus schriftlichen Texten (Analysen von Inhalt und Stimmung) Emotionen ableitet, um den Stil oder den Ton eines bestimmten Artikels zu bestimmen, beruht nicht auf biometrischen Daten und fällt daher nicht in den Anwendungsbereich des Verbots Werden Emotionserkennungssysteme nur zu persönlichen Schulungszwecken eingesetzt, sind sie zulässig, sofern die Ergebnisse nicht Personen mit Personalverantwortung zur Verfügung gestellt werden und keine Auswirkungen auf das Arbeitsverhältnis haben Die durch eine Bildungseinrichtung erfolgende Verwendung einer KI-gestützten Software zur Verfolgung der Augenbewegungen bei Online-Prüfungen Studierender, um den Fixierungspunkt und die Bewegung der Augen zu verfolgen (um beispielsweise zu erkennen, ob unerlaubtes Material verwendet wird), ist nicht verboten, da das System Emotionen weder erkennt noch ableitet Emotionserkennung aus medizinischen Gründen zur Unterstützung von Arbeitnehmern oder Studierenden mit Autismus und zur Verbesserung der Barrierefreiheit für blinde oder gehörlose Menschen.	Art 5 Abs 1 lit f
Biometrische Kategorisierung, Ableitung von sensiblen Daten (religiöse Weltanschauung, politische Einstellung)	Ein KI-System, das Personen, die auf einer Plattform sozialer Medien aktiv sind, nach ihrer angenommenen politischen Ausrichtung kategorisiert, indem es die biometrischen Daten der von ihnen auf die Plattform hochgeladenen Fotos analysiert, um ihnen gezielte politische Nachrichten zu übermitteln ein System zur biometrischen Kategorisierung, das für sich in Anspruch nimmt, die religiöse Ausrichtung einer Person aus ihren Tätowierungen oder ihrem Gesicht ableiten zu können.	KI-Systeme, die mit der Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch zu Strafverfolgungszwecken, befasst sind (zB bei Verdacht auf Darstellungen sexuellen Kindesmissbrauchs) die Kategorisierung von Patienten, bei der Bilder nach ihrer Haut- oder Augenfarbe verwendet werden, für medizinische Diagnosen.	Art 5 Abs 1 lit g
Biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (zahlreiche Ausnahmen)	Die polizeiliche Verwendung von Systemen zur biometrischen Echtzeit-Fernidentifizierung zu dem Zweck, Ladendiebe zu identifizieren und ihre Gesichtsbilder mit Kriminaldatenbanken zu vergleichen.	Die Nutzung von Echtzeit-Gesichtserkennungstechniken durch die Polizei nach einem schweren Terroranschlag auf einen Weihnachtsmarkt mit zwölf Toten, um den Täter zu identifizieren und festzustellen, wohin er flieht. In diesem Zusammenhang nutzen sie auch die Echtzeit-Gesichtserkennungstechnik des nahe gelegenen Bahnhofs und der Zielbahnhöfe der Züge, die kurz nach dem Angriff von dort abgehen.	Art 5 Abs 1 lit h

Einige dieser Praktiken sind darüber hinaus bereits nach anderen Rechtsvorschriften verboten, so beispielsweise gewisse manipulative und täuschende Techniken als "dark patterns" nach dem Digital Services Act (gilt nur für bestimmte Plattform-Anbieter) oder die Verarbeitung biometrischer Daten zur Identifizierung einer Person nach Art 9 Abs 1 DSGVO, sofern keine der in Abs 2 genannten Ausnahmen vorliegt. Gemäß der neuen Plattformarbeitsrichtlinie, die bis Dezember 2026 in nationales Recht umzusetzen ist, ist überdies der Einsatz von automatisierten Überwachungs- und Entscheidungssystemen zur Erfassung personenbezogener Daten über den emotionalen oder psychischen Zustand einer Person (Emotionserkennung) verboten.

Hochrisiko-KI-Systeme (Art 6 AI Act)

Einstufung

Der AI Act klassifiziert Hochrisiko-KI-Systeme in Art 6. Dabei kennt er zwei Varianten dieser Systeme, die in der Literatur - nicht aber im AI Act selbst - als "eingebettete" und "eigenständige" Hochrisiko-KI-Systeme bezeichnet werden.

Darüber hinaus enthält Art 6 Abs 3 AI Act Ausnahmen von der Einstufung als Hochrisiko-KI-System.

Nach Art 6 Abs 5 AI Act hat die Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens bis zum 2. Februar 2026 Leitlinien zur praktischen Umsetzung und eine umfassende Liste praktischer Beispiele für Anwendungsfälle für KI-Systeme, die hochriskant oder nicht hochriskant sind, bereitzustellen.

"Eingebettete" Hochrisiko-KI-Systeme (embedded high-risk AI systems) (Art 6 Abs 1 AI Act)

Nach Art 6 Abs 1 AI Act gilt zunächst ein KI-System als Hochrisiko-KI-System, wenn die zwei folgenden Bedingungen erfüllt sind:

• das KI-System soll als Sicherheitsbauteil eines unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder stellt selbst ein solches Produkt dar
• das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Rahmen dieser Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden

Anhang I, Abschnitt A nennt dabei zwölf solche Harmonisierungsrechtsvorschriften (bezogen auf Maschinen, Spielzeug, Sportboote und Wassermotorräder, Aufzüge, Geräte und Schutzsysteme in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte, In-vitro-Diagnostika).

Um diese Einstufung als Hochrisiko-KI-System durch ein Beispiel zu illustrieren:

Beispiel

Software kann ein Medizinprodukt im Sinne der Medizinprodukteverordnung (MPVO) darstellen. Medizinprodukte ab Risikoklasse IIa, das heißt mittlerem Risiko (zB Diagnose oder Überwachung), unterliegen einer Konformitätsbewertung unter Einbeziehung einer "benannten Stelle", das heißt einer externen Konformitätsbewertungsstelle. Software als Medizinprodukt erfüllt damit - sofern sie unter die KI-Definition subsumiert werden kann - häufig beide Bedingungen: einerseits kann sie ein Produkt bzw Sicherheitskomponente eines Produktes darstellen, das unter die MPVO fällt, die in Anhang I Abschnitt A genannt wird, und anderseits unterliegt sie im Rahmen der MPVO in fast allen Fällen einer Konformitätsbewertung unter Einbeziehung einer Konformitätsbewertungsstelle, das heißt "Dritter" (mit Ausnahme eines Medizinproduktes der Klasse I). Software als Medizinprodukt fällt somit gleichzeitig als Medizinprodukt unter die MPVO und, sofern die Software den KI-Begriff erfüllt, als Hochrisiko-KI-System unter den AI Act.

"Eigenständige" Hochrisiko-KI-Systeme (stand-alone high-risk AI systems) (Art 6 Abs 2 AI Act)

Die zweite Variante von "eigenständigen" Hochrisiko-KI-Systemen wird durch Art 6 Abs 2 AI Act definiert, der dabei auf Anhang III verwiest. Dieser enthält acht Bereiche, untergliedert in konkretere Anwendungsfelder, die ebenfalls als hochriskant gelten: bspw biometrische Identifizierung, kritische Infrastrukturen, grundlegende öffentliche und private Dienste/Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle, Justiz und demokratische Prozesse.

Diese Liste kann dabei mittels delegierter Rechtsakte der Kommission geändert werten (Art 7 AI Act).

Ausnahmen (Art 6 Abs 3 AI Act)

Art 6 Abs 3 AI Act enthält als Abweichung Ausnahmen von der Einstufung als "eigenständiges" Hochrisiko-KI-System. Die Ausnahmen greifen dann, wenn sich zeigt, dass ein in Anhang III genanntes System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis einer Entscheidungsfindung, an der das System beteiligt ist, wesentlich beeinflusst.

Art 6 Abs 3 2. UAbs enthält dabei vier alternative Bedingungen, die die genannten Kriterien erfüllen. ErwGr 53 liefert konkretisierende Beispiele. Ein KI-System gilt somit als nicht hochriskant, wenn

1. es dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen (bspw ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt)
2. es dazu bestimmt ist, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (bspw KI-Systeme, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen
3. es dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (bspw KI-Systeme, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen)
4. es dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (bspw intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören)

Art 6 Abs 3 AI Act enthält dabei auch eine Rückausnahme, die einen Bezug zur DSGVO herstellt. Ein KI-System nach Anhang III gilt "immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt." Als Profiling gilt dabei iSd Art 4 Abs 4 DSGVO jede automatisierte Verarbeitung personenbezogener Daten, die darin besteht, bestimmte persönliche Aspekte einer Person zu bewerten, insbesondere um Aspekte bezüglich Arbeitsleistung, Gesundheit, persönliche Vorlieben, Zuverlässigkeit, Verhalten etc. zu analysieren oder vorherzusagen.

Anforderungen an Hochrisiko-KI-Systeme (Art 8-15 AI Act)

Die Europäische Kommission hat im Rahmen von Public Consultations unter anderem auch Rückmeldungen zu Anforderungen an Hochrisiko-KI-Systeme eingeholt, die eine Grundlage für Leitlinien bilden sollen, welche im Februar 2026 veröffentlicht werden sollen. Hochrisiko-KI-Systeme müssen einer Reihe von Anforderungen genügen, die in einem sog Konformitätsbewertungsverfahren geprüft werden, darunter:

Risikomanagementsystem (Art 9 AI Act)

Ein umfassendes Risikomanagementsystem muss eingerichtet, angewandt, dokumentiert und aufrechterhalten werden.

Dies umfasst die Ermittlung und Analyse von Risiken, ihre Abschätzung und Bewertung sowie die Ergreifung von Risikomanagementmaßnahmen und die Abwägung der Maßnahmen mit dem Restrisiko.

Vorgesehen sind auch Testverfahren.

Daten und Daten-Governance (Art 10 AI Act)

Hochrisiko-KI-Systeme müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die gewissen Qualitätskriterien entsprechen.

So müssen die Datensätze neben Verfahren in Bezug auf konzeptionelle Entscheidungen, die Datenerhebung und Aufbereitung (hinreichend) relevant und so weit wie möglich repräsentativ, fehlerfrei und vollständig sein und Verzerrungen (Bias) müssen vermieden werden.

Merkmale/Elemente, die für besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen typisch sind, müssen berücksichtigt werden.

In Bezug auf Bias ist auch eine Regelung zur Verarbeitung von besonders sensiblen personenbezogenen Daten zur Erkennung und Korrektur enthalten, die mit der DSGVO interagiert (Art 10 Abs 5 AI Act).

Technische Dokumentation (Art 11 AI Act)

Als Basis der Konformitätsbewertung muss eine technische Dokumentation erstellt werden, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Diese ist stets auf dem neuesten Stand zu halten.

Aus ihr muss der Nachweis hervorgehen, wie das Hochrisiko-KI-System die Anforderungen der Art 8 bis 15 AI Act erfüllt.

Durch die Dokumentation sollen den zuständigen nationalen Behörden und den notifizierten Stellen alle Informationen zur Verfügung stehen, die erforderlich sind, um zu beurteilen, ob das KI-System diese Anforderungen erfüllt.

KMUs können diese Dokumentation in vereinfachter Weise bereitstellen.

Aufzeichnungspflichten (Art 12 AI Act)

Hochrisiko-KI-Systeme müssen mit Funktionsmerkmalen konzipiert und entwickelt werden, die eine automatische Aufzeichnung von Vorgängen und Ereignissen („Protokollierung“) während des Betriebs der Hochrisiko-KI-Systeme ermöglichen.

Die Protokollierung (zB von Situationen, die dazu führen können, dass das System ein Risiko birgt oder dass es zu einer wesentlichen Änderung kommt) gewährleistet, dass das Funktionieren des KI-Systems während seines gesamten Lebenszyklus rückverfolgbar ist.

Transparenz und Bereitstellung von Informationen für die Betreiber (Art 13 AI Act)

Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können.

Auch müssen den Nutzern/Betreibern entsprechende Betriebsanleitungen (zB zu Merkmalen, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems) zur Verfügung gestellt werden.

Menschliche Aufsicht (Art 14 AI Act)

Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie während der Dauer der Verwendung des KI-Systems von natürlichen Personen wirksam beaufsichtigt werden können.

Dies dient der Verhinderung/Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte und erfordert bspw die Möglichkeit die Fähigkeiten und Grenzen des KI-Systems angemessen und verstehen und seinen Betrieb zu überwachen, Maßnahmen gegen automation bias und die Option, das System nicht zu verwenden, seine Ausgabe außer Acht zu lassen oder in den Betrieb einzugreifen bzw ihn mit einer "Stopptaste" zu unterbrechen.

Genauigkeit, Robustheit und Cybersicherheit (Art 15 AI Act)

Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

Dies umfasst somit Maßnahmen in Hinblick auf innere Fehlerquellen (Performanzmetriken für Genauigkeit, Widerstandsfähigkeit gegenüber Fehlern, Störungen, Unstimmigkeiten für Robustheit; Maßnahmen gegen Rückkopplungsschleifen), als auch Angriffe von Außen (Cybersicherheit).

Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art 16-21 AI Act)

Anbieter von Hochrisiko-KI-Systemen müssen als wichtigste Pflichten ua (Art 16 AI Act):

• sicherstellen, dass diese Systemen die Anforderungen der Art 8-15 AI Act erfüllen
• damit verbunden sicherstellen, dass sie einem Konformitätsbewertungsverfahren unterzogen werden (resultierend in einer Konformitätserklärung und einer CE-Kennzeichnung)
• über ein Qualitätsmanagementsystem (Art 17 AI Act) verfügen (ua Konzept zur Einhaltung der Regulierungsvorschriften, Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; Untersuchungs-, Test- und Validierungsverfahren; Systeme und Verfahren für das Datenmanagement)
• Dokumentation (Art 18 AI Act) und Protokolle (Art 19 AI Act) aufbewahren
• einer Registrierungspflicht nachkommen (Art 49 AI Act) und
• erforderliche Korrekturmaßnahmen ergreifen und Informationen bereitstellen (Art 20 AI Act)

Konformitätsbewertungsverfahren (Art 43 AI Act)

Zentrale Anbieterpflicht ist die Durchführung eines sog Konformitätsbewertungsverfahrens. In diesem Verfahren wird überprüft, ob das Hochrisiko-KI-System die Anforderungen nach Art 8-15 AI Act erfüllt (Art 3 Z 20 AI Act).

Dabei existieren zwei verschiedene Varianten dieses Verfahrens (Art 43 AI Act).

Diese unterscheiden sich primär darin, ob eine notifizierte Stelle, das heißt eine Stelle, die Konformitätsbewertungstätigkeiten einschließlich Prüfungen, Zertifizierungen und Inspektionen durchführt und dabei als Dritte auftritt und die nach dem AI Act "notifiziert" wurde (Art 3 Z 21, 22 AI Act). Die notifizierten Stellen finden sich in einer entsprechenden Datenbank.

• interne Kontrolle (Anhang VI): Eigenzertifizierung, ohne Beiziehung einer notifizierten Stelle (vorgesehen für eigenständige Hochrisiko-KI-Systeme mit Ausnahme des Bereiches Biometrie)
• Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation unter Beteiligung einer notifizierten Stelle (Anhang VII) (primär vorgesehen für eingebettete Hochrisiko-KI-Systeme)

Bei eingebetteten Hochrisiko-KI-Systemen ist vorgesehen, dass die nach dem Harmonisierungsrechtsakt einschlägige Konformitätsbewertung (zB nach Medizinprodukteverordnung) durchgeführt wird und die Aspekte des AI Act in dieses Verfahren einbezogen werden (Art 43 Abs 3 AI Act). Ein solches "kombiniertes" Verfahren kann für einer notifizierten Stelle durchgeführt werden, sofern diese die notwendige Expertise, etc aufweist.

Bei wesentlichen Änderungen des Systems ist eine erneute Durchführung notwendig. Dies gilt für Systeme, die im Betrieb weiterlernen, nicht für vorab durch den Anbieter festgelegte Änderungen des Systems und seiner Leistung (Art 43 Abs 4 AI Act).

Der Anbieter hat daraufhin eine EU-Konformitätserklärung (Art 47 AI Act) auszustellen, eine CE-Kennzeichnung (Art 48 AI Act) anzubringen und das (selbständige) Hochrisiko-KI-System in einer Datenbank zu registrieren (Art 49 AI Act).

Pflichten für Betreiber von Hochrisiko-KI-Systemen

Betreiberpflichten nach Art 26 AI Act

Betreiber von Hochrisiko-KI-Systemen unterliegen im Vergleich zu Anbietern nur eingeschränkten Pflichten. Sie müssen ua

• geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie KI-Systeme entsprechend den beigefügten Betriebsanleitungen verwenden
• die menschliche Aufsicht an natürliche Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis ("KI-Kompetenz" nach Art 4) verfügen und ihnen die erforderliche Unterstützung zukommen lassen.
• soweit die Eingabedaten ihrer Kontrolle unterliegen dafür sorgen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechend und ausreichend repräsentativ sind
• den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung überwachen und gegebenenfalls Anbieter iSv Art 72 AI Act informieren. Besteht Grund zur Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Art 79 Abs 1 AI Act birgt, so informieren Betreiber unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Ähnliches gilt bei Feststellung eines schwerwiegenden Vorfalls.
• Aufbewahrung von automatisiert erzeugten Protokollen für einen Zeitraum von zumindest 6 Monaten (wobei hier entgegenstehende datenschutzrechtliche Regelungen vorgehen würden)
• Information der Arbeitnehmervertreter und betroffenen Arbeitnehmer, vor Verwendung oder Inbetriebnahme des Hochrisiko-KI-Systems am Arbeitsplatz. Dies umfasst sowohl den Einsatz von "eingebetteten" als auch "eigenständigen" Hochrisiko-KI-Systemen. Weiters sind die Mitwirkungspflichten des Betriebsrats zu berücksichtigen (vgl §§ 96 f ArbVG). Nicht umfasst sind wahrscheinlich Informationspflichten gegenüber Bewerbern, da diese tendenziell nicht unter den von dieser Bestimmung geforderten "Arbeitnehmer-Begriff" fallen.
• Information an natürliche Personen, dass sie der Verwendung eines Hochrisiko-KI-Systems unterliegen, wenn das Hochrisiko-KI-Systeme natürliche Personen betreffende Entscheidungen trifft oder bei solchen Entscheidungen Unterstützung leistet. Diese Bestimmung gilt lediglich für den Einsatz von "eigenständigen" Hochrisiko-KI-Systemen nach Art 6 Abs 2 iVm Anhang III.Die danach mitzuteilende Information sollte die Zweckbestimmung und die Art der getroffenen Entscheidung beinhalten (vgl ErwGr 93) sowie - nach einer hier vertretenen Auffassung - eine vorab Information über das Recht auf Erklärung nach Art 86 AI Act, welches von KI-Entscheidungen Betroffenen das Recht zugesteht, unter gewissen Voraussetzungen vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess sowie zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten.

Grundrechte-Folgenabschätzung (Art 27 AI Act)

Als Gegenstück zum Risikomanagement (Art 9 AI Act), das Anbieter von Hochrisiko-KI-Systemen betrifft, müssen gewisse Betreiber von Hochrisiko-KI-Systemen vor der ersten Verwendung eine Abschätzung der Risiken auf Grundrechte durchführen (Art 27 Abs 1 AI Act).

Die Abschätzung umfasst dabei

• eine Beschreibung der Verfahren, bei denen das Hochrisiko-KI-System verwendet wird
• eine Beschreibung des Zeitraums und der Häufigkeit der Verwendung
• die Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung betroffen sein könnten
• die spezifischen Schadensrisiken, die sich auf die ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten
• eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht
• die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind.

Das Büro für KI wird dabei ein Muster für einen Fragebogen entwickeln, um dieser Pflicht in vereinfachter Weise nachkommen zu können (Art 27 Abs 5 AI Act).

Art 27 Abs 4 macht überdies die Verzahnung der Grundrechte-Folgenabschätzung (GRFA) mit anderen Folgenabschätzungen deutlich und schreibt bspw vor, dass bei Vorliegen einer Datenschutz-Folgenabschätzung nach Art 35 DSGVO die GRFA diese ergänzen bzw in diese integriert werden solle.

Sowohl die Verpflichtungen nach Art 26 als auch die Durchführung einer GRFA nach Art 27 treffen den Betreiber unabhängig davon, ob jemand (bspw Betroffene) deren Einhaltung einfordern. Im Unterschied dazu enthält der AI Act in den Artt 85 ff sog "Betroffenenrechte", die aktiv von betroffenen Personen geltend zu machen sind. Dazu zählt insbesondere das Recht auf Erklärung nach Art 86, welches das einzige Betroffenenrecht darstellt, das direkt gegen den Betreiber durchsetzbar ist.

Änderung der Rolle des Akteurs/Verantwortlichkeit entlang der Wertschöpfungskette (Art 25 AI Act)

Übersicht über die Rollenverteilung und mögliche Rollenwechsel von Betreiber zu Anbieter bei Hochrisiko-KI-Systemen. © RTR (CC BY 4.0), https://www.rtr.at/rtr/service/ki-servicestelle/ai-act/akteure.de.html.

Die Einstufung als Betreiber oder Anbieter ist dabei nicht statistisch, wie Art 25 AI Act zeigt. Dieser normiert Fälle, in denen Betreiber (und Händler, Einführer oder sonstige Dritte) als Anbieter eines Hochrisiko-KI-Systems gelten und damit auch den Anbieterpflichten (Art 16 AI Act) unterliegen.

Ein solcher "Rollenwechsel" findet in folgenden Konstellationen statt (Art 25 Abs 1 AI Act):

• wenn die genannten Personen ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
• wenn sie eine wesentliche Veränderung eines Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System gemäß Art 6 AI Act bleibt;
• wenn sie die Zweckbestimmung eines KI-Systems, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art 6 AI Act wird.

In diesen Szenarien gilt der ursprüngliche Anbieter (Erstanbieter) nicht mehr als Anbieter dieses spezifischen KI-Systems (Art 25 Abs 2 AI Act). Der Erstanbieter hat jedoch mit dem neuen Anbieter zusammenzuarbeiten, insb Informationen zur Verfügung zu stellen, für technischen Zugang und sonstige Unterstützung zu sorgen.

Hinweis:

Aufgrund von Art 25 AI Act muss beachtet werden, dass die Rollenverteilung eine dynamische und nicht statische ist. So könnte zB ein Betreiber eines Large Language Models, der dieses zur Generierung von medizinischen Diagnosen verwendet, wenn diese Verwendung entgegen der Zweckbestimmung des (ursprünglichen) Anbieters erfolgt, durch diese Verwendung zum neuen Anbieter werden und auch dessen Pflichten übernehmen. Auch ein Zusammentreffen der Rolle von Anbieter und Betreiber in einem Akteur ist möglich.

Transparenzpflichten (Art 50 AI Act)

Unabhängig von der Risikoeinstufung eines KI-Systems sieht Art 50 AI Act Transparenzpflichten für gewisse KI-Systeme vor. Die Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden sowie den Anforderungen an die Barrierefreiheit genügen.

• Anbieter haben bei KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind (zB Chatbots, Sprachassistenten, Social Bots), sicherzustellen, dass diese so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren. Diese Pflicht kann entfallen, wenn die Interaktion mit dem KI-System aus Sicht einer angemessen informierten, aufmerksamen und verständigen Person offensichtlich ist oder beim Einsatz von KI-Systemen, die für die Strafverfolgung zugelassen sind.

Beispiele

Chatbots können durch einen textlichen Hinweis zu Beginn des Gesprächs oder ein dauerhaft angezeigtes grafisches Symbol vorgestellt werden. Bei Voicebots kommt eine der Interaktion vorausgehende Ansage, welche auf den KI-Einsatz hinweist, in Betracht. Social Bots können eine Information vor und mit jeder Interaktion des Bots in sozialen Netzwerken erfordern, da das System stets mit einem neuen Personenkreis in Interaktion tritt (zB AI-Influencer).

• Anbieter von KI-Systemen die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Mögliche Methoden wären bspw Wasserzeichen, Metadatenidentifizierungen, Kryptografische Methoden (zB "Hashing"), Protokollierungsmethoden oder Fingerabdrücke.
• Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung müssen die davon betroffenen natürlichen Personen über den Betrieb des Systems informieren und personenbezogene Daten datenschutzkonform verarbeiten.
• Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Denkbar ist bspw eine Umsetzung in Form eines sichtbaren Wasserzeichens, eines textlichen Hinweises, durch Hinzufügen von sog C2PA-Content Credentials oder bei Audioinhalten durch eine Ansage zu Beginn des Audioinhalts.
• Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde. Diese Verpflichtung entfällt, wenn die betreffenden Inhalte vor ihrer Veröffentlichung einer menschlichen oder redaktionellen Kontrolle unterzogen wurden und eine Person die redaktionelle Verantwortung dafür trägt. Da die Anforderungen an die menschliche bzw redaktionelle Kontrolle nicht konkretisiert werden, unterwerfen sich bspw im journalistischen Bereich zahlreiche Medien freiwilligen Leitlinien (so etwa die Leitlinien des Medienrats der Bayerischen Landeszentrale für neue Medien (BLM) zum Einsatz von Künstlicher Intelligenz im Journalismus).

KI-Systeme mit minimalem Risiko

Für KI-Systeme, die sich nicht unter die aufgezählten Bestimmungen (verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten) einteilen lassen, teilweise als "KI-Systeme mit minimalem Risiko" bezeichnet, sieht der AI Act keine zusätzlichen Pflichten vor. Andere nationale oder unionsrechtliche Vorschriften wie die DSGVO können dennoch auf diese Systeme anwendbar sein. Auf freiwilliger Ebene ist jedoch auch bei Systemen, die kein hohes Risiko bergen, eine (teilweise) Unterwerfung unter den AI Act möglich. Dies soll durch die Aufstellung von sog "Verhaltenskodizes" gefördert werden (Art 95 AI Act).

GPAI-Modelle (Art 51 ff AI Act)

Als Reaktion auf den sprunghaften Durchbruch generativer KI-Modelle, die für viele verschiedene Zwecke eingesetzt werden können, in den Jahren 2022 und 2023 wurden unter Durchbrechung des bisherigen zweck- und risikoorientierten Regelungsansatzes im Entwurfsstadium des AI Act nachträglich Regeln für solche Modelle eingefügt. Diese sind seit 2. August 2025 in Geltung. Ein GPAI-Modell (in früheren Entwurfsfassungen foundation model/Basismodell) ist dabei in Art 3 Z 63 AI Act definiert als ein KI-Modell, das

• das eine erhebliche allgemeine Verwendbarkeit aufweist,
• in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und
• das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann.

In den von der EU-Kommission im Juli 2025 veröffentlichten Leitlinien zu GPAI-Modellen werden eine kumulierte Menge der für das Training verwendeten Berechnungen gemessen in Gleitkommaoperationen (floating point operations [FLOPs]), von mehr als 10²³ und die Fähigkeit, geschriebene oder gesprochene Sprache (aber auch Bilder oder Videos aus Text) zu generieren, als Anhaltspunkte für das Vorliegen eines GPAI-Modells angegeben, es sei denn, das Modell erfüllt die oben angegebenen Kriterien der Allgemeinheit nicht (zB weil es spezifisch nur für die Transkription von Sprache in Text trainiert wurde). Somit ist davon auszugehen, dass die üblichen LLMs, wie die GPT-Serie von OpenAI, die Gemini-Serie von Google oder die Claude-Serie von Anthropic als GPAI-Modelle im Sinne dieser Definition einzustufen sind.

Die Befugnisse für die Aufsicht, Ermittlung, Durchsetzung und Überwachung in Bezug auf Anbieter von GPAI-Modellen werden (ausschließlich) der Kommission zugewiesen und in den Art 88-94 AI Act abweichend geregelt.

Abgrenzung der Rollen entlang der Wertschöpfungskette

In Bezug auf GPAI-Modelle können (anknüpfend an die allgemeinen Rollendefinitionen des AI Act) folgende Rollen unterschieden werden:

1. Anbieter (Providers) von GPAI-Modellen: Entwickeln ein GPAI-Modell oder lassen es entwickeln und bringen es ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr oder nehmen es unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb, sei es entgeltlich oder unentgeltlich (Art 3 Z 3 AI Act); sie treffen primär die nachfolgend beschriebenen Pflichten.
2. Nachgelagerte Modifizierer (Downstream Modifiers) von GPAI-Modellen: Fine-tunen/modifizieren bestehende GPAI-Modelle anderer Anbieter; laut der Kommission ist nicht jeder Modifizierer dadurch gleich als Anbieter des modifizierten GPAI-Modells anzusehen, dies jedoch dann, wenn die Modifikation des GPAI-Modells zu einer wesentlichen Änderung der Universalität, der Leistungsfähigkeit oder des systemischen Risikos des GPAI-Modells führt, wobei als Indiz dafür gilt, dass die Anzahl der Berechnungen für die Modifikation ein Drittel jener für das Training des ursprünglichen GPAI-Modells übersteigt.
3. Nachgelagerte Anbieter (Downstream Providers) von KI-Systemen: Integrieren GPAI-Modelle in KI-Systeme; ein wesentlicher Zweck der Regulierung von GPAI-Modellen ist, dass nachgelagerte Anbieter, ein GPAI-Modell in ihr KI-System integrieren, Informationen über dieses Modell erhalten und darauf basierend ihren eigenen Verpflichtungen (nach den allgemeinen Regeln des AI Act für KI-Systeme) nachkommen zu können.
4. Betreiber (Deployers): Verwenden ein KI-System im praktischen Einsatz.

Differenzierung: GPAI-Modelle ohne/mit systemischem Risiko (Art 51-52 AI Act)

Wie bereits in Bezug auf den Anwendungsbereich erläutert muss zwischen KI-Systemen und KI-Modellen unterschieden werden. Ein KI-Modell ist dabei nur ein Bestandteil eines KI-Systems, weitere Komponenten wie eine Nutzerschnittstelle sind erforderlich, damit ein Modell zu einem KI-System wird (ErwGr 97 AI Act). Bspw bietet ChatGPT eine Nutzerschnittstelle, um auf diverse dahinterstehende GPT-Modelle zurückzugreifen. Während KI-Systeme der Hauptgegenstand der Regulierung durch den AI Act sind (risikobasierten Ansatz), unterliegen auf Ebene der Modelle nur GPAI-Modelle einer direkten Regulierung (Art 51 ff AI Act).

Diese Regulierung unterscheidet zwischen GPAI-Modellen ohne und GPAI-Modellen mit systemischem Risiko. Ein solches systemisches Risiko liegt vor (Art 51 AI Act),

• wenn das Modell über "Fähigkeiten mit hohem Wirkungsgrad" verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden. Dies wird angenommen, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, mehr als 10²⁵ FLOPs beträgt. Liegen solche Fähigkeiten mit hohem Wirkungsgrad vor, hat der Anbieter die Kommission (unverzüglich) zu informieren (Art 52 AI Act). Oder
• wenn die Kommission in einer Entscheidung festgestellt hat, dass es über solche Fähigkeiten oder eine solche Wirkung verfügt (unter Einbeziehung der Kriterien in Anhang XIII bspw Anzahl der Parameter, Größe des Datensatzes, Multimodalität, etc).

Pflichten für Anbieter von GPAI-Modellen (Art 53 AI Act)

Anbieter von GPAI-Modellen (ohne systemisches Risiko) müssen (Art 53 Abs 1 AI Act):

1. eine technische Dokumentation des Modells erstellen und aktualisieren (Mindestelemente in Anhang XI). Diese muss auf Anfrage Behörden zur Verfügung gestellt werden
2. Informationen und die Dokumentation (Mindestelemente in Anhang XII) erstellen und aktualisieren und sie Anbietern von KI-Systemen zur Verfügung stellen, die beabsichtigen, das KI-Modell mit allgemeinem Verwendungszweck in ihre KI-Systeme zu integrieren. Diese Informationen und die Dokumentation müssen die Anbieter von KI-Systemen in die Lage versetzen, die Fähigkeiten und Grenzen des KI-Modells mit allgemeinem Verwendungszweck gut zu verstehen und ihren Pflichten gemäß dem AI Act nachzukommen.
3. eine Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte auch durch modernste Technologien, auf den Weg bringen
4. eine hinreichend detaillierte Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte erstellen und veröffentlichen

Die Pflichten 1 und 2 "gelten nicht für Anbieter von KI-Modellen, die im Rahmen einer freien und quelloffenen Lizenz bereitgestellt werden, die den Zugang, die Nutzung, die Änderung und die Verbreitung des Modells ermöglicht und deren Parameter, einschließlich Gewichte, Informationen über die Modellarchitektur und Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden. Diese Ausnahme gilt nicht für KI-Modellen [sic!] mit allgemeinem Verwendungszweck mit systemischen Risiken." (Art 53 Abs 2 AI Act) In den Leitlinien der Kommission ist die (strenge) Auslegung der einzelnen Kriterien dieser Definition ausführlich dargelegt.

Pflichten für Anbieter von GPAI-Modellen mit systemischem Risiko (Art 55 AI Act)

Anbieter von GPAI-Modellen mit systemischem Risiko müssen (zusätzlich) (Art 55 Abs 1 AI Act):

1. eine Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchführen (inklusive der Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern)
2. mögliche systemische Risiken auf Unionsebene bewerten und mindern
3. einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen erfassen und dokumentieren und die Behörden darüber unterrichten
4. ein angemessenes Maß an Cybersicherheit für die Modelle und die physische Infrastruktur des Modells gewährleisten

Details zur Umsetzung insbesondere dieser risiko- und sicherheitsbezogenen Pflichten sind im Kapitel Sicherheit des General-Purpose AI Code of Practice festgelegt. Siehe dazu sogleich.

Praxisleitfäden (codes of practice) (Art 56 AI Act)

Die genannten Pflichten sollen dabei durch sog Praxisleitfäden auf Unionsebene konkretisiert werden, die unter Berücksichtigung internationaler Ansätze zur ordnungsgemäßen Anwendung des AI Act beitragen sollen.

Für die Ausarbeitung solcher Leitfäden können alle Anbieter von GPAI-Modellen sowie die einschlägigen zuständigen nationalen Behörden ersucht werden, sich an der Ausarbeitung von Praxisleitfäden zu beteiligen. Organisationen der Zivilgesellschaft, die Industrie, die Wissenschaft und andere einschlägige Interessenträger wie nachgelagerte Anbieter und unabhängige Sachverständige können den Prozess ebenfalls unterstützen (Art 56 Abs 3 AI Act).

Am 10. Juli 2025 wurde der Praxisleitfaden "General-Purpose AI Code of Practice" veröffentlicht und von der EU-Kommission und vom KI-Gremium am 1. August 2025 gem Art 56 Abs 6 AI Act als angemessen bewertet. Zu diesem wurde auch eine FAQ-Seite veröffentlicht. Auch ein Musterdokumentationsformular für Modelle ist Teil des GPAI Code of Practice. Zusätzlich hat die EU-Kommission am 18. Juli 2025 auch Leitlinien zum Umfang der Verpflichtungen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck nach dem AI Act veröffentlicht.

Für Anbieter von GPAI-Modellen, die den GPAI Code of Practice unterzeichnen und diesen einhalten, können dadurch nachweisen, dass sie ihre Pflichten nach Art 53 Abs 1 und Art 55 Abs 1 AI Act erfüllen. Damit sollen Rechtssicherheit geschaffen sowie Compliance und Vollzug vereinfacht werden. Es handelt sich dabei aber um eine freiwillige Maßnahme und es steht Anbietern von GPAI-Modellen somit frei, die entsprechenden Bestimmungen des AI Act auch auf andere Weise umzusetzen.

Auf der oben verlinkten Website des GPAI Code of Practice ist angegeben, welche Anbieter von GPAI-Modellen diesen unterzeichnet haben. Darunter finden sich die meisten Anbieter der gängigen LLMs, wie Anthropic, Google, OpenAI und Mistral AI.

Durchsetzung/Rechtsbehelfe (Art 85-87 AI Act)

Der AI Act normiert nur wenige Rechtsbehelfe für Betroffene.

Hinweis:
In Bezug auf mögliche Rechtsbehelfe muss der AI Act, der diesbezüglich nur eingeschränkte Möglichkeiten bereithält, im Zusammenhang mit der PLD gesehen werden.

Recht auf Beschwerde bei der Marktüberwachungsbehörde (Art 85 AI Act)

Zunächst kann jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen des AI Act verstoßen wurde, unbeschadet anderer Rechtsbehelfe, bei der betreffenden Marktüberwachungsbehörde Beschwerden einreichen. Diese Beschwerden werden für die Zwecke der Durchführung von Marktüberwachungstätigkeiten berücksichtigt.

Stand November 2025 wurde in Österreich noch keine Behörde als zuständige Marktüberwachungsbehörde eingerichtet oder benannt. Bereits mit 2. November 2024 sind jedoch einige Behörden und öffentliche Stellen im Grundrechtsbereich gemäß Art 77 Abs 2 mit Aufsichts- und Durchsetzungsbefugnissen für Grundrechte insb im Zusammenhang mit Hochrisiko-KI ausgestattet worden, darunter die Volksanwaltschaft, die Datenschutzbehörde, die Arbeiterkammer, die Gleichbehandlungskommission, die Behindertenanwaltschaft, die KommAustria uvm. Dabei treffen auch die (künftig) zuständige Marktüberwachungsbehörde umfassende Kooperationspflichten, wie etwa die Meldung schwerwiegender Grundrechtsvorfälle in diesem Kontext an die genannten Einrichtungen (vgl Art 73 Abs 7 und Art 79 Abs 2 AI Act). Dazu hat die Kommission entsprechende Leitlinien zu veröffentlichen, die sich gerade in Ausarbeitung befinden.

Recht auf Erläuterung der Entscheidungsfindung im Einzelfall (Art 86 AI Act)

Zweitens haben Personen,

• die von einer Entscheidung im Einzelfall betroffen sind,
• die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Hochrisiko-KI-Systems getroffen hat (somit nur eigenständige Hochrisiko-KI-Systeme; eingebettete Hochrisiko-KI-Systeme wie Medizinprodukte sind nicht erfasst)
• und die rechtliche Auswirkungen hat oder
• sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt,

das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten (Recht auf Erläuterung der Entscheidungsfindung im Einzelfall gemäß Art 86 Abs 1 AI Act oder auch gemeinhin als "Recht auf Erklärung" bezeichnet). Dabei ist es unerheblich, ob das KI-System die Entscheidung gänzlich autonom getroffen hat oder unterstützend beteiligt war, es darf lediglich keine untergeordnete Rolle im Entscheidungsprozess gespielt haben. Steht das Recht auf Erklärung zu, hat die betroffene Person einerseits das Recht, eine Erklärung über die Rolle des KI-Systems im Entscheidungsprozess zu verlangen, worunter einerseits Informationen über die zentralen Aufgaben des Systems im Entscheidungsprozess fallen (zB Zielgruppenselektion, Datenanalyse, Vorgabe der Entscheidung usw.) und andererseits auch der Grad dessen Beteiligung (gering, mittel, hoch), was umgekehrt auch den Grad menschlicher Beteiligung an der Entscheidungsfindung erfordert. Weiters sind die wichtigsten Elemente der Entscheidung zu beauskunften, beispielsweise Eingabedaten, wesentliche Entscheidungsgründe, kontrafaktische Erklärungen (inwiefern hätten andere Parameter zu einer anderen Entscheidungen geführt), die Auswirkungen der Entscheidung, die Gewichtung der einzelnen Kriterien und die Verarbeitungslogik (Informationen über die grobe Funktionsweise des KI-Systems, keine komplette Offenlegung des algorithmischen Codes). Weiters muss die Erklärung präzise, korrekt, verständlich, nicht zu technisch (keine komplexen mathematischen Formeln), aber dennoch vollständig sein. Letzter Referenzpunkt ist stets, ob die betroffene Person auf Basis der erlangten Informationen weitere Rechte geltend machen kann, da das Recht auf Erklärung auch oft als "Türöffner" für die Geltendmachung weiterer Rechte dient (so wird bspw eine Klage wegen Diskriminierung in einem Entscheidungsprozess erst erhoben werden können, wenn die betroffene Person genügend Informationen hat, um die Diskriminierung darzulegen, bspw die Gewichtung von bestimmten persönlichen Merkmalen, die ausschlaggebend für die Entscheidung war).

Es handelt sich somit um ein nachgelagertes bzw ex post Recht, das nicht nur globale, abstrakte Systemerklärungen erfordert, sondern auch lokale, einzelfallbezogene Auskünfte umfasst, damit die betroffene Person die Informationen wirksam nutzbar machen kann . Das Recht auf Erklärung steht Betroffenen gegenüber Betreibern und nicht gegenüber Anbietern zu, wobei letztere wiederum Betreibern entsprechende Betriebsanleitungen bereitzustellen haben (Art 13 AI Act).

Das Recht auf Erklärung gilt nicht, sofern Ausnahmen nach Unionsrecht oder nationalem Recht bestehen (Art 86 Abs 2). Zu denken wäre hier etwa an Beschränkungen der Informationspflicht aufgrund geschützter Betriebs- oder Geschäftsgeheimnisse, wobei diese nicht zu einer pauschalen Auskunftsverweigerung führen dürfen. Art 86 Abs 1 gilt überdies nur insoweit, als dieses Recht nicht anderweitig im Unionsrecht festgelegt ist (Art 86 Abs 3 AI Act). In Hinblick auf diese Subsidiarität ist insbesondere an das Auskunftsrecht nach Art 15 DSGVO (iVm Art 22 DSGVO) zu denken.

Das Recht auf Erklärung ist immer dann relevant, wenn Unternehmen, Behörden etc. KI in Entscheidungsfindungsprozessen einsetzen, die Auswirkungen auf bestimmte Personen(-gruppen) haben. Zu denken ist etwa an KI-basierte Entscheidungen über die Vergabe von Krediten, über die Berücksichtigung einer Bewerbung, über die Höhe einer Versicherungsprämie oder personalisierte Werbeschaltungen auf Basis von Emotionserkennung.

Zum Umgang mit dem Recht auf Erklärung in der Praxis hat das Research Institute im Auftrag des Bundesministeriums für Arbeit, Soziales, Gesundheit, Pflege und Konsumentenschutz Leitlinien entwickelt:

• Leitfaden für Unternehmen im Umgang mit Art 86 AI Act
• Leitfaden für Konsument:innen und ihre Interessenvertretungen zur Durchsetzung ihrer Rechte
• Theoretischer Grundlagenbericht zur wissenschaftlichen Fundierung der ausgesprochenen Empfehlungen

Meldung von Verstößen und Schutz von Hinweisgebern (Art 87 AI Act)

Zusätzlich normiert Art 87 AI Act, dass für die Meldung von Verstößen und den Schutz von Personen, die solche Verstöße melden, die Richtlinie zum Schutz von Whistleblowern gilt.

Bedeutung von Normen und Standards (Art 40-42 AI Act)

Die Kommission hat die Entwicklung von harmonisierten Normen, die derzeit nicht existieren beauftragt. Solche Normen werden im Amtsblatt der EU veröffentlicht.

Stimmen Hochrisiko-KI-Systeme oder GPAI-Modelle mit solchen harmonisierten Normen überein, wird eine Konformität mit den Anforderungen an Hochrisiko-KI-Systeme (Art 8 ff AI Act) oder gegebenenfalls mit den Pflichten für die Anbieter von GPAI-Modellen (Art 53 ff AI Act) vermutet (Konformitätsvermutung), soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind (Art 40 AI Act). Diesen harmonisierten Normen kommt somit eine hohe Bedeutung zu, für Rechtssicherheit zu sorgen und die abstrakten Anforderungen des AI Act zu konkretisieren.

Hinweis:
Derartige harmonisierte Normen befinden sich derzeit in Entwicklung und wurden noch nicht veröffentlicht (siehe unterhalb).

Subsidiär kann die Kommission, wenn strenge Bedingungen erfüllt sind (harmonisierte Normen wurden nicht ausgearbeitet oder entsprechen nicht dem Auftrag), Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen erlassen, mit denen ebenfalls eine solche Konformitätsvermutung einhergeht (Art 41 AI Act).

Ein Kurzüberblick über die Bedeutung von harmonisierten Normen und in Entwicklung befindliche Normen wurde vom Joint Research Centre der Kommission publiziert.

Weitere Konformitätsvermutungen werden in Art 42 AI Act in Bezug auf die Daten-Governance (Art 10 AI Act) und die Cybersicherheit (Art 15 AI Act) für Hochrisiko-KI-Systeme normiert, die mit entsprechenden Daten trainiert und getestet wurden bzw die Cybersicherheitszertifizierungen durchlaufen sind, normiert.

Das Europäische Komitee für Normung (CEN) und das Europäische Komitee für elektrotechnische Normung (cenelec) wurden mittels Durchführungsbeschluss aufgefordert, bis zum 30. April 2025 bestimmte angeführte Normen auzuarbeiten. Der ursprüngliche Zeitplan konnte nicht eingehalten werden und es erfolgte eine neuerliche Fristverlängerung mittels eines neuerlichen Durchführungsrechtsaktes. Seit November 2025 liegt der erste Entwurf einer harmonisierten Norm zum Qualitätsmanagement "EprEN 18286, Artificial intelligence – Quality management system for EU AI Act regulatory purposes nach Art 17 AI Act zur öffentlichen Kommentierung vor. Die Konsultation zu diesem Normentwurf läuft bis zum 22. Jänner 2026. In den kommenden Monaten sollen weitere Normentwürfe folgen – unter anderem zu Risikomanagement, Cybersicherheit, Vertrauenswürdigkeit und Konformitätsbewertung.

Zudem verabschiedenen CEN/cenelec im Oktober 2025 ein Maßnahmenpaket, um die Fertigstellung wichtiger Normen, die im Rahmen von CEN-CLC/JTC 21 „Künstliche Intelligenz” entwickelt wurden, sowie der im Rahmen des Normungsantrags M/593 (und seiner Änderung M/613) geforderten Ergebnisse zu beschleunigen. Diese Maßnahmen betreffen eine Reihe von Arbeitspunkten, die die technische Grundlage für die künftigen europäischen Normen zur Unterstützung des KI-Gesetzes bilden. Die Vorstände kamen überein, im Falle einer positiven Abstimmung über die Anfrage die direkte Veröffentlichung der Entwürfe ohne separate formelle Abstimmung zuzulassen und CEN-CLC/JTC 21 zu beauftragen, eine kleine Redaktionsgruppe aus bereits aktiven Experten einzurichten, um sechs der am stärksten verzögerten Entwürfe fertigzustellen, bevor sie den jeweiligen Arbeitsgruppen zur Information und für abschließende Kommentare vorgelegt werden.

Als Reaktion auf die verzögerten Standards im Entwurf Digital Omnibus on AI Regulation Proposal bestimmte Maßnahmen vorgeschlagen, um eine zeitnahe, reibungslose und verhältnismäßige Umsetzung bestimmter Bestimmungen des AI-Acts sicherzustellen. Als eine Maßnahme wurde dabei die Kopplung des Zeitplans für die Umsetzung der Vorschriften für hohe Risiken an die Verfügbarkeit von Normen vorgeschlagen.

Synergien

Grundlegende Überschneidungen zwischen dem AI Act und der Datenschutz-Grundverordnung (DSGVO)

• Da KI-Systeme bzw -Modelle häufig personenbezogene Daten verarbeiten - bspw im Rahmen des Trainings eines KI-Modells oder zur Entscheidungsunterstützung in Bezug auf konkrete Personen -, stellt sich unweigerlich die Frage nach dem Zusammenwirken des AI Act mit der DSGVO. Letztere knüpft ihren Anwendungsbereich nämlich an die Verarbeitung personenbezogener Daten iSd Art 4 Abs 1 DSGVO, worunter alle Informationen zu verstehen sind, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Die DSGVO ist seit 2018 in Anwendung und verfolgt den Grundsatz, dass jegliche Verarbeitung personenbezogener Daten verboten ist, es sei denn, es liegt ein Erlaubnistatbestand nach Art 6 Abs 1 DSGVO vor. Für die Verarbeitung sog "sensibler Daten" nach Art 9 DSGVO (zB Gesundheitsdaten, die ethnische Herkunft, die religiöse Weltanschauung etc.) legt sie noch strengere Maßstäbe an. Damit verfolgt die DSGVO einen horizontalen sowie prinzipienbasierten Ansatz, wonach bei der Verarbeitung personenbezogener Daten bestimmte Anforderungen und Grundsätze einzuhalten sind, ungeachtet der verwendeten Technologie, des Sektors oder des Einsatzgebiets. Darüber hinaus orientiert sich die Verordnung daran, inwieweit eine bestimmte Datenverarbeitung ein Risiko für die Rechte und Freiheiten natürlicher Personen darstellt ("risikobasierter Ansatz"), wonach sich letztendlich die Strenge der von ihr vorgeschriebenen Verpflichtungen bemisst.
• Der AI Act erkennt das Primat der DSGVO in Art 2 Abs 7 an und statuiert, dass er deren Anwendungsbereich unberührt lässt. Somit gehen im Falle der Verarbeitung personenbezogener Daten durch eine KI-Anwendung die Regelungen der DSGVO grundsätzlich vor, während der AI Act dem ergänzend eine produktsicherheitsrechtliche Komponente beifügt, die während der Entwicklung und des Einsatzes von KI zu beachten ist.
• Überschneidungen beider Rechtsakte ergeben sich bspw, sobald ein KI-Modell mit personenbezogenen Daten trainiert werden soll. In diesem Fall braucht es eine Rechtsgrundlage nach Art 6 Abs 1 DSGVO (und ggf Art 9 DSGVO), wobei hier am ehesten die berechtigten Interessen des Verantwortlichen nach lit f leg cit infrage kommen. So hat sich bspw der Facebook-Mutterkonzern Meta auf berechtigte Interessen berufen, um sein Sprachmodell "LLaMA" hinter seiner "Meta AI" mit Nutzerdaten zu trainieren. Dagegen erhob die Verbraucherschutzzentrale NRW Antrag auf Erlass einer einstweiligen Verfügung, letztendlich entschied jedoch das OLG Köln in seinem Beschluss vom 23.05.2025 (15 UKl 2/25), dass sich Meta für das KI-Training mit Nutzerdaten auf berechtigte Interessen stützen könne.

Folgenabschätzungen: Datenschutz- und Grundrechte-Folgenabschätzung

• Der Anwendungsbereich einer Datenschutz-Folgenabschätzung (Art 35 DSGVO) kann sich mit einer Grundrechte-Folgenabschätzung (Art 27 AI Act) überschneiden, wobei eine integrierte Folgenabschätzung durchgeführt werden kann.
• Umgekehrt ist laut Art 35 DSGVO immer dann eine Datenschutz-Folgenabschätzung durchzuführen, wenn eine Datenverarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat, insbesondere bei Verwendung neuer Technologien. Darunter fallen gemäß §2 Abs 2 Z 4 DSFA-V insbesondere Datenverarbeitung unter Einsatz von künstlicher Intelligenz, welcher jedenfalls die Verpflichtung zur Durchführung einer Datenschutz-Folgenabschätzung nach sich zieht. Somit löst auch der Einsatz von KI unter gewissen Voraussetzungen datenschutzrechtliche Pflichten aus.

Verarbeitung von sensiblen Kategorien personenbezogener Daten (Art 9 DSGVO)

• Um Verzerrungen (Bias) zu zu erkennen und zu korrigieren, dürfen Anbieter, wenn es unbedingt erforderlich ist, unter strengen Auflagen sensible Kategorien von personenbezogenen Daten (Art 9 DSGVO) verarbeiten (Art 10 Abs 5 AI Act).
• Bei der Entwicklung/Training leistungsfähigerer KI-Modelle kann es zu Friktionen zwischen Art 15 AI Act, der angemessene Genauigkeit iSv Performanz fordert, und Art 9 DSGVO, der die Verarbeitung sensibler personenbezogener Daten prinzipiell verbietet, kommen. Zwar gab der Europäische Datenschutzausschuss Ende 2024 eine Stellungnahme zum Training von KI-Modellen heraus, diese behandelt die potentielle Friktion mit Art 9 DSGVO jedoch nur am Rande.

Unterschiedliche Verantwortlichkeiten

• Die DSGVO stellt primär auf den Verantwortlichen ab. Diese Rolle wird häufig der Betreiber iSd AI Act einnehmen. Die meisten Pflichten nach dem AI Act sind aber primär an Anbieter adressiert. Daher kann es zu einem Auseinanderfallen der Verantwortlichkeiten kommen.

Risikoanalyse: Digital Services Act (DSA) vs AI Act

• Der DSA legt einheitliche Regeln für Vermittlungsdienste mit dem Ziel fest, ein vertrauenswürdiges, (rechts-)sicheres und vorhersehbares Online-Umfeld für Verbraucher und Unternehmen durch eine harmonisierte Plattformregulierung zu gewährleisten. Ebenso zielt das Regelwerk auf den Schutz sowie die Gewährleistung einer effektiven Grundrechtsausübung und normiert umfassende Verpflichtungen für Anbieter von Online-Diensten in Form eines abgestuften Regelungsansatzes, der die unterschiedlichen Compliance-Pflichten an die Art und Größe der jeweiligen Online-Dienste knüpft. Dabei kennt der DSA folgende Anbieterkategorien: Anbieter von allgemeinen Vermittlungsdiensten, Hostingdiensten, Online- sowie Transaktionsplattformen und sehr großen Online-Plattformen (VLOPs) und -Suchmaschinen (VLOSEs). Überschneidungen mit dem AI Act können sich auf zweierlei Weise ergeben: Einerseits können KI-Anwendungen zur Generierung oder Manipulation von Inhalten verwendet werden, die dann über Vermittlungsdienste geteilt werden. Andererseits können KI-Systeme das Kernangebot des Diensteanbieters ausmachen, in der Inhaltsmoderation eingesetzt werden oder Produkt- bzw Service-Empfehlungen auf Basis von Nutzerverhalten ("Empfehlungsalgorithmen") schalten. Allgemeine Synergien sind dem Eintrag über den DSA zu entnehmen.
• Weiters kann es bei VLOPs und VLOSEs, die generative KI, bspw GPAI-Modelle, integrieren, zu einer Überschneidung zwischen DSA und AI Act in Bezug auf die notwendige Risikoanalyse kommen. So fordern die Artikel 34 und 35 DSA die Analyse jener potenzieller systemischer Risiken, die sich durch das Design, die Funktion oder die Nutzung ihrer Services ergeben, insbesondere im Zusammenhang mit algorithmischen Systemen oder Systemen zur Inhaltsmoderation. Demgegenüber legt der AI Act in Art 17 die Verpflichtung für Anbieter von Hochrisiko-KI-Systemen zur Etablierung eines Risikomanagementsystems gemäß Art 9 AI Act fest und sieht spezielle Anforderungen für Anbieter von GPAI-Modellen mit systemischem Risiko vor (Art 55 Abs 1 lit b AI Act). Daher wird teilweise für eine konsolidierte und technologieübergreifende Risikoanalyse plädiert, wobei dem Umstand, dass mehrere Technologien verknüpft sind, entsprechend Rechnung getragen werden muss. Im Fall von Anbietern von Hochrisiko-KI-Systemen sieht der AI Act sogar explizit die Möglichkeit vor, Risikomanagementprozesse nach anderen unionsrechtlichen Bestimmungen mit jenen nach dem AI Act zu kombinieren (vgl Art 9 Abs 10 AI Act).

Überlappende Anforderungen mit anderem Produktsicherheitsrecht

• Art 8 Abs 2 AI Act betont für Produkte, die bereits untere andere Produktsicherheitsvorschriften fallen (Anhang I Abschnitt A), "im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen" die Anbieter die Wahl haben, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen gegebenenfalls in existierende Dokumentationen und Verfahren zu integrieren.

Integriertes/kombiniertes Risikomangement

• Anbieter von Hochrisiko-KI-Systemen, die den Anforderungen an interne Risikomanagementprozesse gemäß anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in Art 9 AI Act enthaltenen Aspekte als Bestandteil der nach diesem Recht festgelegten Risikomanagementverfahren integrieren bzw die Verfahren kombinieren (Art 9 Abs 10 AI Act).

Cybersicherheitsanforderungen

• Art 15 Abs 1 AI Act normiert, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden müssen, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Neben den in Art 15 Abs 5 AI Act konkretisierten speziellen Maßnahmen an die Cybersicherheit von KI-Systemen bleiben auch andere Anforderungen, bspw nach NIS2-RL anwendbar.

Recht auf Erläuterung

• In Bezug auf das in Art 86 AI Act normierte Recht auf Erläuterung besteht potentiell eine Subsidiarität gegenüber anderen Auskunftsansprüchen, insb der Auskunftspflicht nach Art 15 Abs 1 lit h DSGVO iVm Art 22 DSGVO. Demnach steht Personen, die von einer automatisierten Entscheidungsfindung im Einzelfall einschließlich Profiling betroffen sind, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt, das Recht zu, neben allgemeinen Informationen über die Verarbeitung ihrer personenbezogenen Daten aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und Auswirkungen einer derartigen Verarbeitung zu verlangen. Inhaltlich richtet sich der Auskunftsanspruch nach Art 15 Abs 1 lit h DSGVO gemäß rezenter EuGH-Judikatur insb auf die Erläuterung des Verfahrens und der Grundsätze, die bei der automatisierten Verarbeitung der personenbezogenen Daten der betroffenen Person zur Anwendung kamen und zu dem bestimmten Ergebnis geführt haben. Die Frage nach einer potenziellen Subsidiarität von Art 86 AI Act gegenüber den entsprechenden datenschutzrechtlichen Vorschriften hängt von unterschiedlichen Fallszenarien ab, in denen die jeweils verwendeten Technologien und verarbeiteten Datenkategorien zu unterschiedlichen Ergebnissen führen können:

	Art 86 AI Act	Art 15 Abs 1 lit h iVm Art 22 DSGVO	Rechtsfolge
Hochrisiko-KI-Einsatz in Entscheidungsfindungsprozessen, in denen entweder keine personenbezogenen Daten gemäß Art 4 Z 1 DSGVO verarbeitet werden (zB Verarbeitung lediglich aggregierter Daten) oder keine vollautomatisierte Entscheidung iSd Art 22 DSGVO getroffen wird (etwa weil ein Mensch maßgeblich an der Entscheidungsfindung beteiligt ist)	Anwendbar	Nicht anwendbar	Das Recht auf Erklärung steht vollumfänglich wie in Art 86 Abs 1 dargelegt zu (bei Vorliegen der übrigen Voraussetzungen). Der betroffenen Person sind somit klare und aussagekräftige Erläuterungen zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu übermitteln, wobei die Erklärung einzelfallbezogen und auf das konkrete Ergebnis gerichtet sein muss. Der Anwendungsbereich von Art 15 (Abs 1 lit h iVm Art 22) DSGVO ist hingegen nicht eröffnet. Das Recht, die Entscheidung anzufechten, steht - zumindest gemäß AI Act - nicht zu.
Es findet eine vollautomatisierte Entscheidungsfindung auf Basis der Verarbeitung personenbezogener Daten statt, allerdings ohne Beteiligung eines Hochrisiko-KI-Systems iSd Art 6 Abs 2 iVm Anhang III AI Act (bspw wird die Entscheidung durch einen herkömmlichen Algorithmus getroffen, der Anforderungen an ein KI-System nach Art 3 Z 1 AI Act nicht erfüllt oder das KI-System fällt nicht in den Hochrisiko-KI-Bereich)	Nicht anwendbar	Anwendbar	Der Auskunftsanspruch gemäß Art 15 (Abs 1 lit h iVm Art 22) DSGVO steht bei Vorliegen der übrigen Voraussetzungen zu, während das Recht auf Erklärung nach Art 86 AI Act keine Anwendung findet. Es sind der betroffenen Person somit Informationen über die involvierte Logik, Tragweite und Auswirkungen der Entscheidung zu übermitteln, wobei Informationen über die Rolle des eingesetzten Systems nicht darunter fallen. Im Unterschied zu Art 86 AI Act ist in Bezug auf Art 15 Abs 1 lit h DSGVO jedoch noch unklar, ob auch eine Verpflichtung zu einer einzelfallbezogenen Begründung der konkret erzielten Ergebnisse besteht, die über eine abstrakte/allgemeine Erklärung hinausgeht. Art 22 Abs 3 DSGVO enthält jedoch im Gegensatz zum AI Act das Recht, die Entscheidung anzufechten.
Verarbeitung personenbezogener Daten im Rahmen der Entscheidungsfindung, Einsatz eines Hochrisiko-KI-Systems, vollautomatisierte Entscheidungsfindung	Anwendbar	Anwendbar	Der Anspruch nach Art 86 AI Act tritt ergänzend zu jenem nach der DSGVO hinzu und richtet sich auf jene Informationen, die nach Art 15 DSGVO nicht zu beauskunften sind (bspw die Rolle des KI-Systems im Entscheidungsprozess sowie jedenfalls einzelfallbezogene, lokale Erklärungen). Es handelt sich somit um eine sog "Lückenfüller-Position" von Art 86 AI Act.

In der Regel werden Betroffene in der Praxis wohl beide Ansprüche gleichzeitig geltend machen. Dies ist allerdings nur möglich, sofern beide Ansprüche auch gegenüber der selben Person bzw Einrichtung geltend zu machen sind. Denn während das Recht auf Erklärung nach Art 86 AI Act gegen den Betreiber des KI-Systems zusteht, ist der Auskunftsanspruch gemäß Art 15 Abs 1 lit h DSGVO gegen jene Person oder Stelle zu richten, welche die Entscheidung getroffen hat (welche zwar meist aber nicht zwangsläufig mit der Person des datenschutzrechtlich Verantwortlichen iSd Art 4 Z 7 DSGVO ident sein wird). Die unterschiedlichen Rollen nach AI Act und DSGVO können somit zusammenfallen, müssen dies allerdings nicht, wodurch sich unterschiedliche Verpflichtungen für die beteiligten Akteure ergeben können.

Produkthaftungsrichtlinie neu und Vorschlag für eine AI Liability Directive [zurückgezogen]

• Die Produkthaftungsrichtlinie neu (PHRL neu) und insbesondere der (zurückgezogene) Vorschlag für eine AI Liability Directive (AILD) nehmen direkt auf den AI Act Bezug und verweisen bei der Begriffsverwendung häufig auf diesen. Die AILD kann somit nicht ohne den Kontext des AI Act verstanden werden. So sollten die Pflichten in Bezug auf Hochrisiko-KI-Systeme (Art 8-15 AI Act) wichtige Sorgfaltspflichten in der AILD bilden (siehe ausführlicher im Rahmen der Haftungsregeln).

Sanktionen/sonstige Konsequenzen

Sanktionen (Art 99 AI Act)

Art 99 Abs 1 AI Act überträgt die Festsetzung von Sanktionen primär den MS und normiert nur grobe Richtlinien dafür. Die Kommission hat jedoch Leitlinien (Art 96 AI Act) zu veröffentlichen, die zu berücksichtigen sind.

Hinweis
Zum derzeitigen Stand gibt es noch kein nationales Begleit- bzw Durchführungsgesetz, das die Sanktionen konkretisiert. Auch die notifizierende(n) Behörde(n) und die Marktüberwachungsbehörde(n) (Art 70 AI Act) wurden in Österreich noch nicht benannt.

Somit sind nach dieser Bestimmung Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen, zu denen auch Verwarnungen und nicht monetäre Maßnahmen gehören können, von den MS zu erlassen. MS müssen alle Maßnahmen ergreifen, die für deren ordnungsgemäße und wirksame Durchsetzung notwendig sind.

Die vorgesehenen Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein und die Interessen von KMU sowie deren wirtschaftliches Überleben berücksichtigen.

Jeder MS erlässt auch Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen im MS Geldbußen verhängt werden können (Art 99 Abs 8 AI Act).

Die höchsten Geldstrafen drohen für eine Verletzung gegen die verbotenen Praktiken (Art 5 AI Act). Bei Missachtung des Verbots werden Geldbußen von bis zu 35 000 000 Euro oder — im Falle von Unternehmen — von bis zu 7% des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 3 AI Act).

Für Verstöße gegen andere Bestimmungen werden Geldbußen von bis zu 15 000 000 Euro oder — im Falle von Unternehmen — von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 4 AI Act):

• Verstöße gegen Pflichten der Anbieter (Art 16 AI Act)
• Verstöße gegen Pflichten der Bevollmächtigten (Art 22 AI Act)
• Verstöße gegen Pflichten der Einführer (Art 23 AI Act)
• Verstöße gegen Pflichten der Händler (Art 24 AI Act)
• Verstöße gegen Pflichten der Betreiber (Art 26 AI Act)
• Verstöße gegen für notifizierte Stellen geltende Anforderungen und Pflichten (Art 31, Art 33 Abs 1, 3, 4, Art 34 AI Act)
• Verstöße gegen Transparenzpflichten für Anbieter und Betreiber (Art 50)

Für die Bereitstellung von falschen, unvollständigen oder irreführenden Informationen an notifizierte Stellen oder zuständige nationalen Behörden werden Geldbußen von bis zu 7 500 000 Euro oder — im Falle von Unternehmen — von bis zu 1% des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art 99 Abs 5 AI Act).

Um nicht die Wirtschaft zugunsten von größeren Unternehmen zu verzerren sieht Art 99 Abs 6 AI Act Sondervorschriften für KMUs vor. Diesbezüglich gilt für jede genannte Geldbuße der jeweils niedrigere Betrag aus den genannten Prozentsätzen oder Summen.

Art 99 Abs 7 AI Act präzisiert, welche Kriterien bei der Entscheidung, ob eine Geldbuße verhängt wird, und bei der Festsetzung der Höhe der Geldbuße zu berücksichtigen sind.

Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union (Art 100 AI Act)

Parallel dazu gibt Art 100 AI Act Kriterien für die Verhängung von Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union durch den Europäischen Datenschutzbeauftragen vor.

Diesbezüglich drohen bei Missachtung der Verbotenen Praktiken (Art 5 AI Act) Geldbußen von bis zu 1 500 000 EUR und bei bei Nichtkonformität des KI-Systems anderen Anforderungen oder Pflichten Geldbußen von bis zu 750 000 EUR (Art 100 Abs 2, 3 AI Act).

Geldbußen für Anbieter GPAI-Modellen (Art 101 AI Act)

Art 101 AI Act wiederum normiert Sonderbestimmungen für Geldbußen für Anbieter von GPAI-Modellen, die sich somit nur an einen eingeschränkteren Personen- bzw Unternehmenskreis richten als die "allgemeinen" Sanktionsbestimmungen des Art 99 AI Act.

Diesbezüglich liegt die Zuständigkeit, anders als bei den allgemeinen Sanktionen, bei der Europäischen Kommission. Diese kann gegen Anbieter von GPAI-Modellen Geldbußen von bis zu 3% ihres gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr oder 15 000 000 Euro verhängen, je nachdem, welcher Betrag höher ist.

Dazu muss sie feststellen, dass der Anbieter vorsätzlich oder fahrlässig

• gegen die einschlägigen Bestimmungen des AI Act verstoßen hat (diese Blankettstrafnorm erfasst somit undefiniert alle relevanten Bestimmungen für GPAI-Modelle)
• der Anforderung eines Dokuments oder von Informationen durch die Kommission (Art 91 AI Act) nicht nachgekommen ist oder falsche, unvollständige oder irreführende Informationen bereitgestellt hat
• einer geforderten Maßnahme nicht nachgekommen ist (Art 93 AI Act, bspw Maßnahmen, um die Verpflichtungen gem Art 53, 54 AI Act einzuhalten oder Risikominderungsmaßnahmen)
• der Kommission keinen Zugang zu dem GPAI-Modell oder dem GPAI-Modell mit systemischem Risiko gewährt hat, um eine Bewertung durchführen (Art 92 AI Act, bspw um die Einhaltung der Pflichten aus dieser Verordnung durch den Anbieter zu beurteilen oder systemische Risiken auf Unionsebene zu ermitteln)

Bei der Festsetzung der Höhe der Geldbuße oder des Zwangsgelds muss der Art, der Schwere und der Dauer des Verstoßes sowie den Grundsätzen der Verhältnismäßigkeit und der Angemessenheit gebührend Rechnung getragen werden.

Geldbußen müssen wiederum wirksam, verhältnismäßig und abschreckend sein (Art 101 Abs 3 AI Act).

Fallbeispiele

Beispiel 1: KI-gestütztes Kreditscoring

Sachverhalt	Ein KI-System, das bestimmungsgemäß für Kreditscoring eingesetzt wird, führt zur Verweigerung eines Kredits bzw günstigerer Kreditkonditionen für eine Interessentin. Durch die Trainingsdaten des Systems wurde suggeriert, dass Frauen aufgrund eines niedrigeren Durchschnittseinkommens weniger kreditwürdig wären.
Einordnung AI Act	Es liegt ein Hochrisiko-KI-System gemäß Artikel 6 Absatz 2 in Verbindung mit Anhang III Z 5 lit b vor (siehe im Detail Hochrisiko-KI-Systeme im AI Act).
Einordnung AILD/PLD	Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 2: KI-Chatbot-Assistent für Bankkund*innen

Sachverhalt	Ein KI-Chatbotassistenz wird von einer Bank im Überweisungsprozess eingesetzt, um Kund*innen die Dateneingabe zu erleichtern. Bei einem Kunden kommt es in der Folge (ohne sein Verschulden) dadurch zu einer fehlerhaften Überweisung, wobei der zehnfache Betrag überwiesen wird, weil das KI-System bei der Überweisungssumme eine Kommastelle falsch übernommen hat.
Einordnung AI Act	Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen. Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein, wobei auf die Interaktion mit einem Chatbot hingewiesen werden muss (siehe im Detail Transparenzpflichten). Je nach Ausgestaltung könnte die Bank die Rolle des Anbieters, des Betreibers des KI-Systems oder beide Rollen zugleich einnehmen.
Einordnung AILD/PLD	Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 3: KI-Assistenzsystem auf Betriebssystemebene für private Computer

Sachverhalt	Ein KI-Assistenzsystem, das standardmäßig auf Betriebssysstemebene bei einer bestimmten Marke privater Computer impementiert ist, wird durch eine Nutzerin des Computers aufgefordert, eine bestimmte Dateien (Scans von wichtigen, privaten Dokumenten) zu suchen. Aufgrund einer Cybersicherheits-Schwachstelle ist es einem Angreifer allerdings zuvor gelungen, in das System einzudringen, sodass das Assistenzsystem die Dateien an den Angreifer schickt und anschließend auf dem Computer der Nutzerin löscht. Variante: Es liegt kein Cyberangriff vor. Bei den von der Nutzerin gesuchten Dateien handelt es sich um Scans von einem Beschluss eines Grundbuchsgerichts zur Löschung eines Pfandrechts. Für die Nutzerin ist weiters nicht erkennbar, dass bei der Eingabe ihrer Suche ein KI-Assistenzsystem aktiv wird. Dieses interpretiert das Wort „Löschung“ im Suchbefehl als Anweisung, die entsprechenden Dateien direkt zu löschen, was daraufhin auch passiert.
Einordnung AI Act	Für die Nutzerin als Betreiberin liegt vermutlich die "Haushaltsausnahme" vor, wodurch der AI Act nicht zur Anwendung kommt (Art 2 Abs 10 AI Act). Für den Anbieter: Auch wenn grundsätzlich ein KI-System im Sinne des AI Act vorliegt, würde hierbei grundsätzlich weder eine prinzipiell verbotene Praxis gemäß Art 5 AI Act, noch ein Hochrisiko-KI-System gemäß Art 6 AI Act vorliegen. Selbst wenn das Assistenzsystem in einem Hochrisikobereich iSv Anhang III (zB durch Justizbehörden) Verwendung finden würde, könnte eine Ausnahme nach Art 6 Abs 3 AI Act vorliegen, wenn es kein erhebliches Risiko birgt. Es könnte allerdings, insbesondere je nach den Umständen des Kontextes, die Informationspflicht des Anbieters gemäß Art 50 Abs 1 AI Act einschlägig sein (siehe im Detail Transparenzpflichten). Dies ist primär davon abhängig, ob man das Assistenzsystem als ein System klassifiziert, das "für die direkte Interaktion mit natürlichen Personen bestimmt" ist.
EInordnung AILD/PLD	Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 4: KI-System zur Hautkrebserkennung, Diagnoseerstellung und Therapieempfehlung

Sachverhalt	Ein KI-System wird in einer Klinik zur Erkennung von Hautkrebs eingesetzt, wobei Bildaufnahmen der entsprechenden Hautstellen analysiert werden. Daraufhin erstellt das System eine vorläufige Diagnose und eine Empfehlung für eine Therapie. Die Trainingsdaten des Systems bezogen sich jedoch überwiegend auf Personen mit hellerer Hautfabe, weshalb das System Hautkrebs bei Personen mit dünklerer Hautfarbe seltener erkennt bzw häufiger fehlerhafte Diagnosen und Therapievorschläge erstellt. Im Fall eines Patienten folgt die behandelnde Ärztin den fehlerhaften Empfehlungen ohne ausreichende Prüfung, wodurch der Patient einen körperlichen Schaden erleidet.
Einordnung AI Act	Da das KI-System ein entsprechendes Medizinprodukt nach der Medizinprodukteverordnung darstellt, die in Anhang I Abschnitt A genannt wird, und ein Konformitätsbewertungsverfahren unter Einbindung Dritter durchlaufen muss, handelt es sich um ein Hochrisiko-KI-System im Sinne des Art 6 Abs 1 AI Act. Auf Seiten des Anbieters wurden insbesondere die Anforderungen an Trainingsdaten gemäß Art 10 AI Act verletzt. Grundsätzlich würde die im Sachverhalt genannte Klinik wohl den Betreiber im Sinne des AI Acts darstellen (vgl jedoch die Möglichkeit der Änderung der Rolle). Diesbezüglich könnte eine Verletzung gegen die Pflicht zur menschlichen Aufsicht (Art 14 AI Act) vorliegen, wenn der Betrieb des Systems nicht entsprechend überwacht wird.
Einordnung AILD/PLD	Siehe die Analyse im Rahmen der KI-Haftungsregelungen.

Beispiel 5: Transkriptionstool im Rahmen der Rechtspflege

Sachverhalt

Im Rahmen des Verfassens von Urteilen oder Protokollen wird das gesprochene Wort (Diktat des Entscheidungsorgans) digital aufgezeichnet und anschließend transkribiert. Das System ist in der Lage, mithilfe KI-gestützter Spracherkennung die jeweils Sprechenden (Speaker Diarisation) sowie juristische Begriffe und Redewendungen zu erkennen.

Einordnung AI Act

Der Transkriptionssoftware liegt ein Sprachmodell (LLM) zugrunde, das auf maschinellem Lernen basiert. Dieses wird durch ein User-Interface praktisch nutzbar gemacht und stellt somit ein KI-System iSd AI Act dar. Der Einsatz von KI in der Rechtspflege zu gewissen Zwecken kann in den Hochrisiko-KI-Bereich gemäß Art 6 Abs 2 iVm Anhang III Nr 8 lit a AI Act fallen. Solche Systeme sind jedoch nicht als hochriskant einzustufen, sofern sie für rein begleitende administrative Tätigkeiten bestimmt sind, worunter jedenfalls Spracherkennungsprogramme für das Diktieren von Entscheidungen fallen können (ErwGr 61). In einem nächsten Schritt ist die Ausnahmeregelung des Art 6 Abs 3 AI Act zu prüfen, wonach das System höchstwahrscheinlich gemäß lit a leg cit aus dem Hochrisiko-KI-Bereich ausgenommen ist, da es rein für Protokollierungszwecke eingesetzt wird und damit nur eine eng gefasste Verfahrensaufgabe übernimmt. Ebenso ist denkbar, gemäß lit d leg cit aus dem Hochrisiko-KI-Bereich ausgenommen zu sein, sofern das System lediglich eine vorbereitende Aufgabe für die Urteilserstellung übernimmt. Bejaht man hingegen das Vorliegen von Hochrisiko-KI, so treffen deren Anbieter die Pflichten der Art 8 ff AI Act und den Betreiber insbesondere die Pflichten nach Art 26 und 27 AI Act. Sofern es sich um ein KI-Modell mit allgemeinem Verwendungszweck (mit systemischem Risiko) handelt, treffen den Anbieter diesbezüglich Verpflichtungen. Unabhängig von der Risikoeinstufung des Modells bzw Systems sind darüber hinaus die Transparenzpflichten nach Art 50 AI Act zu beachten sowie ein ausreichendes Maß an KI-Kompetenz unter den Beschäftigten, die mit dem Transkriptionstool arbeiten, herzustellen.

Beispiel 6: KI-System zur Filterung und Priorisierung von Bewerbungen

Sachverhalt

Ein Unternehmen möchte eine neue Stelle besetzen und erhält unzählige Bewerbungen. Daher entschließt es sich, ein KI-basiertes System einzusetzen, das Bewerbungen filtert und mit einem Einstufungswert versieht, wodurch die Bewerbungen priorisiert werden. Die zuständigen HR-Mitarbeiter*innen weichen nicht mehr von dem Wert ab und vergeben die Stelle schließlich an jene Person, die den höchsten Einstufungswert erhalten hat.

Einordnung AI Act

Sofern es sich bei der Anwendung um ein KI-System nach Art 3 Z 1 AI Act handelt, ist der Anwendungsbereich des AI Act grundsätzlich eröffnet. Das Unternehmen ist jedenfalls als dessen Betreiber zu qualifizieren, da es das System in eigener Verantwortung zu beruflichen Zwecken einsetzt. Sofern es das KI-System auch selbst entwickelt / entwickeln lässt und es unter eigener Marke bzw eigenem Namen in Betrieb nimmt, ist es sogar Anbieter. Darüber hinaus stellt das System ein "eigenständiges" Hochrisiko-KI-System nach Art 6 Abs 2 iVm Anhang III Punkt 4a AI Act dar, da es bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet wird, um Bewerbungen zu filtern und Bewerber zu bewerten. Eine Ausnahme nach Art 6 Abs 3 AI Act vom Hochrisiko-KI-Bereich liegt nicht vor, da das KI-System das Ergebnis der Entscheidungsfindung wesentlich beeinflusst (von dem KI-generierten Eignungswert wird nicht mehr abgewichen). Je nach Rolle treffen das Unternehmen nun weitereichende Verpflichtungen. In den meisten Fällen wird das Unternehmen wohl als Betreiber zu klassifizieren sein, weshalb es unter anderem die Betreiberpflichten nach Art 26 AI Act zu erfüllen und unter gewissen Voraussetzungen eine Grundrechte-Folgenabschätzung nach Art 27 AI Act durchzuführen hat. Art 26 Abs 7 sieht grundsätzlich auch die spezielle Betreiberpflicht vor, vor Inbetriebnahme oder Verwendung eines Hochrisiko-KI-Systems am Arbeitsplatz die Arbeitnehmervertreter und betroffenen Arbeitnehmer über den KI-Einsatz zu informieren. Inwieweit diese Verpflichtung auch gegenüber Bewerbern gilt, die streng genommen (noch) keine Arbeitnehmer sind, ist fraglich und wird wohl zu verneinen sind. Diese vermeintliche Rechtsschutzlücke wird jedoch ohnehin wieder durch die Verpflichtung gemäß Art 26 Abs 11 AI Act ausgeglichen, von Hochrisiko-KI-Entscheidungen betroffene Personen über diesen KI-Einsatz zu informieren.

Digitaler Omnibus

Am 19. November 2025 stellte die Europäische Kommission das sogenannte „Digital Omnibus Package“ vor, ein Legislativpaket mit dem Ziel, den digitalen Rechtsrahmen der EU zu vereinfachen. Ziel der Maßnahme ist, Verwaltungs- und Umsetzungskosten zu senken, Rechtsklarheit zu erhöhen und insbesondere kleine und mittlere Unternehmen (KMU) zu entlasten, da Unternehmen zunehmend Schwierigkeiten bei der Umsetzung und Koordination von Vorgaben wie etwa dem AI Act sehen. Das Paket umfasst Änderungen und Anpassungen unterschiedlicher Rechtsrahmen, so auch einige Bestimmungen des AI Act. Inhaltliche Änderungen betreffen einerseits die Verpflichtung zur Sicherstellung von KI-Kompetenz (Art 4), welche nunmehr nicht Unternehmen bzw. Einrichtungen selbst treffen soll, sondern die Kommission und die Mitgliedstaaten sind dazu angehalten, Anbieter und Betreiber zur Sicherstellung eines angemessenen Maßes an KI-Kompetenz zu unterstützen. Ebenso stellt die Kommission eine Verzögerung der Anwendbarkeit der Hochrisiko-KI-Bestimmungen in Aussicht, welche mit 2. August 2026 bzw 2. August 2027 Anwendung erlangen sollten. Grund ist das Fehlen von entsprechenden Standards, die eigentlich bis August 2025 zu setzen waren und ohne die laut Kommission die Einhaltung der entsprechenden AI Act-Bestimmungen nicht möglich sei. Die Anwendbarkeit der Hochrisiko-KI-Bestimmungen soll sich um bis zu maximal 16 Monate verzögern, wobei die Vorschriften Geltung erlangen, sobald die Kommission die Verfügbarkeit der erforderlichen Standards und Unterstützungsinstrumente bestätigt. Darüber hinaus enthält der Vorschlag einen neuen Art 4a, der die Verarbeitung sensibler personenbezogener Daten zur Erkennung und Minderung von Bias unter gewissen Voraussetzungen ermöglicht.

Weiterführende Literatur

Kommissionsleitlinien und sonstige Materialen/Verhaltenskodizes

• Leitlinien der Kommission zur Definition eines Systems der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/1689 (KI-Verordnung) vom 6. Februar 2025: https://ec.europa.eu/newsroom/dae/redirection/document/118628
• Leitlinien der Kommission zu verbotenen Praktiken der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/1689 (KI-Verordnung) vom 4. Februar 2025: https://ec.europa.eu/newsroom/dae/redirection/document/118661
• Europäische Kommission,Living Repository zur Förderung des Lernens und des Austausches über KI-Kompetenz vom 04. Februar 2025 (mit Update von April 2025): https://ec.europa.eu/newsroom/dae/redirection/document/112203
• Europäische Kommission,Praxisleitfaden für KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI Code of Practice) vom 10. Juli 2025: https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
  1. Kapitel zu Transparenz: https://ec.europa.eu/newsroom/dae/redirection/document/118120
  2. Kapitel zu Urheberrecht: https://ec.europa.eu/newsroom/dae/redirection/document/118115
  3. Kapitel zu Sicherheit: https://ec.europa.eu/newsroom/dae/redirection/document/118119
• Europäische Kommission,Leitlinien zum Umfang der Verpflichtungen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck nach dem AI Act vom 18. Juli 2025: https://ec.europa.eu/newsroom/dae/redirection/document/118340
• Europäische Kommission,Leitlinien und Meldevorlagen zur Meldung schwerwiegender KI-Vorfälle gemäß Art 73 AI Act (Entwurf, noch in Ausarbeitung): https://digital-strategy.ec.europa.eu/de/consultations/ai-act-commission-issues-draft-guidance-and-reporting-template-serious-ai-incidents-and-seeks
• Europäische Kommission, AI Act Service Desk. Frequently Asked Questions (FAQs): https://ai-act-service-desk.ec.europa.eu/en/faq.
• Europäische Kommission,Whistleblower Tool for AI Act, https://digital-strategy.ec.europa.eu/en/news/commission-launches-whistleblower-tool-ai-act.

Einführungsbücher

• Hense/Mustac, AI Act kompakt. Compliance Management- & Use Cases in der Unternehmenspraxis (2024)
• Hilgendorf/Roth-Isigkeit (Hrsg), Die neue Verordnung der EU zur Künstlichen Intelligenz (2023)
• Ulbricht/Brajovic/Duhme, Praxishandbuch KI und Recht (2024)
• Schwartmann/Keber/Zenner (Hrsg), KI-Verordnung. Leitfaden für die Praxis² (2024)
• Voigt/Hullen, Handbuch KI-Verordnung. FAQ zum EU AI Act (2024)
• Wendt/Wendt, Das neue Recht der Künstlichen Intelligenz. Artificial Intelligence Act (AI Act)² (2025)
• Windholz, Praxishandbuch KI-VO (2024)

Kommentare

• Bomhard/Pieper/Wende, KI-VO. Künstliche Intelligenz-Verordnung (2025)
• Ebers/Zou, Artificial Intelligence Act. A Commentary (2025, iE)
• Feiler/​Forgó, KI-VO. EU-Verordnung über Künstliche Intelligenz (2024)
• Heinze/Steinrötter/Zerdick, KI-Verordnung. Gesetz über künstliche Intelligenz (2025)
• Martini/Wendehorst, KI-VO. Künstliche Intelligenz-Verordnung (2024) (2. Auflage 2026, iE)
• Pehlivan/Forgó/Valcke, The EU Artificial Intelligence (AI) Act. A Commentary (2024)
• Reusch/Chibanguza, KI-VO. Künstliche Intelligenz-Verordnung (2026, iE)
• Schefzig/Kilian, BeckOK KI-Recht³ (2025)
• Schwartmann/Keber/Zenner, KI-VO (2024)
• Wendt/Wendt, Artificial Intelligence Act. Article-by-Article Commentary (2026, iE)
• Wendt/Wendt, Artificial Intelligence Act. Gesetz über Künstliche Intelligenz (2025)
• Zankl, KI-Verordnung. Verordnung über künstliche Intelligenz (Artificial Intelligence Act) (2025)

Weiterführende Materialien/Links

• BITKOM, Get Started Guide. AI Act (Stand April 2024), https://www.bitkom.org/sites/main/files/2024-04/bitkom-get-started-guide-ai-act.pdf
• BITKOM, Umsetzungsleitfaden zur KI-Verordnung. Compliance in der Praxis – Schritt für Schritt (Version 1.0 - Stand 29.10.2024), https://www.bitkom.org/sites/main/files/2024-10/241028-bitkom-umsetzungsleitfaden-ki.pdf
• BITKOM, Umsetzungsleitfaden zur KI-Verordnung. Click-Through-Tool, https://www.bitkom.org/Klick-Tool-Umsetzungsleitfaden-KI-Verordnung
• CNIL, Self-assessment guide for artificial intelligence (AI) systems, https://www.cnil.fr/en/self-assessment-guide-artificial-intelligence-ai-systems
• EDPB, Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models (2024), https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_en
• European Parliament, Legislative train: the AI Act, https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence
• Future of Life Institute (FLI), AI Act Explorer, https://artificialintelligenceact.eu/ai-act-explorer/
• Future of Life Institute (FLI), EU AI Act Compliance Checker, https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/
• Gesellschaft für Datenschutz und Datensicherheit (GDD), GDD-Praxishilfe Europäische Datenstrategie: KI-VO, Data Act etc. - Adressaten und Regelungsschwerpunkte der neuen Digitalakte (Stand Juli 2024), https://www.gdd.de/wp-content/uploads/2024/07/GDD-Praxishilfe-Europaeische-Datenstrategie-KI-VO-Data-Act-etc-1.pdf
• Graux/Garstka/Murali/Cave/Botterman, Interplay between the AI Act and the EU digital legislative framework (2025), https://www.europarl.europa.eu/RegData/etudes/ATAG/2025/778577/ECTI_ATA(2025)778577_EN.pdf.
• Hacker, Der AI Act im Spannungsfeld von digitaler und sektoraler Regulierung (2024), https://www.bertelsmann-stiftung.de/en/publications/publication/did/der-ai-act-im-spannungsfeld-von-digitaler-und-sektoraler-regulierung.
• Hochrangige Expertengruppe für Künstliche Intelligenz, Ethik-Leitlinien für eine vertrauenswürdige KI (2019), https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60425
• Orientierungshilfen-Navigator KI & Datenschutz (ONKIDA)
• Österreichische Datenschutzbehörde, FAQ zum Thema KI und Datenschutz (Stand: 2. Juli 2024), https://www.dsb.gv.at/download-links/FAQ-zum-Thema-KI-und-Datenschutz.html
• Plattform Lernende Systeme, AI Act der Europäischen Union. Regeln für vertrauenswürdige KI (Juni 2024), https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/KI_Kompakt/KI_Kompakt_AI_Act_Plattform_Lernende_Systeme_2024.pdf
• Research Institute, Aufklärung 4.0 - Entscheidungen der KI als Mensch verstehen. Bericht über die theoretischen Grundlagen des Rechts auf Erläuterung der Entscheidungsfindung im Einzelfall nach Artikel 86 AI Act (2025), https://www.sozialministerium.gv.at/dam/jcr:3d0ab567-4d81-40c9-ace8-471a5819178a/Final_Aufkl%C3%A4rung%204.0_Grundlagenbericht_April2025.pdf.
• WKO, KI-Guidelines für KMU. Empfehlungen zum positiven Umgang mit künstlicher Intelligenz (Stand 11.03.2024), https://www.wko.at/digitalisierung/ki-guidelines-fuer-kmu