Die europäische KI-Verordnung

Am 12. Juli diesen Jahres wurde der AI Act im Amtsblatt der EU veröffentlicht, wie immer finden Sie den Gesamttext auch in deutscher Sprache auf den Seiten der EU:

https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689

Ziel der Verordnung ist es ähnlich wie im Bereich des Datenschutzes einen europaweit einheitlichen Rechtsrahmen für den Bereich der künstlicher Intelligenz zu schaffen, angefangen bei deren Entwicklung über die Vermarktung bis zum Einsatz solcher Systeme.

Der Verordnungsgeber will dabei den Schutz der Bevölkerung, der Wirtschaft wie auch unseres demokratischen Systems und der Umwelt sicherstellen sowie zugleich Innovation und Arbeitsplätze im Bereich „vertrauenswürdiger KI“ fördern. Dies dürfte eine Herkulesaufgabe werden, angesichts der Position Europas bei Investitionen in diese Form der Technologie.

Nach Angaben der Germany Trade & Invest (GTAI) (die Wirtschaftsförderungsgesellschaft des Bundes) investieren die fünf US Unternehmen Alphabet, Amazon, Apple, Meta und Microsoft im laufenden Jahr mehr als 200 Milliarden US$ in den Bereich der Künstlichen Intelligenz.Die Investitionssummen in Deutschland nehmen sich dazu sehr bescheiden aus,
so enthält der KI Investitionsplan der Bundesregierung für das Jahr 2024 – 500 Millionen €,
Im Jahr 2023 beliefen sich die privaten Investitionen im Bereich Künstliche Intelligenz in Deutschland auf rund 1,91 Milliarden US$.

Wie wirkt sich die KI-Verordnung auf das Gesundheitswesen aus?

In der Verordnung findet sich eine Klassifikation der KI-Systeme:

• Verbotene Systeme auf Grund verbotener Praktiken nach Artikel 5 der Verordnung
  • Hierzu zählen z.B. Systeme zur unterschwelligen Beeinflussung von Personen, Systeme zur Risikobewertung, ob eine Person eine Straftat begeht, Systeme zur Ableitung von Emotionen am Arbeitsplatz
• Hochrisiko-KI-Systeme gemäß Kapitel III der Verordnung
  • In diese Kategorie fallen Medizinprodukte der Klassen II und höher, da sie beide Anforderungskriterien erfüllen:
    • Nennung in Anhang I Nr. 11 und
    • Das Produkt unterliegt der Pflicht zur Konformitätsbewertung vor Inverkehrbringen / Inbetriebnahme
• Systeme mit begrenztem Risko – durch Interaktion mit Personen z.B. Chatbots
• Systeme mit geringem Risiko z.B. vorausschauende Wartung

Was bedeutet die Kategorisierung eines Medizinprodukts als Hochrisiko-KI-System für den Hersteller?

Bei Medizinprodukten haben die Hersteller bereits die Anforderungen der Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte zu beachten und damit sind bereits zahlreiche Anforderungen für Hochrisiko-KI-Systeme abgedeckt:

• Umsetzung eines Risikomanagementsystems (Art. 9),
• Vorhalten einer aktuellen Technischen Dokumentation (Art. 11 und 18),
• Maßnahmen zur Cybersicherheit (Art. 15),
• Aufbau eines Qualitätsmanagementsystems (Art. 17),
• Durchführung einer Konformitätsbewertung durch eine Benannte Stelle (Art. 16 und Kap. 5), (für Produkte der Klasse II und höher!)
• Umsetzung von Prozessen zu Korrekturmaßnahmen und Erfüllung von Berichtspflichten (Art. 20),
• Kooperation mit Behörden (Art. 21).

Über die KI-Verordnung sind nun folgende zusätzliche Maßnahmen vorgegeben:

• Nutzung qualitativ hochwertiger Daten zu Training/Validierung/Testung des KI-Systems
  (Art. 10 „Daten und Daten-Governance“)
• Aufzeichnungen und Protokolle über Vorgänge und Ereignisse
  (Art. 12 „Aufzeichnungspflichten“),
• Hohe Ansprüche an Transparenz
  (Art. 13 „Transparenz und Bereitstellung von Informationen für die Betreiber“
  und 16 „Pflichten der Anbieter von Hochrisiko-KI-Systemen“),
• Menschliche Aufsicht über das System 
  (Art. 14 „Menschliche Aufsicht“),
• Schutz der Trainingsdaten vor Manipulation
  (Art. 15 „Genauigkeit, Robustheit und Cybersicherheit“),
• Besondere Pflichten für Anbieter aus Drittländern, Einführer, Händler und entlang der Wertschöpfungskette
  (Art. 22 – 25.),
• Grundrechte Folgenabschätzung für bestimmte Einsatzgebiete
  (Art. 27 „Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme“)

Welche Anforderungen gelten nun für Medizinprodukte der Klasse I und sonstige Softwareprodukte?

Bei Produkten, die nicht der Konformitätsbewertung durch eine Benannte Stelle bedürfen und nicht aus anderen Gründen unter die Kategorie der Hochrisiko-KI-Systeme fallen gilt es noch zu prüfen, ob die besonderen Transparenzpflichten nach Artikel 50 „Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme“ zu beachten sind. Diese gelten unter anderem für:

• KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind
• Betreiber von Emotionserkennungssystemen

In diesen Fällen gilt es sicherzustellen, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich.

Quick-Check