Europäisches Parlament2019-2024

Plenarsitzungsdokument

A9-0001/2021

4.1.2021

BERICHTüber das Thema „Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit“(2020/2013(INI))

Rechtsausschuss

Berichterstatter: Gilles Lebreton

Verfasser der Stellungnahme (*):Urmas Paet, Ausschuss für auswärtige Angelegenheiten

(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung

RR\1221412DE.docx PE653.860v02-00

DE In Vielfalt geeint DE

PR_INI

INHALT

Seite

ENTWURF EINER ENTSCHLIESSUNG DES EUROPÄISCHEN PARLAMENTS.............3

BEGRÜNDUNG.......................................................................................................................24

STELLUNGNAHME DES AUSSCHUSSES FÜR AUSWÄRTIGE ANGELEGENHEITEN...................................................................................................................................................26

STELLUNGNAHME DES AUSSCHUSSES FÜR BINNENMARKT UND VERBRAUCHERSCHUTZ.....................................................................................................33

STELLUNGNAHME DES AUSSCHUSSES FÜR VERKEHR UND TOURISMUS...........38

STELLUNGNAHME DES AUSSCHUSSES FÜR BÜRGERLICHE FREIHEITEN, JUSTIZ UND INNERES........................................................................................................................45

ANGABEN ZUR ANNAHME IM FEDERFÜHRENDEN AUSSCHUSS.............................54

PE653.860v02-00 2/55 RR\1221412DE.docx

DE

ENTWURF EINER ENTSCHLIESSUNG DES EUROPÄISCHEN PARLAMENTS

zum Thema „Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit“(2020/2013(INI))

Das Europäische Parlament,

– unter Hinweis auf die Präambel des Vertrags über die Europäische Union (EUV) sowie auf die Artikel 2, 3, 10, 19, 20, 21, 114, 167, 218, 225 und 227,

– unter Hinweis auf das in den Artikeln 20 und 227 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) verankerte Petitionsrecht,

– unter Hinweis auf die Charta der Grundrechte der Europäischen Union,

– unter Hinweis auf die Richtlinie 2000/43/EG des Rates vom 29. Juni 2000 zur Anwendung des Gleichbehandlungsgrundsatzes ohne Unterschied der Rasse oder der ethnischen Herkunft (Richtlinie zur Rassengleichheit)1,

– unter Hinweis auf die Richtlinie 2000/78/EG des Rates vom 27. November 2000 zur Festlegung eines allgemeinen Rahmens für die Verwirklichung der Gleichbehandlung in Beschäftigung und Beruf (Richtlinie über die Gleichbehandlung in Beschäftigung und Beruf)2,

– unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung – DSGVO)3 und die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates4,

– unter Hinweis auf die Verordnung (EU) 2018/1488 des Rates vom 28. September 2018 zur Gründung des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen5,

– unter Hinweis auf den Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates vom 6. Juni 2018 zur Aufstellung des Programms „Digitales Europa“ für den

1 ABl. L 180 vom 19.7.2000, S. 22.2 ABl. L 303 vom 2.12.2000, S. 16.3 ABl. L 119 vom 4.5.2016, S. 1.4 ABl. L 119 vom 4.5.2016, S. 89.5 ABl. L 252 vom 8.10.2018, S. 1.

RR\1221412DE.docx 3/55 PE653.860v02-00

DE

Zeitraum 2021–2027, (COM(2018)0434),

– unter Hinweis auf seine Entschließung vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik6,

– unter Hinweis auf seine Entschließung vom 1. Juni 2017 zur Digitalisierung der europäischen Industrie7,

– unter Hinweis auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen8,

– unter Hinweis auf seine Entschließung vom 11. September 2018 zu der Gleichstellung von Sprachen im digitalen Zeitalter9,

– unter Hinweis auf seine Entschließung vom 12. Februar 2019 zu einer umfassenden europäischen Industriepolitik in Bezug auf künstliche Intelligenz (KI) und Robotik10,

– unter Hinweis auf die Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen vom 11. Dezember 2019 zum europäischen Grünen Deal (COM/2019/640),

– unter Hinweis auf das Weißbuch der Kommission vom 19. Februar 2020 mit dem Titel „Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ (COM(2020)0065),

– unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Eine europäische Datenstrategie“ (COM(2020)0066),

– unter Hinweis auf die Mitteilung der Kommission vom 19. Februar 2020 an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen mit dem Titel „Gestaltung der digitalen Zukunft Europas“ (COM(2020)0067),

– unter Hinweis auf den Bericht der von der Kommission im Juni 2018 eingesetzten Hochrangigen Sachverständigengruppe für künstliche Intelligenz vom 8. April 2019 mit dem Titel „Ethics Guidelines for Trustworthy AI“ (Ethikleitlinien für eine vertrauenswürdige KI),

– unter Hinweis auf das Rahmenübereinkommen des Europarats zum Schutz nationaler Minderheiten, das Protokoll Nr. 12 zur Konvention zum Schutz der Menschenrechte und Grundfreiheiten und die Europäische Charta der Regional- oder Minderheitensprachen,

– unter Hinweis auf die Europäische Ethik-Charta über den Einsatz künstlicher Intelligenz 6 ABl. C 252 vom 18.7.2018, S. 239.7 ABl. C 307 vom 30.8.2018, S. 163.8 ABl. C 433 vom 23.12.2019, S. 86.9 Angenommene Texte, P8_TA(2018)0332.10 Angenommene Texte, P8_TA(2019)0081.

PE653.860v02-00 4/55 RR\1221412DE.docx

DE

in Justizsystemen, die die Arbeitsgruppe des Europarats zur Qualität der Justiz (CEPEJ-GT-QUAL) im Dezember 2018 verabschiedet hat;

– unter Hinweis auf die Empfehlung des OECD-Rates zur künstlichen Intelligenz, die am 22. Mai 2019 angenommen wurde,

– gestützt auf Artikel 54 seiner Geschäftsordnung,

– unter Hinweis auf die Stellungnahmen des Ausschusses für auswärtige Angelegenheiten, des Ausschusses für Binnenmarkt und Verbraucherschutz, des Ausschusses für Verkehr und Tourismus und des Ausschusses für bürgerliche Freiheiten, Justiz und Inneres,

– unter Hinweis auf den Bericht des Rechtsausschusses (A9-0001/2021),

Einführung

A. in der Erwägung, dass künstliche Intelligenz (KI), Robotik und damit zusammenhängende Technologien schnell entwickelt werden und direkte Auswirkungen auf alle Aspekte unserer Gesellschaft haben, einschließlich grundlegender sozialer und wirtschaftlicher Prinzipien und Werte;

B. In der Erwägung, dass KI eine Revolution in der Militärdoktrin und -ausrüstung durch einen tiefgreifenden Wandel in der Einsatzweise von Armeen bewirkt, was hauptsächlich auf die Integration und Nutzung neuer Technologien und autonomer Fähigkeiten zurückzuführen ist;

C. in der Erwägung, dass die Entwicklung und Gestaltung der sogenannten „künstlichen Intelligenz“, der Robotik und damit zusammenhängender Technologien durch Menschen erfolgt, deren Entscheidungen über den potenziellen Nutzen dieser Technologien für die Gesellschaft bestimmen;

D. in der Erwägung, dass mit einem gemeinsamen Rahmen der Union die Entwicklung, der Einsatz und die Nutzung von KI, Robotik und damit zusammenhängenden Technologien abgedeckt und die Achtung der Menschenwürde und der Menschenrechte, wie sie in der Charta der Grundrechte der Europäischen Union verankert sind, sichergestellt werden müssen;

E. in der Erwägung, dass die Union und ihre Mitgliedstaaten eine besondere Verantwortung dafür tragen sicherzustellen, dass KI, Robotik und damit zusammenhängende Technologien – da sie grenzüberschreitend eingesetzt werden können – auf den Menschen ausgerichtet sind, d. h. grundsätzlich für den Einsatz im Dienste der Menschheit und des Gemeinwohls bestimmt sind, um zum Wohlergehen und allgemeinen Interesse ihrer Bürger beizutragen; in der Erwägung, dass die Union den Mitgliedstaaten dabei helfen sollte, dies zu erreichen, insbesondere denjenigen, die begonnen haben, über die mögliche Entwicklung von Rechtsnormen oder Gesetzesänderungen in diesem Bereich nachzudenken;

F. in der Erwägung, dass die Unionsbürger von einem geeigneten, effektiven, transparenten und schlüssigen Regulierungskonzept auf Unionsebene profitieren

RR\1221412DE.docx 5/55 PE653.860v02-00

DE

könnten, das hinreichend klare Bedingungen festlegt, unter denen Unternehmen Anwendungen entwickeln und ihre Geschäftsmodelle planen können, während gleichzeitig sichergestellt wird, dass die Union und ihre Mitgliedstaaten die Kontrolle über die zu erlassenden Vorschriften behalten, sodass sie nicht gezwungen sind, von Dritten festgelegte Normen zu übernehmen oder zu akzeptieren;

G. in der Erwägung, dass ethische Leitlinien wie die von der hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, jedoch nicht ausreichen, um sicherzustellen, dass Unternehmen fair handeln, und um für einen wirksamen Schutz von Einzelpersonen zu sorgen;

H. in der Erwägung, dass aufgrund dieser besonderen Verantwortung Fragen der Auslegung und Anwendung des Völkerrechts im Zusammenhang mit der aktiven Teilnahme der EU an internationalen Verhandlungen insofern geprüft werden müssen, als die EU von der zivilen und militärischen Nutzung dieser Art von KI, Robotik und damit zusammenhängenden Technologien betroffen ist und Fragen der Zuständigkeit des Staates hinsichtlich solcher Technologien außerhalb des Bereichs der Strafjustiz liegen;

I. in der Erwägung, dass es von wesentlicher Bedeutung ist, einen angemessenen und umfassenden Rechtsrahmen für die ethischen Aspekte dieser Technologien sowie für Haftung, Transparenz und Rechenschaftspflicht zu schaffen (insbesondere für KI, Robotik und damit zusammenhängende Technologien, die als hochriskant gelten) in der Erwägung, dass sich in diesem Rahmen widerspiegeln muss, dass die intrinsisch europäischen und universellen humanistischen Werte auf die gesamte Wertschöpfungskette bei der Entwicklung, Umsetzung und Nutzung von KI anwendbar sind; in der Erwägung, dass dieser ethische Rahmen für die Entwicklung (einschließlich Forschung und Innovation), die Umsetzung und Nutzung von Folgenabschätzungen unter uneingeschränkter Achtung des Unionsrechts und der in der Charta der Grundrechte der Europäischen Union verankerten Werte gelten muss;

J. in der Erwägung, dass der Zweck dieser Prüfung darin besteht zu untersuchen, inwieweit sich die Regeln des Völkerrechts und des Internationalen Privatrechts dafür eignen, diese Technologien zu regeln, sowie die Herausforderungen und Risiken aufzuzeigen, die diese Technologien für die Zuständigkeit des Staates darstellen, damit sie angemessen und verhältnismäßig bewältigt werden können;

K. in der Erwägung, dass die Kommission in ihrem Weißbuch nicht die militärischen Aspekte der Nutzung künstlicher Intelligenz berücksichtigt;

L. in der Erwägung, dass eine harmonisierte europäische Herangehensweise an diese Probleme eine gemeinsame Definition von KI sowie Schritte erfordert, durch die sichergestellt wird, dass die Grundwerte der Europäischen Union, die Grundsätze der Charta der Grundrechte und die internationalen Menschenrechtskonventionen eingehalten werden;

M. in der Erwägung, dass KI beispiellose Möglichkeiten bietet, die Leistungsfähigkeit des Verkehrssektors zu verbessern, indem man sich den Herausforderungen einer steigenden Verkehrsnachfrage, der Sicherheit und des Umweltschutzes stellt und indem gleichzeitig alle Verkehrsträger intelligenter, effizienter und bequemer gemacht werden;

PE653.860v02-00 6/55 RR\1221412DE.docx

DE

N. in der Erwägung, dass eine Befassung mit KI im Verteidigungsbereich auf EU-Ebene für die Entwicklung der Fähigkeiten der EU in diesem Sektor unerlässlich ist;

Definition von künstlicher Intelligenz

1. ist der Ansicht, dass ein gemeinsamer europäischer Rechtsrahmen mit harmonisierten Begriffsbestimmungen und allgemeinen ethischen Grundsätzen angenommen werden muss, die auch den Einsatz von KI für militärische Zwecke betreffen; fordert daher die Kommission auf, folgende Begriffsbestimmungen festzulegen:

- „KI-System“ ein softwaregestütztes oder in Hardware-Geräte eingebettetes System, das ein Intelligenz simulierendes Verhalten zeigt, indem es unter anderem Daten sammelt und verarbeitet, seine Umgebung analysiert und interpretiert und mit einem gewissen Maß an Autonomie Maßnahmen ergreift, um bestimmte Ziele zu erreichen;

- „autonom“ ein KI-System, das durch Interpretation bestimmter Eingaben und durch Verwendung einer Reihe vorab festgelegter Befehle funktioniert, ohne auf solche Befehle beschränkt zu sein, wenngleich das Verhalten des Systems durch das ihm vorgegebene Ziel und andere relevante Vorgaben seines Entwicklers eingeschränkt wird bzw. auf die Verwirklichung des Ziels ausgerichtet ist;

2. betont, dass sich die Sicherheits- und Verteidigungspolitik der Europäischen Union und ihrer Mitgliedstaaten nach den in der Europäischen Charta der Grundrechte und der Charta der Vereinten Nationen verankerten Grundsätzen – durch Letztere werden alle Staaten aufgerufen, in ihren Beziehungen untereinander von der Androhung oder Anwendung von Gewalt abzusehen – und dem internationalen Recht, den Grundsätzen der Menschenrechte und der Achtung der Menschenwürde und einem gemeinsamen Verständnis der universellen Werte der unverletzlichen und unveräußerlichen Rechte des Menschen, der Freiheit, der Demokratie, der Gleichheit und der Rechtsstaatlichkeit richtet; betont, dass bei allen Verteidigungstätigkeiten im Rahmen der Union diese universellen Werte geachtet und gleichzeitig Frieden, Stabilität, Sicherheit und Fortschritt in Europa und in der Welt gefördert werden müssen;

Völkerrecht und militärische Nutzung der künstlichen Intelligenz

3. ist der Auffassung, dass KI, die im militärischen und zivilen Kontext eingesetzt wird, einer maßgeblichen menschlichen Kontrolle unterliegen muss, sodass jederzeit ein Mensch die Möglichkeit hat, sie im Falle von unvorhergesehenem Verhalten, versehentlichen Angriffen, Cyberangriffen oder Eingriffen Dritter in KI-basierte Technologie zu korrigieren, zu stoppen oder zu deaktivieren, oder wenn Dritte solche Technologie erwerben;

4. ist der Auffassung, dass die Achtung des Völkerrechts, insbesondere des humanitären Völkerrechts, das eindeutig für alle Waffensysteme und deren Betreiber gilt, eine grundlegende Anforderung darstellt, die die Mitgliedstaaten erfüllen müssen, insbesondere wenn die Zivilbevölkerung zu schützen ist oder Vorsichtsmaßnahmen gegen etwaige Angriffe im Rahmen militärischer Aggression und Cyberkriege ergriffen werden müssen;

RR\1221412DE.docx 7/55 PE653.860v02-00

DE

5. hebt hervor, dass KI und damit zusammenhängende Technologien auch eine Rolle bei der irregulären oder unkonventionellen Kriegsführung spielen können; schlägt vor, dass Forschung, Entwicklung und Einsatz von KI in solchen Fällen denselben Bedingungen unterliegen sollten wie der Einsatz in konventionellen Konflikten;

6. betont, dass der Einsatz von KI die Möglichkeit bietet, die Sicherheit der Europäischen Union und ihrer Bürger zu stärken, und dass es für die EU von wesentlicher Bedeutung ist, in künftigen internationalen Debatten zu diesem Thema einen integrierten Ansatz zu verfolgen;

7. fordert die KI-Forschungsgemeinschaft auf, diesen Grundsatz in alle oben genannten KI-basierten Systeme, die für militärische Zwecke bestimmt sind, zu integrieren; ist der Auffassung, dass keine Behörde eine Ausnahme von diesen Grundsätzen festlegen oder ein solches System zertifizieren darf;

8. bekräftigt, dass autonome Entscheidungsfindung die Menschen nicht von ihrer Verantwortung entbinden darf und dass Menschen immer die letzte Verantwortung für Entscheidungsprozesse haben müssen, damit der für die Entscheidung verantwortliche Mensch identifiziert werden kann;

9. betont, dass beim Einsatz von KI in einem militärischen Kontext die Mitgliedstaaten, die Konfliktparteien und Einzelpersonen jederzeit ihre Verpflichtungen nach dem geltenden Völkerrecht einhalten und die Verantwortung für Handlungen übernehmen müssen, die sich aus dem Einsatz solcher Systeme ergeben; unterstreicht, dass die vorhersehbaren, zufälligen oder unerwünschten Handlungen und Auswirkungen von KI-basierten Systemen unter allen Umständen als Verantwortung der Mitgliedstaaten, Konfliktparteien und Einzelpersonen zu betrachten sind;

10. begrüßt die Möglichkeit der Nutzung von künstlicher Intelligenz für Ausbildung und Übungen, deren Potenzial nicht unterschätzt werden sollte, vor allem da die EU Übungen sowohl zivilen als auch militärischen Charakters durchführt;

11. hebt hervor, dass während der Entwurfs-, Entwicklungs-, Test-, Einsatz- und Nutzungsphasen KI-gestützter Systeme potenzielle Risiken jederzeit gebührend berücksichtigt werden müssen, insbesondere im Hinblick auf unbeabsichtigte zivile Opfer und Verletzungen, unbeabsichtigte Verluste von Menschenleben und Schäden an ziviler Infrastruktur sowie Risiken im Zusammenhang mit unbeabsichtigtem Einsatz, Manipulation, Verbreitung, Cyberangriffen, Eingriffen Dritter in KI-basierte autonome Technologie oder wenn Dritte diese Technologie erwerben;

12. erinnert daran, dass der Grundsatz der Neuheit gemäß dem Gutachten des Internationalen Gerichtshofs vom 8 Juli 1996 nicht zur Begründung einer Abweichung von der Achtung der bestehenden Normen des humanitären Völkerrechts geltend gemacht werden darf;

13. ist der Ansicht, dass mit KI nicht nur Operationen unterstützt werden, sondern dass sie auch dem zivile Personal der Streitkräfte durch die massenhafte Verarbeitung ihrer Gesundheitsdaten und die Ausweitung der Gesundheitsüberwachung zugutekommen und dazu dienen wird, Risikofaktoren im Zusammenhang mit ihrer Umgebung und ihren Arbeitsbedingungen zu ermitteln und geeignete Schutzmaßnahmen zur

PE653.860v02-00 8/55 RR\1221412DE.docx

DE

Begrenzung der gesundheitlichen Auswirkungen auf das zivile Personal vorzuschlagen;

14. bekräftigt, dass die Regulierungsbemühungen durch sinnvolle Zertifizierungs- und Überwachungssysteme sowie durch klare Mechanismen zur Überprüfbarkeit, Erklärbarkeit, Rechenschaftspflicht und Rückverfolgbarkeit unterstützt werden müssen, damit der Regulierungsrahmen nicht durch technologische Entwicklungen überholt wird

15. betont, dass es in einer hypervernetzten Welt wichtig ist, dass sich die Europäische Union an der Schaffung eines internationalen Rechtsrahmens für den Einsatz von künstlicher Intelligenz beteiligt; fordert die EU nachdrücklich auf, die Führung zu übernehmen und gemeinsam mit den Vereinten Nationen und der internationalen Gemeinschaft eine aktive Rolle bei der Förderung dieses globalen Rahmens zu übernehmen, der den Einsatz von KI für militärische und andere Zwecke regelt, wobei sicherzustellen ist, dass dieser Einsatz innerhalb der strengen Grenzen bleibt, die durch das Völkerrecht und das humanitäre Völkerrecht , insbesondere die Genfer Konventionen vom 12. August 1949, gesetzt werden; betont, dass dieser Rahmen niemals gegen die Gebote des öffentlichen Gewissens und der Menschlichkeit, wie sie in der Martens-Klausel niedergelegt sind, verstoßen oder Verstöße dagegen zulassen darf und mit den Sicherheitsvorschriften und den Erfordernissen des Verbraucherschutzes in Einklang stehen muss; fordert die EU und die Mitgliedstaaten nachdrücklich auf, robuste Überwachungs- und Bewertungssysteme für die Entwicklung von KI-Technologien festzulegen, insbesondere für solche, die in autoritären Staaten für militärische Zwecke eingesetzt werden;

16. hebt hervor, dass die Robotik dem militärischen Personal nicht nur die Möglichkeit gibt, auf Distanz zu bleiben, sondern auch für einen besseren Selbstschutz sorgt, z. B. bei Einsätzen in kontaminierter Umgebung, bei der Brandbekämpfung, der Minenräumung an Land oder auf See und der Verteidigung gegen Drohnenschwärme;

17. betont, dass bei der Entwicklung, Einführung, Nutzung und Verwaltung von KI die in den EU-Verträgen verankerten Grundrechte, Werte und Freiheiten geachtet werden müssen, und fordert die Mitgliedstaaten auf, KI-Systeme mit hohem Risiko, die eine Bedrohung für die Grundrechte darstellen, nicht einzusetzen; nimmt die Veröffentlichung des Weißbuchs der Kommission zur künstlichen Intelligenz zur Kenntnis und fordert eine eingehendere Untersuchung der potenziellen Gefährdung der Grundrechte, die sich aus der Nutzung von KI durch staatliche Stellen sowie durch die Organe, Einrichtungen und sonstigen Stellen der Europäischen Union ergibt;

18. fordert die Kommission auf, die Erforschung und Diskussion über die Möglichkeiten des Einsatzes von KI in der Katastrophenhilfe, der Krisenprävention und der Friedenssicherung zu fördern;

19. begrüßt die Einsetzung einer Gruppe der Vereinten Nationen von Regierungssachverständigen (GGE) für die Förderung des verantwortungsbewussten Verhaltens von Staaten im Cyberspace im Kontext der internationalen Sicherheit und fordert die EU auf, sich umfassend an ihrer Arbeit zu beteiligen;

20. fordert den Vizepräsidenten der Kommission/Hohen Vertreter für Außen- und Sicherheitspolitik (HR/VP) auf, den Weg für globale Verhandlungen zu ebnen, um eine

RR\1221412DE.docx 9/55 PE653.860v02-00

DE

KI-Rüstungskontrollregelung einzurichten und alle bestehenden Vertragsinstrumente zur Rüstungskontrolle, Abrüstung und Nichtverbreitung zu aktualisieren, damit KI-gestützte Systeme, die in der Kriegsführung eingesetzt werden, berücksichtigt werden; fordert, dass im Gemeinsamen Standpunkt des Rates zur Festlegung gemeinsamer Regeln für die Kontrolle der Ausfuhr von Militärtechnologie und Militärgütern KI-gestützte Waffensysteme umfassend berücksichtigt und erfasst werden;

21. bekräftigt, dass diese Regeln stets mit den im Römischen Statut vom 17. Juli 1998 genannten Grundsätzen des Verbots von Verbrechen des Völkermordes, Verbrechen gegen die Menschlichkeit und Kriegsverbrechen im Einklang stehen müssen;

22. weist darauf hin, dass menschliche Entscheidungen mit eindeutigen Risiken behaftet sind, wenn sie unter ausschließlicher Bezugnahme auf von Maschinen generierte Daten, Profile und Empfehlungen getroffen werden; weist darauf hin, dass die Gesamtkonzeption von KI-gestützten Systemen auch Leitlinien für die menschliche Aufsicht und Kontrolle umfassen sollte; fordert, dass Bestimmungen über die Transparenz und Erklärbarkeit von Algorithmen und die Notwendigkeit menschlicher Eingriffe sowie weitere Maßnahmen wie unabhängige Prüfungen und spezifische Stresstests eingeführt werden, um die Einhaltung der Vorschriften zu fördern und durchzusetzen; betont, dass solche Prüfungen regelmäßig von einer unabhängigen Behörde durchgeführt werden sollten, die die von staatlichen Behörden oder dem Militär genutzten KI-gestützten Anwendungen mit hohem Risiko überwachen würde;

23. betont, dass überprüft werden muss, wie risikoreiche, auf KI beruhende Technologien zu Entscheidungen gelangen; weist darauf hin, dass die Grundsätze der Nichtdiskriminierung und der Verhältnismäßigkeit gewahrt werden müssen und dass Fragen der Kausalität, der Haftung und der Verantwortung sowie der Transparenz, der Rechenschaftspflicht und der Erklärbarkeit geklärt werden müssen um festzulegen, ob bzw. in welchem Umfang der Staat als Akteur im Völkerrecht, aber auch bei der Ausübung der eigenen Zuständigkeit mithilfe von KI-gestützten Systemen, die über eine gewisse Autonomie verfügen, handeln kann, ohne dass dabei gegen völkerrechtliche Verpflichtungen wie etwa ein ordnungsgemäßes Verfahren verstoßen wird;

24. betont nachdrücklich, dass es wichtig ist, in menschliche Fähigkeiten, einschließlich digitaler Kompetenzen, zu investieren, damit eine Anpassung an den wissenschaftlichen Fortschritt erfolgt, indem KI-gestützte Lösungen für Personen, die reglementierte Berufe ausüben, unter anderem Tätigkeiten im Zusammenhang mit der Ausübung der Zuständigkeit des Staates, wie etwa die Rechtspflege, herangezogen werden; fordert die Mitgliedstaaten und die Kommission auf, diesem Gesichtspunkt im Rahmen der Umsetzung der Richtlinie 2005/36/EG gebührend Rechnung zu tragen;

25. besteht darauf, dass KI-Systeme stets den Grundsätzen der Verantwortung, der Gerechtigkeit, der Regierbarkeit, der Vorsorge, der Rechenschaftspflicht, der Zurechenbarkeit, der Vorhersehbarkeit, der Nachvollziehbarkeit, der Zuverlässigkeit, der Vertrauenswürdigkeit, der Transparenz, der Erklärbarkeit, der Fähigkeit, mögliche Veränderungen der Umstände und des Einsatzumfelds zu erkennen, der Unterscheidung zwischen Kombattanten und Nichtkombattanten sowie der Verhältnismäßigkeit entsprechen müssen; betont, dass nach dem letztgenannten Grundsatz die Rechtmäßigkeit einer militärischen Aktion von einer Abwägung zwischen dem

PE653.860v02-00 10/55 RR\1221412DE.docx

DE

verfolgten Ziel und den eingesetzten Mitteln abhängt und dass die Beurteilung der Verhältnismäßigkeit immer von einem Menschen vorgenommen werden muss;

26. betont, dass beim Einsatz von KI-gestützten Systemen in den Bereichen Sicherheit und Verteidigung das umfassende Situationsverständnis des menschlichen Bedieners, die Vorhersehbarkeit, Zuverlässigkeit und Belastbarkeit des KI-gestützten Systems sowie die Fähigkeit des menschlichen Bedieners, mögliche Veränderungen der Umstände und des operativen Umfelds zu erkennen, und seine Fähigkeit, in einen Angriff einzugreifen oder ihn abzubrechen, erforderlich sind, um sicherzustellen, dass die Grundsätze des humanitären Völkerrechts, insbesondere Unterscheidung, Verhältnismäßigkeit und Vorsicht bei Angriffen, über die gesamte Befehls- und Kontrollkette hinweg vollständig angewendet werden; betont, dass KI-gestützte Systeme ermöglichen müssen, dass die verantwortlichen Menschen eine sinnvolle Kontrolle vornehmen, die volle Verantwortung über die Systeme übernehmen und für alle ihre Anwendungen rechenschaftspflichtig sind; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Wissenschaftlern, Akteuren der Zivilgesellschaft, dem Privatsektor, insbesondere führenden Unternehmen, und dem Militär zu fördern um sicherzustellen, dass politische Entscheidungsprozesse für verteidigungsbezogene KI-Regelungen inklusiv sind;

27. betont, dass das Parlament die Ausarbeitung und dringende Verabschiedung eines Gemeinsamen Standpunkts zu letalen autonomen Waffensystemen (LAWS), der die Entwicklung, die Herstellung und den Einsatz von LAWS, die in der Lage sind, Angriffe ohne maßgebliche menschliche Kontrolle auszuführen, verhindert, sowie die Aufnahme wirksamer Verhandlungen über ihr Verbot gefordert hat; verweist in diesem Zusammenhang auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen; erinnert daran, dass sich der Begriff „letale autonome Waffensysteme“ (LAWS) auf Waffensysteme bezieht, die ohne maßgebliche menschliche Kontrolle über die kritischen Funktionen des Anvisierens und Angreifens einzelner Ziele funktionieren; betont, dass die Entscheidung, ein Ziel auszuwählen und mittels Waffensystemen mit einem gewissen Grad an Autonomie tödliche Maßnahmen zu ergreifen, immer von menschlichen Bedienern getroffen werden muss, die eine maßgebliche Kontrolle, Aufsicht und das notwendige Urteilsvermögen im Einklang mit den Grundsätzen der Verhältnismäßigkeit und Notwendigkeit ausüben; betont, dass KI-gestützte Systeme unter keinen Umständen die menschliche Entscheidungsfindung in diesem Bereich ersetzen dürfen;

28. stellt darüber hinaus fest, dass autonome Waffensysteme als eine besondere Kategorie von KI im militärischen Bereich auf internationaler Ebene erörtert und vereinbart werden sollten, insbesondere im Rahmen des Forums zum Übereinkommen der Vereinten Nationen über bestimmte konventionelle Waffen; verweist auf die laufende internationale Debatte über LAWS zur Regulierung neu entstehender Militärtechnologien, die bisher zu keiner Einigung geführt hat; weist darauf hin, dass sich die EU erst kürzlich bereit erklärt hat, die Auswirkungen der KI-Entwicklungen und der Digitalisierung auf den Verteidigungssektor zu erörtern; ist der Auffassung, dass die EU eine entscheidende Rolle dabei spielen kann, die Mitgliedstaaten bei der Harmonisierung ihres Ansatzes in Bezug auf militärische KI zu unterstützen, um die internationalen Erörterungen anzuführen;

RR\1221412DE.docx 11/55 PE653.860v02-00

DE

29. besteht auf der Notwendigkeit einer EU-weiten Strategie gegen LAWS und eines Verbots von sogenannten „Killerrobotern“;

30. betont, dass die im militärischen Kontext eingesetzte KI eine Reihe von Mindestanforderungen erfüllen muss, d. h. sie sollte in der Lage sein, zwischen Kombattanten, Nichtkombattanten und Kombattanten auf dem Schlachtfeld zu unterscheiden und zu erkennen, wann ein Kombattant sich ergibt oder außer Gefecht ist, sie sollte keine wahllosen Auswirkungen haben, kein unnötiges menschliches Leid verursachen, nicht voreingenommen sein und nicht auf der Grundlage absichtlich unvollständiger Daten trainiert werden, und sie sollte den Grundsätzen des humanitären Völkerrechts, der Verhältnismäßigkeit bei der Anwendung von Gewalt und der Vorsorge vor dem Angriff genügen;

31. ist der Auffassung, dass der Einsatz letaler autonomer Waffensysteme grundlegende ethische und rechtliche Fragen hinsichtlich der Fähigkeit des Menschen zur Kontrolle dieser Systeme aufwirft, und fordert, dass KI-gestützte Technologie nicht in der Lage sein sollte, autonome Entscheidungen zu treffen, die die Rechtsgrundsätze der Unterscheidung, der Verhältnismäßigkeit und der Vorsorge betreffen;

32. fordert transparente Risikominderungsmaßnahmen auf internationaler Ebene für die Entwicklung und den Einsatz von militärischer KI, insbesondere im Hinblick auf die Prinzipien der territorialen Integrität, der Nichteinmischung und der Gewaltanwendung; betont, dass es wichtig ist, militärische Aspekte zu berücksichtigen, wenn rechtliche und ethische Fragen im europäischen Rahmen für KI behandelt werden; erinnert an seinen Standpunkt zu einem Verbot der Entwicklung, der Herstellung und des Einsatzes von LAWS; bedauert, dass es keine ausdrücklichen weltweiten Übereinkommen über den Einsatz dieser Waffen gibt;

33. erkennt an, dass die Dynamik des modernen Wettrüstens, die sich aus der Entwicklung von LAWS durch die großen militärischen Nationalstaaten ergibt, den Fortschritt und die wirksame universelle Anwendung und Durchsetzung gemeinsamer Regeln und Rechtsrahmen übersteigt, weil Informationen über die Entwicklung und den Einsatz dieser Systeme geheim sind und die Nationalstaaten ein inhärentes Interesse daran haben, die schnellsten und wirksamsten Offensivfähigkeiten zu schaffen, ungeachtet der derzeitigen oder potenziellen künftigen Rechtsrahmen oder -grundsätze;

34. ist der Ansicht, dass LAWS nur als letztes Mittel eingesetzt werden sollten und nur dann rechtmäßig sind, wenn sie einer strengen menschlichen Kontrolle unterliegen, wobei ein Mensch jederzeit das Kommando übernehmen können muss, da ein maßgebliches menschliches Eingreifen und die Überwachung im Prozess des Treffens tödlicher Entscheidungen unerlässlich sind und da Menschen immer verantwortlich sein sollten, wenn über Leben und Tod entschieden wird; ist der Ansicht, dass Systeme ohne jegliche menschliche Kontrolle („human off the loop“) und menschliche Aufsicht ohne Ausnahmen und unter allen Umständen verboten werden müssen;

35. fordert den HR/VP, die Mitgliedstaaten und den Europäischen Rat auf, dringend einen gemeinsamen Standpunkt zu autonomen Waffensystemen zu entwickeln und zu verabschieden, der eine maßgebliche menschliche Kontrolle über die kritischen Funktionen von Waffensystemen, auch während des Einsatzes, sicherstellt, um in den

PE653.860v02-00 12/55 RR\1221412DE.docx

DE

einschlägigen Foren mit einer Stimme zu sprechen und entsprechend zu handeln; fordert in diesem Zusammenhang den HR/VP, die Mitgliedstaaten und den Rat auf, sich über bewährte Verfahren auszutauschen und Beiträge von Sachverständigen, Wissenschaftlern und der Zivilgesellschaft einzuholen, wie dies im Standpunkt vom 12. September 2018 zu autonomen Waffensystemen zum Ausdruck gebracht wird, in der es heißt, dass Angriffe stets unter erheblicher menschlicher Beteiligung durchgeführt werden müssen;

36. legt den Staaten nahe, eine Bewertung vorzunehmen, ob und wie autonome militärische Geräte zu ihrer nationalen Sicherheit beitragen und wie ihre nationale Sicherheit von KI-gestützten Waffensystemen profitieren könnte, insbesondere von dem Potenzial solcher Technologien, die menschliche Entscheidungsfindung im Einklang mit dem humanitären Völkerrecht und dessen Grundsätzen zu unterstützen und zu verbessern; erinnert daran, dass es bei allen LAWS mit einem hohen Maß an Autonomie wegen schlecht geschriebener Codes oder Cyberangriffen vonseiten feindlicher Staaten oder nichtstaatlicher Akteure zu Fehlfunktionen kommen kann;

37. besteht darauf, dass LAWS nur in besonderen Fällen und gemäß Genehmigungsverfahren eingesetzt werden dürfen, die im Voraus in Texten detailliert festgelegt werden, die der betreffende Staat – unabhängig davon, ob er Mitglied der Nordatlantikvertrags-Organisation ist oder nicht – der Öffentlichkeit oder zumindest seinem nationalen Parlament zugänglich macht;

38. ist der Auffassung, dass die LAWS die Bestimmungen des Übereinkommens vom 10. Oktober 1980 über bestimmte konventionelle Waffen, insbesondere das Verbot, dass sie „übermäßige Leiden verursachen“, einhalten müssen;

39. schlägt zur Verhinderung ihrer unkontrollierten Verbreitung vor, dass die LAWS in die Liste der Waffen, die den Bestimmungen des Waffenhandelsübereinkommens vom 2. April 2013 unterliegen, aufgenommen werden, die in Artikel 2 dieses Vertrags enthalten ist;

40. fordert, um jede Verwechslung zwischen einem Menschen und einem Roboter zu vermeiden, ein Verbot der Anthropomorphisierung von LAWS;

41. begrüßt die Einigung zwischen Rat und Parlament, letale autonome Waffen, „die keine wirksame menschliche Kontrolle über die Entscheidungen über die Auswahl und den Angriff bei der Durchführung von Angriffen“ ermöglichen, von Maßnahmen, die aus dem Europäischen Verteidigungsfonds (EEF) finanziert werden, auszuschließen; erinnert an seinen Standpunkt, dass der Einsatz, die Entwicklung oder die Herstellung von LAWS ohne maßgebliche menschliche Kontrolle nicht für eine Finanzierung aus dem EEF in Frage kommen;

42. fordert die Kommission auf, Forschung, Entwicklung, Einsatz und Nutzung von KI zur Wahrung des Friedens und zur Prävention von Konflikten zu unterstützen;

43. stellt fest, dass das weltweite KI-Ökosystem von amerikanischen und chinesischen Digitalriesen dominiert wird, die inländische Kapazitäten aufbauen und zahlreiche vielversprechende Unternehmen aufkaufen; ist daher der festen Überzeugung, dass die

RR\1221412DE.docx 13/55 PE653.860v02-00

DE

EU, um einen Rückstand in der Technologie der künstlichen Intelligenz zu vermeiden, ein besseres Gleichgewicht zwischen Grundlagenforschung und industriellen Anwendungen anstreben und gleichzeitig komparative strategische Vorteile entwickeln muss, indem sie ihr eigenes Potenzial und ihre Ressourcen weiter ausbaut;

44. hebt hervor, dass Roboter, sofern sie unter die Definition des Begriffs „Maschine“ gemäß der Richtlinie 2006/42/EG fallen, im Einklang mit den darin vorgesehenen Standards und Sicherheitsmaßnahmen gestaltet und zusammengebaut werden sollten;

45. weist erneut auf den Anspruch der EU hin, weltweit für Frieden einzutreten, und fordert, dass die EU sich stärker für weltweite Abrüstung engagiert und ihre Bemühungen um Nichtverbreitung intensiviert, dass sie bei ihren Maßnahmen und Strategien darauf bedacht ist, den Weltfrieden und die internationale Sicherheit zu wahren, und dabei für die Achtung des humanitären Völkerrechts und der internationalen Menschenrechtsnormen sowie für den Schutz der Zivilbevölkerung und der zivilen Infrastrukturen sorgt;

46. betont die Notwendigkeit, die potenziellen Auswirkungen von KI als strategischen Faktor für die Gemeinsame Sicherheits- und Verteidigungspolitik (GSVP) der EU zu untersuchen, insbesondere bei militärischen und zivilen Missionen und Operationen sowie bei der Entwicklung von EU-Fähigkeiten;

47. erinnert daran, dass unsere Verbündeten auf nationaler Ebene bzw. im Rahmen der NATO oder der EU dabei sind, KI in ihre militärischen Systeme zu integrieren; ist der Ansicht, dass die Interoperabilität mit unseren Verbündeten durch gemeinsame Standards gewahrt werden muss, da diese für die Durchführung von gemeinsamen Operationen von wesentlicher Bedeutung sind; erinnert daran, dass die Zusammenarbeit im Bereich der KI abgesehen davon innerhalb eines europäischen Rahmens erfolgen sollte, der der einzige relevante Rahmen ist, um wirklich starke Synergien zu erzeugen, wie dies in der KI-Strategie der EU vorgeschlagen wird;

48. ist der Auffassung, dass die EU die Auswirkungen von Fortschritten im Bereich der KI auf Verteidigung und Kriegsführung, einschließlich potenziell destabilisierender Entwicklungen und Einsätze, sorgfältig überwachen und berücksichtigen und die ethische Forschung und Gestaltung leiten muss, wobei die Integrität personenbezogener Daten und der individuelle Zugang und die Kontrolle zu gewährleisten sowie wirtschaftliche und humanitäre Fragen zu berücksichtigen sind;

49. verweist auf seinen Standpunkt vom 12. September 2018 zu autonomen Waffensystemen, in dem es erklärt, dass Angriffe nicht ohne bedeutende Steuerung durch den Menschen ermöglicht werden dürfen; fordert den HR/VP, die Mitgliedstaaten und den Europäischen Rat auf, einen gemeinsamen Standpunkt zu autonomen Waffensystemen anzunehmen, der eine maßgebliche menschliche Kontrolle über die kritischen Funktionen von Waffensystemen, auch während des Einsatzes, gewährleistet; bekräftigt erneut seine Unterstützung für die Gruppe von Regierungssachverständigen der Hohen Vertragsparteien des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen in Bezug auf ihre Arbeit zu letalen autonomen Waffensystemen, da diese Gruppe nach wie vor das relevante internationale Forum für Diskussionen und Verhandlungen über die rechtlichen Herausforderungen durch

PE653.860v02-00 14/55 RR\1221412DE.docx

DE

autonome Waffensysteme ist; fordert, dass alle derzeitigen multilateralen Bemühungen schneller vorangetrieben werden, damit die normativen und ordnungspolitischen Rahmenbedingungen mit den technologischen Entwicklungen und neuen Methoden der Kriegsführung Schritt halten können; fordert den HR/VP auf, sich im Rahmen der laufenden Diskussionen der Vertragsstaaten des Waffenübereinkommens der Vereinten Nationen über die internationale Regulierung von KI-Waffen weiterhin zu engagieren und dazu beizutragen, dass die Bemühungen um die Entwicklung eines neuen globalen Regelungsrahmens und eines rechtsverbindlichen Instruments unverzüglich vorangetrieben werden, wobei der Schwerpunkt auf Definitionen, Konzepten und Merkmalen neu entstehender Technologien im Bereich der KI-Waffen, ethischen und rechtlichen Fragen der menschlichen Kontrolle, insbesondere im Hinblick auf ihre kritischen Funktionen, wie etwa Auswahl von Zielen und Angriff, die Aufrechterhaltung der menschlichen Verantwortung und Rechenschaftspflicht und das notwendige Maß an Mensch-Maschine-Interaktion, einschließlich des Konzepts der menschlichen Kontrolle und des menschlichen Urteilsvermögens, liegen soll; fordert, dass diese Bemühungen die Einhaltung des humanitären Völkerrechts und der Menschenrechte in den verschiedenen Phasen des Lebenszyklus von KI-gestützten Waffen sicherstellen, um spezifische Empfehlungen für die Klärung, Berücksichtigung und Weiterentwicklung von Aspekten des normativen Rahmens in Bezug auf neu entstehende Technologien im Bereich der LAWS zu vereinbaren;

50. ist der Überzeugung, dass ein wirksamer Mechanismus zur Durchsetzung der Regeln für die Nichtverbreitung von LAWS und allen künftigen offensiven KI-gestützten Technologien von größter Bedeutung für die globale Sicherheit ist;

Zuständigkeit des Staates: Beispiele aus zivilen Bereichen, einschließlich Gesundheit und Justiz

51. betont, dass die Mitgliedstaaten wirksam handeln müssen, um ihre Abhängigkeit von ausländischen Daten zu verringern und – ohne den Markt erheblich zu verzerren – sicherzustellen, dass der Besitz hochentwickelter KI-Technologien durch mächtige private Gruppen nicht dazu führt, dass die Zuständigkeit des Staates in Frage gestellt oder sogar von privaten Einrichtungen usurpiert wird, insbesondere wenn diese privaten Gruppen im Besitz eines Drittlandes außerhalb der Europäischen Union sind;

52. betont, dass der Einsatz von KI-Systemen im Entscheidungsfindungsprozess von Behörden zu voreingenommenen Entscheidungen führen kann, die sich negativ auf die Bürger auswirken, und dass sie daher strengen Kontrollkriterien unterliegen sollten, u. a. in Bezug auf ihre Sicherheit, Transparenz, Rechenschaftspflicht, Nichtdiskriminierung sowie soziale und ökologische Verantwortung fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI-gesteuerten Entscheidungen im Zusammenhang mit der Ausübung der Zuständigkeit des Staates zu bewerten und Sicherheitsvorkehrungen wie eine maßgebliche menschliche Aufsicht, Transparenzanforderungen und die Möglichkeit, solche Entscheidungen anzufechten, vorzusehen;

53. fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI-gestützten Technologien zu bewerten, bevor Tätigkeiten automatisiert werden, die

RR\1221412DE.docx 15/55 PE653.860v02-00

DE

mit der Ausübung der Zuständigkeit des Staates verbunden sind, wie etwa die Rechtspflege; fordert die Mitgliedstaaten auf zu prüfen, ob Schutzmaßnahmen, beispielsweise die Überwachung durch qualifizierte Fachkräfte und strenge Vorschriften über die Berufsethik, vorgesehen werden müssen;

54. betont, dass es wichtig ist, auf europäischer Ebene Maßnahmen zu ergreifen, um die dringend benötigten Investitionen, die Dateninfrastruktur, die Forschung einschließlich der Erforschung der Nutzung künstlicher Intelligenz durch Behörden und einen gemeinsamen Ethikrahmen zu fördern;

55. betont, dass die Europäische Union nach strategischer Widerstandsfähigkeit streben muss, damit sie im Falle einer Krise nie wieder unvorbereitet ist, und unterstreicht, dass dies insbesondere für die künstliche Intelligenz und ihre militärischen Anwendungen von entscheidender Bedeutung ist; betont, dass die Lieferketten für militärische KI-Systeme, die zu technologischen Abhängigkeiten führen können, überprüft werden sollten und dass solche Abhängigkeiten allmählich abgebaut werden sollten; fordert verstärkte Investitionen in die europäische KI im Verteidigungsbereich und in die ihr zugrunde liegende kritische Infrastruktur;

56. legt der Kommission nahe, die Folgen eines Moratoriums für den Einsatz von Gesichtserkennungssystemen zu bewerten und in Abhängigkeit von den Ergebnissen dieser Bewertung ein Moratorium für den Einsatz dieser Systeme in öffentlichen Räumen durch Behörden und in Räumlichkeiten, die für das Bildungs- und Gesundheitswesen bestimmt sind, in Betracht zu ziehen, sowie für den Einsatz von Gesichtserkennungssystemen durch Strafverfolgungsbehörden in halböffentlichen Räumen wie Flughäfen zu erwägen, bis die technischen Standards als vollständig grundrechtskonform angesehen werden können, die abgeleiteten Ergebnisse unvoreingenommen und nicht diskriminierend sind und es strenge Schutzmaßnahmen gegen Missbrauch gibt, die die Notwendigkeit und Verhältnismäßigkeit des Einsatzes solcher Technologien sicherstellen;

57. betont, dass der Cybersicherheit im Zusammenhang mit KI große Bedeutung zukommt, sowohl in offensiven als auch in defensiven Szenarien; weist in diesem Zusammenhang auf die Bedeutung der internationalen Zusammenarbeit und der Veröffentlichung und des Austauschs von Informationen über Schwachstellen und Abhilfemaßnahmen im Bereich der IT-Sicherheit hin; fordert eine internationale Zusammenarbeit im Bereich der Cybersicherheit, um KI wirksam zu nutzen und einzuführen, und Maßnahmen zum Schutz vor einer missbräuchlichen Nutzung von KI und vor Cyberangriffen; weist darüber hinaus auf den doppelten (zivilen und militärischen) Verwendungszweck von IT-Systemen und KI hin und fordert seine wirksame Regulierung;

58. ist der Ansicht, dass die Mitgliedstaaten KI-Technologien fördern sollten, die für die Menschen arbeiten, und dass Personen, die Gegenstand einer von einer Behörde auf der Grundlage von Informationen aus einem KI-System getroffenen Entscheidung waren, darüber informiert werden sollten, unverzüglich die im vorstehenden Absatz genannten Informationen erhalten sollten, die Möglichkeit haben sollten, diese Entscheidung anzufechten und sich dafür zu entscheiden, dass über diesen Rechtsbehelf ohne den Einsatz eines KI-Systems entschieden wird; fordert die Mitgliedstaaten auf, die Notwendigkeit zu prüfen, Schutzmaßnahmen zu ergreifen, wie sie in der Richtlinie

PE653.860v02-00 16/55 RR\1221412DE.docx

DE

(EU) 2018/958 vorgesehen sind, beispielsweise die Überwachung durch eine qualifizierte Fachkraft und Vorschriften über die Berufsethik;

59. betont, dass Vorhersagen, die auf der gemeinsamen Nutzung von Daten, dem Zugriff auf Daten oder deren Verwendung basieren, den Anforderungen an Qualität, Integrität, Transparenz, Sicherheit, Datenschutz und Kontrolle unterliegen müssen; betont, dass bei der Entwicklung, der Einführung und der Nutzung von KI, Robotik und damit zusammenhängenden Technologien der Rechtsrahmen der EU für Datenschutz und den Schutz der Privatsphäre geachtet werden muss, damit die Sicherheit der Bürger erhöht und ihr Vertrauen in diese Technologien gestärkt wird;

60. beobachtet eine rasche Entwicklung von KI-gestützten Anwendungen, die einzigartige charakteristische Merkmale wie beispielsweise von Gesichtszügen, Bewegungen und Haltungen erkennen; warnt, dass die Nutzung von Anwendungen zur automatisierten Personenerkennung Probleme hinsichtlich des Eingriffes in die Privatsphäre, des Diskriminierungsverbots und des Schutzes personenbezogener Daten verursachen kann;

61. betont, dass jede Entscheidung über eine natürliche Person, die ausschließlich auf automatischen Verarbeitungen, einschließlich Profilerstellungen, beruht und die eine nachteilige Rechtswirkung für die betroffene Person hat oder sie erheblich beeinträchtigt, nach dem Unionsrecht verboten ist, es sei denn, sie ist durch das Unionsrecht oder das Recht eines Mitgliedstaats zugelassen und unterliegt dabei angemessenen Maßnahmen zum Schutz der Daten, der Freiheiten und berechtigter Interessen der betroffenen Person;

62. fordert, dass Algorithmen erklärbar und transparent sein und einer Regulierungsaufsicht unterliegen müssen, wenn künstliche Intelligenz von Behörden genutzt wird, und dass Folgenabschätzungen durchgeführt werden, bevor staatliche Behörden Instrumente einsetzen, die KI-gestützten Technologien nutzen; fordert die Kommission und den Europäischen Datenschutzausschuss auf, Leitlinien, Empfehlungen und bewährte Verfahren herauszugeben, mit denen die Kriterien und Bedingungen, die für Entscheidungen gelten, die auf der Grundlage von Profilerstellungen getroffen werden, und für den Einsatz von KI durch öffentliche Einrichtungen genauer festgelegt werden;

63. stellt fest, dass die künstliche Intelligenz eine immer entscheidendere Rolle im Gesundheitswesen spielen wird, insbesondere durch Diagnosealgorithmen, robotergestützte Chirurgie, intelligente Prothesen, personalisierte Behandlungen auf der Grundlage einer dreidimensionalen Modellierung des Körpers jedes Patienten, soziale Roboter zur Unterstützung älterer Menschen, digitale Therapien zur Verbesserung der Autonomie bestimmter psychisch kranker Menschen, prädiktive Medizin und Software zur Antizipation von Epidemien;

64. besteht jedoch darauf, dass bei allen Anwendungen der KI im Bereich der öffentlichen Gesundheit der Schutz der personenbezogenen Daten der Patienten geachtet und die unkontrollierte Verbreitung dieser Daten vermieden werden muss;

65. fordert, dass bei allen Anwendungen von KI im Gesundheitswesen das Prinzip der Gleichbehandlung von Patienten in Bezug auf den Zugang zur Behandlung gewahrt bleibt, die Beziehung zwischen Patient und Arzt geachtet wird und jederzeit mit dem

RR\1221412DE.docx 17/55 PE653.860v02-00

DE

Hippokratischen Eid vereinbar ist, sodass der Arzt immer die Möglichkeit hat, von der durch KI vorgeschlagenen Lösung abzuweichen und damit die Verantwortung für jede Entscheidung behält;

66. stellt fest, dass der Einsatz von KI bei der Bekämpfung von Kriminalität und Cyberkriminalität eine breite Palette von Möglichkeiten und Chancen mit sich bringen könnte; bekräftigt gleichzeitig, dass der Grundsatz, dass das, was offline illegal ist, auch online illegal ist, weiterhin gelten sollte;

67. stellt fest, dass KI zunehmend im Bereich der Justiz eingesetzt wird, um Entscheidungen zu treffen, die rationaler sind, dem geltenden Recht besser entsprechen und schneller ergehen; begrüßt die Tatsache, dass durch den Einsatz von KI eine Beschleunigung der Gerichtsverfahren zu erwarten ist;

68. ist der Auffassung, dass klargestellt werden muss, ob es angemessen ist, Strafverfolgungsentscheidungen teilweise an KI zu delegieren, wobei die Kontrolle über die endgültige Entscheidung in Menschenhand bleiben muss;

69. betont, dass durch die Nutzung von KI in der Justiz die Analyse und Erhebung von Daten und der Schutz der Opfer verbessert werden könnten, dass dies im Rahmen von Forschung und Entwicklung untersucht werden könnte und dass dazu entsprechende Folgenabschätzungen erstellt werden sollten, insbesondere in Bezug auf die Garantien für ein ordnungsgemäßes Verfahren und zur Verhinderung von Verzerrungen und Diskriminierungen, wobei das Vorsorgeprinzip anzuwenden ist; erinnert jedoch daran, dass dies kein Ersatz für die menschliche Beteiligung an der Urteilsfindung oder Entscheidungsfindung ist;

70. erinnert an die Bedeutung der Grundsätze der Governance, der Transparenz, der Unparteilichkeit, der Verantwortlichkeit, der Fairness und der intellektuellen Integrität beim Einsatz von KI in der Strafjustiz;

71. fordert die Mitgliedstaaten nachdrücklich auf, die Risiken im Zusammenhang mit KI-gestützten Technologien zu bewerten, bevor Tätigkeiten automatisiert werden, die mit der Ausübung der Zuständigkeit des Staates verbunden sind, insbesondere im Bereich der Justiz; fordert sie auf zu prüfen, ob Schutzmaßnahmen, beispielsweise die Überwachung durch qualifizierte Fachkräfte und berufsethische Regeln, vorgesehen werden müssen.

72. stellt fest, dass bestimmte KI-Technologien die Automatisierung der Informationsverarbeitung und des Handelns in einem noch nie dagewesenen Ausmaß ermöglichen, etwa die massenhafte zivile und militärische Überwachung, die eine Bedrohung für die Grundrechte darstellt und den Weg für unrechtmäßige Eingriffe in die staatliche Souveränität ebnet; fordert die völkerrechtliche Überprüfung von Massenüberwachungsmaßnahmen, auch im Hinblick auf Fragen der Zuständigkeit und der Durchsetzung; hegt schwerwiegende Bedenken gegenüber einigen hochgradig intrusiven Anwendungen zur Bewertung des sozialen Verhaltens („Social Scoring“), die gerade entwickelt werden, da sie die Achtung der Grundrechte ernsthaft gefährden; fordert ein ausdrückliches Verbot des Einsatzes von massenhaftem „Social Scoring“ durch öffentliche Stellen als Mittel zur Einschränkung der Rechte der Bürger; fordert, dass angesichts der Entscheidungshegemonie und der Kontrolle bestimmter privater

PE653.860v02-00 18/55 RR\1221412DE.docx

DE

Akteure über die Entwicklung dieser Technologien die Rechenschaftspflicht privater Akteure nach internationalem Recht gestärkt wird; fordert in diesem Zusammenhang die Kommission, den Rat und die Mitgliedstaaten auf, bei der Aushandlung, dem Abschluss und der Ratifizierung internationaler Abkommen im Zusammenhang mit grenzüberschreitenden Familiensachen, z. B. internationalen Kindesentführungen, besondere Aufmerksamkeit walten zu lassen und sicherzustellen, dass in diesem Zusammenhang KI-Systeme stets unter wirksamer menschlicher Kontrolle eingesetzt werden und ordnungsgemäße Verfahren innerhalb der EU und der Länder, die diese Abkommen unterzeichnet haben, eingehalten werden;

73. fordert, dass die Öffentlichkeit über den Einsatz von KI im Bereich der Justiz informiert wird und dass ein solcher Einsatz nicht zu einer Diskriminierung aufgrund von voreingenommener Programmierung führt; betont, dass das Recht jedes Einzelnen auf Zugang zu einem öffentlichen Beamten respektiert werden muss, ebenso wie das Recht des zuständigen Beamten, die Entscheidung persönlich zu treffen und von den Informationen, die er von der KI erhalten hat, abzuweichen, wenn er dies in Anbetracht der Einzelheiten der betreffenden Angelegenheit für erforderlich hält; hebt das Recht des Beschuldigten hervor, gegen die Entscheidung in Übereinstimmung mit dem nationalen Recht Berufung einzulegen, ohne jemals die Justiz ihrer endgültige Verantwortung zu entheben;

74. fordert daher, dass alle diese öffentlichen und administrativen Verwendungen als Informationen im öffentlichen Bereich betrachtet werden und dass eine Diskriminierung aufgrund von voreingenommener Programmierung vermieden wird;

75. betont, dass eine ordnungsgemäße Einführung und Nutzung von KI ermöglicht werden muss; fordert die Mitgliedstaaten auf, ihr ziviles und militärisches Personal angemessen zu schulen, sodass es in der Lage ist, Diskriminierungen und Verzerrungen in Datensätzen sicher zu erkennen und zu verhindern;

76. ist zutiefst besorgt, dass Deepfake-Technologien die Erstellung immer realistischerer Foto-, Audio- und Videofälschungen ermöglichen, die zur Erpressung, zur Generierung von Fake News, zur Schwächung des Vertrauens der Öffentlichkeit und zur Beeinflussung des öffentlichen Diskurses eingesetzt werden könnten; ist der Überzeugung, dass mit derartigen Praktiken potenziell Länder destabilisiert, Desinformationen verbreitet und Wahlen beeinflusst werden können; fordert daher, dass die Urheber von sämtlichen Deepfake-Materialien und anderer realistisch wirkender künstlicher Videos dazu verpflichtet werden anzugeben, dass es sich nicht um Originalaufnahmen handelt, und dass die Nutzung solchen Materials im Zusammenhang mit Wahlen stark eingeschränkt wird und für eine konsequente Durchsetzung dieser Regeln gesorgt wird; fordert eine angemessene Forschung auf diesem Gebiet um sicherzustellen, dass die Technologien zur Bekämpfung dieser Phänomene mit der bösartigen Nutzung von KI Schritt halten;

Verkehr

77. nimmt das erhebliche wirtschaftliche Potenzial von KI-Anwendungen zur Kenntnis, u. a. für die Optimierung der langfristigen Leistung, der Wartung, der Ausfallvorhersage

RR\1221412DE.docx 19/55 PE653.860v02-00

DE

und der Bauplanung bei Verkehrsinfrastrukturen und Gebäuden sowie für die Sicherheit, die Energieeffizienz und die Kosten; fordert die Kommission daher auf, die KI-Forschung und den Austausch bewährter Verfahren im Verkehrsbereich weiter zu fördern;

78. betont, dass die KI gefördert werden muss, um die Multimodalität, die Interoperabilität und die Energieeffizienz aller Verkehrsträger zu verbessern, die Effizienz bei der Organisation und Steuerung des Güter- und Personenverkehrs zu steigern, die Infrastruktur und Ressourcen entlang des Transeuropäischen Verkehrsnetzes (TEN-V) besser zu nutzen und die Hindernisse für die Schaffung eines echten einheitlichen europäischen Verkehrsraums abzubauen;

79. erinnert an die Vorteile des Europäischen Eisenbahnverkehrsleitsystems (ERTMS), eines lückenlosen automatischen Zugsicherungssystems, und unterstützt die Entwicklung und internationale Standardisierung der Automatisierung des Zugbetriebs;

80. begrüßt die Arbeit des Forschungsprojekts zur Entwicklung des europäischen Flugverkehrsmanagementsystems der neuen Generation (SESAR) zu unbemannten Flugsystemen und Flugverkehrsmanagementsystemen, sowohl im zivilen als auch im militärischen Bereich;

81. weist darauf hin, dass autonome Fahrzeuge ein großes Potenzial zur Verbesserung der Mobilität und der Sicherheit haben und Vorteile für die Umwelt mit sich bringen, und fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit zwischen den Regulierungsbehörden und allen für die Einführung automatisierter Straßenfahrzeuge in der EU relevanten Akteuren sicherzustellen;

82. weist darauf hin, dass sich die globale Schifffahrtsbranche dank der Integration von KI in den letzten Jahren stark verändert hat; erinnert an die derzeitigen umfassenden Diskussionen in der Internationalen Seeschifffahrtsorganisation über die wirksame Integration neuer und neu entstehender Technologien wie autonomer Schiffe in ihren Rechtsrahmen;

83. betont, dass intelligente Verkehrssysteme die Verkehrsüberlastung verringern, die Sicherheit und die Barrierefreiheit verbessern und zu einer verbesserten Steuerung der Verkehrsströme, einer höheren Effizienz und besseren Mobilitätslösungen beitragen; weist darauf hin, dass traditionelle Verkehrsnetze zunehmend Cyberbedrohungen ausgesetzt sind; weist erneut darauf hin, wie wichtig ausreichende Ressourcen und weitere Forschungsarbeiten zu Sicherheitsrisiken für die Gewährleistung der Sicherheit automatisierter Systeme und ihrer Daten sind; begrüßt die Absicht der Kommission, die Cybersicherheit als regelmäßigen Tagesordnungspunkt für die Erörterung in internationalen Verkehrsorganisationen aufzunehmen;

84. begrüßt die Bemühungen zur Einführung von KI-Systemen im öffentlichen Sektor und wird weitere Diskussionen über die Einführung von KI-Systemen im Verkehr unterstützen; fordert die Kommission auf, eine Bewertung der Verwendung von KI und vergleichbaren Technologien im Verkehrssektor vorzunehmen und eine nicht erschöpfende Liste von Hochrisikosegmenten in KI-Systemen zu erstellen, die Entscheidungen im Rahmen der Prärogativen der öffentlichen Hand in diesem Bereich ersetzen;

PE653.860v02-00 20/55 RR\1221412DE.docx

DE

85. betont, dass der Europäische Verteidigungsfonds und die Ständige Strukturierte Zusammenarbeit die Zusammenarbeit zwischen den Mitgliedstaaten und der europäischen Verteidigungsindustrie fördern sollten, um neue europäische Verteidigungsfähigkeiten in KI zu entwickeln und die Versorgungssicherheit unter Berücksichtigung ethischer Erwägungen zu gewährleisten; betont die Notwendigkeit, eine Fragmentierung zu vermeiden, indem Brücken zwischen verschiedenen Akteuren und Anwendungsdomänen gebaut werden, Kompatibilität und Interoperabilität auf allen Ebenen gefördert werden und der Schwerpunkt auf der gemeinsamen Arbeit an Architektur- und Plattformlösungen liegt; erinnert im Übrigen daran, dass die nächste Fazilität „Connecting Europe“, die auch intelligente Infrastrukturen fördert, einen Fonds für die Anpassung und den Ausbau ziviler oder militärischer Verkehrsinfrastrukturen mit doppeltem Verwendungszweck im Rahmen der TEN-V vorsehen wird, um die Synergien zwischen zivilen und militärischen Erfordernissen zu erhöhen und die zivile und militärische Mobilität innerhalb der Union zu verbessern; betont daher, dass weitere europäische Investitionen, Forschung und eine Führungsrolle bei Technologien erforderlich sind, die erhebliche Auswirkungen auf das Wirtschaftswachstum und ein erhebliches Potenzial im Hinblick auf einen doppelten Verwendungszweck haben;

86. betont, dass viele Investitionen in neue Technologien bei Verkehr und Mobilität marktorientiert sind, dass kommerzielle Technologien und Produkte mit doppeltem Verwendungszweck jedoch häufig auf innovative Weise für militärische Zwecke eingesetzt werden; betont daher, dass das Potenzial mit doppeltem Verwendungszweck bei KI-gestützten Lösungen bei der Ausarbeitung von Normen für die Nutzung von KI in verschiedenen Bereichen des kommerziellen und militärischen Sektors berücksichtigt werden muss; fordert, dass hohe ethische Standards und Richtlinien in die Entwicklung von Verteidigungstechnologien, Produkten und Betriebsprinzipien einbezogen werden;

87. weist darauf hin, dass die wirksame Beförderung von Gütern, Munition, Rüstungsgütern und Truppen ein wesentlicher Bestandteil erfolgreicher Militäroperationen ist; betont, dass davon ausgegangen wird, dass die KI in der Militärlogistik und bei Militärtransporten eine entscheidende Rolle spielen und zahlreiche Möglichkeiten schaffen wird; weist darauf hin, dass Länder in der ganzen Welt, einschließlich der EU-Mitgliedstaaten, KI-Waffen und andere Systeme in Land-, See- und Luftplattformen einbetten; erinnert daran, dass KI-Anwendungen im Verkehrssektor neue Fähigkeiten bieten und neue Formen der Taktik ermöglichen könnten, etwa die Kombination vieler Systeme wie Drohnen, unbemannte Boote oder Panzer in einer unabhängigen und koordinierten Operation;

Internationales Privatrecht

88. stellt fest, dass angesichts der Tatsache, dass die Zahl von Rechtsstreitigkeiten, in denen das internationale Privatrecht eine Rolle spielt, zunimmt, was auf die Internationalisierung menschlicher Aktivitäten sowohl online als auch in der realen Welt zurückgeht, die KI bei deren Lösung helfen kann, indem sie Modelle erstellt, um das zuständige Gericht und das anwendbare Recht für jeden einzelnen Fall zu ermitteln, aber auch um die problematischsten Gesetzeskollisionen zu identifizieren und Lösungen zu deren Beilegung vorzuschlagen;

RR\1221412DE.docx 21/55 PE653.860v02-00

DE

89. ist jedoch der Auffassung, dass die Öffentlichkeit über den Einsatz künstlicher Intelligenz im internationalen Privatrecht angemessen informiert und eine Diskriminierung durch eine voreingenommene Programmierung vermieden werden muss, die zu einer systematischen Bevorzugung des nationalen Rechts gegenüber einem anderen führen würde, und dass der Grundsatz des gesetzlichen Richters, Rechtsmittel gemäß geltendem Recht und das Recht jedes Richters, von der durch AI vorgeschlagenen Lösung abzugehen, geachtet werden müssen;

90. betont, dass die Tatsache, dass autonome Fahrzeuge in der Europäischen Union fahren werden, unter Umständen zu einer besonders hohen Zahl von Rechtsstreitigkeiten, in denen das internationale Privatrecht eine Rolle spielt, führen wird, weswegen dieser Bereich durch besondere europäische Vorschriften geregelt werden sollte, die das im Falle eines grenzüberschreitenden Schadensfalls anwendbare Recht festlegen;

91. weist darauf hin, dass die EU angesichts der zunehmenden Bedeutung von Forschung und Entwicklung im Privatsektor und massiver Investitionen aus Drittstaaten einem starken Wettbewerb ausgesetzt ist; unterstützt daher die Bemühungen der EU, ihre Wettbewerbsvorteile weiter auszubauen, und ist der Auffassung, dass die EU darauf abzielen sollte, als Normgeber für KI in einer hypervernetzten Welt zu fungieren, indem sie eine wirksame Strategie gegenüber ihren externen Partnern verfolgt und ihre Bemühungen verstärkt, auf internationaler Ebene globale ethische Normen für KI im Einklang mit Sicherheitsvorschriften und Verbraucherschutzanforderungen sowie mit den europäischen Werten und Bürgerrechten, einschließlich der Grundrechte, festzulegen; ist der Auffassung, dass dies ferner für die Wettbewerbsfähigkeit und die Nachhaltigkeit der europäischen Unternehmen entscheidend ist; fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit mit Drittländern und internationalen Organisationen wie den Vereinten Nationen, der OECD, der G7 und der G20 zu verstärken und in einen breiteren Dialog einzutreten, um sich den Herausforderungen zu stellen, die sich aus der Entwicklung dieser sich rasch verändernden Technologie ergeben; ist der Auffassung, dass diese Bemühungen insbesondere darauf abzielen sollten, gemeinsame Normen festzulegen und die Interoperabilität von KI-gestützten Systemen zu verbessern; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Akademikern, Akteuren der Zivilgesellschaft, dem Privatsektor, insbesondere führenden Unternehmen, und dem Militär zu fördern um sicherzustellen, dass die politischen Entscheidungsprozesse für verteidigungsbezogene KI-Regelungen inklusiv sind;

Leitgrundsätze

92. ist der Auffassung, dass KI-Technologien und vernetzte Systeme darauf abzielen sollten, Rechtssicherheit für die Bürger zu bieten; unterstreicht daher, dass die Regeln für Gesetzeskollisionen und den Gerichtsstand weiterhin gelten sollten, wobei die Interessen der Bürgerinnen und Bürger sowie die Notwendigkeit, die Gefahr des Forum-Shopping zu verringern, berücksichtigt werden sollten; erinnert daran, dass KI den Menschen im Gerichtsverfahren nicht ersetzen kann, wenn es darum geht, ein Urteil zu fällen oder eine endgültige Entscheidung jeglicher Art zu treffen, da solche Entscheidungen immer von einem Menschen getroffen werden und ausnahmslos der menschlichen Überprüfung und einem ordnungsgemäßen Verfahren unterliegen

PE653.860v02-00 22/55 RR\1221412DE.docx

DE

müssen; besteht darauf, dass die Justizbehörden bei der Verwendung von Beweisen, die von KI-gestützten Technologien geliefert werden, verpflichtet sein sollten, ihre Entscheidungen zu begründen;

93. erinnert daran, dass KI ein wissenschaftlicher Fortschritt ist, der das Recht nicht aushöhlen darf, sondern im Gegenteil immer durch das Recht – in der Europäischen Union durch das von ihren Organen und ihren Mitgliedstaaten ausgehende Recht – geregelt werden muss, und dass KI, Robotik und damit zusammenhängende Technologien unter keinen Umständen gegen die Grundrechte, die Demokratie und die Rechtsstaatlichkeit verstoßen dürfen;

94. betont, dass KI, die zu Verteidigungszwecken eingesetzt wird, verantwortungsvoll, gerecht, nachvollziehbar, zuverlässig und beherrschbar sein sollte;

95. ist der Ansicht, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, unabhängig von dem Bereich, in dem sie zum Einsatz kommen, auf sichere und in technischer Hinsicht gründliche Weise entwickelt werden sollten;

°

° °

96. beauftragt seinen Präsidenten, diese Entschließung dem Rat und der Kommission zu übermitteln.

RR\1221412DE.docx 23/55 PE653.860v02-00

DE

BEGRÜNDUNG

Die beeindruckenden Fortschritte im Bereich der künstlichen Intelligenz (KI) stellen eine Herausforderung für das Völkerrecht dar, sowohl für das öffentliche als auch für das private Recht, und im weiteren Sinne für die Autorität von Staaten. Da der Rechtsrahmen für KI zu einer der Prioritäten der EU geworden ist, muss sich das Europäische Parlament zu dieser Frage äußern. Mit diesem Bericht wird versucht, die Hauptaspekte dieses Themas zu behandeln.

Völkerrecht: Militärische Nutzung der KI

In Übereinstimmung mit dem Arbeitsdokument vom 29. April 2020 ist ein großer Teil des Berichts den militärischen Verwendungen der KI gewidmet, deren Entwicklung von den Großmächten der Welt unisono als eine Priorität für ihre Streitkräfte bezeichnet wird. Die Werte, derer sich die EU rühmt, legitimieren ihr Anliegen, sich mit ihrem notwendigen Rechtsrahmen zu befassen und gleichzeitig die Kompetenzen der Staaten und der Vereinten Nationen zu respektieren.

Man entschied sich dafür, das Thema aus drei Blickwinkeln zu behandeln. Zunächst wird an die Prinzipien erinnert, die für jede militärische Verwendung der KI, was auch immer sie sein mag, gelten sollten: Informationsverarbeitung für militärische Zwecke, militärische Logistik, „Collaborative Combat“ und Echtzeit-Entscheidungsunterstützung, Verteidigungssysteme, alle Waffen, bei denen KI eingesetzt wird, einschließlich letaler autonomer Waffensysteme (LAWS).

Anschließend werden für die LAWS angesichts ihrer besonderen Gefährlichkeit, auf die das Europäische Parlament bereits in seiner Entschließung vom 12. September 2018 hingewiesen hat, spezifische Grundsätze ausgearbeitet.

Schließlich wird die Rolle des Europäischen Verteidigungsfonds erörtert, der bereits militärische Forschungsprojekte zur Umsetzung von KI finanziert, was zeigt, dass die EU bereits direkt von der militärischen Verwendung der KI betroffen ist.

Zuständigkeit des Staates

KI hat auch Auswirkungen auf die hoheitlichen Befugnisse der Staaten in anderen als militärischen Bereichen. Nach der Debatte im JURI-Ausschuss vom 16. Juni 2020, bei der mehrere Mitglieder die Ansicht vertraten, dass auch sie erwähnt werden sollten, wurde die Entscheidung getroffen, sie in den beiden besonders sensiblen Bereichen Gesundheit und Justiz zu behandeln.

Internationales Privatrecht

In derselben Beratung forderten einige Mitglieder auch, die Auswirkungen des Einsatzes von KI auf das internationale Privatrecht zu berücksichtigen. Um diesem Umstand Rechnung zu tragen, wird am Ende des Textes versucht, diese Frage anzusprechen, wenn auch angesichts der Beschränkungen des Parlaments hinsichtlich des Umfangs dieser Art von Berichten nur kurz.

Leitprinzip

PE653.860v02-00 24/55 RR\1221412DE.docx

DE

Über die Vielfalt der angesprochenen Punkte hinaus soll mit dem Bericht das Bewusstsein geschaffen werden, dass KI Gefahren für die Achtung demokratischer Prinzipien und des Primats des Rechts mit sich bringen kann und dass man ihnen mit klarem Verstand begegnen muss. Denn es gilt, wie Martin Heidegger warnte: „Am ärgsten sind wir jedoch der Technik ausgeliefert, wenn wir sie als etwas Neutrales betrachten“.

RR\1221412DE.docx 25/55 PE653.860v02-00

DE

7.7.2020

STELLUNGNAHME DES AUSSCHUSSES FÜR AUSWÄRTIGE ANGELEGENHEITEN

für den Rechtsausschuss

zum Thema Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit(2020/2013(INI))

Verfasser der Stellungnahme (*): Urmas Paet

(*) Assoziierter Ausschuss – Artikel 57 der Geschäftsordnung

VORSCHLÄGE

Der Ausschuss für auswärtige Angelegenheiten ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

1. betont, dass sich die Sicherheits- und Verteidigungspolitik der Europäischen Union und ihrer Mitgliedstaaten nach den in der Europäischen Charta der Grundrechte und der Charta der Vereinten Nationen verankerten Grundsätze – letztere fordert alle Staaten auf, in ihren Beziehungen untereinander von der Androhung oder Anwendung von Gewalt abzusehen – und dem internationalen Recht, den Grundsätzen der Menschenrechte und der Achtung der Menschenwürde und einem gemeinsamen Verständnis der universellen Werte der unverletzlichen und unveräußerlichen Rechte des Menschen, der Freiheit, der Demokratie, der Gleichheit und der Rechtsstaatlichkeit richtet; betont, dass bei allen Verteidigungsbemühungen im Rahmen der Union diese universellen Werte geachtet und gleichzeitig Frieden, Stabilität, Sicherheit und Fortschritt in Europa und in der Welt gefördert werden müssen;

2. fordert die Vereinten Nationen und die gesamte internationale Gemeinschaft auf, alle erforderlichen Regulierungsbemühungen zu unternehmen, um sicherzustellen, dass die Entwicklung und Anwendung der künstlichen Intelligenz (KI) zu militärischen Zwecken und zur Erhöhung der zivilen Kapazitäten bei der Rechtsdurchsetzung, wie bei Polizei und Grenzschutz, sowie die Erforschung, Entwicklung und Verwendung von KI-gestützten Systemen durch das Militär innerhalb der strengen Grenzen des Völkerrechts, einschließlich des humanitären Völkerrechts und der Menschenrechtsnormen, bleiben; betont, dass die EU die internationale Übernahme ihrer technischen und ethischen Standards für KI-gestützte militärische Systeme anstreben und sich in enger Zusammenarbeit mit gleichgesinnten Partnern um einen internationalen Regelungsrahmen bemühen sollte, in dem gemeinsame Normen auf der Grundlage demokratischer Werte festgelegt werden, und der hinreichend ausgearbeitet

RR\1221412_ADs_DE.docx

DE In Vielfalt geeint DE

ist, um den Einsatz von KI für Spionage, massenhafte, gezielte und politische Überwachung, Desinformation und Datenmanipulation sowie ein Wettrüsten im Cyberspace zu verhindern; fordert eine verstärkte Zusammenarbeit mit der NATO, um gemeinsame Normen festzulegen und die Interoperabilität von KI-gestützten Systemen zu verbessern; fordert die Kommission auf, den Dialog, eine engere Zusammenarbeit und Synergien zwischen den Mitgliedstaaten, Forschern, Wissenschaftlern, Akteuren der Zivilgesellschaft und dem Privatsektor, insbesondere führenden Unternehmen, und dem Militär zu fördern, um sicherzustellen, dass politische Entscheidungsprozesse für verteidigungsbezogene KI-Regelungen inklusiv sind;

3. ist insbesondere der Auffassung, dass die Konzipierung, die Entwicklung und der Einsatz von KI-gestützten Systemen in bewaffneten Konflikten gemäß der Martens’schen Klausel den allgemeinen Grundsätzen des humanitären Völkerrechts entsprechen müssen und dass dabei niemals gegen die Grundsätze der Menschlichkeit und die Forderungen des öffentlichen Gewissens verstoßen wird bzw. verstoßen werden darf; ist der Ansicht, dass die Einhaltung des humanitären Völkerrechts der Mindeststandard für die Zulässigkeit eines KI-gestützten Systems in der Kriegsführung ist; fordert die KI-Forschungsgemeinschaft auf, dieses Prinzip in alle KI-gestützten Systeme zu integrieren, die in der Kriegsführung eingesetzt werden sollen; ist der Ansicht, dass keine Behörde eine Ausnahme von diesen Grundsätzen erteilen oder ein KI-gestütztes System, das gegen diese Grundsätze verstößt, zertifizieren kann; fordert daher die Entwickler letaler autonomer Waffensysteme, auf, jedwede Planung, Entwicklung von Prototypen und Herstellung derartiger Systeme einzustellen;

4. begrüßt die Einsetzung einer VN-Gruppe von Regierungssachverständigen (GGE) für die Förderung des verantwortungsbewussten Verhaltens von Staaten im Cyberspace im Kontext der internationalen Sicherheit und fordert die EU auf, sich umfassend an ihrer Arbeit zu beteiligen;

5. fordert den VP/HR auf, den Weg für globale Verhandlungen im Hinblick auf die Einführung einer Regelung für die Kontrolle von KI-gestützten Waffen zu ebnen und alle bestehenden Vertragsinstrumente, die der Rüstungskontrolle, Abrüstung und Nichtverbreitung gewidmet sind, zu aktualisieren, um KI-gestützte Systeme, die in der Kriegsführung verwendet werden, zu berücksichtigen; fordert, dass im Gemeinsamen Standpunkt des Rates zur Festlegung gemeinsamer Regeln für die Kontrolle der Ausfuhr von Militärtechnologie und Militärgütern KI-gestützte Waffensysteme umfassend berücksichtigt und erfasst werden;

6. betont, dass Staaten, Konfliktparteien und Einzelpersonen, die KI-gestützte Systeme in der Kriegsführung einsetzen, jederzeit ihren Verpflichtungen und ihrer Verantwortung nach dem geltenden Völkerrecht nachkommen und für Handlungen, die sich aus der Nutzung solcher Systeme ergeben, rechenschaftspflichtig bleiben müssen; erinnert daran, dass Menschen weiterhin für beabsichtigte, unbeabsichtigte oder unerwünschte Wirkungen, die durch KI-gestützte Systeme auf dem Schlachtfeld verursacht werden, zur Rechenschaft gezogen werden; betont, dass die Entscheidung für eine tödliche Handlung mit Hilfe von Waffensystemen mit einem hohen Maß an Autonomie immer von menschlichen Akteuren getroffen werden muss, die eine angemessene Kontrolle und Aufsicht ausüben und das erforderliche Maß an Urteilsvermögen im Einklang mit

RR\1221412_ADs_DE.docx 27/55

DE

den Grundsätzen der Verhältnismäßigkeit und der Notwendigkeit zeigen; betont, dass KI-gestützte Systeme unter keinen Umständen menschliche Entscheidungen ersetzen dürfen;

7. betont, dass bei der Konzeption, Entwicklung, Erprobung und Einführung eines KI-gestützten Systems potenzielle Risiken insbesondere im Zusammenhang mit unbeabsichtigten Opfern und Verletzungen unter der Zivilbevölkerung, unfallbedingten Todesfällen und Schäden an der zivilen Infrastruktur, aber auch Risiken im Zusammenhang mit unbeabsichtigter Aktivierung, Manipulation, Verbreitung, Cyber-Angriffen oder Unterwanderung und Aneignung durch das organisierte Verbrechen und terroristische Gruppen gebührend berücksichtigt werden müssen, da diese zu eskalierenden destabilisierenden Auswirkungen führen, mit dem Ziel, unsere Gesellschaften, unser Militär und unsere Institutionen verwundbar zu machen;

8. ist besorgt darüber, dass nicht alle Mitglieder der internationalen Gemeinschaft einen auf den Menschen ausgerichteten regulatorischen KI-Ansatz verfolgen würden; fordert die EU und die Mitgliedstaaten nachdrücklich auf, die Entwicklung von KI-Technologien in autoritären Staaten zu bewerten, insbesondere von Technologien, die für militärische Zwecke und Überwachungszwecke eingesetzt werden, um die Einhaltung der von der EU erlassenen Vorschriften zu umgehen;

9. betont die Notwendigkeit robuster Test-, Bewertungs-, Zertifizierungs- und Überwachungssysteme auf der Grundlage von klaren rechtlichen und demokratischen Normen sowie klarer Sicherheitsbestimmungen, um sicherzustellen, dass die KI-gestützten Systeme und ihre Auswirkungen im militärischen Bereich während ihres gesamten Lebenszyklus, insbesondere während der Phasen der Mensch-Maschine-Interaktion, des maschinellen Lernens und der Abstimmung und Anpassung an neue Umstände, nicht über die vorgesehenen Grenzen hinausgehen und die Systeme jederzeit in einer Weise eingesetzt werden können, die dem geltenden Völkerrecht entspricht; ist der Ansicht, dass im Falle der Überschreitung dieser Grenzen in einem Operationsgebiet die zivilen oder militärischen Behörden, die die KI-gestützten Systeme eingesetzt haben, zur Verantwortung gezogen werden sollten;

10. hebt hervor, dass jedes KI-gestützte System, das im militärischen Bereich eingesetzt wird, mindestens in der Lage sein muss, zwischen Kämpfenden und Nichtkämpfenden auf dem Schlachtfeld und zwischen militärischen und zivilen Zielen zu unterscheiden und zu erkennen, wenn ein Kämpfender sich ergibt oder kampfunfähig ist, nicht unterschiedslos wirken, den Einsatz von Gewalt nicht individualisieren und nicht auf eine bestimmte Kategorie von Personen abzielen darf, Personen weder unnötiges Leid noch grausame oder erniedrigende Behandlungen zufügen darf, nicht voreingenommen sein oder auf der Grundlage verzerrter Daten trainiert werden darf und im Einklang mit den allgemeinen Grundsätzen des humanitären Völkerrechts der Humanität, der Unterscheidung, der Verhältnismäßigkeit, der Vorsorge und des Grundsatzes der militärischen Notwendigkeit vor dem Einsatz und bei Angriffen eingesetzt werden muss; unterstreicht, wie wichtig die Qualität von Algorithmen und Originaldaten und die Ex-ante-Überprüfung von Entscheidungsprozessen sind;

11. betont, dass bei der Nutzung von KI-gestützten Systemen in den Bereichen Sicherheit und Verteidigung ein umfassendes Lageverständnis des menschlichen Betreibers, die

28/55 RR\1221412_ADs_DE.docx

DE

Berechenbarkeit und Zuverlässigkeit der Fähigkeit des menschlichen Betreibers zur Erkennung möglicher Änderungen der Umstände und der Einsatzumgebung und dessen Fähigkeit, bei einem Angriff zu intervenieren oder einen Angriff einzustellen, erforderlich sind, um sicherzustellen, dass die Grundsätze des humanitären Völkerrechts, insbesondere die Unterscheidung, Verhältnismäßigkeit und Vorsichtsmaßnahmen bei Angriffen, in der gesamten Befehls- und Kontrollkette uneingeschränkt angewandt werden; betont, dass es der militärischen Führung bei KI-gestützten Systemen möglich sein muss, zu jeder Zeit eine angemessene Kontrolle auszuüben, ihrer Verantwortung in vollem Umfang gerecht zu werden und für alle Arten der Verwendung dieser Systeme rechenschaftspflichtig zu sein;

12. legt den Staaten nahe, eine Bewertung vorzunehmen, ob und wie autonome militärische Geräte zu ihrer nationalen Sicherheit beigetragen haben und wie ihre nationale Sicherheit von KI-gestützten Waffensystemen profitieren könnte, insbesondere im Hinblick auf das Potenzial solcher Technologien, die menschliche Entscheidungsfindung im Einklang mit dem humanitären Völkerrecht und dessen Grundsätzen zu unterstützen und zu verbessern; erinnert daran, dass es bei allen letalen autonomen Waffensystemen (LAWS) mit einem hohen Maß an Autonomie aufgrund von schlecht geschriebenen Codes oder Cyberangriffen vonseiten feindlicher Staaten oder nichtstaatlicher Akteure zu Fehlfunktionen kommen könnte;

13. verweist auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen; begrüßt in diesem Zusammenhang die Einigung zwischen Rat und Parlament, dass tödliche autonome Waffen, „die keine wirksame menschliche Kontrolle über die Entscheidungen über die Auswahl und den Angriff bei der Durchführung von Angriffen auf Menschen ermöglichen“ nicht für eine finanzielle Unterstützung durch den Europäischen Verteidigungsfonds infrage kommen;

14. fordert die Einrichtung einer Europäischen Agentur für künstliche Intelligenz, deren Mandat gemeinsame Standards, Zertifizierungs- und Überwachungsrahmen sowie eine starke bilaterale Zusammenarbeit mit der NATO bei der Einführung, der Entwicklung und beim Einsatz von KI im militärischen Bereich umfassen würde;

15. verweist auf seinen Standpunkt vom 12. September 2018 zu autonomen Waffensystemen, in dem es erklärt, dass Angriffe nicht ohne bedeutende Steuerung durch den Menschen ermöglicht werden dürfen; fordert den VP/HR, die Mitgliedstaaten und den Europäischen Rat auf, einen gemeinsamen Standpunkt zu autonomen Waffensystemen anzunehmen, der eine sinnvolle menschliche Kontrolle über die kritischen Funktionen von Waffensystemen, auch während des Einsatzes, gewährleistet; bekräftigt erneut seine Unterstützung für die VN-Gruppe von Regierungssachverständigen der Hohen Vertragsparteien des Übereinkommens der Vereinten Nationen über bestimmte konventionelle Waffen in Bezug auf ihre Arbeit zu letalen autonomen Waffensystemen (LAWS), da diese Gruppe nach wie vor das relevante internationale Forum für Diskussionen und Verhandlungen über die rechtlichen Herausforderungen durch autonome Waffensysteme ist; fordert, dass alle bestehenden multilateralen Bemühungen schneller vorangetrieben werden, damit die normativen und ordnungspolitischen Rahmenbedingungen mit der technologischen Entwicklung und neuen Methoden der Kriegsführung Schritt halten können; ruft den

RR\1221412_ADs_DE.docx 29/55

DE

VP/HR auf, sich im Rahmen der laufenden Diskussionen über die internationale Regelung von LAWS durch die Vertragsstaaten des VN-Waffenübereinkommens (CCW) weiterhin zu engagieren und dazu beizutragen, dass die Bemühungen im Hinblick auf die Entwicklung eines neuen globalen Regelungsrahmens und eines rechtsverbindlichen Instruments, das sich auf Definitionen, Konzepte und Merkmale der neuen Technologien im Bereich von LAWS sowie auf ethische und rechtliche Fragen der menschlichen Kontrolle konzentriert, insbesondere im Hinblick auf ihre kritischen Funktionen wie Zielauswahl und -bekämpfung, die Aufrechterhaltung der menschlichen Verantwortung und Rechenschaftspflicht und des erforderlichen Maßes an Mensch-Maschine-Interaktion, einschließlich des Konzepts der menschlichen Kontrolle und des menschlichen Urteilsvermögens, unverzüglich vorangetrieben werden, um die Einhaltung des humanitären Völkerrechts und der Menschenrechte in den verschiedenen Phasen des Lebenszyklus einer KI-gestützten Waffe zu gewährleisten, im Hinblick auf die Vereinbarung konkreter Empfehlungen für die Klärung, Prüfung und Entwicklung von Aspekten des normativen Rahmens in Bezug auf neue Technologien im Bereich von LAWS;

16. betont, dass die Europäische Union nach strategischer Widerstandsfähigkeit streben muss, damit sie in Krisenzeiten nie wieder unvorbereitet ist, und hebt hervor, dass dies insbesondere in Bezug auf künstliche Intelligenz und ihre Anwendung im militärischen Bereich von entscheidender Bedeutung ist; betont, dass die Lieferketten für militärische KI-Systeme, die zu technologischen Abhängigkeiten führen können, neu kalibriert werden sollten und dass solche Abhängigkeiten allmählich abgebaut werden sollten; fordert verstärkte Investitionen in die europäische KI im Verteidigungsbereich und in die ihr zugrunde liegende kritische Infrastruktur;

17. erkennt an, dass die gegenwärtige Dynamik des Rüstungswettlaufs zwischen den großen Militärnationen bei der Entwicklung von LAWS dem Fortschritt bei und der wirksamen, universellen Anwendung und Durchsetzung von gemeinsamen Regeln und Rechtsrahmen um Längen voraus ist, weil Informationen über die Entwicklung und der Einsatz dieser Systeme geheim sind und die Nationalstaaten ein ureigenes Interesse daran haben, die schnellsten und wirksamsten offensiven Fähigkeiten zu schaffen, unabhängig von den derzeitigen oder möglichen künftigen Rechtsrahmen oder Grundsätzen;

18. ist der Ansicht, dass es für die globale Sicherheit von entscheidender Bedeutung ist, über einen wirksamen Mechanismus zur Durchsetzung der Vorschriften über die Nichtverbreitung von LAWS und künftiger offensiver KI-gestützter Technologien zu verfügen;

30/55 RR\1221412_ADs_DE.docx

DE

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme 6.7.2020

Ergebnis der Schlussabstimmung +:–:0:

6064

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Alviina Alametsä, Alexander Alexandrov Yordanov, Maria Arena, Petras Auštrevičius, Traian Băsescu, Lars Patrick Berg, Anna Bonfrisco, Reinhard Bütikofer, Fabio Massimo Castaldo, Susanna Ceccardi, Włodzimierz Cimoszewicz, Katalin Cseh, Tanja Fajon, Anna Fotyga, Michael Gahler, Kinga Gál, Sunčana Glavak, Raphaël Glucksmann, Klemen Grošelj, Bernard Guetta, Márton Gyöngyösi, Sandra Kalniete, Karol Karski, Dietmar Köster, Andrius Kubilius, Ilhan Kyuchyuk, David Lega, Miriam Lexmann, Nathalie Loiseau, Antonio López-Istúriz White, Lukas Mandl, Thierry Mariani, David McAllister, Vangelis Meimarakis, Sven Mikser, Francisco José Millán Mon, Javier Nart, Gheorghe-Vlad Nistor, Urmas Paet, Kostas Papadakis, Tonino Picula, Manu Pineda, Kati Piri, Giuliano Pisapia, Diana Riba i Giner, Jérôme Rivière, María Soraya Rodríguez Ramos, Nacho Sánchez Amor, Isabel Santos, Jacek Saryusz-Wolski, Andreas Schieder, Radosław Sikorski, Sergei Stanishev, Tineke Strik, Hermann Tertsch, Hilde Vautmans, Harald Vilimsky, Idoia Villanueva Ruiz, Viola Von Cramon-Taubadel, Thomas Waitz, Witold Jan Waszczykowski, Charlie Weimers, Isabel Wiseler-Lima, Salima Yenbou, Željana Zovko

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Nikos Androulakis, Vladimír Bilčík, Marisa Matias, Juozas Olekas, Mick Wallace

RR\1221412_ADs_DE.docx 31/55

DE

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

60 +EPP Alexander Alexandrov Yordanov, Traian Băsescu, Michael Gahler, Kinga Gál, Sunčana Glavak, Sandra

Kalniete, Andrius Kubilius, David Lega, Miriam Lexmann, Antonio López-Istúriz White, David McAllister, Lukas Mandl, Vangelis Meimarakis, Francisco José Millán Mon, Gheorghe-Vlad Nistor, Radosław Sikorski, Isabel Wiseler-Lima, Željana Zovko, Vladimír Bilčík

S&D Maria Arena, Włodzimierz Cimoszewicz, Tanja Fajon, Raphaël Glucksmann, Sven Mikser, Tonino Picula, Kati Piri, Giuliano Pisapia, Nacho Sánchez Amor, Isabel Santos, Andreas Schieder, Sergei Stanishev, Nikos Androulakis Nikos, Juozas Olekas

RENEW Petras Auštrevičius, Katalin Cseh, KLemen Grošelj, Bernard Guetta, Ilhan Kyuchyuk, Nathalie Loiseau, Javier Nart, Urmas Paet, María Soraya Rodríguez Ramos, Hilde Vautmans

ID Anna Bonfrisco, Susanna Ceccardi

VERTS Alviina Alametsä, Reinhard Bütikofer, Diana Riba i Giner, Tineke Strik, Viola von Cramon-Taubadel, Thomas Waitz, Salima Yenbou

ECR Anna Fotyga, Karol Karski, Jacek Saryusz-Wolski, Hermann Tertsch, Witold Jan Waszczykowski, Charlie Weimers

NI Fabio Massimo Castaldo, Márton Gyöngyösi

6 -S&D Dietmar Köster

GUE Manu Pineda, Idoia Villanueva Ruiz, Marisa Matias, Mick Wallace

NI Kostas Papdakis

4 0ID Lars Patrick Berg, Thierry Mariani, Jérôme Rivière, Harald Vilimsky

Erklärung der benutzten Zeichen:+ : dafür- : dagegen0 : Enthaltung

32/55 RR\1221412_ADs_DE.docx

DE

7.7.2020

STELLUNGNAHME DES AUSSCHUSSES FÜR BINNENMARKT UND VERBRAUCHERSCHUTZ

für den Rechtsausschuss

zum Thema „Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit“(2020/2013(INI))

Verfasser der Stellungnahme: Andreas Schwab

VORSCHLÄGE

Der Ausschuss für Binnenmarkt und Verbraucherschutz ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

1. weist darauf hin, dass aus der Richtlinie (EU) 2018/958 hervorgeht, dass der Mensch stets die abschließende Verantwortung für Entscheidungen zu tragen hat, die die Verwirklichung der Ziele des Allgemeininteresses gefährden; betont, dass jede KI-Technologie der Aufsicht durch den Menschen unterliegen sollte; betont, dass ein auf den Menschen ausgerichteter Ansatz für die künstliche Intelligenz stets das ultimative Kontrollmuster bei der Auslegung und Anwendung der Rechtsvorschriften über künstliche Intelligenz sein sollte, um die Nutzung der künstlichen Intelligenz auf das Wohlergehen von Einzelpersonen oder Verbrauchergruppen und der gesamten Gesellschaft auszurichten;

2. ist der Ansicht, dass die EU darauf abzielen sollte, bei der Festsetzung von Standards für KI in einer hypervernetzten Welt eine Führungsrolle zu übernehmen, indem sie gegenüber ihren externen Partnern eine wirksame Strategie verfolgt und ihre Bemühungen um die Festlegung globaler ethischer Normen für KI auf internationaler Ebene im Einklang mit den Sicherheitsvorschriften und den Verbraucherschutzvorschriften sowie mit den europäischen Werten und Grundrechten fördert; ist der Auffassung, dass dies ferner für die Wettbewerbsfähigkeit und die Nachhaltigkeit der europäischen Unternehmen entscheidend ist; fordert die Kommission und die Mitgliedstaaten auf, die Zusammenarbeit mit Drittländern und internationalen Organisationen zu intensivieren und in einen breiteren Dialog einzutreten, um den Herausforderungen zu begegnen, die sich aus der Entwicklung dieser sich rasch

RR\1221412_ADs_DE.docx 33/55

DE

verändernden Technologie ergeben;

3. weist darauf hin, dass die Grundsätze der Nichtdiskriminierung und der Verhältnismäßigkeit gewahrt werden müssen und dass Fragen der Kausalität, der Haftung und der Verantwortung sowie der Transparenz, der Rechenschaftspflicht und der Erklärbarkeit geklärt werden müssen, um festzulegen, ob bzw. in welchem Umfang der Staat als Akteur im Völkerrecht, aber auch bei der Ausübung der eigenen Zuständigkeit mithilfe von KI-gestützten Systemen, die über eine gewisse Autonomie verfügen, handeln kann, ohne dass dabei gegen völkerrechtliche Verpflichtungen wie ein ordnungsgemäßes Verfahren verstoßen wird;

4. fordert die Mitgliedstaaten daher nachdrücklich auf, die Risiken im Zusammenhang mit KI-gestützten Technologien zu bewerten, wie etwa Risiken im Zusammenhang mit dem Schutz von Verbrauchern und von Dienstleistungsempfängern, bevor Tätigkeiten oder professionelle Dienstleistungen automatisiert werden, die mit der Ausübung der Zuständigkeit des Staates verbunden sind, wie etwa die geordnete Rechtspflege; fordert die Mitgliedstaaten auf, die Notwendigkeit zu prüfen, für Schutzmaßnahmen zu sorgen, wie sie in der Richtlinie (EU) 2018/958 vorgesehen sind, beispielsweise die Überwachung durch eine qualifizierte Fachkraft und Vorschriften über die Berufsethik; betont, dass die ordnungsgemäße Umsetzung und Durchführung dieser Richtlinie durch die Mitgliedstaaten erforderlich ist, und fordert die Kommission auf, die Angelegenheit aufmerksam zu verfolgen;

5. betont nachdrücklich, wie wichtig es ist, in menschliche Fähigkeiten zu investieren, einschließlich digitaler Kompetenzen, damit eine Anpassung an den wissenschaftlichen Fortschritt erfolgt, indem KI-gestützte Lösungen für Personen, die reglementierte Berufe ausüben, unter anderem Tätigkeiten im Zusammenhang mit der Ausübung der hoheitlichen Rechte wie etwa die Rechtspflege, herangezogen werden; fordert die Mitgliedstaaten und die Kommission auf, dem im Rahmen der Umsetzung der Richtlinie 2005/36/EG gebührend Rechnung zu tragen;

6. ist der Ansicht, dass die Entwicklung von KI im Hinblick auf intelligente Produkte oder Geräte ferner Möglichkeiten eröffnet, die weltweite Marktüberwachung zu verbessern und die Produktsicherheit und den Verbraucherschutz wirksamer und in großem Umfang anzugehen; fordert die Kommission daher auf, einen Lenkungs- und Marktüberwachungsmechanismus für KI-gestützte Systeme einzurichten, um den Behörden der Mitgliedstaaten Orientierungshilfen, Stellungnahmen und Fachwissen zur Verfügung zu stellen;

7. hebt hervor, dass Roboter, sofern sie unter die Definition des Begriffs „Maschine“ gemäß der Richtlinie 2006/42/EG fallen, im Einklang mit den darin vorgesehenen Standards und Sicherheitsmaßnahmen gestaltet und zusammengebaut werden sollten;

8. weist darauf hin, dass die NIS-Richtlinie ein gemeinsames europäisches Konzept für die Cybersicherheit und die Robustheit von Netz- und Informationssystemen vorsieht, um den Binnenmarkt und das Vertrauen der Verbraucher zu stärken; fordert die Mitgliedstaaten und die Kommission nachdrücklich auf, das Risiko von Cyberangriffen auf der Grundlage von KI-Technologien ernst zu nehmen, etwa wenn sie die Wirtschaft der EU untergraben, und massiv zu investieren, um ein hohes Maß an allgemeiner

34/55 RR\1221412_ADs_DE.docx

DE

digitaler Kompetenz zu erreichen und die Abhängigkeit von Verkäufern aus Drittländern zu verringern;

9. ist der Ansicht, dass die Behörden der Mitgliedstaaten, einschließlich ihrer regionalen und lokalen Gebietskörperschaften, und die Kommission KI-Technologien fördern sollten, die im Dienste der Menschen stehen; fordert die Mitgliedstaaten auf, in enger Zusammenarbeit mit der Kommission KI-Anwendungen zu entwickeln, die auf die Automatisierung und Vereinfachung von elektronischen Behördendiensten, beispielsweise in den Bereichen Steuerverwaltung, Zoll und Verbraucherschutz oder der Anmeldung grenzüberschreitender Geschäftstätigkeiten, ausgerichtet sind; fordert die Mitgliedstaaten nachdrücklich auf, auf die Vergabe öffentlicher Aufträge als ein Instrument zurückzugreifen, um die verantwortungsvolle Entwicklung von KI zugunsten von neuen Marktteilnehmern, Bürgern und Verbrauchern zu fördern; betont, dass erklärbare und tendenzfreie Algorithmen, die die Verpflichtung zu ausreichender Transparenz erfüllen, sowie die Verwendung offener Daten im Einklang mit der Richtlinie (EU) 2019/1024 über offene Daten und die Weiterverwendung von Informationen des öffentlichen Sektors von großer Bedeutung sind, um sicherzustellen, dass Unternehmen und Verbraucher in den Genuss besserer, zugänglicher, nichtdiskriminierender und zuverlässiger öffentlicher Dienstleistungen zu einem fairen Preis kommen und diesen vertrauen können.

RR\1221412_ADs_DE.docx 35/55

DE

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme 7.7.2020

Ergebnis der Schlussabstimmung +:–:0:

3914

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Alex Agius Saliba, Andrus Ansip, Alessandra Basso, Brando Benifei, Adam Bielan, Hynek Blaško, Biljana Borzan, Vlad-Marius Botoş, Markus Buchheit, Dita Charanzová, Deirdre Clune, David Cormand, Petra De Sutter, Carlo Fidanza, Evelyne Gebhardt, Alexandra Geese, Sandro Gozi, Maria Grapini, Svenja Hahn, Virginie Joron, Eugen Jurzyca, Arba Kokalari, Marcel Kolaja, Kateřina Konečná, Andrey Kovatchev, Jean-Lin Lacapelle, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Antonius Manders, Beata Mazurek, Leszek Miller, Kris Peeters, Anne-Sophie Pelletier, Christel Schaldemose, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Kim Van Sparrentak, Marion Walsmann, Marco Zullo

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Pascal Arimont, Maria da Graça Carvalho, Edina Tóth, Stéphanie Yon-Courtin

36/55 RR\1221412_ADs_DE.docx

DE

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

39 +EPP

S&D

RENEW

GREENS/EFA

ECR

EUL/NGL

NI

Pascal Arimont, Maria da Graça Carvalho, Deirdre Clune, Arba Kokalari, Andrey Kovatchev, Antonius Manders, Kris Peeters, Andreas Schwab, Tomislav Sokol, Ivan Štefanec, Edina Tóth, Marion Walsmann

Alex Agius Saliba, Brando Benifei, Biljana Borzan, Evelyne Gebhardt, Maria Grapini, Maria-Manuel Leitão-Marques, Adriana Maldonado López, Leszek Miller, Christel Schaldemose

Andrus Ansip, Vlad-Marius Botoş, Dita Charanzová, Sandro Gozi, Svenja Hahn, Stéphanie Yon-Courtin

David Cormand, Petra De Sutter, Alexandra Geese, Marcel Kolaja, Kim Van Sparrentak

Adam Bielan, Carlo Fidanza, Eugen Jurzyca, Beata Mazurek

Kateřina Konečná, Anne-Sophie Pelletier

Marco Zullo

1 -ID Hynek Blaško

4 0ID Alessandra Basso, Markus Buchheit, Virginie Joron, Jean-Lin Lacapelle

Erklärung der benutzten Zeichen:+ : dafür- : dagegen0 : Enthaltung

RR\1221412_ADs_DE.docx 37/55

DE

15.7.2020

STELLUNGNAHME DES AUSSCHUSSES FÜR VERKEHR UND TOURISMUS

für den Rechtsausschuss

zum Thema „Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und die Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit(2020/2013(INI))

Verfasser der Stellungnahme: Ondřej Kovařík

VORSCHLÄGE

Der Ausschuss für Verkehr und Tourismus ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

A. in der Erwägung, dass künstliche Intelligenz (KI) beispiellose Möglichkeiten bietet, die Leistungsfähigkeit des Verkehrssektors zu verbessern, indem die Herausforderungen einer steigenden Verkehrsnachfrage, der Sicherheit und des Umweltschutzes angegangen und gleichzeitig alle Verkehrsträger intelligenter, effizienter und bequemer gemacht werden;

B. in der Erwägung, dass der Umgang mit KI im Verteidigungsbereich auf EU-Ebene für die Entwicklung der Fähigkeiten der EU unerlässlich ist;

1. begrüßt das Weißbuch der Kommission zur KI und unterstützt das Bestreben der EU, weltweit zu den Marktführern im Bereich der KI zu gehören und gleichzeitig die Zusammenarbeit mit gleichgesinnten Akteuren zu verstärken;

2. weist darauf hin, dass die EU angesichts der zunehmenden Bedeutung von Forschung und Entwicklung im Privatsektor und der massiven Investitionen aus Drittländern wie den Vereinigten Staaten und China einem starken Wettbewerb ausgesetzt ist; unterstützt daher die Bemühungen der EU, ihre Wettbewerbsvorteile im KI-Sektor weiter auszubauen und vertritt die Auffassung, dass bei der Festsetzung von Standards für KI in den Bereichen der zivilen und militärischen Nutzung und der Zuständigkeit des Staates weltweit eine Führungsrolle übernehmen sollte und sich verstärkt um eine wirksame Strategie bemühen sollte, die darauf abzielt, den Einfluss der EU auf die Gestaltung globaler Standards zu stärken und die Abhängigkeit Europas von ausländischen Daten zu verringern, was für algorithmengestützte Technologien von wesentlicher Bedeutung ist; fordert die Kommission und die Mitgliedstaaten auf, sich für eine umfassendere Zusammenarbeit innerhalb der Vereinten Nationen, der OECD,

38/55 RR\1221412_ADs_DE.docx

DE

der G7, der G20 und anderer internationaler Foren einzusetzen, um den Ansatz der EU in Bezug auf KI zu fördern und dabei die in den EU-Verträgen, der Charta der Grundrechte der Europäischen Union und den internationalen Menschenrechtsnormen verankerten Grundrechte, -freiheiten und -werte hervorzuheben, wobei den ethischen Normen und Haftungsfragen Rechnung zu tragen ist;

3. nimmt das erhebliche wirtschaftliche Potenzial von KI-Anwendungen zur Kenntnis und fordert die Kommission daher auf, die KI-Forschung und den Austausch bewährter Verfahren im Verkehrsbereich weiter zu fördern; betont die Notwendigkeit einer innovativen, sektorübergreifenden Nutzung von Daten und der Zusammenarbeit zwischen verschiedenen Akteuren in einem Ökosystem, um die industrielle Basis der EU im Bereich KI zu stärken; betont, wie wichtig es ist, nicht nur KI-Technologien, sondern auch andere Technologien der nächsten Generation, wie Quantencomputer, zu berücksichtigen, die bereits erwogen werden und die nächste Stufe sektorübergreifender technologischer Fortschritte darstellen;

4. unterstützt die Nutzung von KI für maschinelles Lernen unter Verwendung von Big Data für die Optimierung der langfristigen Leistung, Wartung, Störungsvorhersage und Bauplanung von Verkehrsinfrastrukturen und Gebäuden, einschließlich Faktoren wie Energieeffizienz und Kosten; stellt fest, dass dies Voraussetzungen und unterstützende Infrastrukturen, einschließlich Energie für Hardware, Software, Netzwerkressourcen und -dienste, sowie die Gewährleistung einer hohen Qualität und Quantität der Daten erfordert; weist außerdem darauf hin, dass der Einsatz von KI im Verkehr, insbesondere in Fällen, in denen zivile und militärische Anwendungen miteinander verknüpft sind, im Einklang mit den EU-Rechtsvorschriften zum Datenschutz und zum Schutz der Privatsphäre stehen sollte; fordert die Kommission auf, im Bereich der Datensicherheit und des Datenschutzes weiterhin mit den Mitgliedstaaten zusammenzuarbeiten;

5. ist der Ansicht, dass sich die KI verändert hat und die Entwicklung und Modernisierung des Verkehrssektors durch eine stärkere Automatisierung und eine stärkere Integration und Vernetzung der Verkehrsnetze unterstützt hat; betont, dass die Automatisierung und die Integration der KI je nach Verkehrsträger und den in der gesamten Union bestehenden nationalen Infrastrukturen unterschiedlich sind; betont, dass die KI gefördert werden muss, um die Multimodalität, die Interoperabilität und die Energieeffizienz aller Verkehrsträger zu verbessern, die Effizienz bei der Organisation und Steuerung des Güter- und Personenverkehrs zu steigern, die Infrastruktur und Ressourcen entlang des Transeuropäischen Verkehrsnetzes (TEN-V) besser zu nutzen und die Hindernisse für die Schaffung eines echten einheitlichen europäischen Verkehrsraums abzubauen;

6. betont, dass eines der wichtigsten Ergebnisse des Weißbuchs der Kommission zur künstlichen Intelligenz darin besteht, ein auf den Menschen ausgerichtetes Konzept für KI-Systeme zu entwickeln; erinnert daran, dass der Faktor Mensch im Bereich der vollständigen Automatisierung nach wie vor von Bedeutung ist; betont, dass ausreichende Transparenz und Vorhersehbarkeit, verlässliche Technologie, ein hochwertiger Betrieb und eine angemessene Schulung sowie eine Weiterqualifizierung und Umschulung des Personals, das KI-gestützte Systeme nutzt, erforderlich sind; betont, dass die Nutzung der künstlichen Intelligenz für militärische Zwecke stets dazu führen sollte, dass eine natürliche oder juristische Person mit Verantwortung und

RR\1221412_ADs_DE.docx 39/55

DE

Rechenschaftspflicht den verantwortlichen Entscheidungsträgern zugewiesen wird, wobei die militärische Befehlskette zu berücksichtigen ist;

7. würdigt die Vorteile des Europäischen Eisenbahnverkehrsleitsystems (ERTMS), eines nahtlosen automatischen Zugsicherungssystems, das in Bezug auf Zuverlässigkeit, Kapazität, Kosten, Sicherheit, Geschwindigkeit und Wartung inkompatible nationale Zugsicherungssysteme ersetzt, und dessen vollständige Einführung für die Schaffung eines einheitlichen europäischen Eisenbahnraums von zentraler Bedeutung ist; unterstützt die vollständige Einführung des ERTMS und seine kontinuierliche Einrichtung als globales automatisches Zugsicherungssystem; nimmt die Arbeit des Gemeinsamen Unternehmens „Shift2Rail“ zur Kenntnis;

8. unterstützt die Entwicklung und internationale Standardisierung der Automatisierung des Zugbetriebs, auch zur Förderung der Interoperabilität, der Verkehrseffizienz und der Sicherheit; unterstützt die Entwicklung einer automatisierten Zuweisung von Zeitnischen für verschiedene Verkehrsträger und die Nutzung von KI in der Logistik und in anderen Verkehrsbereichen;

9. begrüßt die Arbeit im Rahmen des Projekts SESAR (ATM-Forschung für den einheitlichen europäischen Luftraum) im Bereich unbemannte Luftfahrzeugsysteme und Flugverkehrsmanagementsysteme, sowohl im zivilen als auch im militärischen Bereich, und seinen Beitrag zur Überwindung der Fragmentierung des einheitlichen europäischen Luftraums; weist darauf hin, dass sowohl die zivile als auch die militärische Nutzung unbemannter Luftfahrzeuge (UAV), die gemeinhin als Drohnen bezeichnet werden, zugenommen haben; hebt das Potenzial von, unter anderem, Drohnenlieferungen, Drohneninspektionen und Drohnenüberwachung für die Bürger und die Gesellschaft hervor; betont, dass globale Interoperabilität und Harmonisierung eine unabdingbare Voraussetzung für ein sicheres, funktionierendes und geschütztes globales Flugverkehrsmanagementsystem sind; fordert die Kommission und die Mitgliedstaaten auf, SESAR international zu fördern, einen Beitrag zur Arbeit internationaler Organisationen wie der Internationalen Zivilluftfahrt-Organisation oder des Internationalen Luftverkehrsverbands in dieser Hinsicht zu leisten und bei der Festlegung internationaler Normen für den zivilen und militärischen Einsatz von Drohnen zusammenzuarbeiten;

10. fordert die Kommission und die Mitgliedstaaten auf, sich an den internationalen Regulierungsmaßnahmen und Diskussionen über autonome Fahrzeuge, insbesondere im Bereich der Sicherheit, zu beteiligen und dabei die Zusammenarbeit zwischen den Regulierungsbehörden und allen Akteuren sicherzustellen, die für den Einsatz automatisierter Fahrzeuge im Straßenverkehr in der EU von Bedeutung sind; fordert standardisierte und interoperable geografische Eingabedaten und betont, dass diese Daten korrekt sein müssen;

11. weist darauf hin, dass autonome Fahrzeuge ein großes Potenzial haben, Mobilität und Sicherheit zu verbessern und Vorteile für die Umwelt zu bringen; begrüßt in diesem Zusammenhang, dass das Weltforum für die Harmonisierung der Regelungen für Kraftfahrzeuge der Wirtschaftskommission der Vereinten Nationen für Europa das Rahmendokument über automatisierte/autonome Fahrzeuge angenommen hat; nimmt die Arbeit des neuen technischen Ausschusses für KI der Internationalen Organisation

40/55 RR\1221412_ADs_DE.docx

DE

für Normung zur Kenntnis; fordert die Kommission auf, einen wirksamen Ansatz vorzuschlagen, um einen klaren internationalen Rechtsrahmen für das Konzept des Fahrers und relevante Fragen der Verantwortlichkeit und Haftung im Sinne der Übereinkommen der Vereinten Nationen und anderer internationaler Verkehrsgesetze zu gewährleisten;

12. weist darauf hin, dass sich die globale Schifffahrtsindustrie dank der KI-Integration in den letzten Jahren stark verändert hat; erinnert an die derzeitigen umfassenden Diskussionen in der Internationalen Seeschifffahrtsorganisation über die wirksame Integration neuer und neu entstehender Technologien wie autonomer Schiffe in den Rechtsrahmen;

13. betont, dass intelligente Verkehrssysteme die Verkehrsüberlastung verringern, die Sicherheit und die Barrierefreiheit verbessern und zu einer verbesserten Steuerung der Verkehrsströme, einer höheren Effizienz und besseren Mobilitätslösungen beitragen; weist darauf hin, dass traditionelle Verkehrsnetze zunehmend Cyberbedrohungen ausgesetzt sind; weist erneut darauf hin, wie wichtig Ressourcen und weitere Forschungsarbeiten zu Sicherheitsrisiken für die Gewährleistung der Sicherheit automatisierter Systeme und ihrer Daten sind; begrüßt die Absicht der Kommission, die Cybersicherheit als regelmäßigen Tagesordnungspunkt für die Erörterung in internationalen Verkehrsorganisationen aufzunehmen;

14. begrüßt die Bemühungen zur Einführung von KI-Systemen im öffentlichen Sektor und wird weitere Diskussionen über die Einführung von KI-Systemen im Verkehr unterstützen; fordert die Kommission auf, eine Bewertung der Verwendung von KI und vergleichbaren Technologien im Verkehrssektor vorzunehmen und eine nicht erschöpfende Liste von Hochrisikosegmenten im Zusammenhang mit KI-Systemen zu erstellen, die Entscheidungen im Rahmen der Prärogativen der öffentlichen Hand in diesem Bereich ersetzen;

15. betont, dass der Europäische Verteidigungsfonds und die Ständige Strukturierte Zusammenarbeit die Zusammenarbeit zwischen den Mitgliedstaaten und der europäischen Verteidigungsindustrie fördern sollten, um neue europäische Verteidigungsfähigkeiten im Bereich der KI zu entwickeln und die Versorgungssicherheit unter Berücksichtigung ethischer Erwägungen zu gewährleisten; betont, dass eine Fragmentierung vermieden werden muss, indem Brücken zwischen verschiedenen Akteuren und Anwendungsbereichen gebaut werden, indem Kompatibilität und Interoperabilität auf allen Ebenen gefördert und der Schwerpunkt auf gemeinsame Arbeiten im architektonischen Bereich und Plattformlösungen gelegt wird; weist ferner darauf hin, dass die nächste Fazilität „Connecting Europe“, mit der auch intelligente Infrastrukturen gefördert werden, einen Fonds für die Anpassung und Entwicklung ziviler/militärischer Verkehrsinfrastrukturen der TEN-T mit doppeltem Verwendungszweck vorsehen wird, um die Synergien zwischen dem Verteidigungsbedarf und dem transeuropäischen Verkehrsnetz (TEN-V) zu stärken und die zivile und militärische Mobilität innerhalb der Union zu verbessern; betont daher, dass weitere europäische Investitionen, Forschung und eine Führungsrolle bei Technologien erforderlich sind, die erhebliche Auswirkungen auf das Wirtschaftswachstum und ein erhebliches Potenzial im Hinblick auf einen doppelten Verwendungszweck haben;

RR\1221412_ADs_DE.docx 41/55

DE

16. betont, dass viele Investitionen in neue Technologien im Bereich Verkehr und Mobilität marktorientiert sind, dass kommerzielle Technologien und Produkte mit doppeltem Verwendungszweck jedoch häufig auf innovative Weise für militärische Zwecke eingesetzt werden; betont daher, dass das Potenzial mit doppeltem Verwendungszweck bei KI-gestützten Lösungen bei der Ausarbeitung von Normen für die Nutzung von KI in verschiedenen Bereichen des kommerziellen und militärischen Sektors berücksichtigt werden muss; fordert hohe ethische Standards und Strategien bei der Entwicklung von Technologien, Produkten und Funktionsweisen im Bereich der Verteidigung;

17. weist darauf hin, dass die wirksame Beförderung von Gütern, Munition, Rüstungsgütern und Truppen ein wesentlicher Bestandteil erfolgreicher Militäroperationen ist; betont, dass die KI in der Militärlogistik und bei Militärtransporten eine entscheidende Rolle spielen soll und zahlreiche Möglichkeiten haben wird; weist darauf hin, dass verschiedene Länder der Welt, einschließlich der EU-Mitgliedstaaten, KI-Waffen und andere KI-gestützte Systeme, die an Land, in der Marine und in der Luft eingesetzt werden, einbinden; weist darauf hin, dass die Anwendung von KI im Verkehrssektor neue Fähigkeiten schaffen und neue Taktiken ermöglichen könnte, wie die Kombination vieler Systeme wie Drohnen, unbemannte Boote oder Tanks in einer unabhängigen und koordinierten Operation;

18. stellt darüber hinaus fest, dass autonome Waffensysteme als eine besondere Kategorie von KI im militärischen Bereich auf internationaler Ebene erörtert und vereinbart werden sollten, insbesondere im Rahmen des VN-Forums zum Übereinkommen der Vereinten Nationen über bestimmte konventionelle Waffen; weist darauf hin, dass es im Rahmen der laufenden internationalen Debatte über letale autonome Waffensysteme zur Regulierung neuer militärischer Technologien bislang gelungen ist, eine Vereinbarung zu erzielen, und weist darauf hin, dass die EU als Ganzes erst kürzlich vereinbart hat, über die Auswirkungen der KI-Entwicklungen und der Digitalisierung auf den Verteidigungssektor zu beraten; ist der Ansicht, dass die EU eine entscheidende Rolle dabei spielen kann, die Mitgliedstaaten bei der Harmonisierung ihres Ansatzes in Bezug auf militärische KI zu unterstützen, um die internationalen Diskussionen zu leiten.

42/55 RR\1221412_ADs_DE.docx

DE

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme 14.7.2020

Ergebnis der Schlussabstimmung +:–:0:

3685

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Magdalena Adamowicz, Andris Ameriks, José Ramón Bauzá Díaz, Izaskun Bilbao Barandica, Marco Campomenosi, Ciarán Cuffe, Jakop G. Dalunde, Johan Danielsson, Andor Deli, Karima Delli, Anna Deparnay-Grunenberg, Ismail Ertug, Gheorghe Falcă, Giuseppe Ferrandino, Mario Furore, Søren Gade, Isabel García Muñoz, Jens Gieseke, Elsi Katainen, Kateřina Konečná, Elena Kountoura, Julie Lechanteux, Bogusław Liberadzki, Benoît Lutgen, Elżbieta Katarzyna Łukacijewska, Marian-Jean Marinescu, Tilly Metz, Giuseppe Milazzo, Cláudia Monteiro de Aguiar, Caroline Nagtegaal, Jan-Christoph Oetjen, Philippe Olivier, Rovana Plumb, Dominique Riquet, Dorien Rookmaker, Massimiliano Salini, Sven Schulze, Barbara Thaler, István Ujhelyi, Elissavet Vozemberg-Vrionidi, Lucia Vuolo, Roberts Zīle, Kosma Złotowski

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Leila Chaibi, Markus Ferber, Carlo Fidanza, Maria Grapini, Roman Haider, Alessandra Moretti

RR\1221412_ADs_DE.docx 43/55

DE

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

36 +ECR Angel Dzhambazki, Carlo Fidanza, Roberts Zīle, Kosma Złotowski

NI Mario Furore, Dorien Rookmaker

PPE Magdalena Adamowicz, Andor Deli, Gheorghe Falcă, Markus Ferber, Jens Gieseke, Benoît Lutgen, Marian-Jean Marinescu, Giuseppe Milazzo, Cláudia Monteiro de Aguiar, Massimiliano Salini, Barbara Thaler, Elissavet Vozemberg-Vrionidi, Elżbieta Katarzyna Łukacijewska

Renew José Ramón Bauzá Díaz, Izaskun Bilbao Barandica, Søren Gade, Elsi Katainen, Caroline Nagtegaal, Jan-Christoph Oetjen, Dominique Riquet

S&D Andris Ameriks, Johan Danielsson, Ismail Ertug, Giuseppe Ferrandino, Isabel García Muñoz, Maria Grapini, Bogusław Liberadzki, Alessandra Moretti, Rovana Plumb, István Ujhelyi

8 -GUE/NGL Leila Chaibi, Kateřina Konečná, Elena Kountoura

Verts/ALE Ciarán Cuffe, Jakop G. Dalunde, Karima Delli, Anna Deparnay-Grunenberg, Tilly Metz

5 0ID Marco Campomenosi, Roman Haider, Julie Lechanteux, Philippe Olivier, Lucia Vuolo

Erklärung der benutzten Zeichen:+ : dafür- : dagegen0 : Enthaltung

44/55 RR\1221412_ADs_DE.docx

DE

23.11.2020

STELLUNGNAHME DES AUSSCHUSSES FÜR BÜRGERLICHE FREIHEITEN, JUSTIZ UND INNERES

für den Rechtsausschuss

zu künstlicher Intelligenz; Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit(2020/2013(INI))

Verfasser der Stellungnahme: Patryk Jaki

VORSCHLÄGE

Der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres ersucht den federführenden Rechtsausschuss, folgende Vorschläge in seinen Entschließungsantrag zu übernehmen:

– unter Hinweis auf Artikel 2 und 3 des Vertrags über die Europäische Union (EUV),

– unter Hinweis auf die Artikel 10, 19, 21 und 167 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV),

– unter Hinweis auf das in den Artikeln 20 und 227 AEUV und Artikel 44 der Charta der Grundrechte der Europäischen Union verankerte Petitionsrecht,

– unter Hinweis auf die Artikel 21 und 22 der Charta der Grundrechte der Europäischen Union,

– unter Hinweis auf die Präambel zum EUV,

– unter Hinweis auf das Rahmenübereinkommen des Europarats zum Schutz nationaler Minderheiten, das Protokoll Nr. 12 zur Konvention zum Schutz der Menschenrechte und Grundfreiheiten und die Europäische Charta der Regional- oder Minderheitensprachen,

– unter Hinweis auf die Richtlinie 2000/43/EG des Rates vom 29. Juni 2000 zur Anwendung des Gleichbehandlungsgrundsatzes ohne Unterschied der Rasse oder der ethnischen Herkunft11,

– unter Hinweis auf die Richtlinie 2000/78/EG des Rates vom 27. November 2000 zur 11ABl. L 180 vom 19.7.2000, S. 22.

RR\1221412_ADs_DE.docx 45/55

DE

Festlegung eines allgemeinen Rahmens für die Verwirklichung der Gleichbehandlung in Beschäftigung und Beruf12,

– unter Hinweis auf die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung – DSGVO)13 und die Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates14,

– unter Hinweis auf die Mitteilung der Kommission an das Europäische Parlament, den Europäischen Rat, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen vom 11. Dezember 2019 zum europäischen Grünen Deal,

– unter Hinweis auf seine Entschließung vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik15,

– unter Hinweis auf die Empfehlung des OECD-Rates zur künstlichen Intelligenz, die am 22. Mai 2019 angenommen wurde,

– unter Hinweis auf seine Entschließung vom 12. September 2018 zu autonomen Waffensystemen16,

A. in der Erwägung, dass die Entwicklung und Gestaltung der so genannten künstlichen Intelligenz, der Robotik und damit zusammenhängender Technologien durch Menschen erfolgt, deren Entscheidungen über den potenziellen Nutzen dieser Technologien für die Gesellschaft bestimmen;

B. in der Erwägung, dass ethische Leitlinien wie die von der hochrangigen Expertengruppe für künstliche Intelligenz angenommenen Grundsätze ein guter Anfang sind, jedoch nicht ausreichen, um sicherzustellen, dass Unternehmen fair handeln, und um für einen wirksamen Schutz von Einzelpersonen zu sorgen;

1. erkennt die Chancen und Risiken an, die mit der Entwicklung, Einführung und Anwendung künstlicher Intelligenz (KI) für die Sicherheit sowohl im Inneren der EU als auch in ihren Außenbeziehungen einhergehen; weist darauf hin, dass viele Mitgliedstaaten KI sowohl im zivilen als auch im militärischen Bereich nutzen, und betont, dass die EU bei künftigen Diskussionen auf internationaler Ebene über diese Themen eine bedeutende und angemessene Rolle spielen muss;

2. nimmt die regulatorischen Fortschritte zur Kenntnis, die einige Mitgliedstaaten bereits im Bereich der KI erzielt haben; betont, wie wichtig ein gemeinsamer europäischer

12ABl. L 303 vom 2.12.2000, S. 16.13ABl. L 119 vom 4.5.2016, S. 1.14ABl. L 119 vom 4.5.2016, S. 89.15ABl. C 252 vom 18.7.2018, S. 239.16ABl. C 433 vom 23.12.2019, S. 86.

46/55 RR\1221412_ADs_DE.docx

DE

Ansatz ist, mit dem die rechtliche Situation in den Mitgliedstaaten harmonisiert und denjenigen, die KI entwickeln und einführen, Rechtssicherheit geboten wird;

3. betont, dass bei der Entwicklung, Einführung, Nutzung und Verwaltung von KI die in den EU-Verträgen verankerten Grundrechte, Werte und Freiheiten geachtet werden müssen, und fordert die Mitgliedstaaten auf, KI-Systeme mit hohem Risiko, die eine Bedrohung für die Grundrechte darstellen, nicht einzusetzen; nimmt die Veröffentlichung des Weißbuchs der Kommission zur künstlichen Intelligenz zur Kenntnis und fordert eine eingehendere Untersuchung der potenziellen Gefährdung der Grundrechte, die mit der Nutzung von KI durch staatliche Behörden sowie durch die Organe, Einrichtungen und sonstigen Stellen der Europäischen Union einhergeht;

4. betont, dass die EU zur Nutzung der mit KI einhergehenden Chancen einen geeigneten Rahmen annehmen sollte, um ihre Risiken einzuschränken, ihre ethisch einwandfreie Nutzung sicherzustellen und ihre Nutzung für böswillige Zwecke zu verhindern; ist der Ansicht, dass in einem solchen Rahmen auf eindeutige Weise angemessene Regelungen in Bezug auf die Haftung, Rechenschaftspflicht, Sicherheit und Rückverfolgbarkeit festgelegt werden sollten; betont, welch wichtige Rolle der EU bei der Förderung der Entwicklung dringend benötigter Investitionen, der Dateninfrastruktur, der Forschung und gemeinsamer ethischer Normen zukommt;

5. betont, dass die EU bei der Erarbeitung eines internationalen rechtlichen und ethischen Rahmens für Forschung und Entwicklung, Herstellung, Nutzung und Wartung im Bereich der KI, dem die Grundsätze der Menschenrechte zugrunde liegen und mit dem sich potenzielle Risiken bekämpfen und beseitigen lassen, eine Vorreiterrolle übernehmen muss; hält es für notwendig, eine klare und faire internationale Regelung zu schaffen, aus der hervorgeht, wer für nachteilige Folgen, die von diesen hoch entwickelten digitalen Technologien ausgehen können, rechtlich verantwortlich ist; betont, dass das Ziel in erster Linie darin bestehen muss, solchen Folgen vorzubeugen;

6. fordert die Kommission auf, die Erforschung der Möglichkeiten des Einsatzes von KI im Zusammenhang mit der Katastrophenhilfe, der Krisenprävention und der Wahrung des Friedens sowie den Diskurs darüber zu erleichtern;

7. weist darauf hin, dass menschliche Entscheidungen mit eindeutigen Risiken behaftet sind, wenn sie unter ausschließlicher Bezugnahme auf von Maschinen generierte Daten, Profile und Empfehlungen getroffen werden; weist darauf hin, dass die Gesamtkonzeption von KI-gestützten Systemen auch Leitlinien für die menschliche Aufsicht und Kontrolle umfassen sollte; fordert, dass Bestimmungen über die Transparenz und Erklärbarkeit von Algorithmen und die Notwendigkeit menschlicher Eingriffe sowie weitere Maßnahmen wie unabhängige Prüfungen und spezifische Stresstests eingeführt werden, um die Einhaltung der Vorschriften zu unterstützen und durchzusetzen; betont, dass solche Prüfungen regelmäßig von einer unabhängigen Behörde durchgeführt werden sollten, um die von staatlichen Behörden oder dem Militär genutzten KI-gestützten Anwendungen mit hohem Risiko zu überwachen;

8. nimmt Bedenken zur Kenntnis, dass KI bei einer unsachgemäßen Konzipierung und Entwicklung zu Verzerrungen und Diskriminierung führen kann; verpflichtet sich, regulatorische und politische Lösungen zu finden, um sicherzustellen, dass

RR\1221412_ADs_DE.docx 47/55

DE

Diskriminierungen durch den Einsatz bestehender und neu entstehender Technologien nicht verstärkt, sondern vielmehr beseitigt werden;

9. weist darauf hin, dass Vorhersagen auf der Grundlage der Verarbeitung, des Austausches und der Nutzung von Daten und des Zugangs zu ihnen den für Qualität, Integrität, Transparenz, Sicherheit, Schutz der Privatsphäre und Kontrolle geltenden Anforderungen unterliegen müssen; betont, dass bei der Entwicklung, der Einführung und der Nutzung von KI, Robotik und damit zusammenhängenden Technologien der Rechtsrahmen der EU für Datenschutz und den Schutz der Privatsphäre geachtet werden muss, damit die Sicherheit der Bürger erhöht und ihr Vertrauen in diese Technologien gestärkt wird;

10. beobachtet eine rasche Entwicklung von KI-gestützten Anwendungen zur Erkennung einzigartiger charakteristischer Merkmale wie beispielsweise von Gesichtszügen, Bewegungen und Einstellungen; warnt, dass die Nutzung von Anwendungen zur automatisierten Personenerkennung Probleme hinsichtlich des Eingriffes in die Privatsphäre, des Diskriminierungsverbots und des Schutzes personenbezogener Daten verursachen kann;

11. betont, dass jede Entscheidung über eine natürliche Person, die ausschließlich auf automatischen Verarbeitungen, einschließlich Profilerstellungen, beruht und die eine nachteilige Rechtswirkung für die betroffene Person hat oder sie erheblich beeinträchtigt, nach dem Unionsrecht verboten ist, es sei denn, sie ist durch das Unionsrecht oder das Recht eines Mitgliedstaats zugelassen und unterliegt dabei geeigneten Maßnahmen zum Schutz der Daten, der Freiheiten und berechtigter Interessen der betroffenen Person;

12. fordert, dass Algorithmen erklärbar und transparent sein und einer Regulierungsaufsicht unterliegen müssen, wenn künstliche Intelligenz von Behörden genutzt wird, und dass Folgenabschätzungen durchgeführt werden, bevor staatliche Behörden Instrumente einsetzen, die auf KI-gestützten Technologien beruhen; fordert die Kommission und den Europäischen Datenschutzausschuss auf, Leitlinien, Empfehlungen und bewährte Verfahren herauszugeben, mit denen die Kriterien und Bedingungen für Entscheidungen, die auf der Grundlage von Profilerstellungen getroffen werden, und für den Einsatz von KI durch öffentliche Einrichtungen genauer festgelegt werden;

13. fordert transparente und risikomindernde Maßnahmen auf internationaler Ebene in Bezug auf die Entwicklung und den Einsatz von KI für militärische Zwecke, insbesondere im Hinblick auf die Grundsätze der territorialen Integrität und der Nichteinmischung sowie hinsichtlich der Anwendung von Gewalt; betont, dass bei der Behandlung rechtlicher und ethischer Fragen im europäischen Rahmen für KI auch die militärischen Aspekte der KI berücksichtigt werden müssen; verweist auf seinen Standpunkt zu einem Verbot der Entwicklung, Herstellung und Verwendung letaler autonomer Waffensysteme; bedauert, dass es auf globaler Ebene keine Übereinkommen gibt, in denen es explizit um den Einsatz solcher Waffen geht;

48/55 RR\1221412_ADs_DE.docx

DE

14. weist darauf hin, dass bestimmte KI-gestützte Technologien die Automatisierung der Informationsverarbeitung und von Informationsmaßnahmen in einem noch nie da gewesenen Ausmaß ermöglichen, z. B. in Form von Massenüberwachung im zivilen und militärischen Bereich, die eine Gefahr für die Grundrechte darstellt und den Weg für unerlaubte Eingriffe in die nationale Souveränität ebnet; fordert, dass Maßnahmen zum Zweck der Massenüberwachung einer Kontrolle gemäß den völkerrechtlichen Standards für die Rechtsprechung und -durchsetzung unterworfen werden; ist zutiefst besorgt darüber, dass einige in hohem Maße eingreifende Anwendungen zur Bewertung des sozialen Verhaltens („Social Scoring“) entwickelt wurden, die die Achtung der Grundrechte erheblich gefährden; fordert, dass der groß angelegte Einsatz von Anwendungen zur Bewertung des sozialen Verhaltens durch öffentliche Behörden mit dem Ziel, die Rechte der Bürger einzuschränken, ausdrücklich verboten wird; fordert angesichts dessen, dass einige private Akteure bei Entscheidungen über die Entwicklung solcher Technologien eine Vormachtstellung genießen und diese Entscheidungen kontrollieren, dass die Rechenschaftspflicht dieser privaten Akteure im Rahmen des Völkerrechts gestärkt wird;

15. fordert die Kommission auf, die Auswirkungen eines Moratoriums für die Nutzung von Gesichtserkennungssystemen zu bewerten und abhängig von den Ergebnissen einer solchen Bewertung ein Moratorium für die Nutzung derartiger Systeme durch Behörden im öffentlichen Raum und in für Bildung und Gesundheitsversorgung vorgesehenen Räumlichkeiten sowie für die Nutzung von Gesichtserkennungssystemen durch Strafverfolgungsbehörden in halböffentlichen Räumen wie Flughäfen in Betracht zu ziehen, bis die technischen Standards als vollständig mit den Grundrechten vereinbar angesehen werden können, die abgeleiteten Ergebnisse nicht verzerrt und nicht diskriminierend sind und strenge Vorkehrungen zum Schutz vor Missbrauch und zur Sicherstellung dessen bestehen, dass der Einsatz solcher Technologien notwendig und verhältnismäßig ist;

16. ist der Ansicht, dass künstliche Intelligenz, Robotik und damit zusammenhängende Technologien, einschließlich der von solchen Technologien genutzten oder erstellten Software, Algorithmen und Daten, unabhängig von dem Bereich, in dem sie zum Einsatz kommen, auf sichere und in technischer Hinsicht gründliche Weise entwickelt werden sollten;

17. betont, dass eine ordnungsgemäße Einführung und Nutzung von KI ermöglicht werden muss; fordert die Mitgliedstaaten auf, ihr ziviles und militärisches Personal angemessen zu schulen, so dass es in der Lage ist, Diskriminierungen und Verzerrungen in Datensätzen sicher zu erkennen und zu verhindern;

18. weist darauf hin, dass die Nutzung von KI zur Bekämpfung von Kriminalität und Cyberkriminalität ein breites Spektrum an Möglichkeiten und Chancen eröffnen könnte, dass aber der Grundsatz, dass das, was offline illegal ist, auch online illegal ist, auch weiterhin gelten sollte;

19. ist zutiefst besorgt, dass Deepfake-Technologien die Erstellung immer realistischerer Foto-, Audio- und Videofälschungen ermöglichen, die zur Erpressung, zur Generierung von Falschmeldungen, zur Schwächung des Vertrauens der Öffentlichkeit und zur Beeinflussung des öffentlichen Diskurses eingesetzt werden könnten; ist der

RR\1221412_ADs_DE.docx 49/55

DE

Überzeugung, dass mit derartigen Praktiken potenziell Länder destabilisiert, Desinformationen verbreitet und Wahlen beeinflusst werden können; fordert daher, dass die Urheber von sämtlichen Deepfake-Materials und anderer realistisch wirkender künstlicher Videos dazu verpflichtet werden anzugeben, dass es sich nicht um Originalaufnahmen handelt, und dass die Nutzung solchen Materials im Zusammenhang mit Wahlen stark eingeschränkt wird und für eine strikte Durchsetzung dieser Regeln gesorgt wird; fordert, dass hierzu angemessene Forschungstätigkeiten durchgeführt werden, damit die Technologien zur Bekämpfung der böswilligen Nutzung von KI mit letzterer Schritt halten;

20. betont, dass durch die Nutzung von KI im Justizsystem die Analyse und Erhebung von Daten und der Schutz der Opfer verbessert werden könnten, dass dies im Rahmen von Forschung und Entwicklung untersucht werden könnte und dass dazu entsprechende Folgenabschätzungen erstellt werden sollten, insbesondere in Bezug auf die Garantien für ein ordnungsgemäßes Verfahren und zur Verhinderung von Verzerrungen und Diskriminierungen, wobei das Vorsorgeprinzip anzuwenden ist; weist jedoch erneut darauf hin, dass keine Menschen durch KI ersetzt werden dürfen, wenn es um das Fällen von Urteilen oder das Treffen von Entscheidungen geht;

21. betont, dass der Cybersicherheit im Zusammenhang mit KI große Bedeutung zukommt, sowohl in offensiven als auch in defensiven Szenarien; weist in diesem Zusammenhang auf die Bedeutung der internationalen Zusammenarbeit und der Veröffentlichung und des Austauschs von Informationen über Schwachstellen und Abhilfemaßnahmen im Bereich der IT-Sicherheit hin; fordert eine internationale Zusammenarbeit im Bereich der Cybersicherheit, um KI wirksam zu nutzen und einzuführen, und Maßnahmen zum Schutz vor einer missbräuchlichen Nutzung von KI und vor Cyberangriffen; weist darüber hinaus auf den doppelten (zivilen und militärischen) Verwendungszweck von IT-Systemen und KI hin und fordert seine wirksame Regulierung;

22. fordert die Mitgliedstaaten auf zu prüfen, ob hinsichtlich der Nutzung von KI Schutzmaßnahmen, beispielsweise berufsethische Regeln, vorgesehen werden müssen; fordert die Kommission auf, klare Kriterien festzulegen, um verschiedene Risikoniveaus für die Bereiche festzulegen, für die auf KI beruhende Technologien konzipiert werden und in denen sie eingeführt werden, wobei die bestehenden EU-Rechtsvorschriften zu berücksichtigen sind;

23. betont, dass überprüft werden muss, wie risikoreiche, auf KI beruhende Technologien zu Entscheidungen gelangen; weist erneut darauf hin, dass der Grundsatz der Verhältnismäßigkeit gewahrt werden muss und dass Fragen der Kausalität und Haftung geklärt werden müssen;

24. weist auf die Bedeutung der Grundsätze der Governance, der Transparenz, der Unparteilichkeit, der Rechenschaftspflicht, der Fairness und der geistigen Integrität bei der Nutzung von KI in der Strafgerichtsbarkeit hin;

50/55 RR\1221412_ADs_DE.docx

DE

25. fordert die Mitgliedstaaten daher nachdrücklich auf, die mit KI-gestützten Technologien einhergehenden Risiken zu bewerten, bevor Tätigkeiten automatisiert werden, die mit der Ausübung staatlicher Zuständigkeiten, insbesondere im justiziellen Bereich, im Zusammenhang stehen; fordert sie auf zu prüfen, ob Schutzmaßnahmen, beispielsweise die Überwachung durch qualifizierte Fachkräfte und berufsethische Regeln, vorgesehen werden müssen.

RR\1221412_ADs_DE.docx 51/55

DE

ANGABEN ZUR ANNAHME IM MITBERATENDEN AUSSCHUSS

Datum der Annahme 17.11.2020

Ergebnis der Schlussabstimmung +:–:0:

5640

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Malik Azmani, Pietro Bartolo, Nicolas Bay, Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Patrick Breyer, Saskia Bricmont, Jorge Buxadé Villalba, Damien Carême, Caterina Chinnici, Clare Daly, Anna Júlia Donáth, Lena Düpont, Cornelia Ernst, Laura Ferrara, Nicolaus Fest, Jean-Paul Garraud, Maria Grapini, Sylvie Guillaume, Andrzej Halicki, Evin Incir, Patryk Jaki, Marina Kaljurand, Assita Kanko, Fabienne Keller, Peter Kofod, Łukasz Kohut, Alice Kuhnke, Moritz Körner, Jeroen Lenaers, Juan Fernando López Aguilar, Nuno Melo, Nadine Morano, Javier Moreno Sánchez, Maite Pagazaurtundúa, Nicola Procaccini, Emil Radev, Terry Reintke, Diana Riba i Giner, Ralf Seekatz, Birgit Sippel, Tineke Strik, Ramona Strugariu, Annalisa Tardino, Tomas Tobé, Dragoş Tudorache, Tom Vandendriessche, Bettina Vollath, Jadwiga Wiśniewska, Elena Yoncheva, Javier Zarzalejos, Sophia in ’t Veld, Michal Šimečka

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Malin Björk, Delara Burkhardt, Klára Dobrev, Rasa Juknevičienė, Kris Peeters, Karlo Ressler

52/55 RR\1221412_ADs_DE.docx

DE

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

56 +PPE Vladimír Bilčík, Vasile Blaga, Ioan-Rareş Bogdan, Lena Düpont, Andrzej Halicki, Rasa Juknevičienė, Jeroen

Lenaers, Nuno Melo, Kris Peeters, Emil Radev, Karlo Ressler, Ralf Seekatz, Tomas Tobé, Javier Zarzalejos

S&D Pietro Bartolo, Delara Burkhardt, Caterina Chinnici, Klára Dobrev, Maria Grapini, Sylvie Guillaume, Evin Incir, Marina Kaljurand, Łukasz Kohut, Juan Fernando López Aguilar, Javier Moreno Sánchez, Birgit Sippel, Bettina Vollath, Elena Yoncheva

Renew Malik Azmani, Anna Júlia Donáth, Fabienne Keller, Moritz Körner, Maite Pagazaurtundúa, Ramona Strugariu, Dragoş Tudorache, Sophia in ’t Veld, Michal Šimečka

ID Nicolas Bay, Nicolaus Fest, Jean-Paul Garraud, Peter Kofod, Annalisa Tardino, Tom Vandendriessche

Verts/ALE Patrick Breyer, Saskia Bricmont, Damien Carême, Alice Kuhnke, Terry Reintke, Diana Riba i Giner, Tineke Strik

ECR Jorge Buxadé Villalba, Patryk Jaki, Assita Kanko, Nicola Procaccini, Jadwiga Wiśniewska

NI Laura Ferrara

4 -PPE Nadine Morano

GUE/NGL Malin Björk, Clare Daly, Cornelia Ernst

0 0

Erklärung der benutzten Zeichen:+ : dafür- : dagegen0 : Enthaltung

RR\1221412_ADs_DE.docx 53/55

DE

ANGABEN ZUR ANNAHME IM FEDERFÜHRENDEN AUSSCHUSS

Datum der Annahme 10.12.2020

Ergebnis der Schlussabstimmung +:–:0:

1640

Zum Zeitpunkt der Schlussabstimmung anwesende Mitglieder

Gunnar Beck, Geoffroy Didier, Angel Dzhambazki, Ibán García Del Blanco, Jean-Paul Garraud, Esteban González Pons, Sergey Lagodinsky, Gilles Lebreton, Karen Melchior, Jiří Pospíšil, Franco Roberti, Marcos Ros Sempere, Stéphane Séjourné, Raffaele Stancanelli, Adrián Vázquez Lázara, Axel Voss, Marion Walsmann, Tiemo Wölken

Zum Zeitpunkt der Schlussabstimmung anwesende Stellvertreter

Daniel Buda, Pascal Durand, Heidi Hautala, Emmanuel Maurel, Sabrina Pignedoli, Bettina Vollath

Zum Zeitpunkt der Schlussabstimmung anwesende Stellv. (Art. 209 Abs. 7)

Juan Ignacio Zoido Álvarez

54/55 RR\1221412_ADs_DE.docx

DE

NAMENTLICHE SCHLUSSABSTIMMUNG IM MITBERATENDEN AUSSCHUSS

16 +EPP Daniel Buda, Geoffroy Didier, Esteban González Pons, Jiří Pospíšil, Axel Voss, Marion Walsmann, Juan Ignacio

Zoido Álvarez

RENEW Karen Melchior, Adrián Vázquez Lázara

ID Gunnar Beck, Jean-Paul Garraud, Gilles Lebreton

VERTS/ALE Heidi Hautala

ECR Angel Dzhambazki, Raffaele Stancanelli

NI Sabrina Pignedoli

4 -RENEW Pascal Durand, Stéphane Séjourné

GREENS/EFA Sergey Lagodinsky

GUE/NGL Emmanuel Maurel

0 0

Erklärung der benutzten Zeichen:+ : dafür- : dagegen0 : Enthaltung

RR\1221412_ADs_DE.docx 55/55

DE