12/8/2018
1
Klaus Kornwachs Universität Ulm, acatech München, Berlin,
Büro für Kultur und Technik, Argenbühl
Kritik der Autonomie –
Warum Maschinen nicht
eigenständig agieren sollten
Dienstag, 11. Dezember 2018 Wien, Salmgasse 6
1. Intelligente und ressourcenschonende Energiespeichersysteme 41,75%* 86**
2. Künstliche Intelligenz in Produkten und Produktionssystemen 35,92% 74
3. E-Health und Big Data in der Medizin 31,55% 65
4. Circular Economy 30,58% 63
5. Security und Resilience in intelligenten, vernetzten Systemen 30,10% 62
6. Automatisiertes und autonomes Fahren 25,24% 52
7. Quantentechnologien 19,42% 40
8. Advanced Systems Engineering (ASE) 17,96% 37
9. Additive Fertigung in Wertschöpfungsnetzwerken 17,48% 36
10. Nachhaltige Agrartechnologien 16,99% 35 …………………………………………….
16. Technikakzeptanz / Technikakzeptabilität & sektorale Wirkungsanalysen 11,17% 23
18. Technikethik 10,68% 22
* Anteil % der Befragten (206) ** Absolute Anzahl der abgegebenen Stimmen
Technikthemenumfrage Stand 18.10.2018 Top 10 gesamt: Mitglieder und Senatoren
12/8/2018
2
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
12/8/2018
3
5
Konvergenz:
Kohärente Technologien bilden eine gemeinsame Technologie
T2
Mechanisch
es Uhrwerk
Elektromagne-
tisches Uhrwerk
T1 conj T2
T1
Elektromag-
netischer
Motor
Roboter sind “Kinder” von Konvergenzprozessen
Communication
Technology Analog Circuits and Wires
High Frequency
Technology Electromagnetic Waves
Computer Technology Incl. Software Technology
ICT or I
World Wide
Communication
Digitalisierung (Nyquist 1928)
Convergences on the Technological Level
12/8/2018
4
Brain Research
Neuroscience
Cognitive Science
Artificial
Intelligence
Software-
technologie
Computer-
technologie
Mechanik Elektronik Sensorik
Aktorik
Robotik
Netz-
technologie
Konvergenz zu quasi-autonomen Systemen
Future Unknown
Technology ?
Neuro-
computing
8
Convergences on the Technological Level
C N
I B Process
Engineering
Molecular Design
NBIC Technology PM Technology
Das Design des Produkts steuert den eigenen Produktionsprozess, optimiert ihn, kontrolliert
die Benutzung und managed die Entsorgung
Future Unknown
Technology ?
Robotics
QM- Technology
Das Produkt ist Teil eines Systems aus interagierenden wertschöpfenden Intelligenten Robotersystemen
12/8/2018
5
9
Konvergenz führt zur Unversalisierung
Konvergenz führt zur Unversalisierung
12/8/2018
6
11
http://commons.wikimedia.org/wiki/File:MoriSeikiLathe.jpg
http://commons.wikimedia.org/wiki/File:RMB3-2yuan-A.jpg
Drehbank
CNC Universal Machining Center
12/8/2018
7
Wieviel Roboter sehen Sie?
www. heise.de/tp/features/Industrie-4-0-3887252.html
FhG-IAO (2013) S. 118
Friedrich Pollock: Automation
–
Materialien zur Beurteilung
der ökonomische und sozialen
Folgen 1956
12/8/2018
8
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
16
„There are three kinds of death in the world:
There´s heart death, there´s brain death,
and
there´s being off the network.”
Guy Almes
www.cyber-nation.com/victory/quotations/authors/quotes-almes.guy
12/8/2018
9
Mensch fragt, beauftragt, stellt dem System Probleme Der Nutzer erhält Systemantwort (Information / Aktion). Der Nutzer muss den Kontext der Frage kennen, um die Antwort zu verstehen Der Nutzer braucht keine Kenntnis der inneren Abläufe (Theorie). Zuschreibung von Autonomie?
Akteure: Beauftragender /Designer Mensch, der als Teil des Systems arbeitet Benutzer des Systems
Notwendiges Wissen: Menschen, Maschinen, Strukturen, Prozesse Iterationen
12/8/2018
10
Algorithmen Wege gleich
Wege ungleich
Gleicher Input Gleicher Output
Deterministisch, determiniert Deep Blue IOW
Determiniert Suchen / Matching IOW
Gleicher Input Anderer Output
Nicht determiniert Stochastische, chaotische Anteile Simulation IO W
Nicht determiniert, Nicht deterministisch Lernende Systeme IOW
Input Output
Black Box = Exoview = IO-Verhalten
Struktur + Prozess = Endoview= Wege
Grade / Arten der Autonomie (Selbstursprünglichkeit) (Stephen Darwall (2007); Misselhorn (2018))
Fähigkeit, … Exoview Endo view
Men
sch
Lernend System IOW
Chaotisch /Stochast IW O
Suche / Match IO W
Deep Blue IOW
Selb
stu
rsp
ün
glic
hke
it
Personale Autonomie
Individuelle Werte ausbilden Handeln danach ausrichten X Nein / ? Nein Nein Nein
Moralische Autonomie
Handlungsentscheidungen aufgrund eigener moralischer Überzeugungen zu treffen
X Nein /? Nein Nein Nein
Rationale Autonomie
Berücksichtigung der gewichtigsten Gründe (Priorisierung) X X X X Nein
Handlungs-autonomie
Zu handeln, zugeschrieben einem Akteur X X X X X
Akteurs-kausalität
Handeln ohne vorhergehende äussere Ursache (nur im Akteur)
X+? Nein Nein Nein Nein
12/8/2018
11
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
Erzählung der Hybris:
Wagner, der Famulus von Dr. Faust, erschafft in FAUST II ein kleines Menschlein (homunculus) Hintergrund: Harnstoffsynthese 1828 durch Friedrich Wöhler
Verwandt: Geschöpfe des Prometheus,Pygmalion, Golem, Frankenstein, Pinochio, Zauberlehrling Paracelsus in de natura rerum (1538): Spermien 40 Tage in Pferdemist, dann 40 Tage mit Menschenblut nähren ergibt eine kleines menschliches Wesen
Funktionen der Erzählung: Denkbarkeit, Machbarkeit Schaffen eines willfährigen Helfers Hybriskritik – Entgleiten der Kontrolle
www. levity.com/alchemy/alchemy_laboratories_engravings.htlm
12/8/2018
12
Stanislav Lem:Trurls Maschine.
https:// en.wikipedia.org/wiki/Stanis%C5%82aw_Lem
www. deviantart.com/tag/trurl
Stanislav Lem (1921 - 2006)
2 + 2 = 7
Ein Roboter muss nicht ein anthropomorph aussehendes Artefakt sein. Die Bestimmung eines Roboters liegt in seiner Fähigkeit, Arbeitsprozesse zu übernehmen und auszuführen. Intelligente Roboter (IR): Steuerungseinheiten , die KI-Komponenten beinhalten Externe Kontrolleinheiten, die KI-Komponenten enthalten können Aktorik Sensorik Abgrenzung Roboter – Umwelt Arbeitsgegenstand Das sagt nichts darüber aus, ob intelligente Roboter im Sinne der alltäglichen Bedeutung des Begriffs „intelligent“ sind oder nicht.
12/8/2018
13
Einsatz von intelligenten Robotern (IR) Success-stories oder Projektionen?
Produktionsroboter: Moderne Produktionsanlagen – Industrie 4.0 ……..…
Serviceroboter: Haushalt, Zustelldienste, Health Care, Altenpflege, Smart Home, autonomes Fahrzeug, Dienstleitung, HR-Analysen ……
Netzwerkroboter: Suchmaschinen, Bots, Trolle und Malware ………………...
Aussenweltroboter: Raumfahrt, Bergbau, Landwirtschaft, Lagerhaltung ..
Therapieroboter, Chirurgieroboter, Nanoroboter ……………………………………
Militärroboter: Drohnen, autonome Mobilität, Kampfroboter, intelligente Munition ………………………………………………………………………………………..
Edutainment: Unterricht, Spiele, vernetzte Spiele, augmented reality …….
Sex-Roboter: Sexindustrie ……………………………………………………………………….
Roboter als Partner: Humanoide als Produkt ………………………………….………
?
?
???
4
5-6
6
4-5
1
2
2-3
0 ?
10 ???
Grad der Autonomie
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
12/8/2018
14
Werte und Prioritäten Prinzip(ien)
Dia
gn
os
ek
om
pe
ten
z +
Urte
ilsk
raft
Grundnormen
Regeln - Handlungsweisen
Handlungen und Folgen
Sanktionen
Normen Moralische Sätze
Tugenden
Sitten
Konventionen
Goldene Regel Kat. Imperativ von Kant Wenn das alle täten … Prinzip der Bedingungserhaltung
verantworlichen Handelns
Leben
Nachhaltigkeit
Freiheit
Gerechtigkeit
Ehre
Ruhm
Wahrheit
Persönl. Wohlergehen
Liebe
Vertrauen
Sozialer Status
Anerkennung
Macht
Schönheit
Rechte
Gesellschaft
Grundrechte sind die jedem Menschen in jeder Rechtsgemeinschaft zustehenden Rechte, die er nicht aufgrund seiner Zugehörigkeit zu einer Rechtsgemeinschaft und deren rechtskonsti-tuierenden Akte beanspruchen kann, sondern aufgrund seines Menschseins.
Tugenden basieren auf Normen
Ordnung, Sparsamkeit, Reinlichkeit, Pünktlichkeit, Höflichkeit, Fleiß
Fleiß, Tapferkeit, Besonnenheit, Gelassenheit, Bescheidenheit, Wahrhaftigkeit, Treue, Vertrauen, Gerechtigkeit, Toleranz
Unmittelbarkeit, Ursprünglichkeit, Lebendigkeit, Unbedingtheit, ggf. Spontaneität
Verlust von Vertrauen, Achtung, Anerkennung – STGB, BGB Haftung
Ethik
begründet rechtfertigt
beurteilt leitet ab
Normen (Moral) Sätze, die sollen, dürfen etc. enthalten
mit Hilfe von Prinzipien Werten Prioritäten
Prinzipien Werten Prioritäten
• Was Du nicht willst, das man Dir tu, das füg auch keinem anderen zu.
• Das Leben ist für mich ein größerer Wert als die Ehre.
• Ich möchte nicht getötet werden
+ = Du sollst nicht töten Recht auf Leben
Philosophie begründet rechtfertigt beurteilt
12/8/2018
15
Die klassische Quelle der Entstehung von Wertevorstellungen
sind:
• Erfahrung von Bedürfnissen,
• Religiös offenbarten Vorstellungen,
• Bestimmungen einer philosophischen Anthropologie,
• Theorien über Evolution und Gesellschaft, Geschichte und Politik,
• Einsichten, die sich in Diskursen als zustimmungsfähig erweisen,
• Technisch-organisatorische Erfahrungen:
Konvergenz Stabilität Universalisierung Übersichtlichkeit Auseinanderfallen von Merkwelt und Wirkwelt Vorsicht Invertierung der Zweck- Mittel Relation Moralisierung der Mittel Beschleunigung und Disruption Entschleunigung
30
Was für eine Technik wollen wir haben?
Das VDI Werteoktogon (VDI Richtlinie 3780 Technikbewertung (1997)
Gesellschaftsqualität
Funktionsfähigkeit
Umwelt lokal / global
Sicherheit
Wohlstand
gesamtwirtschaftlich
Wirtschaftlichkeit im
Einzelnen
Gesundheit
Persönlichkeits-
qualität
12/8/2018
16
Stabilität der Bedingungen
Umweltschutz
Entfaltung persönlicher
Lebensqualität
Qualität des gesell. Lebens
Sicherheit
Fehlerfreundlichkeit
Wirtschaftlichkeit
Gemeinwohl
Gesundheit
Zuverlässigkeit
Gewinn, Wachstum, Eigentum
Öffentliche Wohlfahrt, Rechtsstaatlichkeit,
Demokratische Verfassung, Gewaltmonopol
Freiheit, Gleichheit, Solidarität, M.-Rechte, Weltanschauliche Neutralität
Sittliche Konventionalität, Solidarität
Unversehrheit
Novellierung von Gesetzen …Resozialisierung
Anrechte, … Solidargemeinschaft
Nachhaltigkeit
bürgerliche Freiheiten und Rechte, konsumtive Freiheiten und Rechte
Stabilität der Bedingungen
Umweltschutz Entfaltung persönl. Lebensqualität
Qualität des gesell. Lebens
Sicherheit Fehlerfreundlichkeit
Economy first
Gemeinwohl
Gesundheit
Zuverlässigkeit
Prioritäten
Struktur
Beispiel A : Economy First
12/8/2018
17
Stabilität der Bedingungen
Umweltschutz
Entfaltung pers.
Lebensqualität
Qualität des ges. Lebens
Sicherheit
Fehlerfreundlichkeit
Wirtschaftlichkeit
Gemeinwohl
Gesundheit
Zuverlässigkeit der Funktion
Prioritäten
Struktur
Beispiel B : Ecology First
tatsächliche leitende Wirkung Absicht
Teleologische Ethik
Deontische Ethik
Intentionalistische Ethik
Verantwortungs- Ethik mit intangiblen Werten
Pflichtenethik Rechte und Pflichten
Gesinnungsethik Beweggründe
12/8/2018
18
Verantwortung: Subjekt der Verantwortung Objekt der Verantwortung Instanz Zeithorizont Sanktion
Wer Individuum oder Kollektiv Für was Absicht, Handlung, Folgen, Erfüllung Gegenüber wem Vorgesetzter, Firma, Gesellschaft Wie lang Dass etwas geschieht, was geschieht, Folgen Bestrafung, Belohnung Verlust, Kompensation
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
12/8/2018
19
Image: Tesla Motors. In: https://spectrum.ieee.org/cars-that-think/transportation/safety/feds-call-teslas-autopilot-safe
Time to react (shut off): sec
https://www.newyorker.com/science/maria-konnikova/hazards-automation
Time to react (shut off): sec - Min
Autopilot Autonome Waffen Dienstleistung - IR
Kriterien für Verantwortungs-zuschreibung an das Subjekt
Absicht: Ziel, Zielkorridor purpose generating
Hersteller Pilot “Gerät”?
Roboter tötet Kombattanten, die sich ergeben haben, weil es “billiger” ist
Hersteller / Provider Nutzer
Wissen + Einsicht Ausbildung, Stand der Technik
Unkalkulierbarkeit der Rahmenbedingungen
Design / Geschäftsmodell / Laie
Kontrolle + Zeitliche Dimension
Übernahme: Auto: sec Flug: Minuten
In the loop: Fernbedienung On the loop: Programmiert, aber Echtzeit autonom Out of the loop: Kein Eingriff möglich
Rücknehmbarkeit Minuten / Stunden ++
Autonomie des Subjekts
Freiheit zu … Nutzung Wer stimmt dem Einsatz zu? Entscheiung des Nutzers
Freiheit von … Nutzungszwang?
Objekt Schaden abwehren Ziel erfüllen
Verkehrssicherheit entlastende Steuerung
Verteidigung der eigenen Sicherheit / Kriegsziele
Erfüllung der Dienstleistungs
Instanz Sanktionen Zivilgericht, Geschädigte Haftung
Gericht/ Haftung / Strafe Zivilgericht / Haftung
Gründe Geltende Regeln Verkehrsregeln, Haftungsrecht Strafrecht
Verstoß gegen ius ad bellum ius in bello
Nihil nocere Technikbewerttung
Ethische Gründe Vermeiden moralische Dilemmata durch Erhalt der Bedingungen verantwortlichen Handelns
12/8/2018
20
Verantwortungslücke (gap of responsibility) (nach Leveringhaus 2016, S. 79) Kriterien für Verantwortungszuschreibung nicht erfüllt: Keine Absicht: Es liegt kein Vorsatz vor, ein System so zu programmieren, einzurichten oder zu bedienen, das es das ius in bello missachtet. Autonomen Waffensystemen ist vielmehr eine gewisse Unvorhersahbarkeit zu eigen, die im Zusammenspiel mit bestimmten externen Umständen zu verstößen gegen das ius in bello führen.
Keine Einsicht in die Folgen: Es war nicht vorhersehbar, dass der Einsatz des Systems in einer Verletzung des ius in bello resultieren würde. Keine kausale Kontrolle: Ab dem Zeitpunkt, zu dem die Opertaion gestartet wurde, bestand keine Kontrolle mehr über die Maschine
Gegenargument: Wenn die Möglichkeit besteht, dass keine Verantwortungszuschreibung möglich ist, darf ein System nicht eingesetzt werden. Daraus resultiert ein Gebot, solche technisch-organisatorischen Entwicklungs zu unterlassen
Autopilot Autonome Waffen Dienstleistung - IR
Kriterien für Verantwortungs-zuschreibung an das Subjekt
Absicht: Ziel, Zielkorridor purpose generating
Hersteller Pilot “Gerät”?
Roboter tötet Kombattanten, die sich ergeben haben, weil es “billiger” ist
Hersteller / Provider Nutzer
Wissen + Einsicht Ausbildung, Stand der Technik
Unkalkulierbarkeit der Rahmenbedingungen
Design / Geschäftsmodell / Laie
Kontrolle + Zeitliche Dimension
Übernahme: Auto: sec Flug: Minuten
In the loop: Fernbedienung On the loop: Programmiert, aber Echtzeit autonom Out of the loop: Kein Eingriff möglich
Rücknehmbarkeit Minuten / Stunden ++
Autonomie des Subjekts
Freiheit zu … Nutzung Wer stimmt dem Einsatz zu? Entscheiung des Nutzets
Freiheit von … Nutzungszwang?
Objekt Schaden abwehren Ziel erfüllen
Verkehrssicherheit entlastende Steuerung
Verteidigung der eigenen Sicherheit / Kriegsziele
Erfüllung der Dienstleistungs
Instanz Sanktionen Zivilgericht,Geschädigte Haftung
Gericht/ Haftung / Strafe Zivilgericht / Haftung
Gründe Geltende Regeln Verkehrsregeln, Haftungsrecht Strafrecht
Verstoß gegen ius ad bellum ius in bello
Nihil nocere Technikbewerttung
Ethische Gründe Vermeiden moralische Dilemmata durch Erhalt der Bedingungen verantwortlichen Handelns
12/8/2018
21
Fragen der Roboterethik: (Roboter = intelligente Robotersysteme)
Gibt es besondere normative Anforderungen an das Handeln mit Robotern
Design, Herstellen, Programmieren, Benutzen, Entsorgen?
Gibt es eine besondere Verantwortung für die Folgen des Einsatzes von
Robotern?
Wie weit darf man die Autonomie treiben? Entscheidungsersetzenden
Einsatz?
Wie weit darf man die Simulation humanoider Verhaltensmuster bei
Robotern treiben, die im Alltag, in zuwendungsersetzender Absicht oder
im Pflegbereich eingesetzt werden?
Roboterethik I
Annahme: Intelligente Roboter sind (genuine) Subjekte mit
eigenständiger Zielsetzung
(Selbst-)bewusstsein (von Genealogie bis zur eigenen Endlichkeit)
Erwerb einer Geschichte durch Lernprozesse und “Erfahrung”
Fähigkeit zur Selbstranzendenz (z. B. Metadiskurs, Ich - Nicht-Ich Differenz)
Gefühlen und Stimmungen
…
Konsequenz: Müßten solche artifiziellen Subjekte
Rechte und Pflichten haben?
Anspruch auf Achtung der Autonomie?
Anspruch auf Toleranz und Respekt?
Zubilligen von Verantwortung (einschl. Sanktionen)?
Pragmatische Antwort: Bis auf weiteres NEIN!
Begründung: Solche genuinen Intelligenten Roboter wird es nicht (?)
geben und/oder wir wollen sie nicht haben
12/8/2018
22
Roboterethik II
Annahme: Roboter können mit folgenden Eigenschaften gebaut und eingesetzt
werden:
lernende Maschine (adaptive Programmierung)
selbstständige Suche und Erweiterung nach Trainingsmengen (Big Data)
Interne und externe Aktorik und Sensorik (einschl. Selbstmodifikation)
Humanoides Aussehen und humanoide Verhaltensmuster
Simulation von Zuwendung und Gefühlen
Konsequenz: Wie weit darf man mit der Simulation humanoider Eigenschaften
gehen?
Es darf keine Verantwortungslücke geben
Es darf keine völlig autonomen Entscheidungen geben (= E.-ersetzend)
Es darf kein unüberwachtes Lernen geben
Es darf keine falschen Zuschreibungen geben (kein Turing-Imitation Game)
Pragmatische Antwort: Roboter müssen so designed sein, dass deren Nutzer
immer noch verantwortlich, also dilemmafrei handeln können
Sensorik Kommunikation KI Aktorik
Zwecksetzung Design Bau Programmierung Spezifikation & Test Einsatz Wirkungen
Pflichten-hefte
Teach in Play Back Paramtereingabe
Algorithmen &KI Datenbasen Trainingsmengen
Sensordaten Lernen Rekonfigurieren
Erfolg Zuschreibungen Havarien
Aktorik Sensorik Rechner Steuerung
https://www.ulrichc.de/project/cu-robotarm/plans/ https://www.ionos.at/digitalguide/websites/web-entwicklung/quellcode/ https://www.scope-online.de/robotik---handhabung/programmierhandgeraet/hilfe-anzeigen.htm
Akteure: Konstrukteur, Produzent, Mathematiker & Programmierer, Ingenieur, Betreiber /Nutzer Betroffene
Modelle CAS-Tools Paradgmen
12/8/2018
23
45
Verantwortung: Subjekt
Objekt
Instanz
Gründe
Zeithorizont
Sanktion
Technische Entwicklung Einzelperson, Gruppe, Firma, Betreiber, Institutionen - Verantwortungsnetz: nicht der Roboter
Funktionsfähigkeit, Schadensfreiheit, Verträglichkeit, Nachhaltigkeit, Unverletzlichkeit, Zuverlässigkeit
unklar: Betroffenen,
in der Gemeinschaft akzeptierte Normen (Regeln, Gesetze)
unklar – Problem der Langzeitfolgen, Irreversibilität
Selbstschädigung; Haftung (BGB), Bestrafung (STGB); Vertrauensverlust, ökonomischer Verlust
Subjekt … Objekt … Instanz … Zeithorizont Gründe Sanktionen
… der Verantwortung
Zwecksetzer Person / Team/
Firma
Interessen
Zweck /Intention Betreiber, Nutzer
Betroffenen
Einschl.
Entsorgung
Verletzung der
Werte und Rechte
anderer Strafrechtlich
(StGB)
Haftung (BGB)
nach Stand der
Technik
Moralisch:
Vertrauensverlust
Ökonomisch:
Absatzeinbrüche
Konstrukteur Person / Team
Designer
Funktions-
spektrum
Grad der
Autonomie
Zwecksetzer/
Hersteller/
Betreiber, Nutzer,
Betroffenen
Einschl. Einsatz
und
Rekonfiguration
Mathematik &
Programmierer
Person / Team Adäquatheit der
richtigen Auswahl
und Korrektheit
des Quellcodes
Zwecksetzer/
Hersteller/
Betreiber, Nutzer,
Betroffenen
Einschl. Einsatz
und
Rekonfiguration
Precautionary
Principle –
Dilemmata
vermeiden
Produzent
/Hersteller
Firma Antizipation des
Benutzerzwecks
Funktion
Sicherheit
Betreiber, Nutzer,
Betroffenen
Einschl. Einsatz
Bis zum Beweis
der
Unschädlichkeit
Polluter Pays
Principle
Ingenieur Person / Team
Firma
Betreiber, Nutzer,
Betroffenen
Pflicht Worst Case
Analyse
Betreiber /Nutzer Person &/ Team
/Firma Aufgabenerfüllung Nutzer,
Betroffenen Folgenverant-
wortung –
nihil nocere Betroffene Personen Mittelbar
Gebrauch
Mittelbar andere
Betroffenen
12/8/2018
24
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
Generell: • Falsche Entscheidungen (Optionsauswahl aus
n-fache Alternative)
• Falsche Aktionen aufgrund falscher Sensorik
• Falsche Aktionen aufgrund falscher Programmierung /Spezifizierung
• Falsche Aktionen aufgrund von Fremdsteuerung (Hacking)
• Falsche Aktionen aufgrund von Fehlfunktionen durc h Verschleiß, Altern, (Hardware, Software)
Gegen Personen: • Verletzung bis Tötung durch Aktorik
• Verweigerung Falschdurchführung von Befehlen
• Personenfalschidentifizierung
Unerwünschte Lernergebnisse Gegen Institutionen: • Usurpation von existierenden Vernetzungen
• Neuaufbau von unerwünschten Vernetzungen
• Aufbau von unerwünschten Backdoors
• Unmöglichkeit der Abschaltung ohne schwere Schäden
Gegen Gesellschaft • Abhängigkeit der Infrastruktur
• Zeitkonstanten zur Substitution (Umschalten auf “Handsteuerung”)
• Kollektive Effekte vernetzter Computer (Rebound-Effekte)
Negative Folgen der Aktionen von Robotern:
12/8/2018
25
Was wollen wir – Sklaven, intelligente Mitarbeiter oder zukünftige Herrscher?
0. Ein Roboter darf die Menschheit nicht verletzen oder durch Passivität zulassen, dass die Menschheit zu Schaden kommt.
1. Ein Roboter darf keinen Menschen verletzen oder durch Untätigkeit zu Schaden kommen lassen, außer er verstieße damit gegen das nullte Gesetz.
2. Ein Roboter muss den Befehlen der Menschen gehorchen – es sei denn, solche Befehle stehen im Widerspruch zum nullten oder ersten Gesetz.
3. Ein Roboter muss seine eigene Existenz schützen, solange dieses sein Handeln nicht dem nullten, ersten oder zweiten Gesetz widerspricht
Isaac Asimovs Robotergesetze (1950), ergänzt um das Nullte Gesetz (1983) Normative Sätze
aus den Paradoxien, die aus diesen Gesetzen erschließbar sind, kann man neue Erzählungen bauen
Aktion A und Aktion B möglich A priormoralisch B, wenn
Schaden (A) – Schaden (B) -1
Nutzen (A) – Nutzen (B) 3
Autonomie des Betroffenen für (A) – Autonmie des B. für (B) 1
Normativität von Algorithmen: Wie können normative Wertvorstellungen so in Algorithmen implantiert werden, dass diese weiterhin als Mittel zu einem vom Menschen verfolgten Zweck eingesetzt werden können und sich nicht verselbständigen? Voraussetzung:
Schaden und Nutzen ist quantifiziertbar Unklar: o Sind Kosten (Aufwand) = Schaden?
o Ist negativer Schaden = Nutzen
o Ist Nicht-Nutzen = Schaden?
o Schließen sich A und B aus
o Ist Unterlassn von A = B und umgekehrt?
Die Zielstellung der Frage ist falsch: Formale Regeln sind nicht hinreichend für den Aufbau und Vollzug einer “Moral”.
12/8/2018
26
Verantwortungslücke
“Autonome Systeme” bilden als lernende Systeme Muster
aus Attraktoren in neuronalen Netzen. Diese Muster bestimmen
dann das Verhalten des Roboters.
Dieser Vorgang ist deterministisch und hängt von der Reihenfolge
und den eingegebenen bzw. akquirierten Daten ab.
Dieser Vorgang ist weder prognostizierbar, noch aus praktischen Gründen
nachprüfbar, weil die Nachvollziehbarkeit um Größenordnungen mehr
Kapazität bindet als der Rationalisierungseffekt durch den Einsatz eingespart
hätte.
Aktionen des Roboters erscheinen autonom, und ihn als Verursacher einer
eingetretenen unerwünschten Nebenfoge zu identifizieren, liegt nahe – der
Zauberbesen ist schuld. Roboter sind aber keine Subjekte der Verantwortung
Wir sollten nur solche Roboter bauen,
die uns keine Verantwortungslücke suggerieren,
die Benutzer und Betreiber nicht in dilemmatische Situationen
führen, in denen sie nicht mehr verantwortlich handeln können
( .. der Roboter ist schuld)
deren Lernprozesse kontrollierbar sind,
deren Einsatzfolgen wir nach dem Stand der Technik absehen können
d.h. die dem Prinzip der Bedingungserhaltung verantwortlichen
Handelns genügen
12/8/2018
27
Handle so, dass die Bedingungen der Möglichkeit des
verantwortlichen Handelns für alle Beteiligten erhalten bleiben.
Daraus folgt, daß man nur nach solchen Normen handeln sollte,
mit denen alle von dieser Handlung Betroffenen
im Hinblick auf ihre weiteren Handlungsmöglichkeiten und ihrer
ethischen Relevanz,
wenn auch nicht in allen faktualen einzelnen Folgen,
doch prinzipiell einverstanden sein können und noch verantwortlich
handeln können.
54
Subjekt der Verantwortung (Lenk 1987):
Moralisches Urteilsvermögen
Selbstbewußtsein
Entscheidungsfähig
Wahlfreiheit Abschalten können
Autonomie des Subjekts
Die Autonomie des Subjekts muss sich aus der Freiheit bestimmen.
“Freiheit von ...” “Freiheit zu ...”
Autonomie Willensfreiheit.
Möglichst weitgehende Unabhängigkeit von äußeren und inneren Einfluß- und
Bestimmungsfaktoren ist nicht hinreichend (“Freiheit von ...”)
Erst Willensfreiheit, der “Freiheit zu ...” ist zusammen mit der Autonomie Voraussetzung für die
Möglichkeit des Subjekts, Verantwortung wahrnehmen zu können.
Roboter sind keine Subjekte
Bedingungen
verantwortlichen
Handelns
12/8/2018
28
55
Bedingungen
verantwortlichen
Handelns
Eher praktische Bedingungen
Die Instanz muß existieren, sie muß anrufbar sein, und sie muß fähig sein, Sanktionen
durchzusetzen Kein Bau und Einsatz ohne Klärung
Zeitliche Dimension: Absicht, Handlung und Folgen müssen in geeigneter Weise
zeitlich proportioniert sein (T(inst.) > T(indiv.)
Über Absicht, Handlung und Folgen muss fehlendes Wissen prinzipiell und praktisch
erwerbbar sein ( Transparenz: individuell und arbeitsteilig)
Gewährung der Autonomie
Orientierungsmöglichkeit an Prinzipien und Werten
Zeit für Entscheidungen gewähren
Priorisierung von Werten gewähren
Akzeptanz pluraler Wertesysteme
Wo liegt der gemeinsame Nenner?
Vorschlag für 8 Regeln (Normen) als Ergebnis einer smart ethics
1) Setze Systeme niemals entscheidungsersetzend ein. Auch Roboter dürfen nicht
in entscheidungsersetzender Absicht eingesetzt werden.
2) Nihil Nocere – toleriere keinen Schaden gegenüber Benutzern.
3) Nutzerrecht bricht Produzentenrecht.
4) Baue keine autonomen Systeme, die man nicht mehr abschalten kann. Vollständig autonome
Systeme sollen nicht zugelassen werden.
5) Das Herstellen selbstbewusster, autonom agierender Roboter (falls möglich) ist verboten (analog
dem Chimärenverbot und Human-Klonverbot in der Gentechnologie).
6) Täusche kein menschliches Subjekt als Gegenüber vor. Maschine muss Maschine bleiben,
Imitation und Simulation muss erkennbar bleiben. Es muss bei der Mensch-Maschine-
Kommunikation allen beteiligten Menschen immer klar sein, dass der maschinelle
Kommunikationspartner eine Maschine ist.
7) Wer die Frage und den Zweck nicht weiß, kann mit der Systemantwort und dem Verhalten eines
Roboters nichts anfangen. Gebe immer den Kontext an.
8) Wer Technik erfindet, herstellt, betreibt oder entsorgt, hat Interessen. Die Interesen sind redlich
offenzulegen.
12/8/2018
29
Kritik der Autonomie
1. Konvergenz und Universalisierung radikalisieren die Automatisierung 2. Stufe
2. Mensch - System Interaktion: Wer ist und was ist autonom?
3. Was für Geschöpfe wollen wir? Mythen …
4. Ein Blick auf die Ethik
5. Wer entscheidet was? Die angebliche Verantwortungslücke
6. Herr der Dinge – wir müssen unsere Geschöpfe an die Hand nehmen
Literatur
Arnsburg, René: Maschinen ohne Menschen? Industrie 4.0 – Von Schein-Revolution und der Krise des Kapitalismus. Manifest Verlag 2017
Asimov, Isaac: Meine Freunde, die Roboter. München 1982: Heyne, S. 67 Roco, Michail C., Bainbridge, Williams S., Tonn, Bruce, Whitesides, George (eds.). Convergence of Knowledge, Technology and
Society – Beyond Convergence of Cognitive Nano-Bio-Info-Cognitive Technologies. Springer Swizerland, Cham, Heidelberg 2013 Kornwachs, K.: Das Prinzip der Bedingungserhaltung. Lit, Münster, London 2000 Kornwachs, K.: Ebenen der Orientierung. Zur Analytik des normativen Hintergrundes. In: Hubig, Chr. (Hrsg.): Ethische Ingenieurs-
verantwortung – Handlungsspielräume und Perspektiven der Kodifizierung. Sigma, Berlin 2003, S. 31-49 und S. 105-130 Laßmann, Gunther: Asimovs Robotergesetze. Heise Medien, E-Book Dez. 2017 Lem, Stanislav: Robotermärchen. Suhrkamp, Frankfurt A.M. 2003? Lenk, H., Ropohl, G. (Hrsg.): Technik und Ethik. Reclam jun. Stuttgart 1987 Leveringhaus, Alex: Ethics and Autonomous Weapons. Oxford 2016 Loh, Janina: Roboterethik. Eine Einführung. Suhrkamp, Berlin 2019 Misselhorn, Catrin: Grundfragen der Maschienenethik. Reclam jun 20182 Pollock, Friedrich: Automation – Materialien zur Beurteilung der ökonomische und sozialen Folgen. Europ. Verlagsanstalt,
Frankfurt a.M. 1956 Spath, D. (Hrsg.); Gnaschar, O.; Gerlach, S.; Hämmerle, M.; Krause, T.; Schlund, S.: Produktionsarbeit der Zukunft – Industrie 4.0.
Fraunhofer-Verlag, Stuttgart 2013 (=FHG 2013) VDI: Ethische Grundsätze des Ingenieurberufs. In: http://www.vdi.de/bildung/ethische-grundsaetze/ethische-grundsaetze/ Weber, Karsten: Autonomie und Moralität als Zuschreibung – Über die begriffliche und inhaltliche Sinnlosigkeit einer
Maschienethik. In: Rath, Matthias; Krotz, Friedrich; Karmasin, Matthias (Hrsg.): Maschinenethik. Normative Grenzen autonomer Systeme. Springer, VS Wiesbaden, 2019, S. 193
12/8/2018
30
_________________________________________________ Prof. Dr. phil.habil. Dipl. Phys. Klaus Kornwachs Former Chair for Philosophy of Technology, BTU Cottbus Humboldt Study Center for Humanities, University of Ulm Honorary Professor, China Intelligent Urbanization Co-Creation Center at Tongji University, Shanghai Office for Culture and Technology Strickers Höhe 22 D-88260 Argenbühl Germany Phone: ++49-7566-2498, Fax: -1891 Mobil: ++49-175-4122079 [email protected] [email protected] Home Page: www.kornwachs.de