kann technologie unfair sein? - bukof › wp-content › uploads › bukofjt2019... · daten...
Post on 05-Jul-2020
0 Views
Preview:
TRANSCRIPT
Kann Technologie unfair sein?Digitale Anwendungen als Herausforderung
für die Gleichstellungsarbeit
Nele Heise, M.A.bukof-Jahrestagung „Digitalisierung*verändern“
27. September 2019 | Universität Hamburg
Ablauf
Auftakt Grundlegendes & Beispiele
Werkstatt Status Quo & Perspektive[n]
Finale Eure Forderungen & Wünsche
Stationen: Hans-Bredow-Institut, Uni Hamburg, iRights e.V., Otherwise Network
Forschungsthemen: Ethik und digitale Räume (Algorithmen, Social Media, …),
Podcasting im D/A/CH-Raum, Audionutzung im digitalen Zeitalter, mediale
Teilhabe, Forschungsethik im Netz
Details zu meiner Arbeit: https://neleheise.de
Infrastruktur SoftwareHardware
Digitale Technologie[n]
Digitale Alltagsanwendungen
NICO HERZOG [CC BY NC 3.0]
Aspekte digitaler Anwendungen [Software]
Bausteine
Algorithmen
Daten
Modelle
Protokolle
Interfaces
DatenanalyseBeschreibend [deskriptiv]
z. B. Zusammenhänge
Vorhersagend [prädiktiv]
z. B. Trends, Wahrscheinlichk.
Vorschlagend [präskriptiv]
z. B. Handlungsoptionen
Software dient u. a. zur Datenverarbeitung, Analyse, Bearbeitung und Darstellung digitaler Informationen.
Datenanalysen werden vermehrt zur Automatisierung bzw. Unterstützung von Entscheidungen genutzt.
Prozesse
Entwicklung
Implementierung
Anwendung
Evaluation
Anpassung
Digitale Systeme können verzerrt sein, also sog. Biases
aufweisen, die z. B. auf technische, gesellschaftliche oder
historische Ursachen zurückzuführen sind.
Systemische Verzerrungen entstehen u. a. aufgrund von
▪ Praktiken, Vorannahmen/Stereotype auf Seiten der
Entwickler*innen bzw. Anbieter*innen
▪ technischen Kriterien und Grenzen
▪ oder auch erst im Anwendungskontext
Aspekte wie unvollständige, veraltete bzw. falsche
[Trainings-]Daten, Systemversagen oder fehlerhafte
Analysemodelle können zu verzerrten Ergebnissen
und Empfehlungen führen – bis hin zur unfairen
Diskriminierung von Individuen und/oder Gruppen
(z. B. soziale oder ökonomische Benachteiligung).
Für Anwender:innen und Betroffene sind die
komplexen Abläufe und damit verbundene Schieflagen
in der Regel kaum nachvollziehbar.
GARBAGE IN GARBAGE OUT
Exemplarisch
Einsatzfelder und Herausforderungen
[im Hochschulkontext]
ADM-Systeme: Automatisierung von Entscheidungen
BURKE ET AL. / NASPA [2017: 18]
Studium: Monitoring und [prädikative] Datenanalyse
Daten zur Bewertung/Vorhersage des Erfolgs Studierender [„Student Success Data“]
BURKE ET AL. / NASPA [2017: 18]
Tools für Rekrutierung und Personalmanagement
HTTP://WWW.DATENLOTSEN.COM/PRODUKTE/CAMPUSNET-NT/FUNKTIONEN
Daten sprechen nicht für sich selbst. Daher muss
es Aufgabe von Menschen bleiben, die
Ergebnisse von Analysen zu verstehen, zu
kontextualisieren und zu interpretieren – und
die Folgen algorithmischer Entscheidungen
über den engen Rahmen der spezifischen Zwecke,
für die eine Maschine entwickelt und trainiert
wurde, hinaus zu betrachten.
LEICHT-DEOBALD ET AL. [2019: 8; ÜBERS. NH]
Ambivalenzen digitaler Anwendungen
Effizienz und Entlastung
durch Automatisierung
Neutralität, Rationalität,
Zuverlässigkeit
Transparenz von Entscheidungen
Auswertung komplexer
Informationen, Wissenszuwachs
und Faktenbasis
Zugang und Teilhabe
Skalierung von Fehlern und
diskriminierenden Mustern
Datenschutz/-qualität
eingeschränkte Souveränität,
Autonomie, Mitgestaltung
Monitoring als soziale Kontrolle
Lücken: Nachvollziehbarkeit und
Verantwortungszuweisung
Fehlende Akzeptanz und Wissen
KONTAKT Nathalie.Schlenzka@ads.bund.de AINOWINSTITUTE.ORGATLAS.ALGORITHMWATCH.ORG
STATUS QUO & PERSPEKTIVENDigitale Anwendungen und Gleichstellungsarbeit
Personalmanagement
Lehre & Forschung
Studierende
Karriere & Weiterbildung
Schritt 1 Gruppe bilden (max. 10 Personen)
Schritt 2 Diskutiert und sammelt Positionen (15 Min.)
Facts Welche Daten & Tools werden genutzt / eingeführt?
Chancen Wo seht Ihr positive Aspekte für Gleichstellung?
Risiken Welche Probleme (können) entstehen? Warum?
Rote Linien Welche Grenzen sollten gesetzt werden?
Schritt 3 Tauscht Euch mit der anderen Gruppe aus (10 Min.)
Schritt 4 Eine konkrete Forderung / Wunsch [Claim] Eurer Gruppen
Schritt 5 Claim vorstellen (3 Min.) + Kurz-Feedback (2 Min.)
Wie seid Ihr drauf gekommen? Wie lässt sich das erreichen?
EURE CLAIMSForderungen und
Wünsche mit Blick auf
Gleichstellungsarbeit und
digitale Tools / Software
ALGORULES.ORG
1. Kompetenz
aufbauen
2. Verantwortung
definieren
3. Ziele und erwartete
Wirkung dokumentieren
4. Sicherheit
gewährleisten
5. Kennzeichnung
durchführen
9. Beschwerden
ermöglichen
8. Wirkung
überprüfen
7. Beherrschbarkeit
absichern6. Nachvollziehbarkeit
sicherstellen
ALGORULES.ORG
1. Kompetenz
aufbauen
2. Verantwortung
definieren
3. Ziele und erwartete
Wirkung dokumentieren
4. Sicherheit
gewährleisten
5. Kennzeichnung
durchführen
9. Beschwerden
ermöglichen
8. Wirkung
überprüfen
7. Beherrschbarkeit
absichern6. Nachvollziehbarkeit
sicherstellen
IRIGHTS-LAB.DE/DATENQUALITAET
Wohlergehen
Data Agency
Effizienz
Transparenz
Verantwortung &
Rechenschaftspflichten
Kompetenz[en]
Menschenrechte
Bewusstsein für
Missbrauch[srisiken]
Nicht zuletzt:
Digitalisierung bietet Chancen zur
Neubewertung ‚alter‘ Strukturen
„Algorithmisierung“ [die Übertragung von (teil)analogen
Prozessen in maschinenlesbare Form] zwingt zur Klärung
von impliziten Annahmen oder unklaren Konzepten […]; sie
kann […] verdeckte Formen von Diskriminierung ans Licht
bringen; sie zwingt Beteiligte zur Beschäftigung damit, wie in
der betreffenden Organisation Daten erhoben, verarbeitet
und genutzt werden; sie stellt den Sinn von zum Teil lange
gebräuchlichen Verhaltensmustern, Zuständigkeiten und
informellen Ablaufen zur Debatte; sie hinterfragt
unternehmenskulturelle Werte […].
STIFTUNG NEUE VERANTWORTUNG / BERTELSMANNSTIFTUNG [2018]
Prozesse und
Verantwortlichkeiten
Standards, Kontrolle
und Evaluation
Wissen, Austausch
und Best Practice
Datenverarbeitung
und -qualität
Sensibilisierung und
Mitentscheidung
Nele Heise, M.A.
Referentin und wissenschaftliche Beraterin für
digitale Medien & Kommunikation // Hamburg
@neleheise nele.heise@mailbox.org
https://neleheise.de
https://ownw.de/nele-heise/
Vielen Dank und gutes Gelingen!
QUELLEN & LESENSWERTESALGORITHMWATCH (2019): Atlas der Automatisierung. Automatisierte Entscheidungen und Teilhabe in Deutschland. Report (April 2019) und fortlaufendes Projekt. https://atlas.algorithmwatch.org/.
ABIDA – ASSESSING BIG DATA (2018): Diskriminierung durch Algorithmen und KI im eRecruiting. Fokusgruppenbericht (Juli 2018).
http://www.abida.de/sites/default/files/Bericht_Fokusgruppe_Diskriminierung_final.pdf.
BERTELSMANN STIFTUNG (HRSG.) (2018): Was Deutschland über Algorithmen weiß und denkt. Ergebnisse einer repräsentativen Bevölkerungsumfrage. https://www.bertelsmann-
stiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/Was_die_Deutschen_ueber_Algorithmen_denken.pdf.
BURKE, M., PARNELL, A., WESAW, A., & K. KRUGER (2017): Predictive Analysis of Student Data. A Focus on Engagement and Behaviour. Forschungsbericht (hrsg. von NASPA – National Association Of Student
Personnel Administrators, April 2017). https://www.naspa.org/images/uploads/main/PREDICTIVE_FULL_4-7-17_DOWNLOAD.pdf.
CAPURRO, R. (2017): Digitalisierung als ethische Herausforderung. Online unter: http://www.capurro.de/businessimpact.html.
GERSHGORN, D. (2018): „Companies are on the hook if their hiring algorithms are biased“; qz.com, 22. Oktober 2018. https://qz.com/1427621/companies-are-on-the-hook-if-their-hiring-algorithms-are-biased/.
GEUTER, J. (2018): „Nein, Ethik kann man nicht programmieren“; ZEIT Online am 27. November 2018. https://www.zeit.de/digital/internet/2018-11/digitalisierung-mythen-kuenstliche-intelligenz-ethik-juergen-
geuter.
HAO, K. (2019): „This is how AI bias really happens – and why it‘s so hard to fix“; MIT Technology Review am 4. Februar 2019. https://www.technologyreview.com/s/612876/this-is-how-ai-bias-really-happensand-
why-its-so-hard-to-fix/.
HARTZIV.ORG (2019): „Software bestimmt Schicksal von Hartz IV Empfängern“; hartziv.org am 5. April 2019. https://www.hartziv.org/news/20190405-software-bestimmt-schicksal-von-hartz-iv-empfaengern.html.
HAUFE (2019): „Robot Recruiting: Möglichkeiten und Grenzen“; haufe.de am 24. Juni 2019. https://www.haufe.de/personal/hr-management/robot-recruiting_80_484436.html.
HEISE, N. (2016): Algorithmen. In: Handbuch Medien- und Informationsethik (hrsg. Jessica Heesen). Stuttgart/Weimar: Metzler, 202-209.
HUSTEDT, C. (2019): „Robo Recruiting – Dank Algorithmen bessere Mitarbeiter:innen finden?“; algorithmenethik.de am 24. Juni 2019. https://algorithmenethik.de/2019/06/24/robo-recruiting-dank-algorithmen-
bessere-mitarbeiterinnen-finden/.
INITIATIVE D21 (HRSG.): Denkimpulse zur Digitalen Ethik. Fortlaufende Publikationsreihe der Arbeitsgruppe „Ethik“. https://initiatived21.de/publikationen/denkimpulse-zur-digitalen-ethik/.
IRIGHTS.LAB (2019): Checkliste für Datenqualität. Begleitpublikation der BMVI-Förderinitiative mFUND. https://www.bmvi.de/SharedDocs/DE/Anlage/DG/mFUND/mfund-irightslab-checkliste.html (CC-BY-ND 4.0).
JOERES, A. (2018): „Parcoursup – das außerirdische Universitätsauswahlsystem der französischen Regierung“; algorithmenethik.de am 30. Mai 2018. https://algorithmenethik.de/2018/05/30/parcoursup-das-
ausserirdische-universitaetsauswahlsystem-der-franzoesischen-regierung/.
LEICHT-DEOBALD, U., BUSCH, T., SCHANK, C. WEIBEL, A., SCHAFHEITLE, S., WILDHABER, I., KASPER, G. (2019): The Challenges of Algorithm-Based HR Decision-Making for Personal Integrity. Journal of Business
Ethics (online first, 7. Juni 2019). https://doi.org/10.1007/s10551-019-04204-w.
MOTZ, B. (2019): „Principles for the responsible design of automated student support“; EDUCAUSE am 23. August 2019. https://er.educause.edu/blogs/2019/8/principles-for-the-responsible-design-of-
automated-student-support.
ORWAT, C. (2019): Diskriminierungsrisiken durch Verwendung von Algorithmen. Studienbericht, hrsg. von der Antidiskriminierungsstelle des Bundes. Nomos: Baden-Baden.
https://www.antidiskriminierungsstelle.de/SharedDocs/Downloads/DE/publikationen/Expertisen/Studie_Diskriminierungsrisiken_durch_Verwendung_von_Algorithmen.html.
OTTO, P., & E. GRÄF (HRSG.) (2018): 3TH1CS – Die Ethik der digitalen Zeit. Bonn: Bundeszentrale für politische Bildung.
REUTERS (2018): “Amazon ditched AI recruiting tool that favored men for technical jobs”; Meldung vom 11. Oktober 2018, veröffentlicht bei The Guardian.
https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting-engine.
RUETHER, A. (2019): „Machine Learning, Higher Education, and Bias“; Swarthmore College ITS Blog am 18. Juli 2019. https://blogs.swarthmore.edu/its/2019/07/18/machine-learning-higher-education-and-bias/.
SELBST, A. D., BOYD, D., FRIEDLER, S., VENKATASUBRAMANIAN, S., & J. VERTESI (2018): Fairness and Abstraction in Sociotechnical Systems. ACM Conference on Fairness, Accountability, and Transparency ,
1(1). https://ssrn.com/abstract=3265913.
BILD-QUELLEN [Abruf: 25. September 2019]
FOLIE 3 Logo ARD/ZDF Medienakademie: https://de.wikipedia.org/wiki/Datei:ARD.ZDF-medienakademie-Logo.svg; Logo Grimme-Institut:
http://www.ard.de/image/4224342/16x9/4788971154477969778/512; Logo BR: https://upload.wikimedia.org/wikipedia/de/2/2f/BR-Logo.svg; Abbildung Podcasterinnen:
https://twitter.com/blauschrift/status/595686148158152705; Logo BredowCast (https://podcast.hans-bredow-institut.de/wp-content/uploads/cmyk-entsprechung.jpg); Buchcover „Handbuch Medien- und
Infomationsethik“ (https://media.springernature.com/w306/springer-static/cover-hires/book/978-3-476-05394-7); Logo ANNA – Das vernetzte Leben (https://109cujw.podcaster.de/ANNA-Das-vernetzte-
Leben/logos/ANNA_Podcastlogo_neu_1400px.jpg); Illustration „Anna mit Duschhaube“ (Illustration: Óscar Valero & Fritz Gnad für annasleben.de // CC BY 3.0)
FOLIE 4 links: Abbildung Glasfaserkabel (https://media0.faz.net/ppmedia/aktuell/politik/2413977540/1.3221002/format_top1_breit/noch-keine.jpg); Mitte: Grafik Networking Devices
(https://hitinfrastructure.com/images/site/article_categories/Networking.jpg); rechts: Grafik Free Software (http://www.cogniview.com/blog/wp-content/uploads/2013/03/BestFreeSoftware2012.jpg)
FOLIE 5 Foto von Nico Herzog (2013 // CC BY-NC 3.0)
FOLIE 9 Abbildung Garbage In, Garbage Out (https://www.backbonemedia.com/wp-content/uploads/2014/06/garbage-in-garbage-out.jpg)
FOLIE 12 links: Tweet von Frank Herrmann, 13. Oktober 2018: https://twitter.com/herrfrankmann/status/1051035016627712000), rechts unten: Screenshot des Artikels „Volksanwaltschaft prüft AMS-
Algorithmus“ (derStandard.at am 2. November 2018: https://www.derstandard.at/story/2000090540950/volksanwaltschaft-prueft-ams-algorithmus)
FOLIE 17 links: Screenshot des Artikels „Amazon verwirft sexistisches KI-Tool für Bewerber“, Golem.de am 11. Oktober 2018 (https://www.golem.de/news/machine-learning-amazon-verwirft-sexistisches-ki-
tool-fuer-bewerber-1810-137060.html); rechts: Screenshot des Artikels „UK businesses using artificial intelligence to monitor staff activity“, The Guardian am 7. April 2019 bei
(https://www.theguardian.com/technology/2019/apr/07/uk-businesses-using-artifical-intelligence-to-monitor-staff-activity); Hintergrundbild: https://lab.getapp.com/wp-content/uploads/2017/02/hiring-bias-
how-algorithms-can-help.png (auch FOLIE 16)
FOLIE 21 links: Publikation „Diskriminierungsrisiken durch Verwendung von Algorithmen“ (C. Orwat/hrsg. ADS, 2019;
https://www.antidiskriminierungsstelle.de/SharedDocs/Downloads/DE/publikationen/Expertisen/Studie_Diskriminierungsrisiken_durch_Verwendung_von_Algorithmen.html); Mitte: Titel „Atlas der
Automatisierung“ (AlgorithmWatch, 2019; atlas.algorithmwatch.org); rechts: Screenshots AINowInstitute.org / AI Now Report 2018 (Whitaker et al. 2018; https://ainowinstitute.org/AI_Now_2018_Report.pdf)
FOLIE 22 Foto von congerdesign / Pixabay (https://pixabay.com/de/photos/bleistift-notizen-zerkaut-1891732/)
FOLIE 24 Foto von AbsolutVision / Pixabay (https://pixabay.com/de/photos/gl%C3%BChbirne-konzept-kork-bulletin-2692247/).
FOLIE 31 Screenshot der Website „Algorules“ (iRights Lab/Bertelsmann Stiftung 2019: https://algorules.org/startseite/; auch FOLIE 30), rechts: Screenshot Checkliste für Datenqualität (iRights.Lab / BMVI 2019:
https://irights-lab.de/datenqualitaet/)
FOLIE 32 Screenshots aus der Publikation „Ethically Aligned Design“ (IEEE 2019: https://algorithmwatch.org/wp-content/uploads/2019/03/IEEE-EAD1e.pdf)
FOLIE 38 Abbildung „Women in Technology“ (https://cdn.techjuice.pk/wp-content/uploads/2016/01/Women-in-Technology-Pakistan.jpg)
STIFTUNG NEUE VERANTWORTUNG / BERTELSMANN STIFTUNG (2018): Ergebnisse des intersektoralen Expertenworkshops „Algorithmische Analyse- und Entscheidungssysteme in der Personalgewinnung
(‚Robo Recruiting‘)“ am 5. Juli 2018. https://www.stiftung-nv.de/sites/default/files/ws_zu_hr_tech_-_dokumentation_0.pdf.
STUIBER, P. (2018): „Volksanwaltschaft prüft AMS-Algorithmus“; derStandard.at am 2. November 2018. https://www.derstandard.at/story/2000090540950/volksanwaltschaft-prueft-ams-algorithmus.
THE IEEE GLOBAL INITIATIVE ON ETHICS OF AUTONOMOUS AND INTELLIGENT SYSTEMS (2019): Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent
Systems, First Edition; hrsg. IEEE. https://algorithmwatch.org/wp-content/uploads/2019/03/IEEE-EAD1e.pdf (CC-BY-NC-SA 4.0).
WHITTAKER, M. ET AL. (2018): AI Now Report 2018 (hrsg. AI Now Institute, Dezember 2018). https://ainowinstitute.org/AI_Now_2018_Report.pdf (CC-BY-ND 4.0).
YOUNG, J. R. (2018): „When a Nudge Feels Like A Shove“; EdSurge.com am 8. März 2018. https://www.edsurge.com/news/2018-03-08-when-student-success-efforts-backfire.
top related