new de quoi les algorithmes nous dépossèdent-ils - ethics by design … · 2018. 10. 17. ·...
TRANSCRIPT
![Page 1: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/1.jpg)
Ethics by Design 2018(Saint-Denis, 2 Octobre 2018)
Marc-Antoine PencoléProfesseur agrégé de philosophie, doctorant
(Sophiapol – Université Paris-Nanterre)
De quoi les algorithmes nous dépossèdent-ils ?
(Et comment s’en ressaisir?)
![Page 2: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/2.jpg)
Introduction
« Algorithmes »…
De quoi parle-t-on ?
![Page 3: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/3.jpg)
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
Phil
! G
old
- B
Y-S
A
Lit
tle
Che
rub
- B
Y-S
A
![Page 4: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/4.jpg)
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
● Une procédure de traitement de données automatisée
(codée sous forme de programme, mise en oeuvre par une machine computationnelle).
Phil
! G
old
- B
Y-S
A
![Page 5: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/5.jpg)
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
● Une procédure de traitement de
données automatisée
● Un dispositif informatique de
régulation de la vie sociale
Phil
! G
old
- B
Y-S
A
![Page 6: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/6.jpg)
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
![Page 7: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/7.jpg)
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente
![Page 8: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/8.jpg)
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente Dispositifs techniques
(architecture, urbanisme, infrastructures)
![Page 9: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/9.jpg)
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente
Dispositifs techniques(traitement de données
automatisé)
![Page 10: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/10.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
![Page 11: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/11.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même
![Page 12: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/12.jpg)
● La question éthique :perte de l’autonomie morale
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
![Page 13: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/13.jpg)
● La question éthique :perte de l’autonomie morale
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
Nous déresponsabilise moralement...
… au profit d’une machine amorale ?
→ délégation à des algorithmes
![Page 14: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/14.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
Insensibilité aux « cas singuliers »
![Page 15: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/15.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humain
![Page 16: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/16.jpg)
Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité
gbhr
ea –
CC
BY
-SA
![Page 17: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/17.jpg)
Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité
![Page 18: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/18.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
![Page 19: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/19.jpg)
● Biais en amont, dans le cahier des charges
● Biais technique dans le choix de l’échantillon d’entraînement (apprentissage automatique)
● Biais social réel reproduit et confirmé, malgré la neutralité des concepteurs
![Page 20: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/20.jpg)
Exemple : COMPAS (algorithme judiciaire de prédiction de la récidive)
![Page 21: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/21.jpg)
![Page 22: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/22.jpg)
???
→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.
![Page 23: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/23.jpg)
Deux conceptions de
l’équité très différentes
→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.
![Page 24: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/24.jpg)
![Page 25: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/25.jpg)
Fonction de coût mal définie en amont
Prédiction du risque égale selon la race
Risque d’être incarcéré à tort égal selon la race≠
![Page 26: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/26.jpg)
Exemple : étiquetage injurieux de personnes noires (Google Image)
![Page 27: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/27.jpg)
Echantillon d’entraînement biaisé en faveur des Blancs
![Page 28: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/28.jpg)
Exemple : GloVe
![Page 29: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/29.jpg)
Exemple : GloVe
Caliskan Aylin, Joanna J. Bryson et Arvind Narayanan, « Semantics derived automatically from language corpora contain human-like biases », Science, vol. 356, no 6334, 14 avril 2017, p. 183-186.
prénom afro-am / prénom euro→
plaisant/déplaisant
homme /femme→
plaisant/déplaisant
![Page 30: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/30.jpg)
Exemple : GloVe prénom afro-am / prénom euro→
plaisant/déplaisant
homme /femme→
plaisant/déplaisant
Biais des rapports sociaux eux-mêmes
→ reproduits et renforcés, même par des dispositifs
neutres et bien conçus
![Page 31: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/31.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
Insensibilité aux « cas singuliers »
![Page 32: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/32.jpg)
Exemple : automatisation de la FSSA dans l’Indiana en 2006
![Page 33: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/33.jpg)
AVANT
- Suivi de chaque cas par un travailleur social
- Pouvoir discrétionnaire des travailleurs sociaux, passe-droits
APRES
- Traitement automatique et impersonnel des cas
→ insensibilité, rigidité, pas d’empathie
→ aucun passe-droit pour les demandeurs atypiques, qui méritent une seconde chance, etc…
→ incompétence morale
Eubanks Virginia, Automating inequality: how high-tech tools profile, police and punish the poor, First Edition, New York, NY, St. Martin’s Press, 2018.
![Page 34: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/34.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même
![Page 35: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/35.jpg)
● La question politique :l’activité rendue étrangère à elle-même
Changer de focale...
![Page 36: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/36.jpg)
● La question politique :l’activité rendue étrangère à elle-même
structures
matter
![Page 37: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/37.jpg)
● La question politique :l’activité rendue étrangère à elle-même
?
![Page 38: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/38.jpg)
● La question politique :l’activité rendue étrangère à elle-même
Surveillance
Exploitation du travail
Société de marché
??
?
![Page 39: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/39.jpg)
1) La société de surveillance
Traitement de données → capture de données
= inscription dans un système de surveillance
numérique(ou « dataveillance »)
![Page 40: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/40.jpg)
1) La société de surveillance
Un nouveau Panoptique ?
![Page 41: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/41.jpg)
1) La société de surveillance
Panopticisme :
● Transparence,
● Pouvoir qui se cache,
→ Intériorisation du regard,
→ Automatisation du pouvoir
![Page 42: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/42.jpg)
1) La société de surveillance
De la prison… … à la société entière.
→ Automatisation du pouvoir
Digitale Gesellschaft, “Yes we scan - Demo am Checkpoint Charlie “ – CC BY-SA
![Page 43: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/43.jpg)
2) L’exploitation du travail
Nos activités numériques = produisent des données = génèrent de la valeur
![Page 44: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/44.jpg)
Nos activités numériques = produisent des données = génèrent de la valeur
→ Travail gratuit ?“ Digital labour ”
● fragmenté
● subtilement contraint
● hors du lieu/temps de travail
● non-rémunéré
![Page 45: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/45.jpg)
![Page 46: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/46.jpg)
→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de
données)
Travail gratuit “ Digital labour ”
![Page 47: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/47.jpg)
2) L’exploitation du travail
→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de
données)
Travail gratuit “ Digital labour ”
![Page 48: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/48.jpg)
3) La forme marchandise
![Page 49: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/49.jpg)
= K1 x
3) La forme marchandise
![Page 50: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/50.jpg)
= K1 x
= K2 x
3) La forme marchandise
![Page 51: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/51.jpg)
→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
= K1 x
= K2 x
![Page 52: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/52.jpg)
→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
= K1 x
= K2 x
Quantité A Quantité B
Quantité C
![Page 53: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/53.jpg)
Données = quantités abstraites de leurs
référents réels
= forme analogue à celle de la
marchandise ?
![Page 54: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/54.jpg)
Rapport à soi mesuré en nombre d’amis, de followers, de likes,
de vues, en nombre de pas ou de kilomètres parcourus, scores
divers, etc...
→ propice à un rapport réifié et instrumental à soi et aux autres
→ rationalité économique qui pénètre aussi loin que les dispositifs numériques
![Page 55: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/55.jpg)
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même • surveillée
• exploitée
• réifiée
![Page 56: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/56.jpg)
Comment s’en ressaisir ?
![Page 57: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/57.jpg)
Comment s’en ressaisir ?
Pim
van
ten
d -
CC
BY
-SA
![Page 58: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/58.jpg)
… ou bien l’appropriation communautaire :
● moralité, autonomie = propriété des sujets… mais pas incompatible avec la factualité !
● factualité de la médiation algorithmique = peut être le moyen de réaliser l’autonomie,
● dépossession / réalisation = dépend de son inscription sociale
![Page 59: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/59.jpg)
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
régler notre activité sur ces normes et s’y
reconnaître
= exigence inouïe
![Page 60: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/60.jpg)
Le
Gu
erc
hin
, Atla
s p
orta
nt
le g
lob
e c
éle
ste
, 1
64
6,
mu
sée
Ba
rdin
i
![Page 61: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/61.jpg)
Triple charge
organisationnelle
motivationnelle
cognitive
Habermas, Droit et démocratie. Entre faits et normes, Gallimard, Paris, 1997.
![Page 62: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/62.jpg)
Triple charge
organisationnelle
motivationnelle
cognitive
● appliquer un principe général à des cas concrets
![Page 63: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/63.jpg)
Triple charge
organisationnelle
motivationnelle
● vouloir le juste, même contre notre intérêt
cognitive
● savoir ce qui est juste dans chaque cas concrets
![Page 64: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/64.jpg)
Triple charge
organisationnelle
● qui est responsible de quoi ?
● où s’arrête la responsabilité de chacun ?
motivationnelle
● vouloir le juste, même contre notre intérêt
cognitive
● savoir ce qui est juste dans chaque cas concrets
![Page 65: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/65.jpg)
Peut être déchargée dans la factualité...
des dispositifs techniques
des institutions
des lois
![Page 66: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/66.jpg)
dispositifs techniques
institutions
lois
si contrôlés par la communauté (démocratie)
réalise nos principes de justice
![Page 67: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/67.jpg)
dispositifs techniques
institutions
lois
sinon dépossession
![Page 68: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/68.jpg)
Peut être déchargée dans la factualité...
… d’un algorithme ?
![Page 69: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/69.jpg)
Le cas des communautés d’échange via protocole BitTorrent :
Cohen Bram, « Incentives build robustness in BitTorrent », workshop on economics of Peer-to-Peer Systems, Berkeley, Californie. 2003.
Dagiral Eric et Florian Dauphin, « P2P: From File Sharing to Meta-information Pooling », Communications & Stratégies, vol. 59, n 3, 2005.ᵒ 3, 2005.
Pencolé Marc-Antoine, « Nos algorithmes peuvent-ils être plus justes que nous ? », Revue Française d’Ethique Appliquée, n°5, 2017.
![Page 70: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/70.jpg)
Délégation
organisationnelle
● demande peu d’effort individuel,
● infrastructures peu coûteuses
motivationnelle
● incite à partager (protocole, ratio, économie de l’estime)
cognitive
● appliquer une norme de justice à des milliers de connexions
● savoir quel fichier télécharger ou éviter (malwares)
![Page 71: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/71.jpg)
Le cas des communautés d’échange via protocole BitTorrent :
→ dépossession ou réalisation
de la moralité et de l’activité autonome ?
![Page 72: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/72.jpg)
→ très aisément adaptable, modifiable,
reproductible ailleurs, etc…
→ dispositif souvent peu horizontal
→ mais îlot relativement protégé de la
pression du capital de l’industrie culturelle
Protocole BitTorrent + plate-forme
![Page 73: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/73.jpg)
→ dispositif très ouvert à
l’appropriation communautaire
Protocole BitTorrent + plate-forme
![Page 74: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/74.jpg)
Le cas de Wikipédia :
Geiger R Stuart, « Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture », Big Data & Society, vol. 4, n 2, 2017.ᵒ 3, 2005.
Halfaker Aaron et John Riedl, « Bots and Cyborgs: Wikipedia’s Immune System », Computer, vol. 45, n 3, mars 2012.ᵒ 3, 2005.
Auray Nicolas, « De linux à Wikipedia : Régulation des collectifs de travail massivement distribués », dans L’évolution des usages et des pratiques numériques, FYP Editions, 2009.
![Page 75: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/75.jpg)
Le cas de Wikipédia :
des milliers de bots (~2100 anglophones),
des millions d’éditions pour certains
=
→ détection du vandalisme, de problèmes de copyright
→ structuration des données
→ nettoyage
![Page 76: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/76.jpg)
Délégation
organisationnelle
● épargne beaucoup de travail humain
● standardisation
motivationnelle
● non-respect des règles sanctionné
● économie de l’estime
cognitive
● manifeste les critères de conformité (nombreux et complexes)
![Page 77: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/77.jpg)
Le cas de Wikipédia :
→ structure très horizontale et délibérative
→ îlot non-marchand (communauté de donateurs)
![Page 78: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/78.jpg)
Bots Wikipédia
→ susceptibles d’être remis en question ou modifiés à tout
moment par la communauté
→ et même, localement, par les individus !
![Page 79: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/79.jpg)
Conclusion
![Page 80: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/80.jpg)
●Risque de dépossession de la décision et de l’activité autonome
●Mais aussi puissance objective capable de réaliser nos principes éthiques subjectifs
![Page 81: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/81.jpg)
● Condition technique =
réappropriation communautairecodée dans le dispositif
● Condition structurelle =
s’inscrire contre
- la société de surveillance,- la logique de l’exploitation,- et la réification marchande
![Page 82: New De quoi les algorithmes nous dépossèdent-ils - Ethics by design … · 2018. 10. 17. · Ethics by Design 2018 (Saint-Denis, 2 Octobre 2018) Marc-Antoine Pencolé Professeur](https://reader034.vdocuments.pub/reader034/viewer/2022051815/603e72d24883533ef13dc7c1/html5/thumbnails/82.jpg)
Possible dans quelques rares îlots hors accumulation du capital, hors marché ?
→ à l’inverse, c’est peut-être en partie grâce à ces algorithmes que de tels territoires ont pu renforcer leurs
communautés et maintenir leur indépendance