algorithmic transparency
Post on 28-Jan-2018
271 Views
Preview:
TRANSCRIPT
Transparencia AlgorítmicaLa importancia de explicar las decisiones del ML
Jesús RamosTW: @xuxoramosFB: /xuxoramosEmail: jesus@datank.ai
@xuxoramos
Algoritmo para asignar fianzas y
predecir reincidencia
Sesgado VS afroamericanos* :/
4* https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
@xuxoramos
Búsqueda de "CEO" en Google Images
5
Mujeres en los resultados = 11/100Mujeres CEO en EU = 27/100*
* https://www.eurekalert.org/pub_releases/2015-04/uow-wac040915.php
@xuxoramos
"Three black teenagers" VS "Three white teenagers"*
6* https://www.theguardian.com/technology/2016/jun/09/three-black-teenagers-anger-as-google-image-search-shows-police-mugshots
@xuxoramos
Causas
1. Falta de contextoEquipo dejó fuera al subject matter expert.
2. Correlación = CausalidadEquipo dejó fuera a matemáticos/físicos.
3. Ninguna de las anterioresTodo se hizo bien, los datos están sesgados de orígen.
7
@xuxoramos
Causas
8
1. Falta de contextoEquipo dejó fuera al subject matter expert.
2. Correlación = CausalidadEquipo dejó fuera a matemáticos/físicos.
3. Ninguna de las anterioresTodo se hizo bien, los datos están sesgados de orígen.
"A big step towards countering discriminatory algorithms is the ability to understand them..."
- Ethan Chiel, writer @ Fusion
9
No te aceptaron en la París IV?
No te dieron tu crédito hipotecario?
Te recomendaron un tratamiento médico?
Fuiste seleccionado para programas de gobierno en un tier X?
No fuiste aceptado en el Eurovision?
Qué significa esto para la sociedad?
Tienes derecho a saber por qué!
Tienes derecho a una explicación!
11
@xuxoramos
Qué significa esto para DS y ML?
12
Antes:
Buena Predicción > Interpretabilidad
Ahora:
Interpretabilidad >> Buena Predicción
@xuxoramos
Qué significa esto para el ML supervisado?
13
1. Privilegiar simplicidad.2. Dedicar tiempo al Feature Selection.3. Para tener modelos con menos variables.4. Y poder entrenar varios en un tiempo menor.5. Y así evitar la maldición de la dimensionalidad.6. Y finalmente reducir el overfitting.
@xuxoramos
Qué significa esto para el ML no supervisado?
14
1. Privilegiar la reproducibilidad*2. Elegir algoritmos parametrizables (DBSCAN >
K-means).3. Establecer procesos formales de diseño de
experimentos.
* https://www.forbes.com/sites/quora/2017/02/09/how-the-reproducibility-crisis-in-academia-is-affecting-scientific-research/#1aa4d3853dad
@xuxoramos
Qué significa esto para la Ingeniería de Datos?
15
1. Incorporar Github al proceso de DS.2. Levantar infras para entrenamientos en
paralelo.3. Levantar pipelines de reentrenamiento.4. "Solo los salvajes sobreescriben datos".5. Envolver la DS en Ingeniería de Software.
@xuxoramos
Qué significa esto para el Deep Learning?
19
Explicar decisiones en términos de weights no es admisible, ni accionable para el afectado*
* https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
@xuxoramos
Entonces ya no lo usamos?
20
Cuando la distancia entre una decisión, y su recompensa / penalización sea directa, usa DL*
* http://www.wired.co.uk/article/google-ai-montezuma-revenge
@xuxoramos
Relación entre Reward y Penalización
21
* http://www.wired.co.uk/article/google-ai-montezuma-revenge
@xuxoramos
Relación entre Reward y Penalización
22
* http://www.wired.co.uk/article/google-ai-montezuma-revenge
t + 1
@xuxoramos
Y cuando no lo sea?
23
DARPA1, MIT2, Cambridge, Oxford, DATANK, et al ya están en ello.
1. http://www.darpa.mil/attachments/DARPA-BAA-16-53.pdf2. http://news.mit.edu/2016/making-computers-explain-themselves-machine-learning-1028
ACM*Enero 2017
Awareness of Bias
Access & Redress
Accountability
Explanation
Data Provenance
Auditability
Validation & Testing
26* https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf
top related