wikipedia burgos devfest 2017

21
WIKIPEDIA, SIRVIENDO LA TOTALIDAD DEL CONOCIMIENTO HUMANO CON SOFTWARE LIBRE

Upload: jaime-crespo

Post on 22-Jan-2018

285 views

Category:

Engineering


1 download

TRANSCRIPT

Page 1: Wikipedia Burgos devfest 2017

WIKIPEDIA,SIRVIENDO LA TOTALIDAD DEL CONOCIMIENTO

HUMANO CON SOFTWARE LIBRE

Page 2: Wikipedia Burgos devfest 2017
Page 3: Wikipedia Burgos devfest 2017

Algunos datos:

● 949 wikis in 301 idiomas● 15 mil millones de páginas

servidas al mes● 7.33 millones de peticiones

HTTP por minuto● 600-1400 ediciones por

minuto● 42+ millones de imágenes

y otros archivos multimedia

● 5.5 millones de artículos en Wikipedia en inglés

● 37.8 millones de elementos en Wikidata

Page 4: Wikipedia Burgos devfest 2017

¿Qué nos hace diferentes?

● La Wikimedia Foundation es sin ánimo de lucro

● Financiado exclusivamente mediante donaciones

Page 5: Wikipedia Burgos devfest 2017

Estos son nuestros principios

● Libertad y software libre● Servir a todos los seres

humanos● Transparencia● Responsabilidad -

rendir cuentas● Administración y

servicio a la comunidad● Poder compartido● Internacionalización● Libertad de expresión● Independencia

Page 6: Wikipedia Burgos devfest 2017

Software Libre

● Todo el código desarrollado o usado en nuestra infraestructura es software libre:https://phabricator.wikimedia.org/source/mediawiki/

● Toda la configuración y aprovisionamiento de servidores también está disponible libremente:https://phabricator.wikimedia.org/source/operations-puppet/

Page 7: Wikipedia Burgos devfest 2017

Transparencia y rención de cuentas

● Todos los cambios en el software e infraestructura se publican en tiempo real:https://gerrit.wikimedia.org/https://wikitech.wikimedia.org/wiki/SALhttps://phabricator.wikimedia.org/diffusion/

● El gestor de tareas es accesible públicamentehttps://phabricator.wikimedia.org/

● La monitorización es accesible públicamentehttps://grafana.wikimedia.org/

Page 8: Wikipedia Burgos devfest 2017

Privacidad● Obligación de respetar la

privacidad de nuestros usuarios

● TLS obligatorio en todos los servicios

● Albergamos todo nuestro código, datos y servicios (dentro de nuestras posibilidades) y no los compartimos con terceros

● No usamos CDNs, clouds públicas

Page 9: Wikipedia Burgos devfest 2017

No dependencia

● Proporcionamos no sólo el software, sino también dumps de datos completos y documentación para permitir forkshttps://dumps.wikipedia.org/https://wikitech.wikimedia.org

● También facilitan la finalidad principal de compartir todo el conocimiento

Page 10: Wikipedia Burgos devfest 2017

Recursos para la Comunidad

● Muchos voluntarios (no empleados) con acceso a servidores de producción

● También proporcionamos máquinas virtuales/ containers/shared hosting con acceso a replicas de las bases de datos de produción a contribuidoreshttps://wikitech.wikimedia.org/wiki/Help:Cloud_Services_Introduction

Page 11: Wikipedia Burgos devfest 2017

¿Cómo lo hacemos?

Page 12: Wikipedia Burgos devfest 2017

Equipo ● 305 empleados/ contractors

● 88 personas en Audiences (producto)

● 82 personas en Technology● 18 personas en Technical

Operations● No somos el sitio web más

visitado pero “literalmente no hay nadie más ahí fuera sirviendo tantas visitas por ingeniero”

Page 13: Wikipedia Burgos devfest 2017

Hardware ● ~1300 servidores x86_64 en 5 centros de datos principales:● Ashburn, Virginia, EEUU● Amsterdam, Holanda● San Francisco, EEUU● Carrollton, Texas, EEUU● Singapur

Page 14: Wikipedia Burgos devfest 2017

CDN basado en DNS

Page 15: Wikipedia Burgos devfest 2017

Software ● Debian stretch/jessie● Algunos servidores

antiguos con Ubuntu● 29 LVS hosts● 96 Varnish hosts● 316 HHVM/PHP hosts● 54 Memcache hosts● 156 MariaDB hosts● 72 Elasticsearch hosts● 58 Swift hosts

https://grafana.wikimedia.org/dashboard/db/prometheus-dc-overview

Page 16: Wikipedia Burgos devfest 2017

LAMP“complicado”

Page 17: Wikipedia Burgos devfest 2017

Redundancia de red

Page 18: Wikipedia Burgos devfest 2017

Caché ● Varios niveles:● El 90% de las peticiones

no pasan de Varnish● Se cachea también en la

aplicación (APC), Memcache distribuido, en la base de datos (tablas summario) e incluso en disco (parsercache)

Page 19: Wikipedia Burgos devfest 2017

Base de datos ● Varios grupos de

replicación mysql para proveer redundancia y balanceo de carga y separación de lecturas y escrituras

● Dos datacenters sincronizados

Page 20: Wikipedia Burgos devfest 2017

Necesitamos tu ayuda.

Desarrollando. Enviando reportes de errores. Revisiones de parches. Administración. Bots. Ayuda técnica a usuarios.

Documentando. Optando a trabajar con nosotros.https://wikitech.wikimedia.org

https://www.mediawiki.orghttps://wikimediafoundation.org/wiki/Work_with_us

Page 21: Wikipedia Burgos devfest 2017

GRACIAS