desarrollo de una herramienta de planificación social media
TRANSCRIPT
![Page 1: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/1.jpg)
DESARROLLO DE UNA HERRAMIENTA DE PLANIFICACIÓN SOCIAL MEDIA
EN LA BLOGOSFERA ESPAÑOLA
Pablo Aragón Asenjo
Director: Íñigo García Morte
Ponente: Fernando Tricas García
Julio de 2010
![Page 2: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/2.jpg)
ÍNDICE
• INTRODUCCIÓN ContextoObjetivos
• BLOGOSFERA AnálisisConclusiones
• ARQUITECTURA Diseño distribuidoRastreoExtracciónIndexaciónAgrupamiento
• RESULTADO Resultados funcionalesResultados estadísticoConclusionesTrabajo FuturoReconocimientos
![Page 3: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/3.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Contexto: Cierzo Development
CONTEXTOOBJETIVOS
• Marketing online y gestión de la reputación en Internet
Contexto: Cierzo Development
• Marketing online y gestión de la reputación en Internet
• Ubicada en el CEEI de Aragón
• Plataforma SMMART
![Page 4: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/4.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
CONTEXTOOBJETIVOS
Contexto: Social Media
CLIENTEPLANIFICACIÓN
BLOGOSFERA
RECUPERACIÓNIDENTIFICACIÓN
MONITORIZACIÓN
![Page 5: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/5.jpg)
1. Adquirir el conocimiento necesario en las tecnologías Amazon EC2, Hadoop, Nutch, Lucene y Solr
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
CONTEXTOOBJETIVOS
Contexto: Objetivos
2. Implementar un sistema de rastreo de la blogosfera española, extracción de entidades de posts e indexación de las mismas
3. Desarrollar un sistema de agrupamiento de posts en conversaciones
![Page 6: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/6.jpg)
ÍNDICE
• INTRODUCCIÓN ContextoObjetivos
• BLOGOSFERA AnálisisConclusiones
• ARQUITECTURA Diseño distribuidoRastreoExtracciónIndexaciónAgrupamiento
• RESULTADO Resultados funcionalesResultados estadísticoConclusionesTrabajo FuturoReconocimientos
![Page 7: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/7.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
ANÁLISISCONCLUSIONES
Análisis: Estimaciones de la blogosfera
• Technorati (2007) Más de 112 millones de blogs
• Blogpulse (2009) Más de 126 millones de blogs
• Bitacoras.com (2010) 417371 blogs en español
![Page 8: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/8.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Análisis: 1º Proceso de expansión
ANÁLISISCONCLUSIONES
![Page 9: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/9.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Análisis: 2º Proceso de expansión
ANÁLISISCONCLUSIONES
![Page 10: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/10.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Resultados
ANÁLISISCONCLUSIONES
• Grandes volúmenes de información
• Aparición de nuevos blogs
• Variaciones en la frecuencia de publicación
![Page 11: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/11.jpg)
ÍNDICE
• INTRODUCCIÓN ContextoObjetivos
• BLOGOSFERA AnálisisConclusiones
• ARQUITECTURA Diseño distribuidoRastreoExtracciónIndexaciónAgrupamiento
• RESULTADO Resultados funcionalesResultados estadísticoConclusionesTrabajo FuturoReconocimientos
![Page 12: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/12.jpg)
Amazon EC2 es el servicio de computación en nube
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
Diseño distribuido: Amazon EC2
computación en nube perteneciente a Amazon
Servidores y discos duros configurables
Plataforma escalable de almacenamiento, transferencia y computación bajo demanda
![Page 13: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/13.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Diseño distribuido: MapReduce en Hadoop
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
Framework de computación a gran escalaFramework de computación a gran escala
• Paradigma de programación MapReduce
• Sistema distribuido de ficheros
![Page 14: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/14.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Diseño distribuido: MapReduce en Hadoop
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
MAP
Entrada: (k1,v1)Entrada: (k1,v1)Salida: list(k2,v2)
![Page 15: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/15.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Diseño distribuido: MapReduce en Hadoop
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
MAP
Entrada: (k1,v1)
REDUCE
Entrada: (k2,list(v2)) Salida: list(v3)
Entrada: (k1,v1)Salida: list(k2,v2)
![Page 16: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/16.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Diseño distribuido: Sistema Distribuido de Ficheros de Hadoop
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
• Hadoop Distributed FileSystem divide los ficheros en fragmentos
• Cada fragmento se replica en varios nodos• Cada fragmento se replica en varios nodos
![Page 17: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/17.jpg)
Diseño distribuido: Argumentos a favor de Hadoop
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
• Alta tolerancia a fallos
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
• Gestión de memoria
• Coste económico
• Comparación con otras tecnologías
![Page 18: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/18.jpg)
Diseño distribuido: Módulos del sistema
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
![Page 19: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/19.jpg)
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
CrawlDb• URL• Última consulta
Módulo de rastreo: Estructura y flujo de datos
• Última consulta• Estado• Metadatos
Segment
• URL• Contenido HTML• Enlaces salientes
![Page 20: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/20.jpg)
� Filtros positivos y negativos de URLS
Módulo de rastreo: Parámetros de configuración
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
� Identificador del motor
� Retardo entre consultas sucesivas
� Volumen y concurrencia de los threads
![Page 21: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/21.jpg)
1. Distinción entre URLS de blogs y posts
Módulo de rastreo: Factores de rastreo
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
2. Relevancia social del blog
3. Frecuencia de publicación
4. Idioma
![Page 22: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/22.jpg)
� Detector de frecuencias de publicación
� Identificación de la frecuencia de blogs
Módulo de rastreo: Implementaciones sobre Nutch
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
� Mecanismo de expiración de posts
� Detección de idiomas basado en n-gramas
� Inclusión de metainformación en CrawldB
� Lenguaje
� Número de consultas
� Herramientas de gestión de CrawlDb
![Page 23: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/23.jpg)
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
Módulo de rastreo: Esquema final
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
![Page 24: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/24.jpg)
Módulo de extracción
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Extracción de las entidades de un post
� XPath
� Densidad de texto en el HTML
![Page 25: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/25.jpg)
Módulo de indexación
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
� Búsqueda a texto completo
� Ordenación de resultados
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
� Ordenación de resultados
� Lematización de tokens
� Filtrado de palabras frecuentes
� Interfaz web de administración
� Replicación de índices
![Page 26: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/26.jpg)
El módulo de agrupamiento realiza:
1. Tokenización de entidades
Módulo de agrupamiento
DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
1. Tokenización de entidades
2. Generación de una matrices de tokens y distancias
3. Algoritmo de clusterización
Los resultados corresponden con las conversaciones que forman los posts
![Page 27: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/27.jpg)
![Page 28: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/28.jpg)
ÍNDICE
• INTRODUCCIÓN ContextoObjetivos
• BLOGOSFERA AnálisisConclusiones
• ARQUITECTURA Diseño distribuidoRastreoExtracciónIndexaciónAgrupamiento
• RESULTADO Resultados funcionalesResultados estadísticoConclusionesTrabajo FuturoReconocimientos
![Page 29: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/29.jpg)
![Page 30: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/30.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Resultados funcionales: Herramienta de planificación
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
La integración del índice de posts, el módulo de agrupamiento y la interfaz web conforma la herramienta de planificación social media
![Page 31: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/31.jpg)
![Page 32: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/32.jpg)
![Page 33: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/33.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Resultados estadísticos: Volumen de posts
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
• Pocos blogs de elevado volumen• Pocos blogs de elevado volumen
• Más blogs con un volumen intermedio
• Muchos blogs de volumen ínfimo
![Page 34: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/34.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Resultados estadísticos: Puntuación de blogs
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
Gráfica análoga a la anterior � El modelo se ajusta a la realidad
![Page 35: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/35.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Resultados estadísticos: Detección de idioma
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
![Page 36: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/36.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Conclusiones
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
1. Implementación de un sistema que cumple los requisitos propuestospropuestos
2. Diseño de una arquitectura con un alto grado de escalabilidad
3. El modelo implementado se ajusta a la realidad de la blogosfera
![Page 37: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/37.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Trabajo futuro
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
1. Utilización de esta arquitectura en nuevos productos
![Page 38: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/38.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Trabajo futuro
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
1. Utilización de este diseño distribuido en nuevos productos
2. Replicación del sistema para otras fuentes del social media
![Page 39: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/39.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Trabajo futuro
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
1. Utilización de este diseño distribuido en nuevos productos
2. Replicación del sistema para otras fuentes del social media
3. Implementación de productos que consumen estas fuentes
![Page 40: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/40.jpg)
INTRODUCCIÓNBLOGOSFERA
ARQUITECTURA RESULTADOS
Reconocimientos
RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS
Presentación en el Congreso Apache Lucene Eurocon 2010Presentación en el Congreso Apache Lucene Eurocon 2010
![Page 41: Desarrollo de una herramienta de planificación social media](https://reader033.vdocuments.pub/reader033/viewer/2022060110/555daf74d8b42a68328b4a64/html5/thumbnails/41.jpg)
Muchas gracias por su atención…