1. Ship logs from any source, parse them, index them, and search them

2. Motivation 3. Motivation Zentrale LogverwaltungStrukturierbarZugnglichDurchsuchbarberwachbar 4. Ziel 5. Aufbau Server 1Server 2Server NLogstash shipperLogstash shipperLogstash shipperBroker Logstash parserGraylog2-serverElasticsearch messagesMongoDB statistics graphsGraylog2 Web-Interface 6. Shipper Liest ein und bergibt an message queueBesteht aus fertigem Java ArchivKonfiguration(optional Init-Skript) sehr einfach zu installieren/deployen 7. BrokerKey Value StoreBereitstellung Input- und Output-KanlePasswortgeschtzte bertragung 8. Logstash parserHolt Daten aus dem message queueFiltert DatenStrukturiert Daten (z.B. JSON)bergibt Daten an Graylog2-serverz.B. Apache Log Filter: 9. Graylog2-serverVerarbeitetSpeichert Inhalte nach Elasticsearch Meta Infos nach MongoDB 10. ElasticsearchEchtzeit Volltextsuche (Apache Lucene)SchemafreiPer-operation persistentHorizontal skalierbar (Kapazitt Nodes)RESTful (JSON over HTTP)HA 11. MongoDBDokumenten basiertFhrende NoSQL DBHorizontal skalierbar (Kapazitt Nodes)HA 12. WebinterfaceSuchen und filtern mit Regex supportErzeugen von StreamsBlacklisting von LogeintrgenSenden von Reports und Alarms per Mail 13. Danke fr die Aufmerksamkeit! Weiterfhrende Infos: http://graylog2.org/ http://logstash.net/ http://www.elasticsearch.org/ http://redis.io/ http://grokdebug.herokuapp.com/ http://www.mongodb.org/ http://www.lucenetutorial.com/lucene-query-syntax.html