upravljanje sistemskim zapisima kroz elk - srce.unizg.hr · upravljanje sistemskim zapisima kroz...
TRANSCRIPT
Upravljanje sistemskim zapisimakroz ELK
Elasticsearch Logstash Kibana
Autor Zdenko Škiljan
Voditeljica Sabina Rako
veljača 2016
Obrazovni program za IT-specijaliste edu4ITSistemski administrator 1 područje Linux
Sadržaj
bull Uvod
bull Prethodno stanje
bull Modeli
bull Odabrani model
bull Implementacija
bull Iskustva
bull Zaključak
Uvod - Sistemski zapisi
bull Sva aktivnost računalne infrastrukture ogleda se u sistemskim zapisima (logovima)
bull Praćenje sistemskih zapisa je osnovni element održavanja i nadzora infrastrukture
bull Široko rasprostranjeni standard za bilježenje sistemskih zapisa zove se syslog
bull Uobičajena je praksa da se osim na lokalnom uređaju svi sistemski zapisi bilježe na središnjem sustavu za pohranu sistemskih zapisa tzv loghost
Središnja pohrana i njene prednosti
bull Redundantna pohrana sistemskih zapisa u slučaju kvara sklopovlja ili kompromitiranja uređaja
bull Pohrana za uređaje koji uobičajeno nemaju veliki prostor za pohranu podataka kao što su usmjernici(router) i preklopnici (switch)
bull Omogućuje korelaciju sistemskih zapisa s više uređaja
Uobičajeni ustroj središnje pohrane
bull Sigurnosni zapisi se šalju na središnji syslogposlužitelj
bull Pohranjuju se u sirovom obliku bez izmjena
bull Pohranjuju se u mape razvrstane po godinama mjesecima i danima
bull Komprimiraju se na dnevnoj razini
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Sadržaj
bull Uvod
bull Prethodno stanje
bull Modeli
bull Odabrani model
bull Implementacija
bull Iskustva
bull Zaključak
Uvod - Sistemski zapisi
bull Sva aktivnost računalne infrastrukture ogleda se u sistemskim zapisima (logovima)
bull Praćenje sistemskih zapisa je osnovni element održavanja i nadzora infrastrukture
bull Široko rasprostranjeni standard za bilježenje sistemskih zapisa zove se syslog
bull Uobičajena je praksa da se osim na lokalnom uređaju svi sistemski zapisi bilježe na središnjem sustavu za pohranu sistemskih zapisa tzv loghost
Središnja pohrana i njene prednosti
bull Redundantna pohrana sistemskih zapisa u slučaju kvara sklopovlja ili kompromitiranja uređaja
bull Pohrana za uređaje koji uobičajeno nemaju veliki prostor za pohranu podataka kao što su usmjernici(router) i preklopnici (switch)
bull Omogućuje korelaciju sistemskih zapisa s više uređaja
Uobičajeni ustroj središnje pohrane
bull Sigurnosni zapisi se šalju na središnji syslogposlužitelj
bull Pohranjuju se u sirovom obliku bez izmjena
bull Pohranjuju se u mape razvrstane po godinama mjesecima i danima
bull Komprimiraju se na dnevnoj razini
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Uvod - Sistemski zapisi
bull Sva aktivnost računalne infrastrukture ogleda se u sistemskim zapisima (logovima)
bull Praćenje sistemskih zapisa je osnovni element održavanja i nadzora infrastrukture
bull Široko rasprostranjeni standard za bilježenje sistemskih zapisa zove se syslog
bull Uobičajena je praksa da se osim na lokalnom uređaju svi sistemski zapisi bilježe na središnjem sustavu za pohranu sistemskih zapisa tzv loghost
Središnja pohrana i njene prednosti
bull Redundantna pohrana sistemskih zapisa u slučaju kvara sklopovlja ili kompromitiranja uređaja
bull Pohrana za uređaje koji uobičajeno nemaju veliki prostor za pohranu podataka kao što su usmjernici(router) i preklopnici (switch)
bull Omogućuje korelaciju sistemskih zapisa s više uređaja
Uobičajeni ustroj središnje pohrane
bull Sigurnosni zapisi se šalju na središnji syslogposlužitelj
bull Pohranjuju se u sirovom obliku bez izmjena
bull Pohranjuju se u mape razvrstane po godinama mjesecima i danima
bull Komprimiraju se na dnevnoj razini
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Središnja pohrana i njene prednosti
bull Redundantna pohrana sistemskih zapisa u slučaju kvara sklopovlja ili kompromitiranja uređaja
bull Pohrana za uređaje koji uobičajeno nemaju veliki prostor za pohranu podataka kao što su usmjernici(router) i preklopnici (switch)
bull Omogućuje korelaciju sistemskih zapisa s više uređaja
Uobičajeni ustroj središnje pohrane
bull Sigurnosni zapisi se šalju na središnji syslogposlužitelj
bull Pohranjuju se u sirovom obliku bez izmjena
bull Pohranjuju se u mape razvrstane po godinama mjesecima i danima
bull Komprimiraju se na dnevnoj razini
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Uobičajeni ustroj središnje pohrane
bull Sigurnosni zapisi se šalju na središnji syslogposlužitelj
bull Pohranjuju se u sirovom obliku bez izmjena
bull Pohranjuju se u mape razvrstane po godinama mjesecima i danima
bull Komprimiraju se na dnevnoj razini
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Prednosti i nedostaci
Prednosti Nedostaci
bull Jednostavnostbull Sistemski zapisi su
sačuvani u izvornom obliku
bull Zbog velike količine slabo strukturiranih podataka vrlo je teška analiza i korelacija sistemskihzapisa
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Pitanja
bull Na koji način trenutačno spremate sistemske zapise Koristite li tradicionalni središnji syslog ili neko drugo rješenje
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Alternativna rješenja za središnju pohranu
bull Donedavno nije bilo kvalitetnih rješenja otvorenog kocircda
bull Splunk je popularan alat besplatan za manje količine sistemskih zapisa (do 500 MB dnevno)
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Alternativna rješenja za središnju pohranu
bull Zadnjih godina se pojavilo niz alata otvorenoga kocircda koji omogućuju
bull pouzdaniji prijenos
bull organizaciju i filtriranje
bull indeksiranje
bull Pretraživanje sistemskih zapisa
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Pitanja
bull Jeste li do sada koristili neko od navedenih rješenja za središnju pohranu sistemskih zapisa
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Kriteriji za izgradnju sustava (Srce)
bull Redundantnost podataka
bull Visoka dostupnost
bull Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
bull Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
bull Pouzdanost
bull Jednostavnost (što manje komponenata)
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Pitanje
bull Koje kriterije smatrate važnima u vašem okruženju
A Redundantnost podataka
B Visoka dostupnost
C Sukladnost sa svim uređajima - poslužiteljima mrežnim uređajima printerima itd
D Pohrana sistemskih zapisa koji nisu u syslogu(Apache itd)
E Pouzdanost
F Jednostavnost (što manje komponenata)
G hellip
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Lokalno
Razmatrani modeli središnje pohrane
Logstash agent
Model 1
Filebeat
syslog
Model 2
Model 3
Redis(Broker)
Logstash indexer
Elasticsearch
Središnji repozitorij
Kibana
Curl
Logstash indexer
Elasticsearch
Kibana
Curl
RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Curl
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Sustavi korišteni u modelima
bull Rsyslog ndash syslog poslužitelj novije generacije
bull Redis (REmote DIctionary Server) ndash služi za međupohranu (queueing) i posredovanje (broker)
bull Logstash ndash prikuplja (logstash agent) obrađuje i filtrira (logstash) i indeksira sistemske zapise (logstashindexer)
bull Elasticsearch ndash pohranjuje sistemske zapise indeksira ih i omogućuje pretragu
bull Kibana ndash web sučelje za pretragu i vizualizaciju sistemskih zapisa
bull Curl ndash naredbenolinijski alat opće namjene za prijenos podataka
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Model 1
bull Dobre strane
bull Visoka dostupnost i robusnost sustava
bull Velik broj unaprijed definiranih pravila za raščlambu sistemskih zapisa (Logstash)
bull Loše strane
bull Uključuje puno sustava
bull Na sve uređaje je potrebno instalirati logstash agenta (veliki footprint) i Javu
Logstash agent
Redis(Broker)
Logstash indexer
Elasticsearch
Kibana
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Model 2
bull Dobre strane
bull Filebeat ima manji footprint od Logstash agenta koji je pisan u Javi
bull Loše strane
bull manje robustan od Logstash agenta u kombinaciji s Redisom
bull na sve poslužitelje je potrebno instalirati Filebeat
FilebeatLogstash indexer
Elasticsearch
Kibana
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Model 3
bull Dobre strane
bull Model ne zahtijeva posebne agente pa stoga podržava sve uređaje koji podržavaju syslog
bull Jednostavnost
bull Loše strane
bull Uključivanje sistemskih zapisa servisa koji ne podržavaju syslog zahtjeva netrivijalno konfiguriranje
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Odabrani model
Omogućujebull Visoku dostupnost kroz HA clusterbull Prihvat sistemskih zapisa na središnjem poslužitelju kroz
rsyslog poslužiteljbull Indeksiranje i redundantnu pohranu sistemskih zapisa kroz
Elasticsearch clusterbull Obuhvaćanje Apache logova (kroz Rsyslog modul)bull Pretraživanje i programsko dohvaćanje uzoraka sistemskih
zapisa kroz Elasticsearch RESTful API (rezultat u JSON formatu)
bull Pretraživanje i vizualizaciju sistemskih zapisa kroz Kibanu
syslog RsyslogOmelastic
searchmodul
Elasticsearch
Kibana
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Odabrani model
Poslužitelji Mrežni uređaji
Elasticsearch
Kibana
Curl
ha1 ha2RsyslogRsyslog
syslog syslog
Floating adresa
HA Cluster
RestFull API port 9200
port 5601
syslog
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Rsyslog
bull Syslog poslužitelj
bull Otvorenoga kocircda
bull Naprednije funkcije
bull Dostupan na većini distribucija
bull Kompatibilan s Elasticsearchom
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Rsyslog (Implementacija)
bull Rsyslog v8 se instalira iz paketabull httpwwwrsyslogcomdebian-repositorybull httpwwwrsyslogcomrhelcentos-rpms
bull Za slanje sistemskih zapisa u Elasticsearch potrebno je bull Instalirati modul omelasticsearch (postoji paket) bull Konfigurirati Rsyslog
bull Pravila za prihvat sistemskih zapisa klijenatabull Predložak za indeksiranje sistemskih zapisa u
Elasticsearchu
bull Za slanje Apache logova potrebno je bull Instalirati liblognorm (paket)bull Definirati Apache predložakbull Definirati pravilo za normaliziranje dolaznih sistemskih zapisa
Apache web poslužitelja
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Elasticsearch
bull Distribuirani pretraživački poslužiteljbull Otvorenoga kocircda bull Napisan u Javibull Napravljen na bazi Apache Lucene (full-text search engine
library)
bull Koristi RESTful API i JSON format dokumenata
bull Podržava skaliranje na stotine poslužitelja
bull Može indeksirati petabajte podataka
bull Teoretski omogućuje analitiku u realnom vremenu
bull Podržava klasteriranjebull Load balancingbull Replikacija podataka
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Elasticsearch (Implementacija)
bull Postoji paket za Debian i CentOS
bull httpswwwelasticcodownloadselasticsearch
bull Zahtjeva da je instaliran Java paket (preferirano Oracle)
bull Klasteriranje
bull Problem Split brain ndash pripaziti prilikom planiranja broja čvorova (node) i konfiguriranja master nodedata node
bull RAM ndash 50 ostaviti OS-u i jezgri a 50 dati ES
bull Iznad 32 GB počinje se slabije efektivno iskorištavati memorija
bull Ukoliko Elasticsearchu možete dati više od 32 GB na poslužiteljuonda treba umjesto jednog čvora podići više čvorova na tom istom poslužitelju
bull Ugasiti swap zbog velike degradacije perfomansi
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Kibana
bull Web sučelje
bull Otvorenoga kocircda
bull Jednostavna za instalaciju i konfiguraciju
bull Omogućuje jednostavnu prilagodbu sučelja
bull Ulazne podatke dohvaća iz Elasticsearcha
bull Za pretraživanje se može definirati
bull Lucene upit (ltime_poljagtltizrazgt)
bull topN upit
bull regulani izraz (Regex)
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Kibana (Implementacija)
bull Instalacija - ne postoji paket u distribucijama Debian i CentOS pa je instalacija bdquoručnardquo
bull httpswwwelasticcodownloadskibana
bull Zadnja verzija je kibana v4 koji donosi znatne izmjene u odnosu na v3
bull Pristup preko URL-a httpkibanaeshr5601
bull Na početnom ekranu je predefinirana nadzorna ploča (dashboard)
bull Moguće je izraditi vlastite nadzorne ploče
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Primjeri Elasticsearch RESTFul API
Primjer 1 Ispis sistemskih zapisa programa mimedefang koji su zapisani u facility local2
bull Naredbena linija
curl httpessrce9200_searchq=+tagmimedefang +facilitylocal2bdquo
bull URL encoded ()
curl httpessrce9200_searchq=2Btagmimedefang202Bfacilitylocal2
took46434timed_outfalse_shardstotal252successful252failed0hitstotal1693529max_score14142135hits[_indexlogstash-20141001_typeevents_idX_AdFDnXQKqBtxSYn3o2ew_score14142135_sourcetimestamp2014-10-01T160110+0200hostbdquosever1severityinfofacilitylocal2tagmimedefangpl[20602]message MDLOGs91E11L8024912mail_inxxxxxxxxltbounce-blognotions-3l000r38un0akv5pns0netlinenl00netgtltuser1domainhrgtNovirin -Natural Latent Virus Killer + 3 More Posts -- September2C 2014hellip
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Primjeri Elasticsearch RESTFul API (2)
Primjer 2 Ispis svih sistemskih zapisa koji se odnose na host server1 u JSON formatu ndashbdquolijepi ispis
curl httpessrce9200_searchq=hostserver1amppretty=1ampsize=1lsquotook 326timed_out false_shards total 252successful 252failed 0
hits total 25402653max_score 10hits [ _index logstash-20141001_type events_id tfU98eVhSMSs66udubfqDw_score 10_sourcetimestamp2014-10-
01T161054+0200hostbdquoserver1severityinfofacilitymailtagdovecotmessage pop3-login Login user=ltuser1gt method=PLAIN rip=xxxxxxxx lip=yyyyyyyy mpid=9970 session=lt82EEEEAAAAKCgC9gt
]
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Primjer Kibana
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Primjer Kibana (2)
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Zadnjih godinu dana produkcije
bull Indeksirano 57 milijardi linija sistemskih zapisa
bull Dnevno indeksiranje ovisi o aktivnostima (od 9 milijuna do čak 90 milijuna)
bull 16 GB do 12 GB podataka dnevno
bull VM ndash 24 GB RAM-a 15 GB rezervirano za Elasticsearch
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Moguće druge primjene ELK-a
SIEMHIDS ndash analiza događaja vezanih uz sigurnosne dojave
bull httpwwwslidesharenetprajalkulkarniattack-monitoring-using-elasticsearch-logstash-and-kibana
bull httpwwwslidesharenetcatwalladermanaging-your-security-logs-with-elasticsearch-41472152
Analiza objava na Twitteru ili nekom drugom društvenom mediju
bull httpwwwrittmanmeadcom201411analytics-with-kibana-and-elasticsearch-through-hadoop-part-3-visualising-the-data-in-kibana
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Zaključak
bull Središnja pohrana sistemskih zapisa je osnovni i nužan element održavanja računalnih sustava
bull Indeksiranje i pretraživanje sistemskih zapisa omogućuje globalni i detaljni uvid u zapise analizu grafički prikaz i programski dohvat zapisa čime nadzor računalnih sustava dobiva novu dimenziju
bull Uz komercijalne alate pojavio se niz alata otvorenog kocircda ndashLogstash Redis Elasticsearch Kibana itd koji omogućuju različite implementacije središnjeg sustava za upravljanje sistemskim zapisima (ovisno o potrebama)
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Korisne poveznice
bull httphttpswwwelasticco
bull httpwwwrsyslogcom
bull httpwwwliblognormcom
bull httpbloggerhardsnet
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
40 međunarodna
wwwsrceunizghr creativecommonsorglicensesby-nc40deedhr wwwsrceunizghrotvoreni-pristup
PITANJA