incidens-, probléma-, változáskezelés

Budapesti Műszaki és Gazdaságtudományi EgyetemMéréstechnika és Információs Rendszerek Tanszék

Incidens-, probléma-, változáskezelés

Szombath Istvánszombath@mit.bme.hu

Intelligens rendszerfelügyelet

Tartalomjegyzék Probléma / motiváció Eseménykezelés (ism.) Incidenskezelés Problémakezelés Konfigurációmenedzsment (ism) Hatásanalízis / diagnosztika Változáskezelés

Demo

Bevezető

?!#@?

Hiba esetén értesítendő o Józsi a rendszergazdao IT supporto Help Desk

o Telefonono E-mailbeno Keretrendszer

segítségével

Nem megy a vindóz, nem

tudok dolgozni!Értem uram,

mik a tünetek?Most mondtam,

nem megy!

Kapcsolja ki a gépet, majd be.

Ma már az n. ügyfél fordul hozzám fura

panaszokkal. Továbbítom a problémát a

nagykutyáknak.Oh, újra

működik, csodás!

A múlt heti frissítésben

valószínű maradt egy bug. Ezt

azonnal orvosolni kell!

Gartner felmérés Milyen szintű integráció van az eseménykezelés

(mgmt) és a Service Desk között?o 10% semmilyeno 46% „analóg” manuális (telefon, …)o 20% félig automatizált („digitális manuális”)o 24% teljesen automatizált

Ki felelős a kritikus problémákért?o…o 17% nem formalizált

ITIL IT menedzsment

folyamatokhozo keretrendszero technikáko eszközöko „best practices”

Jobbat Olcsóbban

Terminológia Monitorozás != eseménykezelés

oMiért is? Ticket

o Trouble Ticket, RFC Ticket, …o Azonosítóo Visszahívási cím (Callback Number)o Jól strukturált információ

RFCo Request for Changeo Ticket ha változtatni szeretnénk valamin

Terminológia Baseline – alapbeállítás Known Error (Ticket)

o Ismert hiba (GyIK, FAQ, RTFM, …)oMiért is lesz ez hasznos?

Reaktivitás, proaktivitás Példa az eseményekre:

o Új bejegyzés egy naplófájlbano Script üzenetet küld (e-mail, …)o Ágens jelentést küldo…

Menedzsment folyamatok

Event Management

IncidentManagement

ProblemManagement

Service DeskFunction

CapacityManagement

AvailabilityManagement

Service LevelManagement

IT ServiceContinuity

Management

IT SecurityManagement

ConfigurationManagement

ChangeManagement

ReleaseManagement

Eseménykezelés (ism) ITIL: Event Management

o „Event Management is the process of raising significant infrastructure events and responding to those events.”

Fogalmak:o Szűrés (filtering)o Továbbítás (forwarding)o „Lassítás” (throttling)o Duplikátumok detektálása (duplicate detection)o Korrelációo Elévültetéso Metrikák (példa?)

Eseménykezelés ism. Generálás Detektálás Szűrés Akció

o Automatikus / humáno Loggoláso Eszkalálás

• Incidenskezelés• Problémakezelés• Változáskezelés

Felülvizsgálás Lezárás

Menedzsment folyamatok

Event Management

IncidentManagement

ProblemManagement

Service DeskFunction

CapacityManagement

AvailabilityManagement

Service LevelManagement

IT ServiceContinuity

Management

IT SecurityManagement

ConfigurationManagement

ChangeManagement

ReleaseManagement

Service Desk Felület a felhasználók felé Ide fordulnak zavar esetén

Ticket nyitása, kitöltése, lezárása Kísérlet a probléma megoldására Eszkalálás

Aliasok(?)o Call Center, Help Desk, …

Menedzsment folyamatok

Event Management

IncidentManagement

ProblemManagement

Service DeskFunction

CapacityManagement

AvailabilityManagement

Service LevelManagement

IT ServiceContinuity

Management

IT SecurityManagement

ConfigurationManagement

ChangeManagement

ReleaseManagement

ITIL – Incidenskezelés Incidens:

o Nem tervezett leállás, hiba vagy anomália egy szolgáltatásban (vagy komponensben)

Formalizált incidenskezelés előnye:o Kevesebb leálláso Priorizálás, jobb erőforrás kihasználáso Szolgáltatási szint javítása

Folyamatok, szerepkörök, felelősségek definiálása

Táblánál: Incidenskezelés házilag

Incidenskezelés – Alfolyamatok Azonosítás

o Milyen forrásokból jöhet?• Event Mgmt• Web Service Interface• Telefonhívás kívülről• Belülről

Naplózás (mit is?)o ID, Időbélyego Probléma leíráso Érintettek száma, súlyosság, prioritáso Kontakt (visszahívási szám)o Vonatkozó CI adatok (!)o Status (?)

Incident identification

Logging

Incidenskezelés – Alfolyamatok (2) Kategorizálás

o HW / SW …o Granularitás változó

Priorizáláso Impact on Businesso Hány ember érintett?o Anyagi, személyi, erkölcsi (?) kár

(Initial) Diagnóziso Kísérlet a hibaok feltárására

Categorization

Prioritization

Initial Diagnosis

Incidenskezelés – Alfolyamatok (3) Eszkalálás

o Updateljük a ticketet o Továbbítjuk felsőbb szintekreo 2-level, 3-level

Diagnózis felállításaoMi romlott el? oMi vezetett ide?o Okok, eseménysorok megértéseo Known Error Ticket(ek) frissítése

Escalation?

Diagnosis

Incidenskezelés – Alfolyamatok (4) Helyreállítás

o Teszteléso Végrehajtás (hol?)

Incidens lezárásao Ticket útjának ellenőrzéseo Visszajelzéso Dokumentálnio Újra előfordulhat

Resolution &Recovery

IncidentClosure

Incideskezelés – Ticket állapotai Opened Assigned Resolved Closed

Opened Assigned

Resolved Closed

Prioritás Prioritás = sürgősség x hatás

Ökölszabály: Impact = érintettek száma (?)

Példák:o Backup elromlott (nem sürgős, nagy „impact”)o Logo nem szép (sürgős, közvetlen hatás nincs)

Gondolkodtatók Milyen metrikákat mérhetünk?

o Ticket/óra, Ticket hossz, … Milyen más folyamatokkal van együttműködés?

o Esemény, probléma, változáskezeléso Konfigurációkezeléso…

Kritikus pontoko Known Error Ticketek kezeléseo Incidensek észleléseo Képzett csapat o Elkötelezettség a felhasználók részéről (!)

Menedzsment folyamatok

Event Management

IncidentManagement

ProblemManagement

Service DeskFunction

CapacityManagement

AvailabilityManagement

Service LevelManagement

IT ServiceContinuity

Management

IT SecurityManagement

ConfigurationManagement

ChangeManagement

ReleaseManagement

ITIL – Problémakezelés Probléma:

o Incidens(ek) oka Problémák életciklusát kezeli

o Szisztematikusan Incidensek számát / hatását minimalizálja

o Hibaok feltárásaoMegoldás keresése, tesztelése, implementálása

Szoros integráció az incidenskezeléssel és a változáskezeléssel

Problémakezelés Folyamat incidenskezeléshez hasonló:

o Detektálás• Hogyan (itt kezd érdekes lenni)?

o Loggoláso Kategorizáláso Priorizáláso DiagnózisoWorkaroundok, megoldás tesztelése, implementálásao Known Error Ticket létrehozása, dokumentáláso Lezárás

Demo Ticketek

oMit tartalmaz?o Terminológia

Ticket állapotváltáso Jelzés (e-mail)

Munino Ticketek számának változása

• Open / Closed / All

Trac, Munin

Tartalomjegyzék – kis kitérő Probléma / motiváció Eseménykezelés (ism.) Incidenskezelés Problémakezelés Konfigurációmenedzsment (ism) Hatásanalízis / diagnosztika Változáskezelés

Demo

CMDB architektúra séma (ism)

Data Provider

Data Consumer

Interface

Interface

CMDB

Data Consumer

Data Provider

Klasszikusconsumer – provider

CMDB központi adatház Szabványos Interfészek Konf. mgmt. körülöleli

Cserélhető eszközök

Konfigurációkezelés

CMDB architektúra (ism)

CMDB

IT infra-struktúra

Beépített szenzorok

Külső szenzorok

Vizuali-záció

Monitorozás

Egyéb eszközök

Másik DB

* Menedzsment

Query interface

Modell (példány)

rome152.66.252.250

10.10.10.254

vegas10.10.10.3Külső web

sicily10.10.10.1

DHCP, AD Server

chicago10.10.10.2Belső web

florenceDHCP

donDHCP

naplesDHCP

10.10.10.10255.255.255.0

(Logikai) Infrastruktúra Modell

MatematikaiModell

Analízis

Matematikai analízis

Modell vezérelt analízis és visszacsatolás (ism)

Middle-ware

ModellCMDB

Mérnöki ModellAutomatizált

modell generálás

Hatásanalízis (Impact Analysis) Inf. térkép a CMDB-ből:

o Elemek és kapcsolataiko Pl. A függ B től

Komponens hiba kihat-e aszolgáltatásra?o Hány embert érint?

Szolgáltatás leállását melykomponens hibák okozhatják?o Tfh. ismert egyes komponensek állapota

Menedzsment folyamatok

Event Management

IncidentManagement

ProblemManagement

Service DeskFunction

CapacityManagement

AvailabilityManagement

Service LevelManagement

IT ServiceContinuity

Management

IT SecurityManagement

ConfigurationManagement

ChangeManagement

ReleaseManagement

Változás Nem megtervezett változás következményei:

o Szinkron megszűnik a valóság és a CMDB közötto Nem tervezett leállásoko Bevezetés nem sikereso Késéseko HotFixek

Változáskezelés Változások életciklusát kezeli (meglepő)

o Változások káros hatásainak kiküszöböléseo Folytonos(abb) üzletmenet biztosításao Erőforrások hatékony kihasználásao Szisztematikus, folyamatvezérelto CMDB szinkronban tartása

o Business impact meghatározásao Scope behatárolása (érintettek értesítése, bevonása)o Incidensek elkerülése (változás miatti ~)

Változáskezelés – kulcsfaktorok(minden ITIL folyamatra igaz, különösen a erre) Vállalati kultúra Prioritások figyelembevétele Jogosultságok, felelősségek tisztázása Kockázatok kézben tartása

Változáskezelés

Assess change

Approve / reject

Implementation

Review change

Close change

RFC

Identity affected

items

Update records

Capture baselines

Audit items

Check records updated

Reports & audits

Release & deploy

CMDBKonfiguráció

Menedzsment

VáltozáskezelésRequest For

Change(nem)változtatás

hatása, rizikó, ütemezés

Go / NogoImplementálás koordinálása ÉrtékelésLezárás

Sanyi dolgozik

Változáskezelés – összefoglalás Világosan látni kell:

o Ki kezdeményezte a változást?oMiért?oMi a profit?o Rizikó?o Erőforrásigénye?o Felelősök (teszt, implementálás)?o Van kapcsolat más „objektumokkal”(?)?

Összefoglalás Esemény-, incidens-, probléma-, változáskezelés

o Szisztematikus folyamato Jórészt automatizálto Service Desk által támogatotto Szakértői csapat bevonásávalo CMDB-t igénybe vevő

• Hatásanalízis• Diagnosztika• …

Reaktív / Proaktív