gyors sikerek - bi consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · demo...
TRANSCRIPT
![Page 1: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/1.jpg)
Kezdő adatbányászati workshop
Petrócziné Huczman Zsuzsanna
2015.10.13.
Gyors sikerek
adatbányászati
módszerekkel
![Page 2: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/2.jpg)
Bemutatkozás
BME, műszaki informatika szak,
adatbányászati szakirány – Citibank
Data Explorer Kft.– Szerencsejáték Zrt.,
Magyar Telekom
Data Solutions Kft.– MT, UPC, Kopint-
Datorg, OTP, Erste, Lombard...
Andego Kft.
![Page 3: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/3.jpg)
Bemutatkozás
![Page 4: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/4.jpg)
Adatbányászat alapok – tematika
Adatbányászati történelem
A halászattól a tudósokig
IBM Watson
Adatbányászati projekt folyamata
Az igénytől az adaton át az eredményig
Rapid Miner – ismerkedés
2 projekt Rapid Miner segítségével
![Page 5: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/5.jpg)
Adatbányászati történelem
Mikor és miért merült fel az igény?
Az adattárolás története infografika
1960 – Adathalászat
1980 – Adatbázis bányászat
1990 – Adatbányászat
2011 – Data Science
![Page 6: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/6.jpg)
Adatbányászati történelem
Mi a különbség?
Statisztikus?
Adatbányász?
Data Scientist?
![Page 7: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/7.jpg)
Adatbányászati történelem
Az adatok mennyisége, minősége
Mennyi adat jön létre egy perc alatt?
Az adatok 90-95%-a az utóbbi hány évben
jött létre?
Magyar „rögvalóság”
Céginfó adatbázis – 1.8 GB (tömörítve)
Vagyonbizt. utóbbi 2 évi káreseménye – 1.5 GB
Prezi.com logfájlok: 800 GB/nap
![Page 8: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/8.jpg)
Adatbányászati történelem
2011 – IBM Watson in Jeopardy
Demo
![Page 9: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/9.jpg)
Adatbányászati projekt folyamata
2 projektet viszünk végig ma
Churn projekt – Banki lemorzsolódás-
elemzés
Marketing projekt – Banki ügyfél
szegmentáció
![Page 10: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/10.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 11: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/11.jpg)
Adatbányászati projekt folyamata
Milyen típusú feladatok oldhatóak meg
tipikusan gépi tanuló algoritmusokkal:
„Kinek adhatunk hitelt?”– Osztályozás, predikció
„Kik a vevőink?”– Szegmentálás
„Akik ezt vették...” – Ajánlórendszer
„Holnap mennyi pénzt hoznak be?” – Idősor-előrejelzés
![Page 12: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/12.jpg)
Adatbányászati projekt folyamata
Speciális feladatok:
„Melyik email spam?” – Szövegbányászat
„Írd be amit keresel” – Keresőmotor
„Milyen hatóanyaggal lehet gyógyítani téged” – orvosi adatbányászat
„Kik a csalók?” – Hálózat-elemzés
![Page 13: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/13.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 14: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/14.jpg)
Adatbányászati projekt folyamata
ADAT
Honnan?
Belső forrás
Külső forrás (internet, piackutatás...)
Mennyit?
Hogyan lehet több adatunk?/Hogyan
mintavételezzünk?
Mi a jó célváltozó-arány?
Gondoljunk a validálásra is!
![Page 15: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/15.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 16: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/16.jpg)
Adatbányászati projekt folyamata
Az adat közelebbről
Objektumot leíró változók (+ Célváltozó)
Adat-átalakítás
Aggregálás, adatforrások összevonása
Új változók generálása
Hiányzó értékek kezelése
Adattípus-átalakítások
![Page 17: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/17.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 18: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/18.jpg)
Adatbányászati projekt folyamata
Milyen gépi tanuló algoritmus-családok
vannak?
Döntési fák
Neurális hálók
Klaszterező eljárások
Regressziós modellek (Idősor-előrejelzés,
predikció)
...
![Page 19: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/19.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 20: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/20.jpg)
Adatbányászati projekt folyamata
Hogyan mérjünk teljesítményt?
Modell-építéstől független adatbázison!
Vagy azonos időszakon, eddig nem látott
adatokon
Vagy különítsünk el teszt-időszakot
Külön adathalmazok:
Tanítás, Tesztelés, Validálás
![Page 21: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/21.jpg)
Adatbányászati projekt folyamata
Határozzuk meg az üzleti célt
Gyűjtsünk, szerezzünk adatokat
Készítsük elő az adatot
Építsünk modelleket
Nézzük meg, hogy teljesít
Építsük be a folyamatokba
CRISP-DM
![Page 22: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/22.jpg)
Rapid Miner – tematika
Alap-információk
Technológiai háttér
Építőkövek
Előnyei
![Page 23: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/23.jpg)
Alap-információk
Egyetemi fejlesztés
Open source
3 verzió
Alap
Community
Professional (2000 $ / év) Többféle adatforrás + MarketPlace+ Support + Cloud
Tutorial, példa-adatbázisok, wiki, fórum…
![Page 24: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/24.jpg)
Technológiai háttér
XML alapú, GUI felület
Párhuzamos futtatás
Java library-ként használható
Market TextMining, DataStream, ...
Operátorok „egyszerűen” írhatóak
![Page 25: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/25.jpg)
Építőkövek
Alapegységek: operátorok
Az operátorok rendelkeznek:
Bemenet
Kimenet
Opcionálisan belső operátorok
![Page 26: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/26.jpg)
Előnyei
Egyszerűen telepíthető
Vizualizációs eszközök
Számos algoritmus, egyszerű
fejleszthetőség
Platform-független
![Page 27: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/27.jpg)
Projektek
TELEPÍTÉS
![Page 28: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/28.jpg)
Churn projekt
Válasszunk egy szimpatikus bankot
POSTABANK
![Page 29: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/29.jpg)
Churn projekt
Üzleti cél:
Szeretnénk tudni, hogy az elkövetkező fél
évben ki fogja nagy valószínűséggel
lemondani a szolgáltatását.
Adatbányászati célra lefordítva:
Milyen ügyfélkarakterisztikával rendelkezik az a
csoport, aki az utóbbi időben lemondta a
szolgáltatást.
Osztályozás
![Page 30: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/30.jpg)
Churn projekt
Adatok – milyen adatokat kérjünk?
Mindent, ami rendelkezésre áll az ügyféllel
kapcsolatban.
Viselkedési adatok
Demográfia
Termékei
Célváltozó
![Page 31: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/31.jpg)
Churn projekt
Adatok feldolgozása
Források egyesítése
Alapstatisztikák (mit nézzünk?)
Extrém értékek kiszűrése
Új változók (ötletek?)
Algoritmus-függő
Hiányzó adatok kezelése
Adattípus-átalakítás
![Page 32: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/32.jpg)
Churn projekt
Modellezés
Próbáljunk ki többféle modellt, többféle
paraméterezéssel
![Page 33: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/33.jpg)
Churn projekt
Validálás
Válasszuk ki a legjobb modellt
![Page 34: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/34.jpg)
Churn projekt
Beépítés az üzleti folyamatokba
Pl. Ajánljunk nekik kedvezményt, hogy
megtartsuk őket
![Page 35: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/35.jpg)
Marketing projekt
Üzleti cél
A bankunk célzott marketingakciókra készül, hogy
így növelje az ügyfeleknek értékesített
szolgáltatásokat.
Adatbányászati cél
Csoportosítsuk az ügyfeleket annak alapján, hogy
azok milyen gyakran használják a bank adott
szolgáltatásait.
Szegmentáció
![Page 36: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/36.jpg)
Marketing projekt
Adatok – milyen adatokat kérjünk?
100.000 ügyfél viselkedési történetét tartalmazza. A
rögzített tranzakciók típusa:
hagyományos banki tranzakciók (TBM - traditional
banking methods);
ATM tranzakciók (ATM - automatic teller machine);
POS tranzakciók (POS - point of sale);
ügyfélszolgálati tranzakciók (CSC - costumer service).
![Page 37: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/37.jpg)
Marketing projekt
Adatok feldolgozása
Alapstatisztikák (mit figyeljünk?)
Hibás az adatbázis!
Transzformáljuk az adatokat; új változó
Algoritmus-függő
Hiányzó adatok kezelése
Adattípus-átalakítás
![Page 38: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/38.jpg)
Marketing projekt
Modellezés
Próbáljunk ki több modellt, többféle
paraméterezéssel
![Page 39: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/39.jpg)
Marketing projekt
„Validálás”
A szegmentációs modelleket nehéz „validálni”,
a cél, hogy minél jobban különböző, jól
leírható, magyarázható szegmenseket kapjunk.
Válasszuk ki a legjobb modellt
![Page 40: Gyors sikerek - BI Consultingbiconsulting.hu/letoltes/2015budapestbi/budapestbiforum2015... · Demo Adatbányászati projekt folyamata 2 projektet viszünk végig ma Churn projekt](https://reader035.vdocuments.pub/reader035/viewer/2022070922/5fbadc2d3552ef03032d661d/html5/thumbnails/40.jpg)
Marketing projekt
Beépítés az üzleti folyamatokba
Az eredmények alapján milyen javaslatot
tennénk a marketing osztálynak?