tema 3: skladi štenje podataka i inteligentni agenti

Tema 3: Skladištenje podataka i inteligentni agenti

SISTEMI ZA PODRŠKU ODLUČIVANJUdoc dr Vladislav Miškovic

Fakultet za informatiku i menadžment

2009/2010

Tema 3: Skladištenje podataka i inteligentni agenti

1. Uvod

2. Skladišta podataka

3. Razvoj skladišta podataka

4. Zaštita i administracija

5. Inteligentni agenti

6. Primeri

1. UVOD

• Poslovna inteligencija

• Skladište podataka – Osnovna svojstva– Struktura i komponente

Poslovna inteligencija (business intelligence)

• Sastoji se od – skladišta podataka (data warehouse, DW) i – skupa korisničkih alata za kreiranje upita i

izveštaja i njihovu analizu i vizualizaciju (business analytics, BA)

– metoda za otkrivanje netrivijalnih relacija u podacima (data mining i Web mining)

– metoda i alata za upravljanje performansama poslovanja (business performance management, BPA)

Skladište podataka

• skup podataka proizvedenih radi podrške odlučivanju

• mesto prikupljanja tekućih i istorijskih podataka, potencijalno od interesa za različite menadžere u organizaciji– podaci su strukturisani na način pogodan za

različite analitičke obrade

Osnovna svojstvaskladišta podataka

• neophodni za analitičko procesiranje (OLAP), koje omogućava korisniku udobnije, manje formalne načine postavljanja složenih upita– različito od klasičnog procesiranja transakcija (OLTP)– suprotstavljeni ciljevi izgradnje operativnih baza i

analitičkih baza podataka (neefikasnost)

• skladište proizvedenih informacija– informacije iz više izvora (baza podataka)

• neophodne za održavanje tržišne prednosti– primena u izgradnji brendova, lojalnosti mušterija, ...

Struktura i komponente skladišta podataka

2. SKLADIŠTA PODATAKA

• Osnovne definicije

• Proces skladištenja

• Arhitekture skladištenja

• Integracija podataka

Osnovne definicije

• Skladište podataka (Data Warehouse)– integrisana, pojmovno orijentisana, vremenski

promenljiva i neizbrisiva kolekcija podataka, koja pruža podršku odlučivanju

– Data Mart• mali podskup skladišta posvećen nekoj tematici i namenjen

određenoj grupi ljudi

– Operational Data Store (ODS)• dinamička, privremena skladišta, za brzo donošenje odluka

– Enterprise Data Warehouses (EDW)• velika skladišta podataka, za celu organizaciju

Proces skladištenja

• Osnovne komponente– izvori podataka (data sources) - transakcione

baze, datoteke, eksterni izvori– ekstakcija– punjenje– baza podataka– metapodaci– middleware

Arhitekture skladištenja

• dvoslojna ili troslojna, prema tome kako su raspoređeni– podaci i softver skladišta– softver za prikupljanje podataka (ekstrakciju,

konsolidaciju, sumiranje i punjenje skladišta)– klijent

• Web sistemi• postoje različite varijante arhitekture skladišta,

od centralizovanih do decentralizovanih rešenja, gde se samo dele različiti pogledi (DataMarts)

Različite arhitekture skladištenja

a) centralizovano

c) decentralizovanob) Web

Integracija podataka

• priprema podataka za upotrebu od strane drugih alata za skladištenje (DW)– pristup (access) različitim izvorima podataka– objedinjavanje (federation) podataka iz različitih

izvora/sistema - internih i eksternih– izdvajanje promena (change capture)

• Tehnologije koje se koriste u integraciji– Enterprise application integration (EAI)

• Service-oriented architecture (SOA)

– Enterprise information integration (EII)– Extract, transformation and load (ETL)

ETL proces

• Ekstrakcija - čitanje više baza (transakcione baze podataka, fajlovi, elektronske tabele, lične baze podataka)

• Transformacija - promena oblika podataka• Punjenje (load) - smeštanje u skladište

– Koristi se pomoćna, privremena baza podataka– Poslovna pravila su smeštena centralizovano, kao

metapodaci– Koriste se namenski alati (Microsoft, Oracle, IBM,

Informatica, Tibco) ili se pišu se posebni programi

ETL proces

3. RAZVOJ SKLADIŠTA

• Primer

• Poznati proizvođači softvera

• Različiti pristupi razvoju

• Struktura skladišta (zvezda)

• Implementacija

• Masivna skladišta

• Skladištenje u realnom vremenu

Primer

• avioprevoznik u finansijskim problemima (7. u svetu)– 2300 letova dnevno– 227 destinacija– problem organizacije i zadovoljenja potreba putnika– više različitih baza podataka i nasleđenih zastarelih sistema,

spori upiti

• izgrađeno integrisano skladište podataka kompanije (EDW)– informacije u realnom vremenu (putnici, osoblje, bezbednost,

proces letenja)

• osim redukcije troškova, eliminisane i zloupotrebe• investicija od 30 miliona (u toku 6 godina), povećanje

prihoda 500 miliona

Poznati proizvođači softvera

• Computer Associates (www.ca.com)• Hyperion Solutions (www.hyperion.com)• IBM (www.ibm.com)• Informatica (www.informatica.com)• Microsoft (www.microsoft.com)• Oracle (PeopleSoft, Siebel) www.oracle.com• SAS Institute (www.sas.com)• Sybase (www.sybase.com)• Teradata (www.teradata.com)

Različiti pristupi razvoju

• Centralizovani pristup (EDW)– jedinstven pogled na celu organizaciju– koristi metode i alate za razvoj baza podataka (ERD,

spiralni razvoj)

• Decentralizovani pristup (Data Mart)– "planirati celinu, graditi postupno"– podaci se prvo organizuju prema problematici

pojedinih organizacionih celina– često prvi korak ka razvoju centralizovanog skladišta

(EDW)

Struktura skladišta (zvezda)

• modeliranje dimenzija - sistem pristupa podacima velikog obima

• struktura zvezde je način implementacije modela dimenzija– centralna tabela - posmatrani poslovni podaci i njihovi

atributi, analitički (mere performansi), deskriptivni, ključevi

– tabele dimenzija (klasifikacija i agregacija informacija o podacima)

• granulacija - nivo detaljnosti (optimizuje se)

Primer

Implementacija

• poseban projekt, veliki broj različitih pristupa

• niz faktora i kriterijuma (na vežbama)

• osnovni alati za integraciju podataka su deo softvera poznatih proizvođača DBMS/BI alata, npr.– SSIS - SQL Server Integration Services

SSISSQL Server Integration Services

Masivna skladišta

• performanse opadaju porastom veličine skladišta

• veličina skladišta podataka raste eksponencijalno (danas petabajti)

• skalabilnost skladišta je svojstvo da vreme pristupa linearno zavisi od veličine skladišta

Skladištenje u realnom vremenu

• tradicionalna skladišta podataka se ažuriraju periodično (npr. nedeljno)

• važni aspekti poslovanja zahtevaju donošenje odluka u realnom vremenu

• za potrebe korisnika koji direktno komuniciraju s kupcima i dobavljačima, EDW su evoluirali u real time data warehousing (RTDW) ili active warehousing (ADW)

• omogućena je upotreba skladišta podataka i na taktičkom nivou

4. ZAŠTITA I ADMINISTRACIJA

• Metodi zaštite i administracije informacionih sistema i baza podataka

• Administrator skladišta podataka– komunikacija sa donosiocima odluka– potrebno znanje iz informacionih sistema,

baza podataka, mreža i sistema za podršku odlučivanju

5. INTELIGENTNI AGENTI

• Inteligentni agent - računarski program koji pomaže korisniku u obavljaju rutinskih poslova na osnovu utvrđenih pravila i baze znanja [1]– agent - osoba koja sarađuje s drugim licima

radi obavljajnja određenih poslova– softverski agent (software daemon, software

agent), čarobnjak (wizzard)= softverski robot (softbot, chatterbot, shopbot,

knowbot, mailbot, spambot)

Podela prema primeni

• autonomni agenti1. biološki agenti

2. robotski agenti

3. računarski agenti1. softverski agenti

1. određene namene

2. za zabavu

3. virusi

2. veštački živi agenti

Podela prema svojstvima (dimenzijama)

1. agencija - stepen autonomije (asinhronost)

2. inteligencija - stepen zaključivanja i sposobnost učenja

3. mobilnost - sposobnost premeštanja u mrežnom okruženju

– učestvuju u procesima i u vreme kad korisnik nije na mreži (npr. višednevne aukcije)

Internet agenti

• e-mail agenti (mailbot)• web browsing asistenti• inteligentni pretraživači

– indeksiranje informacija, robots, spiders, wanderers• softboti (pronalaženje informacija)

– google.com, hotjobs.yahoo.com• agenti za upravljanje i nadzor• e-commerce agenti

– bestwebbuys.com, ebay.com• ostali agenti (inteligentni interfejsi, učenje,

preporučivanje, profilisanje, Web mining, ...)

6. PRIMERI

Primeri projekata na sajtovima• Oracle www.oracle.com • Microsoft www.microsoft.com • IBM www.ibm.com • Hyperion www.hyperion.com • Harvard Bussines School Case Collection

www.harvardbussinesonline.hbsp.harvard.eduInteligentni agenti i interfejsi• www.botspot.com

Literatura

1. Nastavni materijali (prezentacije i uputstva)2. Turban E., Aronson J.E., Liang T., Sharda R.,

Decision Support and Business Intelligence Systems, 8th Ed, Pearson Education,Inc, 2007

3. Seref M., Ahuja R.,Winston W., Developing Spreadsheet-based Decision Support Systems, Dynamic Ideas, 2007

4. Adam F., Humphreys P., Encyclopedia of Decision Making and Decision Support Technologies, IGI Global, 2008

SISTEMI ZA PODRŠKU ODLUČIVANJU Tema 3: Skladištenje podataka i inteligentni agenti

KRAJ