pt14 data warehouse
DESCRIPTION
data ware houhe untuk materi pembelajaran komputer dan jaringanTRANSCRIPT
-
Pustaka Data (Data Warehouse) menyimpan, mengelola dan memberikan data untuk mendukung pengambilan keputusan strategis.
Data Warehouse bersifat informasional: bertujuan untuk menyampaikan informasi untuk keperluan analisa.FAKULTAS TEKNOLOGI INFORMASI*PERANCANGAN BASISDATA - 3 SKSData Warehouse
PERANCANGAN BASISDATA - 3 SKS
-
Data proses-bisnis harian (order, inventory, payroll, account) dari aplikasi OLTP: OnLine Transaction Processing
Karakteristik:Sebagian besar operasi adalah update - berupa transaksi per satuan data (record)Bersifat rekaman sesaat (snapshot)Orientasi ke aplikasiHanya data rinci (transaction level)*PERANCANGAN BASISDATA - 3 SKSTransactional (vs Informational) DataFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Data tentang bisnis - data untuk perencanaan dan analisa (aplikasi OLAP: OnLine Analysis Processing)Karakteristik:Sebagian besar operasi adalah simpan dan bacaQuery relatif panjang dan kompleks, melibatkan banyak satuan dataBersifat historisBerorientasi topik bisnis (subject oriented)Juga berisi rangkuman/gabungan dataMencakup sumber data lain yang berhubungan dengan manajemen dan perencanaan *PERANCANGAN BASISDATA - 3 SKSInformational (vs Transactional) DataFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
TransaksionalUntuk otomasi proses bisnisSasaran: efisiensi Menentukan proses bisnisDigerakkan oleh event transaksiOptimasi proses transaksi*PERANCANGAN BASISDATA - 3 SKSTransactional vs Informational DesignInformasionalMendukung pengambilan keputusanSasaran: keefektifanDisesuaikan dengan situasi bisnisMengantisipasi event transaksiOptimasi query (pengambilan data)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]
Data Warehouse:Pusat koleksi yang lengkap dan konsisten data perusahaan yang dikumpulkan dari berbagai sumber untuk memberikan informasi yang dapat dipahami dan dipergunakan dalam konteks bisnis --Barry Devlin, IBM.PERANCANGAN BASISDATA - 3 SKS*DW DefinitionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]
Data Warehouse:
Sistem terstruktur berskala besar untuk meng-analisa data statis yang telah ditransformasikan dari berbagai aplikasi asalnya agar sesuai dengan struktur bisnis, terkumpul dalam waktu yang lama, direpresentasikan dalam terminologi bisnis, dan terangkum untuk memudahkan analisa.--Vivek Gupta, System Services Corp.PERANCANGAN BASISDATA - 3 SKS*DW Definition (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Karakteristik Data Warehouse:Menyeluruh dan terangkum (integrated)Historis (time varying)Statis (non-volatile)Terorganisasi menurut topik analisa (subject oriented)Ditujukan untuk pemakai bisnis sebagai pendukung pengambilan keputusan.*PERANCANGAN BASISDATA - 3 SKSDW CharacteristicsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Update secara append onlyVolume data amat besar (terakumulasi)Periode update yang terjadwal sesuai dengan siklus bisnisHarus dipisahkan dari data operasional:Alasan skema: Struktur dan definisi data berbeda dengan OLTP.Alasan kinerja: Pemrosesan query OLAP yang intensif dapat membebani OLTP.*PERANCANGAN BASISDATA - 3 SKSDW Characteristics (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
*PERANCANGAN BASISDATA - 3 SKSBI Component FrameworkORDERSSHIPPINGINVENTORYDATAWAREHOUSEData Warehouse EnvironmentAnalytical EnvironmentExtractCleanTransformTransferLoadQueryReportAnalyzeMineVisualizeFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Proses-proses, alat-alat bantu, dan teknologi untuk mengubah data menjadi informasi, dan informasi menjadi pemahaman serta rencana untuk menggerakkan aktivitas bisnis yang efektif -- The Data Warehouse Institute
*PERANCANGAN BASISDATA - 3 SKSBI DefinitionBI Learning Cycle:FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
ArsitekturVirtual (query driven)Terpusat (centralized)Tersebar (federated)*PERANCANGAN BASISDATA - 3 SKSData Warehouse ArchitectureFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Akses langsung ke basis data OLTP*PERANCANGAN BASISDATA - 3 SKSvirtual DWOLTP systemsresult setsDBMSdata accessDBMSDBMSdata accessdata accessinformation access(filtering, staging, merging)analytical toolsqueriesVirtual DWFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Keuntungan: Murah (TCO rendah, tidak ada duplikasi data).Data selalu paling mutakhir.Data yang sangat lengkap dari berbagai sumber.Cocok untuk kebutuhan informasi yang tak terduga/terencana.*PERANCANGAN BASISDATA - 3 SKSVirtual DW AdvantagesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Kelemahan: Tidak memiliki data historis.Tidak efisien dan lambat (proses pembersihan, transformasi dan penggabungan untuk setiap query).Dapat menggangu kinerja OLTP: produktifitas perusahaan.*PERANCANGAN BASISDATA - 3 SKSVirtual DW DisadvantagesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Akses ke basis data warehouse pusat*PERANCANGAN BASISDATA - 3 SKSDBMSdata accessDBMSDBMSdata accessdata accessinformation accessETL (staging)data warehousedata accessCentralized DWOLTP systemsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Keuntungan:Kinerja pemrosesan query yang tinggiTidak mengganggu kinerja OLTPMemenuhi persyaratan DW
Kelemahan:Informasi yang dihasilkan belum tentu mutakhirDuplikasi data dengan OLTP*PERANCANGAN BASISDATA - 3 SKSCentralized DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Akses ke basis data federated Data Marts.Sebagai konsekuensi dari desentralisasi dari pengambilan keputusan.Skope Data Mart (DW departmental) pendukung: personal, proyek, departemental/divisional, fungsional/perusahaan.*PERANCANGAN BASISDATA - 3 SKSinformation accessmarketingcustomer carefinanceFederated DWData MartData MartData Martdata accessFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Keuntungan: Sama dengan DW terpusatKeandalan dan ketersediaan tinggi (basis data terdistribusi)
Kelemahan: Sama dengan DW terpusatStruktur data marts pendukung belum tentu sesuai dengan kebutuhan di tingkat pusat: Sudut pandang rancangan data mart bersifat divisional - tidak utuh.*PERANCANGAN BASISDATA - 3 SKSFederated DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Terpusat (pendekatan Top-Down): Ideal tetapi membutuhkan waktu pengembangan yang lama dan skala proyek yang besarResiko kegagalan proyek pengambangan tinggi
Tersebar (pendekatan Bottom-Up): Memungkinkan prioritasi, pengembangan bertahap sambil mendaki learning curveDibutuhkan koordinasi melalui team yang mengatur standarisasi kode, penamaan, dan definisi data.*PERANCANGAN BASISDATA - 3 SKSCentralized vs FederatedFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Kinerja adalah Faktor Keberhasilan DW:Kecepatan memuat data baru dalam skala giga bytes atau ratusan ribu records per jam, secara periodik.
Waktu untuk data staging: transformasi, penyaringan, konversi format, test kelengkapan data, dsb. termasuk dalam perhitungan kecepatan memuat data.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Data LoadingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Query throughput adalah ukuran kesuksesan DW. Banyaknya query yang terjawab (termasuk yang ad-hoc) akan mendorong analis untuk mendapatkan query yang lebih kreatif dan jitu.Optimasi: skala response time dalam detik. Merupakan fungsi dari kompleksitas query bukan ukuran basis data.User scalability. Mampu melayani ratusan pemakai secara bersamaan tanpa perlambatan yang berarti.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Query ProcessingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Media penyimpanan basis data arus mampu menyimpan data dalam skala tera bytes.
DBMS harus juga mampu menangani data dalam skala tera bytes.*PERANCANGAN BASISDATA - 3 SKSScalability Issue: Storage CapacityFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Tujuan ETL:Mengumpulkan, menseleksi, mengolah dan menggabungkan data relevan dari berbagai sumber untuk disimpan dalam Data Warehouse.
Hasil ETL: Data yang memenuhi kriteria DWHistoris, terpadu, terangkum, statis, dan memiliki struktur yang dirancang untuk keperluan analisa.
Bagian terpenting: menyerap 50%-70% total kerja proyek Data Warehousing.*PERANCANGAN BASISDATA - 3 SKSExtraction Transformation LoadingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Sumber-sumber data umumnya sangat bervariasi (heterogeneous):
Platform mesin dan Operating System yang berlainanMungkin melibatkan sistem kuno dengan teknologi basis data yang sudah ketinggalan jamanMutu data yang berbeda-bedaAplikasi sumber data mungkin menggunakan nilai data (representasi) internal yang sulit dimengertiInkonsistensi definisi data, dan tidak adanya mekanisme/prosedur penyeragaman.*PERANCANGAN BASISDATA - 3 SKSETL ProblemsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Perencanaan ekstraksi data melibatkan identifikasi:
Sumber data: sistem OLTP, basis data eksternal, dsb.Metoda ekstraksiFrekuensi ekstraksiWaktu/penjadwalan ekstraksiTahapan proses ekstraksiPenanganan kejanggalan (anomali) dalam ekstraksi, misal: prosedur operasi manual*PERANCANGAN BASISDATA - 3 SKSData ExtractionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Ekstraksi Data Statis
Ekstraksi Data Terjadwal/TertundaBerdasarkan time stampBerdasarkan perbedaan antara file lama dan baru
Ekstraksi Data SeketikaDengan mekanisme log transaksiDengan mekanisme database triggerOleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Ekstraksi statisUmumnya dilakukan pada saat off-line: pemuatan data awal atau full refresh periodik Ekstraksi non-statisUmumnya dilakukan sering secara periodik untuk updating DW dengan data terbaruSelektif: hanya mengambil data yang telah berubah sejak ekstraksi terakhir
*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Metoda tertunda (batch):Berdasarkan perbedaan waktu time-stampBerdasarkan perbedaan image file data
Metoda seketika (real-time):Dengan mekanisme transaction logDengan mekanisme database triggerLangsung oleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSNon-Static Data ExtractionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
*PERANCANGAN BASISDATA - 3 SKSBatch Data Extractionsource operational systemssourcedatabasesDBMStime-stampbasedextractionprogramextractfiledatastagingareatodaysfileyesterdaysfileextractfilefilecomparisonprogramFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
*PERANCANGAN BASISDATA - 3 SKSReal-Time Data Extractionsource operational systemssourcedatabasesDBMS
applicationgeneratedextractfiledatastagingareaextractfiletransactionlog filetrigger- driven procedureFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Dapat memakan waktu lamaDibutuhkan sistem DBMS dengan kinerja tinggi atau fasilitas bulk loading
Harus dilakukan secara otomatis Misal dengan cron jobs (Unix), job control service (Windows)*PERANCANGAN BASISDATA - 3 SKSBatch Extraction ScheduleFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Data dari sistem-sistem OLTP perlu diproses sebelum disimpan dalam data warehouse
Langkah-langkah utama:Pembersihan dataKonversi dan pengubahan struktur dataMelengkapi kolom-kolom kosongPenggabungan dataPerangkuman data (penghitungan agregat)*PERANCANGAN BASISDATA - 3 SKSData Staging: TransformationFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Pemeriksaan validitas dataPembuangan atau koreksi data yang invalid atau inkonsisten
Pembuangan detail yang tidak perluPembuangan duplikat-duplikat data*PERANCANGAN BASISDATA - 3 SKSData CleansingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Prekalkulasi:Penghitungan nilai-nilai derivatPenghitungan agregat (rangkuman)
Restrukturisasi data:Splitting: pemecahan kolom data menjadi beberapa kolomMerging: perangkuman beberapa kolom data menjadi satu kolom
Penggabungan atribut-atribut (denormalisasi):Pemberian kunci global (surrogate keys)*PERANCANGAN BASISDATA - 3 SKSTransformation TypesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
*PERANCANGAN BASISDATA - 3 SKSDenormalizationsurrogate key
KeyNIPNamaJabatanProyek01001818283EddyPengawasP020101002818283EddyManajerP041101003818824EmmySekretarisP041101003818824EmmyStafP0201
NIPNamaAlamatKelamin818283EddyJl Duren 11L818824EmmyJl Pisang 2P818835DoddyJl Mangga 7L818812NaniJl Nangka 1P
KodeProyekNamaLokasiP0201AnalisaSistemCabangBalikpapanP0411TrainingCabangManadoR0391PerbaikanInfrastrukturPusatR0402Pengembangan JaringanPusat
PERANCANGAN BASISDATA - 3 SKS
-
Masalah penyeragaman data yang dikumpulkan dari berbagai sumber (sistem aplikasi OLTP):
Perbedaan terminologi akibat perbedaan konvensi, struktur/manajemen organisasi, dsb.Perbedaan kodifikasi nilai data. Misal: L/P atau P/W untuk jenis kelamin.Perbedaan periode siklus bisnis: mingguan, bulanan, kuartalan, dsb.*PERANCANGAN BASISDATA - 3 SKSData TranslationFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Perbedaan nilai default untuk missing valuesDefinisi/representasi nilai data yang hanya dimengerti oleh kalangan pemakai sistem aplikasi sumber sajaPerbedaan format data, misal: jumlah digit atau huruf.*PERANCANGAN BASISDATA - 3 SKSData Translation (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Translasi data:Pengubahan format (tipe data dan panjangnya)Translasi (decoding) nilai dataKonversi character setKonversi satuan ukuranKonversi format tanggal dan jam*PERANCANGAN BASISDATA - 3 SKSTransformation Types (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Permasalahan:
Skop identitas dari entitas yang terbatas hanya selama satu transaksi, danIdentifikasi entitas yang sama dalam basis-basis data atau sistem-sistem yang berlainanDiperlukan kriteria matching
Adanya beberapa sumber untuk elemen data yang samaDiperlukan ranking prioritas sistem-sitem sumber*PERANCANGAN BASISDATA - 3 SKSIntegration & Consolidation IssuesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Metoda pemuatan data berdasarkan tipe:
Skala transaksiMisal: Total pembelian oleh konsumen P pada hari H di kios KDisimpan ke dalam DW dengan operasi write
Skala periodik (periodic snapshot)Misal: Saldo bulanan nasabah tabunganDisimpan ke dalam DW dengan memeriksa batas waktu periode data, operasi penjumlahan, dan operasi update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data TypeFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
-
Metoda pemuatan data berdasarkan tipe:
Skala kumulatif (accumulating snapshot)Misal: Total biaya pengobatan pasien rawat jalan (periode tidak tetap/pasti)Disimpan ke dalam DW dengan operasi penjumlahan dan update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data Type (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS