3urvlglqj - lapanpussainsa.lapan.go.id/upload/snsa2016/list/ahmad.pdf · 2017-06-21 · fvy...

$: 3URVLGLQJ - LAPANpussainsa.lapan.go.id/upload/snsa2016/list/Ahmad.pdf · 2017-06-21 · fvy dsolndvlriilfh h[fho dffhvv gdqwdehogdul edvlvgdwd 6hgdqjndqilwxuwudqvirupdvl\dqj whuvhgld$
Prosiding Seminar Nasional Sains Antariksa

Homepage: http//www.lapan.go.id

TEKNIK MAPPING DATA MENGGUNAKAN PENTAHO KETTLE PADA APLIKASI SISTEM BASIS DATA ANTARIKSA

(DATA MAPPING TECHNIQUE USING PENTAHO KETTLE ON THE SPACE SYSTEM DATABASE APPLICATION)

Ahmad Zulfiana Utama, Elyyani, Yoga Andrian Pusat Sains Antariksa Lembaga Penerbangan dan Antariksa Nasional e-mail: [email protected]

ABSTRAK

Riwayat Artikel:

Diterima: 22-11-2016 Direvisi: 10-03-2017 Disetujui: 20-03-2017 Diterbitkan: 22-05-2017

Kata kunci:

Manajemen basis data, Pentaho Kettle, Sistem manajemen file

Kelompok penelitian basis data Pusat Antariksa pada tahun 2014-2015 mengembangkan aplikasi Sistem Basis Data Antariksa (SIMBADA). Pengembangan sistem basis data antariksa memiliki tujuan untuk mempermudah pengguna mencari data hasil pengamatan yang tersimpan pada server. Antar muka aplikasi disajikan dalam bentuk web based. Fitur pencarian data merupakan jantung dari aplikasi. Pengguna dapat mencari data berdasarkan rentang waktu, lokasi pengamatan, atau jenis data pengamatan. Pencarian data menggunakan system management file pada Sistem Operasi Debian. Pada saat dilakukan pengujian sistem terkadang data tidak ditemukan berbanding terbalik dengan ketersediaan data pada server. Setelah dilakukan kajian ulang ternyata penamaan folder, dan strukturnya tidak memiliki keseragaman dan inkonsistensi. Hal tersebut berakibat pada hasil pencarian data, karena pada Sistem Operasi file yang dicari harus identik termasuk besar-kecil penamaan file (Case Sensitive). Untuk memperbaiki hal tersebut maka proses bisnis pencarian data sepenuhnya akan diubah menggunakan Database Management System (DMBS) MYSQL. Informasi data (metadata) dimasukan ke dalam DBMS melalui proses pemetaan data. Pemetaan data dimulai dari pengumpulan data, memilah informasi data, transformasi, dan memasukan setiap informasi ke dalam DBMS. Informasi yang tersimpan dalam DBMS dapat digunakan sebagai parameter pencarian aplikasi sistem basis data antariksa. Alat bantu untuk memasukan metadata ke DBMS menggunakan Pentaho Kettle.

Keywords:

Database management, Pentaho Kettle, File management system

ABSTRACT

The research group database in 2014-2015 developed applications Space Database System (SIMBADA). Development of the database system space has the purpose to facilitate the search for the observed data stored on the server. Application interface is presented on web based. The search feature data is the heart of the application. Users can search the data by time range, observation location, or type of observational data. Search the data use file management system method on Debian Operating System. At the time of system test sometimes data is not found inversely proportional to the availability of data on the server. After naming the folder to be replicated,

,

Seminar Nasional Sains AntariksaBandung, 22 November 2016

c© 2017 Pusat Sains Antariksa LAPANISBN: 978-602-17420-1-3

and the structure does not have the uniformity and inconsistency. Caused on the search results data, because the operating system must be identical file is searched including file naming use case sensitive.To fix it then processes the data search business will completely revamped using MYSQL Database Management System. Insert data information into the DBMS through the process of data mapping . Data mapping starting from data collection, extract, transformation, and load into database management system. Information of data (metadata) stored in DBMS can be used as a parameter data search on application Space Database System. Tools to mapping metadata into the DBMS using Pentaho Kettle.

1. Pendahuluan

Pusat Sains Antariksa (Pussainsa)-LAPAN sebagai pusat layanan informasi bidang sains antariksa memiliki beberapa program utama yang dituangkan ke dalam Decision Support System (DSS) yang salah satunya yaitu layanan cuaca antariksa. Sentra layanan cuaca antariksa didukung oleh berbagai kegiatan, pemantauan, penelitian, pengembangan terpadu yang berkaitan dengan perubahan kondisi cuaca antariksa.

Sejak awal tahun 2015, Pussainsa secara kontinu memberikan informasi dan prediksi cuaca antariksa melalui alamat http://swifts.sains.lapan.go.id. Adapun konten utama yang diberikan meliputi aktivitas matahari, dinamika magnetosfer, dinamika ionosfer, serta dampaknya pada komunikasi HF dan navigasi berbasis satelit.

Informasi dan prediksi cuaca antariksa merupakan hasil dari pengolahan data pengamatan antariksa. Data merupakan aset penting bagi organisasi, karena data yang telah diolah dapat menghasilkan informasi yang berharga. Data-data ini diperoleh dari stasiun pengamatan yang tersebar di seluruh Indonesia (Sumedang, Agam, Pontianak, Garut, Pasuruan, Manado, dan Biak). Data tersebut dikumpulkan ke dalam satu server utama di Pussainsa. Proses pengambilan data dari server harus dapat diakses dengan mudah oleh pengguna.

Pengembangan aplikasi sistem basis data antariksa merupakan program pendukung dari layanan cuaca antariksa. Pengembangan aplikasi ini tujuannya untuk mempermudah pengguna mencari data hasil pengamatan yang tersimpan pada server di Pussainsa. Fitur pencarian merupakan jantung dari aplikasi. Pengguna dapat mencari data berdasarkan rentang waktu, lokasi pengamatan, atau jenis data pengamatan.

Identitas dari setiap data harus diketahui oleh aplikasi untuk digunakan sebagai

parameter pencarian. metadata ini berupa nama, lokasi penyimpanan, ukuran, tipe data, dan lokasi pengamatan. Semua metadata dimasukan ke dalam basis data. Tujuan dari penyimpanan metadata ke basis data yaitu untuk mempermudah pencarian data pada aplikasi Sistem Basis Data Antariksa. Mustahil data dapat ditemukan apabila identitasnya tidak diketahui.

Metadata ini berasal dari proses mapping. Proses mapping yaitu memecah setiap informasi yang dimiliki oleh data disesuaikan dengan standar informasi yang kita inginkan. Proses mapping merupakan proses yang sering muncul dalam pengelolaan data (Kolaitis, 2005). Proses mapping ini dimulai dari pengumpulan data, sampai data siap digunakan oleh pengguna, dan proses terakhir yaitu pengarsipan data (Nisal et al., 2012). Selama proses berlangsung data yang telah memiliki standar sebelumnya, diubah ke dalam standar yang telah disesuaikan dengan kebutuhan atau dikenal dengan istilah transformasi. Transformasi data merupakan permasalahan umum yang sering di alami oleh pengembang sistem, yang diakibatkan dari format atau struktur data yang tidak konsisten. Hal tersebut membutuhkan pemetaan data untuk mengkonversi data ke dalam satu bentuk yang seragam (Bossung, 2004).

Proses pemetaan data dimulai dari memecah informasi data, merubah format data sesuai dengan standar yang telah ditentukan melalui proses transformasi, dan memasukannya ke dalam basis data. Alat bantu untuk pemetaan data Pentaho Kettle. Pentaho Kettle menyediakan fitur transformasi yang berfungsi untuk mengatur aliran data ke basis data. Membuat sistem yang otomatis untuk memetakan metadata dari sumber data merupakan hal yang penting dalam manajemen data (Fletcher dan Wyss, 2009). Aplikasi Pentaho memungkinkan untuk melakukan otomatisasi tersebut.

254 A.Z. Utama et al.

Prosiding SNSA 2016ISBN: 978-602-17420-1-3

2. Tinjauan Pustaka

2.1. Metadata Data adalah representasi dari fakta,

kejadian, atau informasi yang belum mempunyai suatu nilai. Data merupakan aset penting bagi organisasi, karena data yang telah diolah dapat menghasilkan informasi yang berharga. Informasi dapat menentukan kebijakan organisasi dalam perencanaan dan pengambilan keputusan (Horakova dan Skalska, 2013). Maka dari itu perlu dikelola dan diatur dengan seksama. Data memiliki informasi yang unik. Informasi tersebut dikenal dengan istilah metadata. Informasi yang dapat diambil dari data pengamatan yaitu nama file, ukuran, lokasi pengamatan, lokasi penyimpanan data pada fisik komputer, jenis alat pengamatan, dan tanggal pengamatan. Metadata ini berfungsi sebagai identitas dari data itu sendiri. Dalam sistem pencarian metada merupakan hal yang mandatori, mustahil data dapat ditemukan tanpa diketahui identitasnya. Metadata yang berhasil dipindahkan akan dimasukan ke dalam DBMS. Kelebihan dari penggunaan DBMS ini akan mempermudah aplikasi dalam mencari data, karena pada saat pencarian aplikasi hanya mengirimkan query kepada DBMS dan selanjutnya DBMS akan memberikan informasi lokasi file yang diminta. Selain itu keunggulan dari penggunaan DBMS akan mempercepat waktu pemrosesan, dan dapat digunakan untuk monitoring ketersedian data, serta memungkinkan pencarian lebih dari satu lokasi / alat pengamatan.

2.2. Pentaho Kettle

Pentaho Kettle adalah aplikasi yang digunakan untuk proses Extraction, Transformation dan Loading (ETL) (Malik et al, 2013). Pentaho Kettle digunakan untuk migrasi data, membersihkan data, loading dari file ke basis data atau sebaliknya dalam volume besar (Wibisono, 2014). Selain itu Pentaho Kettle juga menyediakan fitur reporting, OLAP pivot table, dan dashboard untuk menampilkan informasi dalam bentuk visual (Bouman dan Dongen, 2009). Pentaho Kettle menyediakan antarmuka dengan fitur drag-drop yang memudahkan pengguna dalam merancang skema ETL.

Elemen utama dari Pentaho Kettle adalah transformation dan job. Transformation adalah sekumpulan intruksi untuk merubah masukan menjadi keluaran yang diinginkan. Istilah job pada aplikasi Pentaho adalah kumpulan instruksi untuk menjalankan transformasi.

Terdapat 4 fitur utama pada pentaho yaitu spoon, pan, kitchen dan carte. Spoon merupakan antar muka untuk membuat rancangan atau skema transformasi dan menjalankan pemetaan data yang telah dirancang sebelumnya (Florea et al., 2015). Pan menjalankan transformasi dan menghubungkannya dengan basis data. Kitchen untuk mengeksekusi transformasi berdasarkan penjadwalan pada batch mode.

Rancangan transformasi dibuat pada fitur spoon dengan cara drag and drop. Fitur spoon juga dapat mengeksekusi 3 bahasa pemrograman sekaligus yaitu javascript, shell, dan sql. Tambahan lain dari fitur spoon dapat mentransfer data melalui protokol FTP, SFTP, dan SSH. Terdapat 38 fungsi yang berbeda, fungsi-fungsi ini dibagi ke dalam 3 kelompok yaitu masukan, keluaran, dan transformasi. Masukan data yang dapat digunakan pada Pentaho antara lain file berformat text (.txt, csv), aplikasi office (excel, access), dan tabel dari basis data. Sedangkan fitur transformasi yang tersedia diantaranya adalah fungsi untuk memanipulasi tipe data string, lookup database, validasi data, dan membersihkan data.

Berikut adalah tahapan pada proses ETL: Extraction : mengekstrak informasi. Cleaning: membersihan informasi. Transformation: merubah format data

sesuai dengan standar yang diberlakukan.

Loading: proses pemindahan data ke basis data.

2.3. Proses Query

Permintaan data pada DBMS dikenal dengan istilah Query. Query adalah sebuah ekspresi bahasa yang menggambarkan data yang akan didapatkan kembali dari sebuah basis data. Kebanyakan aplikasi yang menggunakan database sering didapati permintaan-permintaan secara langsung dari pengguna yang memerlukan informasi tentang bentuk maupun isi dari database.

Apabila permintaan pengguna terbatas pada sekumpulan query standar, maka query tersebut dapat dioptimisasi secara manual. Tetapi apabila ada suatu kejadian yang khusus semisal jumlah data yang sangat banyak dan keterbatasan sumber daya, maka diperlukan optimalisasi query (Zhang et al., 2005).

Optimasi query merupakan bagian dasar dari sebuah sistem basis data dan juga merupakan proses untuk menghasilkan rencana akses yang efisien. Secara tidak langsung, sebuah rencana akses merupakan sebuah strategi yang nantinya akan dijalankan dalam

Teknik Mapping Data Menggunakan . . . 255


bentuk query untuk mendapatkan kembali operasi-operasi yang apabila dijalankan akan menghasilkan data yang diperlukan oleh pengguna.

3. Data dan Metode

3.1. Metode

Teknik pemataan data yang dimaksudkan pada tulisan ini adalah langkah-langkah untuk memetakan informasi (metadata) ke basisdata (DBMS), dimulai dari proses pengumpulan data, transformasi, mapping ke DBMS, dan penjadwalan otomatis.

Dalam proses pemetaan data, data yang memiliki standar tersendiri diubah ke dalam bentuk standar yang lain. Standar tersebut mengikuti meta data dan model data yang telah ditentukan sebelumnya, tanpa merubah isi dari data tersebut (Nisal, 2012).

Ada 4 tahapan yang harus diperhatikan pada proses ETL yaitu Identifikasi sumber data, cari perbedaan antara kandidat yang akan digunakan sebagai sumber data dengan, identifikasi atribut data yang akan dipetakan, dan membuat rancangan diagram ETL (Nataraj, 2014).

Penelitian ini menggunakan data hasil pengamatan cuaca antariksa. Data ini berasal dari hasil pengamatan di Stasiun Sumedang yaitu data beacon, cadi, sunspot, dan SN4000. Metadata dari setiap data akan diekstrak, ditransformasi, dan dimasukan ke DBMS menggunakan aplikasi Pentaho. Berikut adalah tahapan pada proses pemetaan data :

1. Membuat logfile dalam bentuk teks. Logfile ini berbentuk matriks 2 dimensi, informasi yang terkandung adalah nama file, tanggal pengamatan, tanggal file terakhir diakses, ukuran file, lokasi sumber data, lokasi tujuan data, jenis alat pengamatan, dan

lokasi pengamatan. Pembuatan log ini menggunakan bahasa pemrograman shell.

2. Membuat rancangan transformasi pada pentaho.

3. Membuat penjadwalan otomatis untuk menjalankan secara otomatis.

3.2. Teknik Pengumpulan Data

Data yang di dapat dari alat pengamatan merupakan suatu hal penting untuk mendukung kegiatan penelitia/perekayasa di Pussainsa Bandung. Alat pengematan tersebar di beberapa wilayah Indonesia yaitu Stasiun Pengamatan Sumedang, Pasuruan, Kototabang, Pontianak, dan Biak. Peralatan pengamatan melakukan pengamatan sesuai dengan interval waktu tertentu, dan dikendalikan oleh komputer kontrol, data hasil pengamatan tersimpan pada masing-masing komputer kontrol.

Server basis data pada masing-masing Stasiun Pengamatan akan melakukan sinkronisasi data dengan setiap komputer kontrol. Data dari masing-masing server Stasiun Pengamatan akan dikirim ke server utama yang terletak di Pussainsa Bandung dengan interval waktu tertentu. Data dikirimkan melalui jalur VPN. Metode yang digunakan dalam melakukan sinkronisasi data dari komputer kontrol dengan Stasiun Pengamatan menggunakan aplikasi FTP (OS Windows) dan Rsync (OS Linux). Metode FTP merupakan protokol yang digunakan untuk pengiriman data dari satu komputer ke komputer lain dengan skema client-server. Adapun skema pengiriman data yang digunakan sekarang diilustrasikan pada Gambar 3-1.

Client yang menggunakan OS Windows transfer datanya menggunakan aplikasi FTP Server, sedangkan client yang menggunakan OS

Gambar 3-1 : Skema transfer data dari Stasiun Pengamatan ke Server Utama.



Linux menggunakan aplikasi Rsync. Rsync merupakan aplikasi yang cepat dalam menggandakan suatu file. Rsync dapat mengirimkan suatu data dari suatu computer ke komputer lainnya menggunakan bahasa pemrograman shell. Dengan menggunakan Rsync kita dapat mengkontrol pengiriman suatu data sesuai dengan yang kita butuhkan, untuk menjalankan aplikasi membutuhkan autentifikasi pengguna. Selain itu keunggulan dari Rsync menggunakan algoritma delta-transfer yang berfungsi untuk mengurangi jumlah file yang digandakan, file yang digandakan hanya file yang terbaru dengan kata lain aplikasi rsync juga dapat melakukan sinkronisasi data antara komputer sumber dengan komputer tujuan. Hal tersebut cocok digunakan untuk pengiriman data dari server Stasiun Pengamatan ke server utama. Data yang dipindahkan dari jaringan berbeda menggunakan protocol SSH. SSH merupakan sebuah protocol yang aman apabila ingin mengkakses komputer lain berikut contok pemakaian rsyn pada OS Linux :

sudo rsync --dry-run --delete -azvv -e ssh /home/path/folder1/ [email protected]:/home/path/folder2

4. Pembahasan

Pada bab ini akan dibahas mengenai rancangan basis data untuk menampung informasi metada yang dipetakan, proses pemetaan data, rancangan transformasi, dan

proses menjalankan transformasi menggunakan fungsi job.

4.1. Rancangan Basis Data

Informasi yang disimpan ke dalam database hanya bersifat metadata, karena apabila filenya yang disimpan ke dalam DBMS akan membebani performa dan kecepatan pengaksesan data. Karena data yang disimpan jumlahnya banyak dan ukuran file ada yang besar.

DBMS yang digunakan untuk aplikasi sistem basis data antariksa yaitu MySQL. Tabel yang saling berhubungan yang terdapat di basis data merupakan representasi dari objek dunia nyata. Pada bagian sebelumnya, kita telah membahas tentang karakteristk data hasil dari alat pengamtan sains antariksa, dengan mengacu hal tersebut kita dapat membuat diagram E-R yang kemudian akan direpresentasikan menjadi sebuah basis data untuk aplikasi sistem basis data antariksa yang diilustrasikan pada Gambar 4-1.

Mengacu pada diagram E-R di atas, rancangan basis data untuk aplikasi sistem basis data antariksa sebagai berikut:

1. Tabel Balai_Pengamatan dengan atribut BPD_ID(PK), BPD_Nama, dan BPD_Alamat.

2. Tabel Alat_Pengamatan dengan atribut AP_ID(PK), AP_Nama, dan Bidang_ID(FK).

3. Tabel Bidang dengan atribut Bidang_ID, dan Bidang_Nama.

Gambar 4-1 : Diagram ER.



4. Tabel Pengamatan dengan atribut PN_ID (PK), BPD_ID(FK), AP_ID(FK), PN_Nama_File, PN_File_Ext, PN_Path, PN_Tahun, PN_Bulan, PN_Hari, dan PN_Jam.

Table balai_pengamatan berfungsi sebagai master data untuk menyimpan data Stasiun Pengamatan yang mempunyai alat pengataman. Tabel alat_pengamatan berfungsi sebagai master data untuk menyimpan data-data dari alat pengamatan yang digunakan, pada tabel ini berelasi dengan tabel bidang hal ini bertujuan untuk mengkategorikan alat pengamatan sesuai dengan bidang. Pengkategorian tersebut bertujuan untuk mempermudah dalam pemilihan data sesuai dengan bidang penelitian. Tabel bidang merupakan master data untuk

menyimpan bidang-bidang yang ada di kantor Lapan Bandung Tabel pengamatan merupakan tabel transaksi / tabel utama di basis data ini, tabel pengamatan merekam setiap data yang masuk dengan mengkategorikan Stasiun Pengamatan, alat pengamatan yang digunakan, nama file yang disimpan, lokasi pengamatan, lokasi file, dan waktu perekaman data.

Sebagai contoh kita menggunakan data /TJS/BEA/2012/12/31/TJS_BEA_20121231.zip yang disimpan ke tabel pengamatan (Tabel 4-1).

4.2. Proses Extract dan Transformation

Mengacu pada pengembangan aplikasi sistem basis data antariksa tahun 2014-2015 penamaan file dan struktur folder dari Stasiun memiliki format yang berbeda-beda. Penamaan

Gambar 4-2 : Hasil dari perubahan format penamaan file dan hirarki folder.

Gambar 4-3 : Log data yang berhasil di transfer.

Tabel 4-1 : Rekapitulasi Pengamatan.

PN

_ID

BP

D_I

D

AP

_ID

PN

_Nam

a_F

ile

PN

_Fil

e_E

xt

PN

_Pat

h

PN

_Tah

un

PN

_Bul

an

PN

_Har

i

PN

_Jam

1 TJS BEA TJS_BEA_201212

31 zip

/TJS/BEA/2012/12/31 /TJS_BEA_20121231.

zip 2012 12 31 -



file tersebut dilakukan oleh operator alat, atau otomatis dari alat pengamatan. Inkonsistensi penamaan file/folder ini menimbulkan masalah pada aplikasi pencarian karena sistem pencarian file menggunakan metode system management file. System management file pada OS menggunakan kaidah case sensitif (penamaan file, dan besar kecil penamaan harus sama). Misalnya pada saat pencarian data beacon, aplikasi menginisialisasi bahwa data beacon berada di folder /data/beacon/ harus sesuai dengan penamaan lokasi dan hirarki direktori pada sumber data terletak di lokasi /data/Beacon maka data tidak akan ditemukan. Hal tersebut berakibat pada hasil pencarian data sering berbanding terbalik dengan ketersediaan data pada server.

Maka dari itu diperlukan standarisasi untuk penamaan file dan hirarki folder. Sebagai contoh, data beacon tanggal 31 desember 2012 pada Stasiun Sumedang dinamai SMD_BEACON_20121231.zip, sementara hirarki folder dari file tersebut adalah:

/SMD/BEACON/2012/12/SMD_BEACON_20121231.zip

Untuk memenuhi standar tersebut, pada saat proses transfer data penamaan file diubah dan hirarki folder disesuaikan. Gambar 4-2 menunjukkan list hasil dari transfer data yang telah memenuhi standar.

Aplikasi yang digunakan untuk melakukan mapping metadata ke DBMS menggunakan Pentaho Kettle. Berikut adalah langkah-langkah pengiriman informasi metadata dari sumber data – sumber DBMS :

1. Buat pencatatan file(log) yang berhasil dipindahkan, log ini file berformat text atau csv. Hasil dari pembuatan log ini dapat dilihat pada Gambar 4-3.

2. Log tersebut berbentuk matriks 2 dimensi, kolom pertama sampai terakhir secara berurutan yaitu nama file, tanggal pengamatan, tanggal file terakhir dimodifikasi, ukuran file, lokasi folder asal, lokasi folder tujuan, jenis alat, dan lokasi pengamatan.

4.3. Membuat transformasi pada aplikasi Pentaho

CSV file input adalah fungsi untuk membaca file berformat text atau csv. Fungsi ini akan membaca setiap baris pada file text dan mendeklarasikan kolom berdasarkan spasi atau tab. File log yang telah dibuat pada tahap satu, dijadikan masukan untuk fungsi CSV file input. Tahapan selanjutnya adalah Database Lookup, fungsi ini bertugas untuk membandingkan nilai dengan master data pada basisdata. Pada tahapan satu jenis alat, dan lokasi pengamatan menggunakan format teks yaitu BEACON dan SMD. Untuk mengetahui primary key dari kedua jenis data tersebut, yaitu menggunakan fungsi Database Lookup. Pada fungsi ini kita harus mengatur tabel dari DBMS yang akan dijadikan acuan yaitu tabel alat pengamatan , dan lokasi pengamatan. Hasil akhir dari fungsi ini yaitu untuk mengetahui primary key dari alat BEACON dan lokasi SMD. Modified Javascript Value bertugas untuk merubah atau memodifikasi tipe data dari setiap data yang masuk. Perubahan tipe data ini bertujuan untuk menghemat pengalokasian memori, dan untuk menyesuaikan tipe data berdasarkan tabel pada DBMS. Fungsi terakhir yang dijalankan oleh pentaho yaitu tabel output, fungsi ini bertugas untuk memasukan setiap nilai dari log yang telah diproses sebelumnya ke tabel DBMS.

Gambar 4-4 : Rancangan transformasi untuk memetakan metadata.



4.4. Pengaturan job pada pentaho

Pengaturan ini berfungsi untuk memvalidasi file sebelum transformasi dijalankan.

Penjelasan dari tahapan Gambar 4-5 adalah sebagai berikut : (a) periksa ketersediaan file yang akan diproses, (b) periksa koneksi basis data, (c) masukan transformasi yang telah dirancang pada tahapan 2, (d) simpan hasil rancangan job, (e) buat shell script pada komputer server untuk menjalankan job pentaho, dan (f) buat penjadwalan untuk mengeksekusi shell script tersebut.

Secara ringkas skema keseluruhan dari teknik mapping data pada aplikasi SIMBADA yaitu sebagai berikut (lihat Gambar 4-6). Pertama, data pengamatan dikirim dari Stasiun Pengamatan ke Server Utama menggunakan aplikasi Rsync. Aplikasi Rsync menghasilkan

log/history mengenai status dan informasi data yang terkirim. Kedua, log yang dihasilkan diubah terlebih dahulu agar dapat dibaca oleh aplikasi Pentaho yaitu menggunakan program shell. Apabila isi log berhasil diubah sesuai dengan format, selanjutnya Pentaho akan membaca file tersebut. Ketiga, dilakukan pemetaan informasi file ke DBMS menggunakan Pentaho.

5. Kesimpulan

Perbedaan penamaan file pada server data pengamatan Pussainsa diseragamkan melalui proses pemetaan data. Proses pemetaan data dimulai dari pengumpulan data, memecah informasi data, transformasi, dan memasukannya ke dalam basis data. Alat bantu proses pemetaan data menggunakan aplikasi Pentaho. Setiap parameter yang telah berhasil

Gambar 4-5 : Skenario job untuk menjalan-kan transformasi.

Gambar 4-6 : Skema keseluruhan data mapping pada aplikasi Sistem Basis Data Antariksa.



ditransformasi dapat digunakan sebagai alat bantu pencarian data pada aplikasi Sistem Basis Data Antariksa, selain itu data yang telah seragam memudahkan pengguna dalam memahami struktur data yang ada pada server. Ucapan Terima Kasih

Penulis berterima kasih kepada penelaah yang telah memberikan komentar dan saran perbaikan atas makalah ini.

Rujukan

Bossung, S., Stoeckle, H., Grundy, J., Amor, R., and Hosking, J. (2004). Automated data mapping specification via schema heuristics and user interaction. In Proceedings of the 19th IEEE international conference on Automated software engineering (pp. 208-217). IEEE Computer Society.

Bouman, R., and Doungen, V. (2009). Pentaho Solutions: Business Intelligence and Data Warehousing with Pentaho and Mysql. Wiley Publishing, Inc.

Fletcher, G. H., and Wyss, C. M. (2009). Towards a general framework for effective solutions to the data mapping problem. Journal on Data Semantics, 15, 37-73.

Florea, A. M. I., Diaconita, V., and Bologa, R. (2016). Data integration approaches using

ETL. Database Systems Journal, 6(3), 19-27.

Horakova, M., and Skalska, H. (2013).Business Intelligence and Implementation in a Small Enterprise.Journal of Systems Integration, 4(2), 50.

Kolaitis, P. G. (2005, June). Schema mappings, data exchange, and metadata management. In Proceedings of the twenty-fourth ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems (pp. 61-75). ACM.

Malik, P., Bose, Lipika. (2013). Study and Comparasion of Big Data with Relational Approach. International Journal of Advance Research in Science and Engineering, 3, 1.

Nisal, S. (2012). SAS Programming Tips and Techniques for Data Mapping. In Seattle, Washington: 20th Annual SouthEast SAS Users Group (SESUG) Conference.

Nataraj, N., and Nataraj, R. V. (2014). Analysis of ETL Process in Data Warehouse. Journal of Engineering Research and General Science, 2, 1.

Wibisono, Y. (2014). Pengantar Pentaho Data Integration (Kettle). http://file.upi.edu/Direktori/FPMIPA/PRODI._ILMU_KOMPUTER/Yudi%20Wibisono/datamining/Modul_Praktikum_Pentaho_Kettle.pdf | diunduh 10 November 2016.

RIWAYAT SINGKAT

Pada saat ini penulis bertugas di Pusat Sains Antariksa masuk tahun 2014 sebagi calon peneliti. Saat ini tugas utama dari penulis yaitu mengembangkan sistem informasi di Pusat Sains Antariksa adapun aplikasi yang sedang dikembangkan maupun yang sudah dikerjakan adalah sebagai berikut mengembangkan Sistem Informasi Basisdata Data Antariksa, website pussainsa Lapan Bandung, website acara, dan aplikasi SWIFtS. Selain itu ditugaskan untuk menulis karya tulis ilmiah di berbagai prosiding.



3urvlglqj - lapanpussainsa.lapan.go.id/upload/snsa2016/list/ahmad.pdf · 2017-06-21 · fvy...

Documents