Tugas 1: Entropy

1 Putu Nopa Gunawan / D411 10 009

TUGAS INDIVIDU 1

TEORI INFORMASI DAN PENGKODEAN

“ ENTROPY “

OLEH:

PUTU NOPA GUNAWAN

NIM : D411 10 009

JURUSAN TEKNIK ELEKTRO

FAKULTAS TEKNIK

UNIVERSITAS HASANUDDIN

2013

Tugas 1: Entropy

2 Putu Nopa Gunawan / D411 10 009

Pengertian Entropy

Entropy adalah suatu istilah dalam hukum termodinamika yang

menunjukkan suatu ukuran ketidakpastian dari suatu sistem. Entropy juga

dapat dikatakan sebagai suatu parameter untuk mengukur tingkat

keberagaman (heterogenitas) dari kumpulan data. Semakin heterogen, nilai

entropy semakin besar. Entropy merupakan sebuah konsep acak, di mana

terdapat keadaan yang kemungkinannya tidak pasti. Entropy timbul jika

prediktabilitas atau kemungkinannya rendah (low predictable) dan informasi

yang ada tinggi (high information)

Biasanya entropy digunakan sebagai sebuah metode pembobotan.

Metode pembobotan entropy merupakan metode pengambilan keputusan yang

memberikan sekelompok kriteria, dan menaksir preferensi suatu bobot

menurut penilaian. Entropy menyelidiki keserasian dalam diskriminasi

diantara sekumpulan data. Sekumpulan data nilai alternatif pada kriteria

tertentu digambarkan dalam Discision Matrix (DM). Menggunakan metode

entropy, kriteria dengan variasi tertinggi akan mendapatkan bobot tertinggi.

Jika biasanya entropy digunakan dalam bidang termodinamika, namun

saat ini entropy tidak terbatas penggunaannya hanya dalam ilmu

termodinamika saja, tetapi juga dapat diterapkan dalam bidang lainnya.

Entropy dapat diaplikasikan untuk pembobotan atribut-atribut, hal ini

dilakukan oleh Hwang dan Yoon (1981). Menurut Jean Charles Pomerol dan

Sergio Barba Romero, konsep utama dari metode ini adalah pengukuran

kriteria j melalui fungsi tertentu sesuai dengan kuantitas informasi yang

diberikan. Bobot kriteria j dinilai melalui pengukuran dispersi aksi aj. Kriteria

yang paling penting adalah criteria yang paling kuat mendiskriminasikan tiap

nilai dalam aksi-aksi aj tersebut.

Istilah entropi pertama sekali digunakan dalam teori informasi yang

dikembangkan sekitar tahun 1940 oleh Claude Shannon di laboratorium Bell.

Istilah ini dipakai dalam bidang thermodinamika untuk menandai adannya

Tugas 1: Entropy

3 Putu Nopa Gunawan / D411 10 009

sejumlah gangguan pada sistem fisika. Dalamkonteks kompresi data, entropi

digunakan untuk merepresentasikan batas bawah (lower bound) dari jumlah

rata – rata bit per satu nilai input yaitu rata – rata panjang codeword yang

digunakan untuk mengkodekan input. Teori informasi memanfaatkan

terminologi entropi sebagai tolak ukur seberapa besar informasi yang

dikodekan pada sebuah data. Entropi merupakan suatu ukuran informasi yang

dikandung oleh suatu data dan digunakan sebagai ukuran untuk mengukur

kemampuan kompresi dari data.

Input berupa himpunan simbol S = {s1, s2, s3, ..., sn} dengan probabilitas

P = {p1, p2, p3, ...,pn} yang secara matematis dapat ditulis sebagai berikut.

Di mana : n = jumlah simbol; pj = probabilitas simbol ke-j

Misalkan terdapat rangkaian P = abaabcda dalam alphabet {a,b,c,d} maka

didapatkan masing-masing probabilitas dari setiap simbol P(a) = 0.5 , P(b) = 0.25

, P(c) = 0.125 dan P(d) = 0.125. Untuk mengkompresi rangkaian data tersebut

sebetulnya dapat dengan cara yang paling sederhana yaitu dengan menggunakan 2

bit per simbol {00, 01,10, 11} sehingga menghasilkan jumlah bit = 8 * 2 bit = 16

bit. Tetapi sesuai dengan rumus di atas entropi yang diperoleh adalah H(P) = (0.5,

0.25, 0.125, 0.125) = 0.5 x 1 + 0.25 x 2 + 2 x 0.125 x 3 = 1.75 bit. Dengan kata

lain dibutuhkan rata – rata 1.75 bit untuk merepresentasikan data tersebut. Dari

hasil tersebut maka didapatkan jumlah bit = 8 * 1.75 = 14 bit untuk

mengkompresi rangkaian kata tersebut sehingga menghasilkan 2 bit lebih sedikit

dibandingkan dengan cara yang paling sederhana.

Metode entropy coding adalah pengkodean data dengan BPS (Bit Per Simbol)

untuk tiap alphabet yang mendekati nilai entropi, karena semakin dekat BPS dari

alphabet tersebut dengan nilai entropi semakin efisien pula kode kompresi

tersebut

Tugas 1: Entropy

4 Putu Nopa Gunawan / D411 10 009

Langkah – langkah Pembobotan Entropy

Adapun langkah-langkah pembobotan dengan menggunakan metode

entropy adalah sebagai berikut:

1. Semua pengambil keputusan harus memberikan nilai yang

menunjukkan kepentingan suatu kriteria tertentu terhadap

pengambilan keputusan. Tiap pengambil keputusan boleh menilai

sesuai preferensinya masing-masing. Dalam penelitian ini metode

penilaian adalah menggunakan angka integer ganjil antara 1 sampai

9. Tiap angka menunjukkan tingkat kepentingan tertentu, mulai dari

angka 1, yaitu sangat tidak penting, sampai angka 9 yang

menunjukkan bahwa kriteria tersebut sangat penting

2. Kurangkan tiap angka tersebut dengan nilai paling ideal, dalam

penelitian ini adalah angka 9. Hasil pengurangan tersebut dinyatakan

dengan kij.

3. Bagi tiap nilai (kij) dengan jumlah total nilai dalam semua kriteria

dimana m = jumlah pengambil keputusan; n = jumlah kriteria

4. Menghitung nilai entropy untuk tiap kriteria dengan rumus berikut :

5. Hitung dispersi tiap kriteria dengan rumus berikut :

6. Karena diasumsikan total bobot adalah 1, maka untuk mendapatkan

bobot tiap kriteria, nilai dispersi harus dinormalisasikan dahulu,

sehingga :

Tugas 1: Entropy

5 Putu Nopa Gunawan / D411 10 009

Metode entropy cukup powerful untuk menghitunh bobot suatu criteria.

Alasannya karena metode ini bisa digunakan untuk berbagai jenis data, baik

kuantitatif maupun kualitatif. Selain itu metode ini juga tidak mensyaratkan

bahwa satuan maupun range dari tiap kriteria harus sama. Hal ini

dimungkinkan karena sebelum diolah semua data akan dinormalisasi dulu

sehingga akan bernilai antara 0-1. Pada dasarnya, data mempunyai range nilai

yang besar ( relative terhadap criteria itu sendiri) dan mempunyai variasi nilai

yang tinggi untuk tiap alternatif, akan memperoleh bobot yang tinggi, artinya

criteria tersebut dianggap mampu untuk membedakan performansi tiap

alternative.

Selain itu dengan menggunakan metode entropi, peneliti bisa

memberikan bobot awal pada tiap kriteria. Jadi walaupun misalnya dari

perhitungan, metode entropi memperlihatkan bobot yang kecil pada suatu

kriteria, namun jika kriteria tersebut dianggap penting oleh decision maker,

maka bisa memberikan bobot yang tinggi pada kriteria tersebut. Kedua jenis

bobo ini kemudian akan dikalkulasi bersama-sama sehingga mendapatkan

bobot entropi akhir.

Contoh Penerapan Entropy

1. Membuat tabel keputusan

Tabel keputusan adalah metode pengambilan keputusan yang cukup

sederhana. Metode ini menggunakan bantuan tabel yang berisi hubungan

antara beberapa atribut yang mempengaruhi atribut tertentu.

Contoh: Pemilihan mahasiswa Excellent

Tugas 1: Entropy

6 Putu Nopa Gunawan / D411 10 009

Pengambil keputusan memberikan bobot untuk setiap kriteria sebagai

berikut: C1=35%, C2=25%, C3=25% dan C4=15%.

Ada 5 mahasiswa yang menjadi kandidat (alternatif) untuk menjadi

mahasiswa Excellent yaitu:

A1=Bayu; A2=Meika; A3=Samuel; A4=Pepen; A5=Mima

Tabel nilai alternatif dari setiap kriteria adalah sebagai berikut:

Alternatif Kriteria

C1 C2 C3 C4

Bayu 70 50 80 60

Meika 50 60 82 70

Samuel 85 55 80 75

Pepen 82 70 65 85

Mima 75 75 85 74

2. Normalisasi tabel keputusan

Hitung seperti pada gambar di bawah ini:

Dst…

Maka berikut adalah hasil normalisasinya:

Tugas 1: Entropy

7 Putu Nopa Gunawan / D411 10 009

Proses perangkingan dengan menggunakan bobot yang telah diberikan

oleh pengambil keputusan w =[0,35 0,25 0,25 0,15]

Hasil yang diperoleh adalah sebagai berikut:

Nilai terbesar ada pada V5 sehingga alternatif A5 adalah alternatif yang

terpilih sebagai alternatif terbaik.

Dengan kata lain, Mima akan terpilih sebagai mahasiswa Excellent.

Sumber:

- http://digilib.ittelkom.ac.id/index.php?view=article&catid=25%3Aindu

stri&id=238%3Ametode-entropi&option=com_content&Itemid=14

(akses 11 September 2013 )

- http://moochaan.files.wordpress.com/2011/09/entropi2.pdf (akses 11

September 2013 )