05 bab -ix - teknik evaluasi - · pdf fileuser kontrol dan kebebasan. ... ahli penilai,...

BAB - IXTEKNIK

EVALUASIBy. Alan Dix, Janet By. Alan Dix, Janet

Finlay, Gregory D. Abowd, Finlay, Gregory D. Abowd, Russell BealeRussell Beale

• Apakah evaluasi?• Tujuan dari evaluasi• Evaluasi melalui

analisa expert• Evaluasi pengguna

melalui partisipasi• Memilih metode

evaluasi

EvaluasiEvaluasi

• Evaluasi adalah bagian integral dari desain dan harus dilakukan di seluruh siklus hidup desain.

• Tujuannya adalah :– untuk menguji fungsi dan kegunaan dari

desain – untuk mengidentifikasi dan memperbaiki

masalah– untuk menentukan sikap dan perilaku

pengguna terhadap sistem. • Dapat terjadi di laboratorium atau spesialis

di tempat kerja pengguna, dan mungkin tidak melibatkan partipasi aktif pada bagian pengguna.

EvaluasiEvaluasi

• Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan permintaan pengguna (user)

• Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle

EvaluasiEvaluasi

9.1.9.1.Apakah Apakah

Evaluasi ?Evaluasi ?

• Berkaitan dengan pengumpulan data tentang kegunaan dari produk desain oleh kelompok tertentu untuk aktivitas tertentu dalam lingkungan tertentu atau konteks pekerjaan

• Evaluasi adalah menguji dan menilai sistem untuk memastikan apakah sistem berjalan seperti yang di harapkan dan berguna bagi pengguna(user)

9.2.9.2.Tujuan EvaluasiTujuan Evaluasi

• EVALUASI MEMILIKI TIGA TUJUAN UTAMA

1. untuk menilai sejauh mana dan Aksesbilitas dari fungsi sistem

2. untuk menilai pengalaman pengguna yang berinteraksi

3. untuk mengidentifikasi dan masalah tertentu dengan sistem

9.2.9.2.Tujuan EvaluasiTujuan Evaluasi

• Fungsi sistem yang penting, harus sesuai dengan kebutuhan pengguna.

• Rancangan sistem harus memungkinkan pengguna untuk melakukan tugas mereka menjadi lebih mudah

9.2.9.2.Tujuan EvaluasiTujuan Evaluasi

• Jika seorang petugas mengambil sebuah file pelanggan pada address.

• Pos/pusat paling tidak harus menyediakan dalam file komputer system.

• Evaluasi pada tingkat ini dapat juga mengukur kinerja pengguna dengan sistem dan dapat menilai efektivitas sistem dalam mendukung tugas

9.2.9.2.Tujuan EvaluasiTujuan Evaluasi

• Tujuan akhir dari evaluasi adalah untuk mengidentifikasi masalah-masalah spesifik dalam desain

9.3.9.3.Evaluasi Evaluasi

Melalui Analisa Melalui Analisa ExpertExpert

• Evaluasi terjadi sepanjang proses desain.

• Secara khusus, yang pertama dari sebuah sistem evaluasi idealnya harus performed sebelum pelaksanaan pekerjaan di mulai.

• Jika desain sendiri dapat dievaluasi, maka kesalahan dapat dihindari, karena desain dapat diubah.

• Biasanya,dalam proses desain yang kesalahan itu harus diperbaiki

9.3.9.3.Evaluasi Evaluasi

Melalui Analisa Melalui Analisa ExpertExpert

• Ada 4 macam evaluasia. Cognitive walkthroughb. Evaluasi heuristikc. Evaluasi berbasis modeld. Menggunakan penelitian

sebelum evaluasi

9.3.1.9.3.1.Cognitive Cognitive

WalkthroughWalkthrough

• Walkthroughs memerlukan :– tinjauan rinci dari urutan kode actions di

dalam langkah-langkah, – urutan mewakili segmen kode program,– harus teliti untuk memeriksa

karakteristik tertentu (misalnya, gaya pengkodean , konvensi untuk variabel ejaan prosedur versus panggilan, dan untuk memeriksa seluruh sistem yang invarian ),

– menggunakan langkah-langkah kognitif, – urutan langkah-langkah tindakan

mengacu pada suatu interface – akan meminta user untuk tampil di error

dalam menyelesaikan beberapa tugas yang dikenal.

9.3.1.9.3.1.Cognitive Cognitive

WalkthroughWalkthrough1. Mempunyai prosedur Action2. Menggunakan urutan kode action3. Mempunyai kode program4. Menggunakan langkah kognitif5. Mengacu pada sebuah interface

yang akan menampilkan ERROR6. Ada penyelesaian task/tugas

• Sebuah heuristik adalah sebuah pedoman atau prinsip umum atau aturan yang dapat memandu keputusan desain atau digunakan untuk kritik sebuah keputusan yang telah di buat.

• heuristic evaluasi, dikembangkan oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics

9.3.9.3.22. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

b. b. Evaluasi Evaluasi HeuristikHeuristik

• heuristic evaluasi, dikembangkan oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics.

9.3.9.3.22. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

b. b. Evaluasi Evaluasi HeuristikHeuristik

1. Merupakan sebuah pedoman/prinsip umum

2. Merupakan sebuah aturan untukmemandu keputusan desain

3. Dapat menyusun kritik terhadap sistem

4. Menggunakan seperangkat alat yang relatif sederhana

5. Dikembangkan oleh Jakob Nielsen dan Rolf Molich

9.3.9.3.22. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

b. b. Evaluasi Evaluasi HeuristikHeuristik

• NIELSEN'S SEPULUH HEURISTIK ADALAH:1. Status. 2. Antara sistem dan dunia nyata. (user

friendly)3. User kontrol dan kebebasan.

Pengguna4. Konsistensi dan standar5. Pencegahan Kesalahan6. Pengakuan daripada pembuat7. Fleksibilitas dan efisiensi

penggunaan8. Minimalis design9. Membantu pengguna mengenali,

mendiagnosa dan mengoreksi kesalahan

10. Bantuan dan sistem dokumentasi

9.3.9.3.22. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

b. b. Evaluasi Evaluasi HeuristikHeuristik

• Certain Model Provie adalah menggabungkan alat evaluasi dan spesifikasi desain ke framework.

• Contoh: –GOMS (tujuan, operator , metode

dan seleksi) pengguna mem-prediksi model kinerja dengan interface tertentu dan dapat digunakan untuk menyaring pilihan desain tertentu.

9.3.39.3.3. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

c. c. Evaluasi Evaluasi Berbasis Berbasis

ModelModel

1. Menggunakan desain framework2. Merupakan penggabungan alat

evaluasi dan spesifkasi desain3. Menggunakan prinsip GOMS4. Mempunyai Tujuan5. Mempunyai Operator6. Mempunyai Metode7. Mempunyai Penyeleksian

9.3.39.3.3. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

c. c. Evaluasi Evaluasi Berbasis Berbasis

ModelModel

• Eksperimental psikologi dan manusia-komputer proses interaksi antara hasil eksperimen dan empiris.

• Khusus untuk domain tertentu, banyak berurusan dengan isu-isu umum yang bergerak dalam berbagai situasi

9.3.49.3.4. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

d. d. MengguMenggu--nakan Pe nakan Pe nelitian nelitian

Sebelum Sebelum EvaluasiEvaluasi

1. Proses interaksi antar hasil eksperimen dan empiris

2. Menggunakan domain3. Khusus untuk domain

tertentu menggunakan isu-isu umu

9.3.49.3.4. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa ExpertExpert

d. d. MengguMenggu--nakan Pe nakan Pe nelitian nelitian

Sebelum Sebelum EvaluasiEvaluasi

• Teknik-teknik yang telah kita bahas sejauh ini berkonsentrasi pada desain atau mengevaluasi sistem melalui analisis oleh perancang, atau seorang ahli penilai, bukan pengujian dengan pengguna yang sebenarnya.

• Teknik ini untuk menyaring dan menyempurnakan desain, mereka bukan pengganti pengujian.

• Menggunakan metode empiris atau eksperimental, metode observasi, permintaan teknik, dan metode yang menggunakan pemantauan fisiologis

9.49.4. . Evaluasi Evaluasi PengPeng--guna guna

Melalui Melalui PartisiPartisi--

pasipasi

• Faktor-faktor yang membeda-kan teknik evaluasi:– Tingkat siklus – Jenis evaluasi– Tingkat objektivitas dan subyektivitas– Jenis ukuran yang tersedia– Informasi yang tersedia– Kesiapan dari suatu respon– Tingkat gangguan yang tidak secara

langsung– Sumber yang tersedia

4. Memilih 4. Memilih Metode Metode EvaluasiEvaluasi

Design VS. Implementation• Evaluasi pada tingkatan perancangan hanya

membutuhkan ahlinya dan akan dianalisa sedangkan evaluasi pada tingkat implementasi membawa user sebagai subyek dari eksperimen.

Laboratory VS. Field studies• Secara ideal proses perancangan mencakup dua

jenis evaluasi ini dimana pada laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.

Subyektif VS. Obyektif• Pada teknik yang subyektif seperti pada cognitive

walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bias sehingga diperlukan lebih dari satu orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan obyektif seharusnya digunakan keduanya.

Qualitative VS Quantitative measures• Pengukuran menggunakan numeric lebih mudah digunakan

menggunakan teknik statistik sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting secara lengkap yang tidak dapat dilakukan secara numeric.

Informasi yang tersedia• Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat

proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.

Kesiapan suatu tindakan• Faktor lain yang membedakan teknik evaluasi adalah kesiapan

mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user.

Intrusiveness• Merupakan teknik yang menghasilkan pengukuran segera yang

dihasilkan user selama interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tetapi tidak dapat megubah semuanya.

Sumber-sumber• Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi

yakni : peralatan, waktu, biaya, subyek serta evaluator yang ahli.