outcome assesment
Post on 12-Jan-2017
225 Views
Preview:
TRANSCRIPT
PengukuranStudent Learning OutcomesLokakarya Outcome-Based Education
Outline
Menyusun Rencana Asesmen Student Learning Outcomes Alat Ukur Asesmen Target Capaian Penggabungan outcomes, alat ukur, dan target
capaian Hal yang perlu diperhatikan
Menyusun Rencana Asesmen Harus mencakup
Pernyataan misi program studi Student learning outcomes Alat Ukur Target capaian
Student Learning Outcomes
Menyatakan knowledge (pengetahuan), skills (keterampilan), dan attitudes yang ditunjukkan mahasiswa ketika menyelesaikan studi
Mencakup Aspek Kognitif Psikomotorik Afektif
Bersifat Dapat diukur Bermakna Dapat dikendalikan
Student Learning Outcomes
Fokus pada hasil akhir, bukan pengalaman Buruk: mahasiswa akan berpartisipasi dalam penelitian Baik: mahasiswa akan dapat memilih metoda
penelitian Menunjukkan apa yang dapat diamati dan diukur
Buruk: mahasiswa menyadari perlunya studi lanjut dalam bidangnya
Baik: mahasiswa akan siap untuk mengikuti pasca sarjana dalam bidangnya
Hindari penggunaan “dan” terlalu banyak dalam satu outcomes
Karakteristik Alat Ukur Asesmen yang Efektif Dapat diamati, dihitung, dikuantifikasi, dll.
(measurable and observable) Dapat menangkap komponen penting dari obyek
pengamatan untuk merepresentasikannya (meaningful)
Dapat memodifikasi sesuatu yang tengah dikerjakan yang bermakna bagi program (manageable)
Alat Ukur – Sumber Bukti
Asesmen capaian program studi dilakukan melalui pengukuran dan evaluasi hasil pengukuran
Pengukuran dilakukan dengan cara Direct Measurements – langsung dengan
menggunakan rubrics dan metrics pada aktivitas dan hasil kerja mahasiswa
Indirect Measurements – tak langsung melalui persepsi yang diperoleh dari survey atau kuesioner baik pada peserta didik mau pun pihak lain yang terkait
Bersifat komplementer Fokus pada Direct Measurements
Direct and Indirect Measurements Indirect Measurement berupa kuesioner diberikan
pada berbagai tingkatan Setiap semester untuk setiap mata kuliah untuk persepsi
mahasiswa akan capaiannya dalam perkuliahan Setiap menjelang wisuda untuk setiap wisudawan untuk
persepsi wisudawan akan capaian dalam program studinya (SO)
Tenaga perekrut dari perusahaan dan kantor pengembangan karir lulusan untuk capaian program studi (SO) dan isu lain
Alumni untuk persepsinya atas pencapaiann PEO Employer untuk persepsinya atas pencapaian PEO
Direct and Indirect Measurements Direct Measurement melalui rubrics dan metrics
Seyogianya dilakukan pada setiap mata kuliah untuk setiap capaian diharapkan mata kuliah
Sejalan dengan proses penilaian mahasiswa, namun mempunyai tujuan yang berbeda – rancangan yang baik akan memudahkan pelaksanaan keduanya secara simultan
Alat ukur adalah rubrics yang dikenakan pada karya (tugas, PR, Kuis, Makalah, Ujian dll.) dan aktivitas (praktikum, seminar, dll.) mahasiswa
Alat Ukur Umum untuk Direct Measurements Portfolio Makalah Ujian Kelulusan Capstone project Ujian standarisasi Ujian Serifikasi Presentasi Tes yang dikembangkan
sendiri Simulasi dan demonstrasi Studi kasus
Pengawasan performansi kerja praktek
Evaluator eksternal Pertanyaan tertanam Performasi Tes awal dan akhir Obeservasi rekan Tugas kuliah Asesmen tingat institut Tesis, disertasi, ujian
kompihensif
Alat Ukur Umum untuk Direct Measurements Agar bermakna, alat ukur dinilai berdasarkan kriteria
yang ditentutkan yang sejalan dengan learning outcomes
Contoh Alat ukur: Makalah Tugas Akhir, makalah disampling
dengan identitas dihilangkan, Evaluasi oleh panel Evaluasi dengan kriteria pada rubrik yang sejalan dengan
outcomes Metoda yang digunakan dalam TA sesuai Akurasi data TA Kualitas tulisan
Tiap kriteria diberi skala nilai dan dikenakan pada alat ukur
Rubrics
A scoring tool that lays out the specific expectation for an assignment. (Steven and Levi, 2005)
Rujukan pengukuran performansi (alat/ pedoman penilaian) pada populasi dengan uraian kriteria dan skala yang tegas
Manfaat rubrics Menghemat waktu Penilai menggunakan skala yang sama Penilai menggunakan penilaian berdasarkan kriteria
Rubrics
Mengapa harus menggunakan rubrics Untuk menguji perilaku atau produk yang kompleks Untuk memperjelas ekspektasi dosen Untuk menjaga konsistensi dalam menilai produk atau
tulisan Untuk menunjukkan pola kekuatan mahasiswa dan
bidang yang perlu mendapat perhatian Untuk menggunakan rujukan kriteria, bukan rujukan
norma Untuk memberi mahasiswa perangkat untuk menilai
pekerjaannya sendiri
Penyusunan Rubrik
1. Rujuk pada Learning Outcomes (LO) yang akan diukur2. Tentukan Performance Criteria (PC) dari LO tersebut
yang akan diukur3. Tentukan jumlah kategori (metrik) capaian yang akan
dibuat 4. Tentukan kategori yang dapat diterima sebagai
memenuhi target dan berikan uraian hasil/ capaian yang diharapkan
5. Tentukan uraian capaian yang menunjukkan hasil yang lebih baik dari target
6. Tentukan uraian capaian yang kurang atau gagal memenuhi target
Rubrics
Contoh rubric untuk Bekerja dalam TimKategori Kurang Cukup Baik IstimewaBekerja dalam tim
Tidak bekerja baik dalam kelompok
Kadang mengganggu rekan bekerja
Perlu dukungan untuk bekerja dalam tim
Mencoba bekerja sendiri
Dapat bekerja baik hanya dalam tim yang dipilihnya
Dapat bekerja sama dengan anggota yang lain
Tetap mengerjakan tugasnya
Berkomunikasi baik dengan timnya
Bekerja sama dengan baik dengan anggota yang lain
Menjaga fokus tim dan tetap mengerjakan tugasnya
Berkomunikasi baik dengan timnya dan atas nama kelompoknya
Rubrics
Contoh rubric Keterampilan MenyolderKategori Buruk Cukup BaikKeselamatan kerja
Serampangan tidak memperhatikan petunjuk keselamatan kerja
Kurang hati-hatiKadang tidak memperhatikan petunjuk keselamatan kerja
Hati-hatiMembaca dan mengikuti petunjuk keselamatan kerja
Kualitas penyolderan
Timah menempel pada pad yang tidak diinginkan
Apa komponen ddengan pin tidak tersolder
Timah menempel hanya pada pad yang diinginkan
Semua komponen tersolder
Timah menempel pada pad yang diinginkan dengan tepi mencekung
Semua komponen tersolder dan berfungsi baik
Contoh Istilah Skala CapaianCapstone Milestone Milestone BenchmarkExemplary Accomplished Developing BeginningExcellent Very Good Average FairDistinguihes Proficient Appentice Novice
Pemilihan Alat Ukur
Inventori data yang telah terkumpul yang bermanfaat untuk asesmen atau perbaikan
Pilih sejumlah alat ukur yang dapat dikelola saja Pilih alat uku yang dapat memberikan data untuk
beberapa outcomes sekaligus (bentuk matrik) Saat implementasi mulailah dengan yang mudah
dan menarik Kumpulkan informasi yang menarik untuk dosen
Populasi yang penting Impak dari program baru atau hasil perbaikan
Pemilihan Alat Ukur
Hindari alat ukur yang memerlukan teknik pengumpulan data yang kompleks atau pengumpulan di tempat yang diluar kendali
Evaluasi ketepatan waktu dan biaya (masalah waktu/ kesibukan dosen) Siapa yang akan mengalisis informasi? Kapan akan dianalisis?
Ukur karya mahasiswa menjelang kelulusan Pilih metoda yang sepenuhnya dalam kendali prodi
(tidak memerlukan informasi dari pusat) Ukur hal-hal yang dapat dipengaruhi oleh prodi (Apakah
hasil berfluktuasi dapat dijelaskan dari faktor luar?)
Pemilihan Alat Ukur
Untuk alat ukur yang baru, pelajari kemungkinan pilot study untuk menentukan Tingkat kesukaran mengumpulkan data Tingkat manfaat hasil Apakah data menjawab pertanyaan yang benar
Hati-hati pada motivasi Tes yang tidak menentukan nilai mahasiswa tidak
mencerminkan pengetahuan mahasiswa Segera peroleh/ berikan umpan balik pada dosen
PortFolio
Tujuan: sebagai alat bantu evaluasi menyeluruh perkuliahan
Merupakan bagian dari alat evaluasi pelaksanaan dan capaian mata kuliah
Hanya bermanfaat bila digunakan untuk evaluasi
PortFolio
Cakupan Isi Silabus
Informasi umum perkuliahan Tujuan dan capaian menurut kurikulum Sasaran Pembelajaran Mingguan Pelaksanaan pembelajaran mingguan
Assesment Pola penilaian Kisi-kisi dan Rubric Rincian soal, tugas, kuis, PR, Ujian, dll berikut kuncinya Contoh karya mahasiswa yang buruk, rata-rata, dan baik/ istimewa Statistik nilai dan capaian mahasiswa
PortFolio
Survey Mata Kuliah Pelaksanaan mata kuliah menurut mahasiswa Persepsi mahasiswa atas pemahamannya untuk materi
perkuliahan Evaluasi
Evaluasi diri dosen tentang cakupan pengajaran Evaluasi dosen atas statistik nilai dan persepsi mahasiswa
Assesment Capaian Program Studi
Target Capaian
Target capaian adalah hasil, target, tolok ukur, atau nilai yang menyatakan tingkat kesuksesan mencapai outcomes tertantu Contoh: 66% mahasiswa akan dapat menyelesaikan
studi dalam 8 semester Target capaian adalah angka/ nilai tertentu atau
trend meningkat atau menurun Target capaian harus ditetapkan sebelum hasil
pengukuran
Contoh Target Capaian
Mahasiswa akan mencapai nilai 3 atau 4 dalam rubrik
Nilai rata-rata pada rubrik adalah 3 (skala 4) atau lebih
Menggabungkan Outcomes, Alat Ukur, dan Target Capaian
Contoh Outcomes: Mahasuswa menggunakan konvensi sitasi
yang tepat Alat Ukur 1 (Direct)
Menggunakan rubrik untuk menulis karya ilmiah pada makalah tugas akhir
Target Capaian: mahasiswa memperoleh nilai “proficient” pada rubrik
Alat Ukur 2 (Indirect) Menggunakan exit-survey Target Capaian: 80% mahasiswa menjawab mengetahui
perbedaan cara tulis sitasi pada buku dan makalah
Hal-hal yang Perlu Diperhatikan1. Menggantungkan alat ukur pada nilai mahasiswa
Nilai fokus pada pembelajaran individu mahasiswa bukan pola pembelajaran dalam program
Nilai merupakan gabungan sejumlah outcomes dan persyaratan
2. Terlalu banyak alat ukur indirect Berapa akurat persepsi mahasiswa pada pembelajaran
dirinya? Apa korelasi antara kepuasan mahasiswa dengan
pembelajarannya?
Hal-hal yang Perlu Diperhatikan3. Mencampurkan outcomes, alat ukur, dan target
capaian Outcome: Mahasiswa siap mengikuti ujian profesi Alat Ukur: Tingkat kelulusan mahasiwa pada ujian
profesi Target Capaian: Tingkat kelulusan mahasiswa di atas
rata-rata provinsi
Menulis Alat Ukur
Berikan deskipsi singkat alat ukur Uraikan dimana, kapan, dan siapa Lakukan dengan spesifik agar mudah direplikasi Bila perlu lengkapi dengan rubrik
Menulis Alat Ukur - Contoh
Alat Ukur: Prakiraan cuaca mahasiswa dalam GM4012 Deskripsi:
Mahasiswa akan mempresentasikan prakiraan cuaca pada minggu terakhir kuliah GM4012 yang dievaluasi oleh panel dosen menggunakan rubrik
Outcomes terkait – Mahasiswa mampu1. Menganlisa dan menginterpretasi data meteorologi2. Membuat prakiraan cuaca dengan akurat3. Mendemontrasikan keterampilan presentasi lisan
Target Capaian1. Nilai 3 atau lebih pada rubrik2. Nilai 4 atau lebih pada rubrik3. Nilai 3 atau lebih pada rubrik
Pilih Alat Ukur yang Baik
Menggunakan alat ukur asesmen tanpa pengembangan dan percontohan dengan baik dapat membuat data yang diperoleh Tak bermafaat Tidak meyakinkan dosen Memberikan informasi perubahan yang salah Tidak dapat direpilasi pada siklus berikutnya Membuang waktu
Upayakan memperoleh hasil yang menarik, bermakna, akurat, dan dapat ditindaklanjuti
top related