LİSANS PROGRAMI İÇİN PROGRAM KAZANIMLARI (PK) BAZINDA
ÖLÇME DEĞERLENDİRME
Makina Mühendisliği BölümüLisans Eğitimi Ölçme Değerlendirme
Komitesi
Bölüm Kurulu Sunuşu21 Nisan 2006
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
2
LİSANS EĞİTİMİ ÖLÇME DEĞERLENDİRME KOMİTESİ (ÖDK)
Görev Tanımı1. Lisans eğitim programı ile ilgili belirlenmiş
olan ölçme ve değerlendirme yöntemlerini gözden geçirir ve geliştirir ve yeni ölçme değerlendirme enstrümanları önerir.
2. Program Kazanımları’nı (PK) yıllık olarak ölçer, değerlendirir ve yeterlilik düzeyi hakkında yorumlayarak görüş bildirir.
3. Program Eğitim Amaçlarını (EA) beş veya altı yıllık dönemlerle ölçer, değerlendirir ve yeterlilik düzeyi hakkında yorumlayarak görüş bildirir.
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
3
TERMİNOLOJİ
EĞİTİM AMAÇLARI(PROGRAM EDUCATIONAL OBJECTIVES)
Mezunların, mezuniyetlerinden birkaç yıl sonraki bilgi beceri ve davranışları
PROGRAM KAZANIMLARI(PROGRAM OUTCOMES)
Öğrencilerin mezun olana kadar kazanmaları beklenen bilgi, beceri ve davranışlar
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
4
ÖNCEKİ DEĞERLENDİRME ÇALIŞMALARI
EĞİTİM AMAÇLARI’NIN DEĞERLENDİRİLMESİ
İşveren Anketleri (1999, 2005) Mezun Anketleri (1999, 2005)
PROGRAM KAZANIMLARI’NIN DEĞERLENDİRİLMESİ Yeni mezun anketi (1999’dan beri her yıl) Ders bazında değerlendirmeler:
Öğretim üyelerinin ders değerlendirmeleri (2003-2004)Öğrenci ders anketleri (2003 Güz - 2005 Bahar)
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
5
DERS BAZINDA DEĞERLENDİRME YÖNTEMİ
Ders Formu Ders Amaçları Öğrenci Kazanımları (ÖK)Course Worksheet Course Objectives Student Learning Outcomes (SLO)
Her Öğrenci Kazanımı, ilgili öğretim üyeleri tarafından, Program Kazanımları ile “Kuvvetli”, “Zayıf”, “Hiç” olarak ilişkilendirilmişti
Toplam 75 ders, 1161 Öğrenci Kazanımı Bütün derslerin Program Kazanımlarına olan katkı yüzdelerinin
ortalamaları Lisans programının Program Kazanım ağırlıklarıDERS PROGRAM KAZANIMLARI TOPLA
M1 2 3 4 5 6 7 8 9 10 11 12 13 14
ME 203 28 16 - - - - - 56 - - - - - - 100
ME 407 6 8 11 1 15 28 9 5 4 - 6 2 2 1 100
...
ORTALAMA(REFERANS)
25 13 6 5 4 3 3 22 3 2 7 2 3 1 100
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
6
DERS FORMU ÖRNEĞİCOURSE OBJECTIVE 1: At the end of this course, students will be able to carry out force analysis of machinery through application of the principle of virtual work
Strategies and Actions
Student Learning
Outcomes (SLO)
Program Outcomes (PO) (1-
14)
ABET 2000
Criteria 3, 8 (a-o)
PEO (I,II,III)
Assess-ment
Methods
1. Lecturing on the theoretical background of the principle of virtual work.
2. In-class examples on the application of the principle of virtual work to static and dynamic force analysis of machinery with no friction
3. Homework assignments involving applications of the principle and assignments involving real-life problems for solutions using MATHCAD in computer lab with help access
a) Ability to conduct force analysis of machinery through application of the principle of virtual work
1(S)
8(S)
11(W)
a(S)
c(W)
e(S)
k(W)
II(S) HW evaluation; exams; evaluation of computer lab reports.
b) Capability to analyze dynamic equilibrium conditions in machinery
1(S)
8(S)
11(W))
a(S)
c(W)
e(S)
k(W)
II(S) HW evaluation, exams; evaluation of computer lab reports
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
7
1161x14 boyutlu ÖK-PK Matrisi(Kuvvetli ilişki: 1, Zayıf ilişki: 0.5, İlişki yok: 0)
A = Normalize edilmiş ÖK-PK matrisi
(Her dersin ÖK sayısı farklı. Bu nedenle her dersin tüm PK’lara toplam katkıları eşitlenecek şekilde ÖK-PK matrisi normalize edilmekte.)
Ders değerlendirmelerinde her ÖK’ye 4 üzerinden puan veriliyor:B = ÖK puanlarının yer aldığı 1161 boyutlu vektör(İlgili dönemde verilmeyen derslerin ÖK’ları değerlendirmeden çıkarılmakta.)
PK’lara olan katkıların gerçekleşme miktarları = ATB
(PK’ların Referans Değerleri’nin toplamı 100 olacak şekilde skala değiştiriliyor.)
PROGRAM KAZANIM PERFORMANSLARININ BULUNMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
8
2003-2004 I. DÖNEM DEĞERLENDİRME SONUÇLARI
0
5
10
15
20
25
30
35
1 2 3 4 5 6 7 8 9 10 11 12 13 14
PK
AĞ
IRL
IK
REFERANS
ÖĞRETİM ÜYESİ
ÖĞRENCİ
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
9
2003-2004 II. DÖNEM DEĞERLENDİRME SONUÇLARI
0
5
10
15
20
25
30
35
1 2 3 4 5 6 7 8 9 10 11 12 13 14
PK
AĞ
IRLI
K
REFERANS
ÖGRETİM ÜYESİ
ÖĞRENCİ
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
10
Sistematik ve analitik
Öğretim kadrosu verdikleri derslerdeki Öğrenci Kazanımlarını daha net bir şekilde tanımlayabilmekte
Öğretim kadrosu ders içi öğrenci değerlendirmesi ile ölçümler üretebilmekte
Bu ölçümler kolay işlenebilmekte
Derslerin, dolayısı ile eğitim programının, Program Kazanımlarına katkıları açık bir şekilde görülebilmekte
ÖNCEKİ YÖNTEMİN ARTILARI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
11
Bazı derslerde yanıltıcı olabilen PK katkısı dağılımı Bölüm dışı derslerin içerilmemesi Tüm derslerin (TE dahil) eşit ağırlıklı alınması Dolaylı ölçüm, doğrudan PKlar ölçülmüyor Niteliğe değil niceliğe dayalı ölçüm Derslerin kendi referans değerleriyle
karşılaştırma(Yöntem derslerin mevcut halinin her PK’ya yeterince katkı sağlayıp sağlamadığı hakkında bir bilgi vermiyor.)
Bu yöntemle geri beslemede kullanılabilecek
niteliksel bir sonuç çıkarılamıyor
ÖNCEKİ YÖNTEMİN EKSİLERİ
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
12
14.01.2005 tarihli Bölüm Kurulu’nda PK’ların ideal ağırlıklarının belirlenmesi için çalışma yapılmasına karar verildi.
PK’ların önem sıralarının öğretim üyelerine, araştırma görevlilerine, mezunlara, işverenlere, öğrencilere sorulduğu anketler uygulandı.
Bütün PK’lar hemen hemen eşit ağırlıkta çıktı.
YÖNTEMİ İYİLEŞTİRME ÇALIŞMALARI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
13
YÜKSEKÖĞRETİM KURUMLARINDA AKADEMİK DEĞERLENDİRME VE KALİTE GELİŞTİRME
YÖNETMELİĞİ20 Eylül 2005
Amaç: Yükseköğretim kurumlarının eğitim, öğretim ve araştırma faaliyetleri ile idari hizmetlerinin değerlendirilmesi, kalitelerinin geliştirilmesi, bağımsız “dış değerlendirme” süreciyle kalite düzeylerinin onaylanması ve tanınması konusundaki çalışmalara ilişkin esasları düzenlemek.
Yükseköğretim Akademik Değerlendirme ve Kalite Geliştirme Komisyonu Yükseköğretim Kurumu Akademik Değerlendirme ve Kalite Geliştirme Kurulu İç Değerlendirme
Yılda bir rapor Misyon, vizyon ve stratejik hedefler Akademik birimlerin ölçülebilir nitelikteki hedefleri, bu hedeflerle ilgili performans
göstergelerinin belirlenmesi ve bunların periyodik olarak gözden geçirilmesi Eğitim ve öğretim süreçleri, ders program ve yükleri, eğitim programlarının etkinliği,
öğrenci katılımı ve memnuniyeti başta olmak üzere öğrencilerinin kalite ve performansları ile ilgili çalışmalar
Dış Değerlendirme Yükseköğretim Kurumu, iç değerlendirme sürecini Kalite Değerlendirme Tescil Belgesine
sahip bağımsız bir kuruluş ile birlikte yürütebilir ve Kalite Belgesi alabilir. Kalite Belgesi, Kurum bazında alınabileceği gibi akademik birim veya program bazında da alınabilir.
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
14
Lisans Eğitimi Ölçme-Değerlendirme Komitesi (ÖDK) – Kasım 2005
Dr. Metin Akkök Dr. Tahsin Çetinkaya Dr. Zafer Dursunkaya Dr. Kemal İder Dr. Bülent E. Platin Dr. İlker Tarı Dr. Almıla Yazıcıoğlu Elif Dirgin
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
15
Ölçme Değerlendirmede yaklaşım değişikliği
Program Kazanımlarının tek tek ele alınması PK tanımlarının öğrencilere kazandırılacak bilgi, beceri
ve davranışlar cinsinden netleştirilmesi
PK’lara erişim ölçümlerinde kullanılacak ölçütlerin / göstergelerin belirlenmesi
PK’lara erişim düzeylerinin bu göstergelerle ölçülmesi
Ölçümlerin değerlendirilmesi
Program Kazanımlarının her biri için kanıta dayalı yapılacak değerlendirmelerin Lisans Eğitim Komitesi’nde görüşülmek üzere Bölüm Kurulu’na sunulması
PK BAZINDA ÖLÇME DEĞERLENDİRME
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
16
Program Kazanımlarının hepsinin her yıl ya da her dönem ölçülüp değerlendirmesinin gerekmediği
Program Kazanımlarının hepsinin aynı anda ölçülmesinin gerekmediği
Her Program Kazanımı için aynı ölçme değerlendirme yöntemlerinin kullanılması gerekmediği
Ölçme değerlendirmenin sürdürülebilirliği Ölçme değerlendirme işlemlerinin ÖDK ve/veya alt
gruplarca yapılması Sonuçları ÖDK’nın yorumlayıp Bölüme sunması
PK BAZINDA ÖLÇME DEĞERLENDİRME
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
17
Birkaç PK için ÖDK’nın ön çalışma hazırlaması ve yürütmesi Bölüm belgelerinden ve geçmiş
birikimlerden/deneyimlerden yararlanılması Bir PK’nın önceliklendirilmesi ve pilot çalışma için seçilmesi Bu PK için bir pilot çalışma yürütülmesi Bu pilot çalışma ile diğer PK’lar için de örnek alınabilecek,
sürdürülebilir bir sistematik geliştirilmesi Sistematiği geliştirirken yöntemlerin dar boğazlarının ve
bunların aşacak çözümlerin yaşayarak öğrenilmesi Diğer PK’ların izleme sistematiğini kuracak alt gruplara
aktarılacak bilgi/deneyim birikiminin oluşturulması
PK BAZINDA ÖLÇME DEĞERLENDİRME
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
18
PK ÖLÇME DEĞERLENDİRME ZAMAN ÇİZELGESİ
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
19
Program Kazanımı 6: Takım Çalışması (Disiplin içi, disiplinler arası, çok disiplinli)
Yürütebilmesi
Bölüm Belgeleri Eğitim Çalışma Grubu Raporu (Ocak 2003) – Her
PK için belirlenen hedef ve ölçütler ABET Self Study Questionnaire (Ekim 2003) ÖDK Belgesi (Nisan 2005) – PK Açıklamaları
PİLOT ÇALIŞMA
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
20
Takım Çalışması Tanımı
Katılımın sağlayacağı ek değerin bilincinde olarak birden fazla bireyin ortak bir amaca yönelik birlikte çalışmaları
PK6 Temel Bileşenleri1. Görev dağılımının ve iş planlamasının belirlenmesine ve
uygulanmasına aktif katılabilmesi,2. Ortak çözüme varmak için fikir alışverişinde bulunabilmesi,3. Görevin sorumluluğunu ve işin yürütülmesi ile ilgili bilgiyi
paylaşabilmesi,4. Disiplinlerarası takımlarda, farklı disiplinlerin katkılarının
bilincinde olması ve etkin iletişim kurabilmesi.
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
21
Kazanım Ölçütleri/Göstergeleri• Takım kuruluyor mu?• Takım çalışma kuralları var mı?• Takım içi görev dağılımı var mı?• İş planı yapılıyor mu?• Takım elemanlarının aktif katılımı sağlanıyor mu?• Fikir paylaşımı yapılıyor mu?• Ortak çözüme yakınsanıyor mu?• Görev sorumluluğu üstleniliyor mu?• İşin yürütülmesi ile ilgili bilgi paylaşılıyor mu?• Disiplinlerarası takımlarda farklı disiplinlerin katkılarının
bilincine varılıyor mu?• Farklı disiplinlerle etkili iletişim kuruluyor mu?• Başarı/başarısızlık paylaşılıyor mu?
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
22
Ölçmede Kullanılacak Yöntemler1. EB : Öğretim Elemanından Bilgi alınması2. ED : Öğretim Elemanı Değerlendirmesi3. ÖB : Öğrenciden Bilgi alınması4. ÖD : Öğrenci Değerlendirmesi5. ÖT : Öğrenci Topluluk çalışmaları, yarışmaları, ders
dışı projeleri, yandal projeleri vb. değerlendirmesi,
6. İB : İşverenlerden Bilgi alınması7. MB : Mezunlardan Bilgi alınması
İlk beş yöntem her dönem uygulanabilir Son iki yöntem daha az sıklıkta uygulanabilir
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
23
Ölçme Yöntemleri
EB ve ED
Bu yöntemlerin uygulamalarının birleştirilerek PK6’ya katkısı yüksek olan derslerde dönem sonunda ilgili öğretim elemanlarının bilgi ve değerlendirmelerini içeren bir rapor hazırlaması
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
24
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
25
Öğretim Elemanı Ders Değerlendirme RaporuAşağıdaki konuları birer metinle açıklayınız. Açıklamalarınızda bu dönem sorumlu olduğunuz dersin “Takım Çalışması Yürütebilmesi” program kazanımına katkılarını göz önünde bulundurunuz.
1. Takımların kuruluş yöntemleri (kim(ler) tarafından kuruldular, eleman sayıları, eleman seçim ölçütleri, vb.)
2. Takımların çalışma kuralları (iletişim yöntemleri, toplantı biçimi ve sıklığı, raporlama, katılımcılığı sağlayıcı kurallar, takımların süresi, sürekliliği vb.)
3. Takım içi görev dağılımında ve iş planında uygulanan yöntemler (yapılması, yürütülmesi, izlenmesi vb.)
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
26
Öğretim Elemanı Ders Değerlendirme RaporuAşağıdaki bileşenler takım çalışması sırasında takım elemanlarından beklenen kazanım ögelerini içermektedir. Her bir bileşeni birer metinle açıklayınız. Açıklamalarınızda öğrencilerin her bir bileşeni kazanmalarını nasıl izlediğinize ve nasıl değerlendirdiğinize değininiz.
• Aktif (etkin) katılımda bulunmaları• Fikir paylaşımında bulunmaları• Ortak çözüme yakınsamaları• Görev sorumluluğunu yerine getirmeleri• Bilgi paylaşımında bulunmaları• Başarıyı/başarısızlığı paylaşmaları• Takım çalışmasıyla oluşan sinerjinin (katma değer) bilincine
varmalarıBu kazanım çerçevesinde yukarıda değinilmeyen, ancak sizin belirtmek istediğiniz konular ya da bileşenler varsa “Diğer konular ve bileşenler” başlığı altında raporunuza ekleyiniz.
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
27
Ölçme Yöntemleri
ÖB ve ÖD1. PK6’ya katkısı yüksek olan derslerde
öğrencilerden yazılı bilgi ve değerlendirme almak
2. Bu dersleri alan öğrencilerden oluşturulacak odak grupları ile toplantı yaparak sözlü bilgi ve değerlendirme almak
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
28
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
29
Takım Çalışması Öğrenci Değerlendirmesi1. Takım çalışması yapılan uygulamada takımlar
kim tarafından kuruldu? Takım elemanları nasıl belirlendi?
2. Takımınız düzenli toplantı yaptı mı? Yaptıysa, bu toplantılar ne sıklıkta yapıldı? Toplantılarda tutanak tutuldu mu?
3. Takımınızda görev dağılımı yapıldı mı? Yapıldıysa, görev dağılımına nasıl karar verildi? Bu görev dağılımına uyuldu mu?
4. Bir iş planı yapıldı mı? Yapıldıysa, uygulandı mı?
5. Takımınızdaki eleman sayısı kaçtı?
PK6: TAKIM ÇALIŞMASI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
30
Takım Çalışması Öğrenci Değerlendirmesi
Aşağıdaki bölümde takımınızın kendiniz dışındaki elemanlarını değerlendirmeniz istenmektedir. Soruları “EVET” , “KISMEN” ya da “HAYIR” seçeneklerine uygun
davranan sizin takımınızın elemanlarının sayısını yazarak yanıtlayınız
PK6: TAKIM ÇALIŞMASI
EVET
(Eleman Sayısı)
KISMEN
Eleman Sayısı
HAYIR
Eleman Sayısı
Takım çalışmalarına aktif olarak katılım
Fikirlerini ve edindiği bilgileri paylaşım
Diğer takım elemanlarının görüşlerine önem verme
Görev sorumluluklarını yerine getirme
Başarıların bireyin değil takımın olduğunun bilincinde
Başarısızlıklarda sorumluluğu üstlenme
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
31
PK ÖLÇME DEĞERLENDİRME ZAMAN ÇİZELGESİ
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
32
• PK2: Bilgiye ulaşabilme ve yorumlama becerisine sahip olması
• PK5: Yazılı ve sözlü iletişim kurabilmesi
• PK 10: Deney yapma yetenekleri olması
• PK 11: Mühendislik tasarımı yapabilmesi
ÖDK VE ALT ÇALIŞMA GRUPLARINCAELE ALINACAK PROGRAM
KAZANIMLARI
ODTÜ Makina Mühendisliği Bölümü, Lisans Eğitimi Ölçme Değerlendirme KomitesiBölüm Kurulu Sunuşu – 21 Nisan 2006
33
TEŞEKKÜRLER