students' behavior in peer assessment. a multi-criteria clustering approach (8th mcda workshop,...

Μια πολυκριτήρια προσέγγιση για την ενίσχυση των ευεργετημάτων της ετερο-αξιολόγησης

Ε. Κρασαδάκη, Κ. Λακιωτάκη, N. Ματσατσίνης

ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΑΡΑΓΩΓΗΣ & ΔΙΟΙΚΗΣΗΣ

8η Συνάντηση Πολυκριτήριας Ανάλυσης Αποφάσεων, ΕΕΕΕ, 8-10 Δεκεμβρίου 2011, Ερέτρια

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ

Ορισμός ετερο-αξιολόγησης (peer-assessment)

Σύμφωνα με τον Topping (1998), ως ετερο-αξιολόγηση ορίζεται ‘η διευθέτηση κατά την οποία τα άτομα αξιολογούν την ποσότητα, το επίπεδο, την αξία, την ποιότητα ή την επιτυχία των αποτελεσμάτων της προσπάθειας άλλων ατόμων, ίδιας ιδιότητας’.

Δηλαδή, η ετερο-αξιολόγηση αποτελεί μια διαδικασία, όπου οι φοιτητές αξιολογούν την επίδοση των συναδέλφων τους, συνήθως σε γραπτές ή προφορικές εργασίες ή και σε ομαδικά projects.

Βασικά ευεργετήματα ετερο-αξιολόγησης

• Ενίσχυση της συμμετοχής (Gielen et al, 2011). • Ενίσχυση της μάθησης (Taras, 2002; Carless et al, 2006).• Ενίσχυση του αξιολογητή (Topping, 1998; Pryor & Lubisi, 2002).• Ενίσχυση της κρίσης (Kwan & Leung, 1996).• Ενίσχυση της αυτό-κατευθυνόμενης μάθησης (Searby & Ewers, 1997). • Ενίσχυση της δημιουργικής σκέψης (Hattum-Janssen & Lourenco,

2006).• Ενίσχυση της δημιουργικής κριτικής (Hanrahan & Isaacs, 2001).• Η μάθηση και αξιολόγηση ‘ανήκει’ σε όλους (Sadler and Good, 2006).

Οι αναφορές είναι ενδεικτικές

Στόχοι εφαρμογής της ετερο-αξιολόγησης

Ενασχόληση των φοιτητών σε ρόλο αξιολογητών γραπτών/προφορικών εργασιών συμφοιτητών τους και ως εκ τούτου την έμμεση ενίσχυση των γνώσεων και των ικανοτήτων επικοινωνίας.

Εκτίμηση της συμπεριφοράς των φοιτητών στο νέο ρόλο τους, ως αξιολογητών (μονοκριτήρια ή πολυκριτήρια συμπεριφορά).

Η δική μας περίπτωση απεικονιστικά -πιλοτικό μάθημα

Προσαρμογή από [Felder, R., Brent, R., (2003). Journal of Engineering Education, vol. 92(1)]

Πρακτικές στην ετερο-αξιολόγηση

• Βαθμολόγηση των εργασιών σε προσχεδιασμένο έντυπο από τον διδάσκοντα με χρήση είτε αριθμητικών σκορ ή κλιμάκων επίδοσης (Lin, Liu, and Yuan, 2001).

• Συνήθεις τεχνικές που χρησιμοποιούνται για την επεξεργασία των δεδομένων ετερο-αξιολόγησης είναι η στατιστική ανάλυση.

• Οι Lan, Graf, Lai & Kinshuk (2011) έχουν προτείνει ένα μηχανισμό διαπραγμάτευσης βασισμένο στην ασαφή λογική για τον συντονισμό των πολλών και διαφορετικών αξιολογικών κρίσεων (assessment bias) των φοιτητών σε μια διαδικασία ετερο-αξιολόγησης. Ο εν λόγω μηχανισμός διαπραγμάτευσης έχει ολοκληρωθεί μέσω του συστήματος NePAS (Negotiation-based Peer Assessment System).

• Σε μια παρόμοια κατεύθυνση κινείται και η πρόταση από τους Jian Ma and Duanning Zhou (2000), οι οποίοι εφαρμόζουν μια ασαφή μέθοδο για τον προσδιορισμό των κριτηρίων αξιολόγησης καθώς και των βαρών των κριτηρίων, λαμβάνοντας υπόψη τόσο την άποψη των φοιτητών όσο και των διδασκόντων.

Μεθοδολογική προσέγγιση

Διαδικασία peer-assessment (πιλοτικού τμήματος)

• 6 γραπτές εργασίες (εναλλακτικές συνόλου αναφοράς)• 3 κριτήρια (πληρότητα θέματος, λάθη, οργάνωση κειμένου) • 1 ερώτηση Ολικής Αξιολόγησης• 5βάθμια ποιοτική κλίμακα επίδοσης: κακή, μέτρια, καλή, πολύ καλή, άριστη • Έτος 2010: 38 φοιτητές-αξιολογητές• Έτος 2011: 19 φοιτητές-αξιολογητές• Σύνολο: 57 • Συλλογή προτιμήσεων: μέσω Φύλλου Αξιολόγησης

Μετατροπή δεδομένων

Μετατροπή Ολικής Προτίμησης (επίδοσης)

Βαθμολόγηση Προδιάταξη

ΆριστηΠ. ΚαλήΆριστηΚαλήΚαλή

Μέτρια

121334

Ο αλγόριθμος UTA*

Εναλλακτική Προδιάταξη Πληρότητα Λάθη Οργάνωση

Εργασία 1 1 Άριστη Άριστη Άριστη k=1Εργασία 2 2 Π. Καλή Καλή Π. Καλή k=2Εργασία 3 1 Π. Καλή Άριστη Άριστη k=3

Εργασία 4 3 Καλή Π. Καλή Μέτρια k=4

Εργασία 5 3 Καλή Καλή Καλή k=5Εργασία 6 4 Μέτρια Καλή Μέτρια k=6

i=1 i=2 i=3

g1 g2 g3AR

1

1 1

1 1

1

1 1

[min] [ ( ) ( )]

subject to

( , )

( , ) 0

1

0, ( ) 0, ( ) 0 , and

i

k k

k k k k

k k k k

an

ij

i j

ij k k

z

a a if a ak

a a if a a

w

w i j k

1( ) ( ) 0, 1,2,...,

1,2,..., 1

j jij i ii i

i

w u g u g i n

and j a

1

1

1

1

( ) 0 1,2,...,

( ) 1,2,..., and 2,3,...,

i i

jj

i it ii

t

u g i n

u g w i n j a

Post-optimality analysis

11 1

1 1

( , ) [ ( )] ( ) ( ) [ ( )]

( ) ( )

k k ka a u a u a

g g 2

3

41

*

1

( ) 1,2,...,ia

i ij

j

u g w i ni

*

1

[ ( ) ( )]m

k k

k

a a z

9

Global k-means

0

1

2

3

4

0 1 2 3 4 5

k1

5

0

1

2

3

4

0 1 2 3 4 5

k1

k2

0 1 2 3 4 50

1

2

3

4

5

k1

k2

0

1

2

3

4

5

0 1 2 3 4 5

k1

k2

k3

0 1 2 3 4 50

1

2

3

4

5

k1

k2

k3

k4

Αλγόριθμος Global k-means

1. Εύρεση βέλτιστου k1 το οποίο αποτελεί κεντροειδές του συνόλου δεδομένων.

2. Εφαρμογή k-means Ν φορές με αρχικά κεντροειδή το k1 και το εκάστοτε σημείο

3. Εύρεση βέλτιστης λύσης για το πρόβλημα k=2

4. Επανάληψη παραπάνω βημάτων

[Likas A., Vlassis N., Verbeek J., Pattern Recognition, vol. 36(2), 451--461,2003]

10/51

1 2 3 4 5 6 7 8 9 10

0

2

4

6

8

10

12

14

16

SS

E

Πλήθος ομάδων

Συνεξέταση ποιότητας ομαδοποίησης μέσω συντελεστή Silhouette για επιλογή αριθμού ομάδων

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 190.600000000000001

0.650000000000001

0.700000000000001

0.750000000000001

0.800000000000001

0.850000000000001

0.900000000000001

ALL20112010

Πλήθος Ομάδων

Συντ

ελεσ

τής

silh

ouett

e

11 is

Ο μέσος s(i) του συνόλου των σημείων αποτελεί ένα μέτρο του πόσο καλά έχουν ομαδοποιηθεί τα δεδομένα

)()( εάν ,1)(/)(

)()( εάν ,0

εάν ),(/)(1

)(

ibiaiaib

ibia

b(i)a(i)ibia

is

Αποτελέσματα ομαδοποίησης αξιολογητών

1 2 3 4 5 6 7 80%

20%

40%

60%

80%

100%

2011 (19 άτομα)

1 6 16

1 2 3 4 5 6 7 80%

20%

40%

60%

80%

100%2010 (38 άτομα)

1 2 3 4 5 6 7 80%

20%

40%

60%

80%

100%

ALL (57 άτομα)

Κατανομή πληθυσμού ανά ομάδα (Συνόλου: 57 ατόμων)

2 23

10

1

529

5 54% 9% 38%

4% 93% 4%

9% 27% 65%

3% 49% 49%

100% 0% 0%

44% 46% 10%

33% 34% 33%

2% 4% 94%

Διαφορετικές συμπεριφορές ομάδων αξιολογητών

Πολυκριτήρια συμπεριφορά

Συμπεράσματα Η ετερο-αξιολόγηση αξιοποιήθηκε ως ένα συμπληρωματικό μέτρο

έμμεσης ενίσχυσης της μάθησης και των δεξιοτήτων επικοινωνίας, γραπτού και προφορικού λόγου.

Η πολυκριτήρια φύση της ετερο-αξιολόγησης σε ένα σύνολο διαστάσεων, μπορεί να μοντελοποιηθεί μέσω της πολυκριτήριας ανάλυσης.

Μέσω της ομαδοποίησης ανακαλύψαμε επιπλέον αναλυτικές πληροφορίες, οι οποίες αφορούν είτε την αλλαγή στάσης των φοιτητών ή τις διακριτές προτιμησιακές επιλογές που αυτοί εκφράζουν.

Οι διαφορετικές συμπεριφορές μπορούν να ανακαλυφθούν μέσω συνδυασμού πολυκριτήριας ανάλυσης & αλγορίθμων ομαδοποίησης.

Στα δικά μας δεδομένα διακριτές ομάδες: οκτώ. Πολυπληθέστερη ομάδα η (6): ισοκατανομή των βαρών στα τρία

κριτήρια. Έπεται σε πλήθος ατόμων η ομάδα (4): απόδοση μεγάλης

σημαντικότητας στα λάθη & την οργάνωση του γραπτού. Η λιγότερο πολυπληθής ομάδα αλλά διακριτή η (5): αξιολόγηση γραπτού

με αποκλειστικό κριτήριο την πληρότητα του περιεχομένου.

Συμπεράσματα

Οι περισσότεροι φοιτητές τροποποίησαν το σύστημα αξιών τους προσαρμόζοντας το σε ένα πολυκριτήριο σύστημα αξιολόγησης, επιβεβαιώνοντας κι άλλες έρευνες στον τομέα αυτό (Ν. Δρόσος, 2011).

Η πρωτοτυπία εστιάζεται στην αξιοποίηση πολυκριτήριων τεχνικών στην αναζήτηση των βαρών των κριτηρίων ετερο-αξιολόγησης και την προσαρμογή της μεθοδολογίας πολυκριτήριας ομαδοποίησης στο ειδικότερο ζήτημα της ετερο-αξιολόγησης.

Γενικότερα, η πολυκριτήρια προσέγγιση που προτείνεται, ενισχύει τα ευεργετήματα της ετερο-αξιολόγησης, που έτσι κι αλλιώς από παιδαγωγικής άποψης είναι πολλά και σημαντικά.