доповдь результати зно 2014
TRANSCRIPT
Про результати зовнішнього незалежного оцінювання в 2014 році випускників загальноосвітніх навчальних закладів
міста Добропілля
Колегія відділу освіти28.11.2014р.
Доклад завідувача методичним кабінетом
Курді Н.В.
( Слайд 1- назва)
У 2014 році ЗНО, як нова для України технологія оцінювання навчальних досягнень бажаючих вступити до ВУЗів, відзначило своє 10 річчя. Починаючи з 2007 року ЗНО проводяться практично для всіх абітурієнтів, які вирішили стати студентами ВУЗів. І як свідчать відгуки про ЗНО учнів, педагогів, батьків, науковців воно довело суспільству свою життєздатність. Завдячуючи ЗНО, успіх вступу абітурієнта до ВНЗ став визначатися лише знаннями. Двері провідних вишів відкрилися для усіх талановитих випускників шкіл не залежно від того, наскільки далеко вони мешкають від столиці або обласних центрів. Безперечними перевагами ЗНО, на наш погляд, є: об’єктивна оцінка знань; автоматизація системи визначення результатів; створення об’єктивного механізму оцінки якості освіти; зменшення поля для корупції; транспарентність системи; підвищення мобільності абітурієнтів (отримання доступу на навчання в кращих вишах, незалежно від місця проживання, можливість подавати документи одразу до кількох університетів), а керівники загальноосвітніх навчальних закладів отримали унікальні аналітичні та статистичні матеріали, які повинні стати предметом ґрунтовного аналізу та базою для прийняття важливих управлінських рішень. Щорічно відділ освіти проводить підведення підсумків участі випускників загальноосвітніх закладів міста в ЗНО та виконання заходів, спрямованих на підвищення якості освіти. Як і в минулому році відділом освіти Добропільської міської ради та адміністрацією шкіл проводилась роз’яснювальна робота серед випускників щодо особливостей проведення ЗНО-2014, в грудні 2013 року методичним кабінетом вивчалося питання про організацію і проведення роботи з підготовки до ЗНО-2014 року, результати обговорені на нараді директорів в грудні 2013 року.
У березні 2014 року всім бажаючим вступити до ВНЗ була надана можливість психологічно адаптуватись до проведення незалежного оцінювання через участь у пробному тестуванні з 10 предметів. Такою можливістю скористались 49% випускників закладів освіти міста (2013рік -
64.2%). Особи, які брали участь у пробному тестуванні, мали можливість отримати оцінку за рейтинговою шкалою (100-200 балів). Участь у пробному тестуванні допомогло майбутнім абітурієнтам оцінити свій рівень знань і своєчасно скоригувати підготовку до ЗНО.
(Слайд 2- про кількість учасників)
Для участі в основній сесії зареєструвалось наших випускників 93,7% (у 2013 році - 90.5%). Але не всі зареєстровані пройшли тестування (з 400 учнів пройшли тільки 254, що становить 63.5%). Це пояснюється військово-політичною ситуацією, що склалася в Донецькій області, неможливістю створення належних умов у пунктах тестування для проведення зовнішнього незалежного оцінювання за місцем проживання, відсутністю гарантій безпеки учасникам ЗНО. Через неможливість дотримання вимог щодо конфіденційності тестових матеріалів наші випускники вимушені були проходити тестування в Дніпропетровській, Харківській, Полтавській та інших областях. В цих умовах, на наш погляд, не коректно робити якісь висновки і приймати адміністративні рішення, але у зв’язку з тим, що ситуація в області залишається напруженою нам необхідно готуватися самим і готувати учнів до випробувань. І тільки аналіз ситуації дозволить обрати вірно стратегію підготовки до ЗНО-2015. З метою вияву як сильних так і проблемних моментів в підготовці випускників до ЗНО-2015, методичний кабінет провів аналіз результатів ЗНО-2014 року. Проведена робота дозволяє зробити висновок, що відділом освіти і навчальними закладами проводилася вагома інформаційно-розʼяснювальна робота серед учнів, педагогів, батьків, здійснювався науково-методичний супровід підготовки учнів до ЗНО-2014 року, для учнів працювали міжшкільні факультативи з всіх базових дисциплін на рівні освітніх округів,
562
429
357
254
0
100
200
300
400
500
600
Кількістьвипускників
КількістьучасниківЗНО
консультативні пункти. Учням надавалась можливість пройти on line тестування з історії України, математики,української мови. Загальноосвітні заклади НВК «ЗОШ-ліцей», НВК №4 приймали участь в апробації тестових завдань з російської мови, математики, біології та хімії. Необхідно відмітити роботу практичних психологів закладів освіти міста з психологічної підготовки випускників до ЗНО. Аналіз свідчить, що традиційно найбільше число учасників тестування було з української мови та літератури, математики, історії України, фізики, географії.
(Слайд 3-про участь по предметам)
( слайд 4-%показники)
У відсотковому виразі ці данні мають такий вигляд:
254
130
183
105
4377 61
3711 2
440
218
338
139
55
119 118
6426
2
572
277
416
169
64
165
4578
13 80
100
200
300
400
500
600
700
2014
2013
2012
Як свідчать наведені данні стабільно високий процент участі спостерігається з української мови (100%) та (більше 72 %), протягом 3–х років близько 50% обирають історію України, 24-26% - географію, 13-14%- біологію, та хімію,6-7% англійській мові. За останні роки значно збільшилося число учнів які обрали для ЗНО фізику (з 29% до 48.9% в 2014 році), постійно знижається кількість учнів які надають перевагу російській мові. Непокоїть той факт, що учні не завжди обирають ті предмети для ЗНО, які вони вчили в профільних класах та на факультативних заняттях. Вважаю, що педагогічним колективам ЗОШ №7, ЗОШ №9, ЗОШ №10, ЗОШ №13, ЗОШ №15, ЗОШ №17 необхідно ретельно проаналізувати доцільність обрання профілів навчання випускників. ( Слайд-5)
Якість знань, за результатами ЗНО 2014
(Слайд 6-показники за 3 роки якості знань)
40,54
42,4
43,8
50
51,1
54,5
59,8
63,8
68,7
70,48
0 10 20 30 40 50 60 70 80
Англійська мова
Українська мова
Історія України
Всесвітня історія
Хімія
Російська мова
Фізика
Географія
Математика
Біологія
Якість знань по місту
51,0553,4
60,9
54,551,6
57,5
42,4
68,7470,48
63,8
37
57,93
50,9 47,25
38
55,7 56,3
50,6
43,840,54
51,1
0
10
20
30
40
50
60
70
80
укра
їнсь
ка м
ова
істор
ія У
країн
и
математ
ика
англ
ійсь
ка м
овахім
ія
біолог
ія
геог
раф
ія
якість знань помісту 2012
якість знань помісту 2013
якість знань помісту 2014
(Слайд 7-порівння)
предмет 2013 2014Середній показник
якості знань по
місту
Середній показник
якості знань по області
ᴧ Середній показник
якості знань по
місту
Середній показник
якості знань по області
Середній показник
якості знань по України
ᴧ ᴧ2013-2014
укр. мова 50.91 55.76 -4.5 42.4 57.21 48.6 -6.2 -8.5Істор Укр. 47.23 56.64 -9.41 43.08 58.7 51.4 -8.3 - 4.1Мате мат. 55.62 57.20 -1.58 68.4 75.1 52 +5.8 +12.8фізика 54.68 60.04 -5.72 59.8 69.77 51.7 +8.1 +5,2хімія 58.18 56.81 +1.36 51.1 65.99 51.2 = -7.9біологія 56.30 56.33 -0.03 73.7 71.56 52.9 +20.8 +13.4географія 57.63 54.23 +3.4 63.8 72.36 52.5 +11.3 +16.2Англ. мова 37.50 50.35 -12.85 40.5 57.08 51.8 -11.3 +2.8
Аналізуючи наведені данні, можна зробити висновки: - рівень ефективності навчання (якість знань) з більшості предметів перевищує 50%, але нижчий середніх обласних показників; - протягом останніх років стабільно високий результат демонструють учні міста з географії, біології, хімії (хоча кількість учасників невелика); - значних результатів досягли в 2014 році учні при складанні ЗНО з фізики та математики (при значної кількості учасників); - другий рік спостерігається зниження показників ефективності навчання з історії України та української мови та літератури, історії України; - незадовільний результат стабільно демонструють учні з англійської ї мови, хоча в цьому році виявлена позитивна тенденція на покращення результатів;
Слайд 8
Протягом 3 останніх років спостерігається тенденція збільшення кількості випускників навчальних закладів міста з результатом ЗНО в градації 136-150 балів, з окремих предметів показник сягає 40-50% (англ. мова - 51.35, Історія України - 50.7, українська мова та література - 48.8%, російська мова - 45.4, хімія - 44.2%). Актуальним залишається питання зменшення числа учнів, які отримали менше 124 балів. В відсотковому показнику в порівнянні з минулим роком цифра залишається майже стабільною в 2013 році - 5,54% (93 учня), в 2014 році - 5.66 (47 учнів).
Слайд 9
Укр..мова Істор. Укр матем фізика хімія біолог
Геогр.. англ всього
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
2012
2013
2014
НВК №1 1 2 1 2 - 1НВК №3 2 1 3 1 2 1 1 9 -НВК №4 7 3 2 4 2 2 2 3 1 1 1 1
63 9
ліцей 2 2 3 2 2 1 1 1 1 1 4 6 6ЗОШ№7
1 2 1 1 1 1 1 2 1 3 6 2
ЗОШ №8 2 н 2 н н 2 1 н н н н н 4 3 нЗОШ №9 1 1 1 1 1 3 1 4 3 2ЗОШ №10
1 1 1 2 4 1
ЗОШ №11
2 1 1 1 1 1 1 1 3 4 2
ЗОШ №13
2 4 1 1 1 1 1 1 1 1 2 9 3
ЗОШ №14
3 2 2 1 1 1 3 5
ЗОШ №15
1 1 2 1 2 1 3 3
ЗОШ №16
2 1 1 1 1 2 1 7 -
ЗОШ №17
3 1 1 2 1 3 1 4 6 2
ЗОШ №18
4 3 4 1 1 1 3 1 1 1 7 6 7
ЗОШ №19
4 4 1 3 1 1 2 1 1 1 1 1 2 7 12
4-
інтернат 8 3 - 2 2 3 2 8 12
всьог 23 30
21
7 11
7 6 18
1 2 9 3 5 2 5 4 13
11
6 3 8 3 46
96
47
Слайд 10- кругова діаграма по 124 балам предмети
Слайд 11-графік по школам-2 года -3 колонка
Кількість випускників, які отримали менше 124 балів в
2014 році
математика; 1
англійська мова; 3 біологія; 4
фізика; 3
географія; 6
українська мова; 21
хімія; 2
історія України; 7
у країнська мова
історія України
математика
англійська мова
хімія
біологія
географія
фізика
0
9
3
6 6
3 34 4
9
3 3
76 6
12 12
10
9
6
2
0
21
23
5
3
0
2
7
4
00
2
4
6
8
10
12
14
2013 рік
2014 рік
Як методистам відділу освіти так керівникам ЗНЗ необхідно ретельно проаналізувати дані таблиці і зробити деякі висновки з приводу того, чому у одних закладах незадовільний результат випадковість, а у інших система. Зрозуміло, що на результат впливає кількість учасників, але необхідно забувати про кількість годин в навчальному плані, та особливість вибору предметів для ЗНЗ. Але найгірші показники в градації 183-200 балів. В 2014 році кількість учнів які отримали більше 190 взагалі лише 7 випускників (3 учня Білицької загальноосвітньої школи №9 - з біології, української мови та хімії (195-199б); 2 учні з НВК№1 з біології та 2 учня з математики – випускники НВК-ліцею та ЗОШ №19. З інших предметів такі досягнення не спостерігаються. Більше 183 балів набрали учні:
Слайд 12- кругова діаграма по таблице
% Кількість учнівУкр.мова та література 3.9 10Історія України 0.77 1математика 5.5 10фізика 1.9 2хімія 4.7 2біологія 11.1 13географія 1.6 1
4.4 39
Слайд 14- діаграма про вчителів вищої категорії минулий рік див.
Укр.мова та література; 10
Історія України; 1
математика; 10фізика; 2
хімія; 2
біологія; 13
географія; 1
Укр.мова талітератураІсторія України
математика
фізика
хімія
біологія
географія
Дуже напрошується питання: «А де ж наші медалісти і вчителі вищої категорії»? Чому у нас в окремих закладах освіти є медалісти, а вищій бал по закладу обмежується 172 бали. ЗОШ №19 - тільки один учень з української мови набрав високий бал, а інші? Медалістів як відомо було значно більше, чому показники з української мови зупиняються на цифрі 162 бали, ЗОШ –інтернаті показники з того ж предмету зупиняються на цифрі 150 балів, майже така ситуація в ЗОШ №18. А в закладах де не було медалістів ситуація ще гірша, ЗОШ №13 - показники залишаються на цифрі 150б, ЗОШ №15 - показники зупиняються на 162 балах в обмеженій кількості. І це тільки з одного предмету. Ситуація з історії України гірша. В цьому році Український центр якості освіти провів ретельний аналіз проходження ЗНО медалістами.
Слайд 15
Середній бал сертифікатазолото срібло
кількість Середній бал кількість Середній балМ. Добропілля 13 177.5 1 172.3
Дон.обл 795 177.0 163 173.5
5 медалістів (35,7%) отримали від 150 до 174.5 балів, 9 - (64,3%) від 175 до 200 балів
Слайд 16-
Предмет˃ 124 124-150 150-179 ˂ 180
по Україні
Доне-цька обл.
місто Доброп
ілля
по Україні
Доне-цька обл.
місто Доброп
ілля
по Україні
Доне-цька обл.
місто Доброп
ілля
по Україні
Доне-цька обл.
місто Добропілл
яУкр. мова 9,01 6,57 8,7 40,57 36,18 48,8 42,49 49,21 38,6 8,05 8,00 3,9Історія України
3,55 4,01 5,38 44,41 37,24 50,7 44,37 40,61 43,08 7,09 10,14 0,77
Матема-тика
6,42 1,12 0,55 39,88 23,79 30,05 43,76 58,24 63,39 8,21 16,86 5,5
Фізика 5,93 2,61 2,86 42,54 27,62 36,1 44,61 61,92 59,05 7,17 7,85 1,9Хімія 8,78 1,96 4,65 39,06 26,04 44,2 43,17 62,34 46,51 8,06 3,65 4,7Біологія 9,1 4,46 5,19 39,45 23,97 24,68 42,96 53,59 53,24 8,07 17,97 16,89Географія 9,88 4,09 9,84 37,71 23,55 26,1 44,88 59,19 62,3 7,73 13,17 1,6Англ. мова
8,85 4,26 8,11 39,55 38,66 51,35 43,54 51,18 40,54 8,28 5,90 -
Сер. показник
7,69 3,63 5,66 40,39 29,63 38,9 43,7 55,35 50,8 7,83 10,44 4,4
Історія України
5,38
50,70
43,08
0,77
4,01
37,2440,61
10,143,55
44,4144,37
7,09
0,00
20,00
40,00
60,00
80,00
100,00
120,00
140,00
меньше124
124 - 150 150 - 179 більше 180
по Україні
Донецькаобласть
містоДобропілля
Математика
0,55
30,05
63,39
5,5
23,79
58,24
16,86
6,42
39,88
43,76
8,21
1,120
20
40
60
80
100
120
140
160
180
меньше 124 124 - 150 150 - 179 більше 180
по Україні
Донецькаобласть
містоДобропілля
слайди 17 і далі з предметів
Українська мова та література
Історія України
Математика
Фізика
Хімія
Біологія
Географія
В 2015 році випускників чекають декотрі зміни в проведенні ЗНО: • перш за все це стосується переліку предметів визначених для ЗНО. В список внесено: українська мова і література, історія України, математика, біологія, географія, фізика, хімія, англійська мова, іспанська мова, німецька мова, російська мова, французька мова;• кожен зареєстрований учасник ЗНО має право скласти тести не більше, як із чотирьох предметів;•ЗНО з української мови і літератури є обов’язковим для абітурієнтів;• результат ЗНО з української мови та літератури (базовий рівень - українська мова) зараховується як результат державної підсумкової атестації для всіх випускників ЗНЗ. Для усіх випускників загальноосвітніх навчальних закладів 2015 року результати ЗНО з української мови і літератури зараховуватимуться як результати ДПА. Вони визначатимуться на основі кількості балів, набраних за виконання завдань лише з української мови;• термін проведення ЗНО: квітень-липень. За повідомленням Українського центру оцінювання якості освіти визначення тривалого часу для проведення ЗНО пояснюється прогнозованими тривалими канікулами в осінньо-зимовий період у багатьох регіонах України і можливими змінами в графіках навчального процесу. Після прийняття регіональними органами управління
остаточних рішень щодо термінів завершення 2014/2015 навчального року, Українським центром оцінювання якості освіти буде розроблено та оприлюднено Календарний план підготовки та проведення ЗНО в 2015 році. Його буде укладено з урахуванням необхідності проходження державної підсумкової атестації та ЗНО з української мови і літератури, інших предметів та участі в додатковій сесії тестування (у разі потреби). У 2015 році для вступу до вищого навчального закладу (ВНЗ) абітурієнти подають сертифікати ЗНО лише 2015 року;• кожен учасник ЗНО має право скласти тести не більш як із чотирьох навчальних предметів з переліку. Характеристики тестів із усіх предметів і критерії оцінювання завдань з розгорнутою відповіддю розміщені в розділі «Підготовка до ЗНО».• вперше використовуються два рівні складності сертифікаційної роботи (тесту). Абітурієнти складатимуть тести ЗНО з української мови і літератури та математики двох рівнів складності – базового і поглибленого, обрати який слід буде під час реєстрації. Рівень складності тесту, необхідний для вступу на навчання, визначатиметься Правилами прийому до вищого навчального закладу;• встановлення «порогового бала». Для визначення результатів ЗНО-2015 з кожного предмета буде встановлено «пороговий бал», тобто та кількість тестових балів, яку може набрати мінімально підготовлений абітурієнт. Учасники тестування, які не подолають «поріг», не зможуть використати результат ЗНО з цього предмета для вступу до ВНЗ. Усі абітурієнти, результати яких будуть не нижчими від «порогового бала», отримають оцінку за шкалою 100–200 балів та матимуть право брати участь в конкурсному відборі при вступі на навчання.
Із перших років запровадження зовнішнього незалежного оцінювання для визначення його результатів Український центр оцінювання якості освіти застосовує шкалу 100–200 балів, яка будується автоматично на основі методу еквіпроцентильної нормалізації з середнім значенням 150 балів і середньоквадратичним відхиленням 20. Використання такої процедури шкалювання має низку суттєвих переваг:- По-перше, шкала 100–200 балів є наближеною до еталонної шкали з середнім значенням результатів із кожного предмета.- По-друге, шкала є стандартизованою, тобто розподіл абітурієнтів за цією шкалою є приблизно однаковим незалежно від предмета тестування. - По-третє, шкала є рейтинговою, оскільки вказує на місце результату зовнішнього оцінювання абітурієнта серед результатів інших абітурієнтів із певного предмета.- По-четверте, шкала є справедливою, тому що абітурієнти, які набрали однакову кількість тестових балів із певного предмета, отримують за цією шкалою однакову оцінку. Водночас абітурієнт, який має більшу кількість тестових балів, отримає за шкалою 100–200 балів оцінку не нижчу, ніж той, хто набрав меншу кількість балів.
«Вузьким» місцем «порогу» в 124 бали є те, що його автоматичне встановлення не гарантує відсікання бала «сліпого вгадування». Аналіз кількісних даних таблиць дає змогу виокремити три групи предметів: – предмети, де тестовий бал, необхідний для подолання «порогу» 124 балів, суттєво перевищує бал «сліпого вгадування» (українська мова і література, російська мова, біологія, географія);– предмети, де тестовий бал, необхідний для подолання «порогу» 124 балів, мінімально перевищує бал «сліпого вгадування» (хімія, іноземна мова) або є тотожнім (історія України);– предмети, де тестовий бал, необхідний для подолання «порогу» 124 балів, є нижчим бала «сліпого вгадування» (математика, фізика).
Таким чином, лише в результатах з математики і фізики спостерігаємо картину, коли автоматично встановлений «поріг» у 124 бали, начебто відсіявши абітурієнтів, які не мають елементарних знань аби продовжувати навчання у ВНЗ, не відфільтрував тих абітурієнтів, які з високим ступенем імовірності набрали свої бали завдяки лотерейній вдачі, а не предметним знанням і вмінням. Отже, ситуація для системи ЗНО не є критичною, хоча і є дражливою, оскільки викликає нарікання, перш за все, з боку тих вишів, які зарахували на навчання абітурієнтів з балами вище «порогу» в 124 бали, але нижче порогу «сліпого вгадування». Насправді ж у таких новоспечених студентів за плечима немає реальних знань, а їхнє відрахування з ВНЗ є лише питанням найближчої сесії. Яким ж є шлях вирішення проблеми співвідношення «порогу» в 124 бали та бала «сліпого вгадування»?
Тобто необхідно відмовитися від відносного критерію встановлення «порогу», коли його кількісний показник залежить від того, наскільки хороші результати абітурієнт продемонстрував відносно інших учасників тестування, та запровадити абсолютний критерій, коли рішення щодо «порогу» («склав»/«не склав») ухвалюється експертним шляхом.
Для визначення порогу планується використовувати технологію метода Ангоффа.
Чому саме метод Ангоффа? Серед чинників, що свідчать на його користь, визначальними є такі: – пройшов ґрунтовну емпіричну перевірку й довів свою ефективність;
– широко представлений в науковій літературі й високо оцінений фахівцями з педагогічних вимірювань;– не потребує залучення значних матеріальних і людських ресурсів;– потребує мінімального навчання та інструктажу залучених експертів;– простота, легкість та прозорість процедури реалізації (адміністрування);– висока надійність результатів його застосування.
Сутність метода Ангоффа полягає в наступному. Після завершення тестування з кожного предмета збирається група експертів (спеціальна експертна комісія), яка, аналізуючи завдання тесту, визначає (оцінює) вірогідність правильної відповіді на кожне завдання мінімально підготовленого абітурієнта. Експертні оцінки усереднюються, а ці середні значення використовуються для визначення порогу «склав/не склав» або так званого «порогового бала»
Таким чином, «пороговий бал» – мінімальна кількість (сума) тестових балів зовнішнього незалежного оцінювання з певного предмета, отримання яких надає абітурієнту право участі в конкурсному випробуванні при вступі на навчання до вищого навчального закладу України.
Як вже зазначалося, процедура адміністрування методу є доволі простою й прозорою та складається з кількох етапів.
1 етап – організаційний.
На цьому етапі відбувається формування кола експертів–предметників. Їх має бути не менше 10. При цьому, експерти мають бути різної статі, віку, сфери діяльності (вчителі загальноосвітніх навчальних закладів, гімназій і ліцеїв; викладачі вищих навчальних закладів, науковці Національної академії наук, Академії педагогічних наук). У такий спосіб створюється прийнятний «освітній фон», коли експертна комісія в цілому репрезентуватиме освітнє середовище України. Варто підкреслити, що чим більше буде залучено експертів, тим кращою буде дисперсія експертних оцінок. Крім того, різність думок (оцінок)
зменшуватиме ефект «яструба/голубки». Як наслідок – більш точним виявиться середнє значення критеріального «порогового бала».
2 етап – підготовчо-методологічний.
На цьому етапі відбувається загальне знайомство експертів з тестом, його структурою, формами завдань тощо. З метою забезпечення спільності розуміння підходу до оцінювання завдань експерти, ознайомившись із тестом, у своєму колі мають обговорити та визначитися з поняттям «мінімально підготовлений абітурієнт». У якості ілюстрації наведемо можливі визначення загального характеру.
«Мінімально підготовлений абітурієнт»:
– той, хто володіє найменшим обсягом знань, необхідних для виконання завдання;
– той, хто своїми знаннями й уміннями ледь відповідає освітньому предметному стандарту, чиї знання й уміння є фрагментарними, граничними, але прийнятними.
Зрозуміло, що експерти під час обговорення мають наповнити поняття предметним змістом. Наприклад, «мінімально підготовлений абітурієнт з іноземної мови – це той, хто читає короткі прості тексти з метою отримання основної інформації; знаходить необхідну інформацію у простих текстах повсякденного характеру (реклама, оголошення, меню, розклад руху поїздів, електронні листи тощо); вживає прості граматичні структури із завченими фразами, групами з кількох слів та стійких виразів для опису простих щоденних ситуацій; пише короткі прості записки та звернення, пов’язані з нагальними потребами».
Після завершення обговорення модератор роботи комісії роздає Листи оцінювання завдань тесту (рис. 5) та здійснює загальний інструктаж експертів щодо оцінювання завдань: «Визначте (оцініть) кількість мінімально підготовлених абітурієнтів зі 100, які правильно виконають завдання. Наприклад, якщо на Вашу думку це завдання виконає 60 зі 100, то в графі «% правильної відповіді» Листа оцінювання запишіть значення 60%».
Під час інструктажу модератор групи обов’язково наголошує на таких моментах:1) оцінка не повинна бути вищою, ніж 95 та нижчою, ніж 25 (для завдань з чотирма варіантами відповіді), оскільки навіть дуже добре підготовлений абітурієнт може помилитися й не виконати завдання, а мінімально підготовлений абітурієнт може вгадати правильну відповідь;2) під час роботи експертам не надаються «ключі» відповідей до завдань, оскільки це може необґрунтовано впливати на експерта, нівелюючи його розуміння, «відчуття» складності завдання.
3 етап – експертна оцінка тестових завдань.
На цьому етапі експерти самостійно працюють із завданнями тесту,заповнюючи Лист оцінювання. Варто підкреслити, що обговорення експертами завдань та можливих ймовірностей правильних відповідей не допускається.
4 етап – узагальнення експертних оцінок.
Модератор групи збирає Листи оцінювання та вводить значення в таблицю Excel для кожного завдання по кожному експерту й обчислює стандартне відхилення (рис. 6). Рисунок 6
Стандартне відхилення є «дзеркалом», яке відображає рівень розбіжностей між експертами по кожному завданню. Низький його показник свідчить про високий рівень згоди між експертами. Високий показник є підґрунтям для колективного обговорення експертами причин розбіжностей в оцінках, яке організовує та координує модератор. Мета обговорення – підвищити рівень згоди між експертами шляхом перегляду ними своїх оцінок.
Варто підкреслити, що будь-яке завдання, для якого стандартне відхилення експертних оцінок перевищує 10, колективно обговорюється. За результатами таких обговорень експерти можуть змінити свою оцінку. У такому разі модератор групи вносить відповідні зміни в узагальнену таблицю Excel.
Слід зауважити, що на цьому етапі роботи комісії експерти мають бути ознайомлені зі статистичними характеристиками результатів тестування (мода, медіана, середнє значення, стандартне відхилення, асиметрія, ексцес) та психометричними характеристиками завдань тесту (складність, розподільна здатність, кореляція). Урахування цих даних під час колективного обговорення експертних оцінок дозволить підвищити інформативність і обґрунтованість встановленого «порогового бала».
5 етап – визначення «порогового бала».
Після обговорення, коригування експертами своїх оцінок модератор в таблиці Excel здійснює перетворення відсотка ймовірності правильної відповіді по кожному завданню у відповідний коефіцієнт. Наприклад, 45% – 0,45, 30% – 0,30 і т. д.
Далі модератор обчислює суму всіх коефіцієнтів завдань тесту по кожному експерту. Ця сума є «пороговим балом», який встановив певний експерт.
На завершення обчислюється середнє значення «порогових балів» усіх експертів (рис. 7). Це значення і є підсумковим «пороговим балом» для тесту, заради визначення якого й працювала експертна комісія.
Рисунок 7
Після проведення усіх процедур обчислення результат роботи експертної комісії документально оформлюється Протоколом засідання комісії та Протокольним рішенням (ухвалою) щодо встановленого «порогового бала» з відповідного предмета.
Далі відбувається стандартна процедура переведення тестових балів у оцінки за шкалою 100–200 балів. При цьому точкою відліку на шкалі буде не «0» тестових балів, а значення «порогового балу». Таким чином, результати абітурієнтів, які подолали «поріг», займуть відповідне місце на рейтинговій шкалі в діапазоні від 100 до 200 балів. У результаті навіть абітурієнти, які матимуть рейтинговий результат 100,5 балів, не кажучи вже про тих, чий результат становитиме 123,5 бала, отримають можливість брати участь у конкурсному випробуванні під час вступу на навчання до вищого навчального закладу України.
Таким чином, перехід до використання в практиці визначення результатів зовнішнього незалежного оцінювання критеріального «порогового бала» («склав»/ «не склав») дозволить подолати дуалізм проблеми «порогу» в 124
бали та розширити можливості тих абітурієнтів, які мають відповідний багаж знань і умінь, аби стати студентами омріяних університетів.
Методичній службі міста необхідно приділити більше уваги викладанню анг.мови, історії, укр. мови та літератури.
При підготовці до ЗНО-2015 діяти за алгоритмомУправління освіти, метод служби, адміністрація шкіл, учні, батьки,
педагоги…. Детальний аналіз результатів ЗНО-2014 дозволяє зробити висновок про необхідність проведення корекції в організації навчального процесу, в системі самопідготовки учнів, в забезпеченні методичного супроводу щодо мотивації та активізації діяльності учня та вчителя, в побудові особистої освітньої траєкторії учня.
Виходячи з досягнутих результатів рекомендовано:1.Інформацію «Про результати моніторингу участі випускників ЗНЗ
міста у ЗНО – 2014» взяти до відома.
2. Тримати на постійному контролі інформацію щодо моніторингу участі випускників ЗНЗ міста у ЗНО та розглядати виконання відповідних документів на колегіях, апаратних нарадах відділу освіти та педагогічних радах у закладах освіти міста.
3.Міському методичному кабінету (Курдя Н.В.):3.1.Провести моніторинг рівнів навчальних досягнень випускників з
базових дисциплін, в тому числі претендентів на нагородження золотими та срібними медалями.
Термін: До кінця І семестру 3.2.Виносити питання щодо підготовки випускників до ЗНО під час
проведення міських семінарів для вчителів-предметників.Термін: Постійно
3.3.Проводити інформаційно-просвітницьку роботу з питань організації та проведення ЗНО, змісту тестових завдань, використання навчальних посібників та тренувальних вправ у режимі он-лайн.
Термін: Протягом навчального року3.4.Вжити заходи з роз’яснювання особливостей проведення ЗНО-2015 з
залученням засобів масової інформаціїТермін: До кінця І семестру
3.5.Проводити анкетування, тестування серед педагогів ЗНЗ міста з метою визначення рівня їхньої професійної майстерності.
Термін: Протягом навчального року3.6.Провести навчально-методичні семінари з вчителями випускників з
розвитку психологічної компетентності формування в учнів мотивації до успіху ЗНО.
Термін: До кінця І семестру3.7.Провести зрізи знань з базових навчальних дисциплін випускників-
медалістів в режимі он-лайн.Термін: До кінця І семестру
3.8.Висвітлювати результати моніторингу учнів ЗНЗ міста у ЗНО на сторінках місцевої преси та Інтернет видань.
Термін: Постійно
4.Керівникам навчальних закладів міста:4.1.Розглянути питання результатів моніторингу участі випускників ЗНЗ
міста у ЗНО-2014 та підготовки учнів до ЗНО-2015 на засіданнях педагогічних рад школи.
Термін: До 1.12.20144.2.Враховувати результативність ЗНО випускників під час атестації
педпрацівників.Термін: Постійно
4.3.Дотримуватися єдиних критеріїв щодо оцінювання навчальних досягнень випускників ЗНЗ, в тому числі нагороджених медалями.
Термін: Постійно4.4.Учителям-предметникам проводити індивідуальні та групові
консультації для випускників, які складатимуть незалежне тестування.Термін: Протягом навчального року
4.5.Забезпечити системну роботу психологічної служби школи щодо підготовки випускників до участі в ЗНО.
Термін: Протягом І семестру4.6.Створити індивідуальні проекти для кожного випускника «Я здам
ЗНО на високі бали!».4.7.До плану заходів з підготовки до ЗНО включити систему практичних
занять з розвитку стресостійкості випускників та оволодіння механізмами внутрішньої саморегуляції та позитивного самопрограмування успіху.
Термін: До 1.12.2014, постійно 4.8.Розглянути питання введення факультативних профорієнтаційних
курсів для учнів старших класів. Термін: До кінця І семестру