1

Elżbieta Ostaficzuk

II. Ewaluacja formatywna w projekcie „Połowa drogi…” - wieloaspektowa anagnoza umiejętności matematycznych

Strach przed lataniem i głód doświadczeń. Wstyd przed mówieniem sobie „nie wiem” Ogromna siła wyobrażeń… Już teraz wiem… Że upadamy wtedy, gdy nasze życie przestaje być codziennym zdumieniem.

Myslowitz, Happiness is easy, 2006

Od roku 2003/2004 w kolejnych pięciu edycjach projektu diagnostycznego W połowie drogi… badaniami diagnostycznymi objęto łącznie 37115. uczniów szkół warszawskich oraz – dzięki patronatowi Mazowieckiego Samorządowego Centrum Doskonalenia Nauczycieli - w kwietniu 2008 w sprawdzianie uczestniczyło również 2855. uczniów ze szkół płockich i radomskich. Przykładowo, refleksje z badań 2007/2008 zilustrowano na rys. 3.

Rysunek 3. Poziom kompetencji A M R uczniów badanych sprawdzianem W połowie drogi…2008

Źródło: opracowanie własne.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

I. II. III. IV. V. VI. VII. VIII. IX.

Po

zio

m u

mie

jętn

ości

Staniny

A

M

R

2

W roku szkolnym 2008/2009 Mazowiecki Kurator Oświaty objął patronatem projekt edukacyjny W połowie drogi… Realizowany od roku 2008/2009 pod patronatem MKO projekt edukacyjny W połowie drogi… obejmował:

Badanie rozwoju umiejętności matematycznych uczniów szkół ponadgimnazjalnych realizowane w cyklu dwuletnim: Testem matematycznym Po gimnazjum diagnozującym umiejętności matematyczne uczniów na początku nauki w klasach pierwszych w szkołach ponadgimnazjalnych. Testem matematycznym W połowie drogi... diagnozującym umiejętności matematyczne uczniów klas drugich w szkołach ponadgimnazjalnych.

Oba testy były konstruowane zgodnie z obowiązującą Podstawą programową oraz standardami wymagań egzaminacyjnych. Standaryzowane zadania obejmowały treści podstawowe i ponadpodstawowe oraz badały kompetencje matematyczne, określone na podstawie wielokryterialnej struktury rozwiązania zadania: A – oznaczające analizę zadania, M - dobór metody, R – poprawność rachunkową oraz poprawność przekształceń. Wprowadzono kodowanie błędów uczniowskich i również na tej podstawie diagnozowano umiejętności matematyczne. Testy były oferowane wraz z aplikacją wykorzystującą metody statystyczne w arkuszu kalkulacyjnym EXCEL. Nauczyciele otrzymywali w ten sposób równocześnie narzędzia do diagnozy umiejętności matematycznych uczniów ze swojej szkoły.

Ewaluację formatywną systemu kształcenia oraz podsumowanie efektów kształcenia w postaci edukacyjnej wartości dodanej.

Diagnozę umiejętności matematycznych uczniów uzupełniono także w 2009 r. analizą błędów popełnianych przez uczniów. Zastosowano opis błędów:

d – nieznajomość definicji, pojęcia, obiektu;

w – nieznajomość własności, reguły, twierdzenia;

p – pomyłki w obliczeniach i przekształceniach;

k – kilka błędów typu d, w lub p. Sprawdzianem W połowie drogi… 2009 badano umiejętności matematyczne 21339 mazowieckich uczniów klas drugich ponadgimnazjalnych. Diagnoza umiejętności objęła również frakcję opuszczeń zadań – przedstawioną na rys. 4 – uzupełniono analizą błędów – zilustrowaną na rys. 5.

3

Rysunek 4. Frakcja opuszczeń całych zadań sprawdzianu W połowie drogi... 2009

Źródło: opracowanie własne.

Rysunek 5. Poziom błędów popełnionych przez uczniów badanych sprawdzianem W połowie drogi... 2009

Źródło: opracowanie własne.

1 1 12

1 1

12

3

0 0 0

2

6

16

0

2

4

6

8

10

12

14

16

18

1 2 3 4 5 6 7 8 9 10 11 12 13 14

liczb

a u

czn

iów

(%

)

numery zadań

"W połowie drogi... 2009"

- frakcja opuszczeń całych zadań

16,1%

4,7%

59,3%

36,0%

0,0%10,0%20,0%30,0%40,0%50,0%60,0%70,0%80,0%90,0%100,0%

k d w p

rodzaje błędów

"W połowie drogi... 2009"

4

Zespół Realizatorów Projektu Edukacyjnego Połowa drogi...

został powołany aktem prawnym: ZARZĄDZENIE Nr 25 Mazowieckiego Kuratora Oświaty z dnia 25 lutego 2010 r.

Projekt Połowa drogi... od 2011 r. jest realizowany pod patronatem:

Umiejętności matematyczne uczniów klas drugich ponadgimnazjalnych wiosną 2011 r. diagnozowano na podstawie wyników sprawdzianu Połowa drogi… 2011. W zależności od poziomu nauczania matematyki opracowano dwa modele diagnostyczne – dla poziomu podstawowego i rozszerzonego. Ilustrację danych przedstawiono w tab. 5.

Tabela 5. Uczestnicy badania umiejętności matematycznych sprawdzianem Połowa drogi… 2011

Region Mazowsza

Model podstawowy (tygodniowo

2-3 godz. matematyki)

Model rozszerzony (tygodniowo

4-7 godz. matematyki)

Ciechanów Mińsk Maz. Ostrołęka Płock Radom Siedlce Warszawa

1046 25

291 1085 1261 670

3356

467 22

209 338 382 313

1571

Liczba uczniów ogółem: 7734* 3302**

* W badaniu nie uwzględniono zerowych wyników, które osiągnęło 445 uczniów. ** W badaniu nie uwzględniono zerowych wyników, które osiągnęło 21 uczniów. Źródło: opracowanie własne.

5

Umiejętności matematyczne uczniów analizowano również według wymagań ogólnych określonych w podstawie programowej:

I. Wykorzystanie i tworzenie informacji

II. Wykorzystanie i interpretowanie reprezentacji

III. Modelowanie matematyczne

IV. Użycie i tworzenie strategii

V. Rozumowanie i argumentacja

Rysunki 6. i 7.

Umiejętności matematyczne – określone wymaganiami I – V podstawy programowej oraz kategoriami A M R – badane sprawdzianem Połowa drogi... 2011 – poziom rozszerzony

Rys. 6.

Rys. 7.

Źródło: opracowanie własne.

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0,40

0,45

0,50

0,55

0,60

0,65

0,70

0,75

0,80

0,85

0,90

0,95

1,00

I II III IV V VI VII VIII IX

I

II

III

IV

V

Współczynnik łatwości

Staniny0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0,40

0,45

0,50

0,55

0,60

0,65

0,70

0,75

0,80

0,85

0,90

0,95

1,00

I II III IV V VI VII VIII IX

A

R

M

Współczynnik łatwości

Staniny

6

Chcemy siać i przewidywać, w którą stronę, Poniesie wiatr i w ziemię rzuci siew, Szacować, kto i gdzie pozbiera plony, W dożynki czyj radosny huknie śpiew.

Zbigniew Preisner, Hymn Projekt edukacyjny Połowa drogi… w roku szkolnego 2011/2012 objął badaniami diagnostycznymi umiejętności:

matematyczne

polonistyczne.

Działalność diagnostyczna i ewaluacyjna w projekcie Połowa drogi… w tak szerokim zakresie była możliwa dzięki wykorzystaniu w kontaktach z nauczycielami połączeń automatycznych, za pomocą Internetu. Na stronie projektu:

www.polowadrogi.mscdn.pl

nauczyciele za pomocą specjalnych formularzy:

zgłaszali chęć uczestnictwa w badaniach umiejętności uczniów,

po przeprowadzonym sprawdzianie wpisywali wyniki swoich uczniów, dzięki czemu: po zakończeniu wpisywania wyników otrzymywali klasowy raport diagnostyczny, a po zakończeniu danego etapu badań diagnostycznych otrzymywali regionalne

i kontekstowe raporty ewaluacyjne.

7

W projekcie Połowa drogi… w roku 2011/2012 przeprowadzano testy umiejętności z języka polskiego i z matematyki. Wyniki osiągnięte w badaniu przez każdego ucznia były podstawą wskazania, jaki etap rozwoju umiejętności uczeń już osiągnął i jakie umiejętności powinien następnie rozwijać1.

1 Elżbieta Ostaficzuk, Alina Komorowska, Już „Połowa drogi”, a jeszcze tyle chcę osiągnąć, s. 223 i nast.; XVII TATRZAŃSKIE SYMPOZJUM NAUKOWE EDUKACJA JUTRA, KSZTAŁCENIE I WYCHOWANIE, Zakopane 2011 Elżbieta Ostaficzuk, Alina Komorowska -Ewaluacja opisowa osiągnięć uczniów szkół ponadgimnazjalnych z matematyki i z języka polskiego, s. 298 i nast.; XVII Konferencja Diagnostyki Edukacyjnej, EWALUACJA A KIEROWANIE SZKOŁĄ, Kraków 2011

Monika Jonczak, Elżbieta Ostaficzuk, Grażyna Śleszyńska, Innowacyjna_matematyka_norma_czy_oksymoron.pl, s. 31, NAUCZANIE I UCZENIE SIĘ. MERITUM Nr 1(24) 2012

Elżbieta Ostaficzuk, Grażyna Śleszyńska - Diagnoza umiejętności matematycznych - drogowskaz do indywidualnego rozwoju uczniów, s. 514 i nast. PRZEDMIOTY ŚCISŁE, XVIII Konferencja Diagnostyki Edukacyjnej, Wrocław 2012

Elżbieta Ostaficzuk, Grażyna Śleszyńska – Ocenianie orientujące drogowskazem do matematycznego samokształcenia. XXII KRAJOWA KONFERENCJA STOWARZYSZENIA NAUCZYCIELI MATEMATYKI „CO NOWEGO W NAUCZANIU MATEMATYKI?”, Łódź 2013

8

Badanie doskonale wpisuje się w założenia oceniania określonego przez profesora B. Niemierkę jako orientujące2. Połowa drogi… przyjęła zatem charakter okresowego przeglądu osiągnięć. Powstała możliwość powiązania wyników sprawdzianu z obserwacją pracy uczniów w określonym czasie, i podejmowania decyzji programowych oraz metodycznych w odniesieniu do klasy, szkoły, a nawet regionu, nie wykluczając też samodzielnego monitorowania rozwoju. Interaktywny moduł systemu wskazywania kierunku rozwoju indywidualnego jest przedstawiony na rys. 8. Rysunek 8. System wskazywania kierunku rozwoju indywidualnego w projekcie Połowa drogi…

Źródło: opracowanie własne.

2 Z. Spalińska, A. Przybyszewska, Bieg na orientację – rozmowa z Bolesławem Niemierką [w:] 45 minut, Toruński Przegląd Oświatowy, grudzień 2010, nr 4(62), s.4.

Uczeń rozwiązuje zadania testu

Nauczyciel ocenia rozwiązania przedstawione przez Ucznia

Prezentacja treści zadania

Przykład poprawnego rozwiązania zadania

Rozwiązanie Ucznia niepoprawne Rozwiązanie Ucznia poprawne

Wskazówki umożliwiające poprawne rozwiązanie

Rozwiązanie Ucznia niepoprawne

Prezentacja umiejętności wstępnych

Zadania i przykłady rozwiązań - ilustracja umiejętności wstępnych

Zadania z etapu wstępnego - rozwiązywane przez Ucznia

Prezentacja umiejętności z wyższego poziomu wymagań

Zadania i przykłady rozwiązań - ilustracja umiejętności z wyższego poziomu wymagań

Zadania z etapu wyższego - rozwiązywane przez Ucznia

Uczeń dysponuje umiejętnościami wyższego poziomu

9

Badanie umiejętności matematycznych w projekcie Połowa drogi… jest dwuetapowe – uczniowie klas pierwszych we wrześniu piszą sprawdzian Potęga matematyki aby później w klasie drugiej napisać kolejny sprawdzian Matematyka do potęgi P albo Matematyka do potęgi R.

Udział w projekcie Połowa drogi… wyposaża nauczycieli matematyki w informacje o poziomie badanych kompetencji kluczowych w odniesieniu do klasy i poszczególnych uczniów, daje także możliwość wykorzystania informacji zwrotnych do modyfikowania autorskich planów dydaktycznych oraz badania rozwoju umiejętności matematycznych uczniów poprzez wyznaczenie wskaźnika edukacyjnej wartości dodanej3.

Oszacowano wskaźniki EWD’2012 wyznaczając metodą najmniejszych kwadratów równanie regresji4 liniowej, uwzględniając wyniki sprawdzianu Po gimnazjum 2010 – jako dane wejściowe – i wyniki sprawdzianu Matematyka do potęgi P 2012 – jako dane wyjściowe oraz metodą najmniejszych kwadratów wyznaczono równanie regresji logarytmicznej, uwzględniając wyniki sprawdzianu Po gimnazjum 2010 – jako dane wejściowe – i wyniki sprawdzianu Matematyka do potęgi R 2012 – jako dane wyjściowe. To znaczy, w zależności od poziomu nauczania matematyki opracowano dwa modele regresji – dla poziomu podstawowego i rozszerzonego. Modele wyznaczono na podstawie par wyników uzyskanych przez 1018 (na poziomie podstawowym) oraz 407 (na poziomie rozszerzonym) uczniów mazowieckich szkół. Ilustrację przewidywań wynikających z regresji przedstawiono na rys. 9. i 10.

3 Elżbieta Ostaficzuk, Grażyna Śleszyńska – Edukacyjna Wartość Dodana w projekcie Połowa drogi… 2010-2012, s.11 i nast. OŚWIATA MAZOWIECKA Nr 12/2012/01/2013 4 Zygmunta Barańska, 1999, Podstawy metod statystycznych dla psychologów. Wydawnictwo Uniwersytetu Gdańskiego, Gdańsk, s. 221 i nast.

10

Rysunek 9. Regresja liniowa w modelu podstawowym EWD’2012

Źródło: opracowanie własne

11

Rysunek 10.

Regresja logarytmiczna w modelu rozszerzonym EWD’2012

Źródło: opracowanie własne

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425

Spra

wd

zian

Mat

em

atyk

a d

o p

otę

gi R

'20

12

Sprawdzian z matematyki'2010

12

Do interpretowania wartości wskaźników EWD’2012 (dla wyników wyznaczonych modelem podstawowym i rozszerzonym) dla każdej klasy wyznaczono 95% przedział ufności. Rysunek 11. Przedziały ufności wskaźników EWD w klasach (zakodowanych jako 4318; 4320; 4322) przykładowego liceum (kod 940) - poziom podstawowy*

Źródło: opracowanie własne *Przedziały ufności opisano kodem klasy i liczbą uczniów, np. w klasie 4318 badano wyniki 29 uczniów.

5,02

-0,25

-2,61

-5,00

-4,00

-3,00

-2,00

-1,00

0,00

1,00

2,00

3,00

4,00

5,00

6,00

7,00

4318; 29 4320; 17 4322; 23

Przedziały ufności (940) wskaźników EWD'2012 - matematyka poziom

podstawowy

13

Rysunek 12. Przedziały ufności wskaźników EWD w klasach (zakodowanych jako 3797; 3799; 3800; 3802) przykładowego liceum (kod 876) - poziom rozszerzony*

Źródło: opracowanie własne *Przedziały ufności opisano kodem klasy i liczbą uczniów, np. w klasie 3797 badano wyniki 29 uczniów.

5,03 4,88

-0,52

-1,40

-3,50

-3,00

-2,50

-2,00

-1,50

-1,00

-0,50

0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

4,00

4,50

5,00

5,50

6,00

6,50

7,00

7,50

8,00

8,50

3797; 29 3799; 27 3800; 29 3802; 14

Przedziały ufności szkolnych (876) wskaźników EWD'2012 - matematyka poziom rozszerzony

14

Rysunek 13. Dwuletnie wyniki sprawdzianu Matematyka do potęgi R w projekcie Połowa drogi… 2011-2012 w skali 100-15

Źródło: opracowanie własne.

y = 56,355ln(x) - 166,9

55,00

70,00

85,00

100,00

115,00

130,00

145,00

160,00

55,00 70,00 85,00 100,00 115,00 130,00 145,00 160,00

Ma

tem

aty

ka d

o p

otę

gi R

20

11

-20

12

Potęga matematyki 2009-2010

Dwuletnie wyniki w projekcie Połowa drogi...2011-2012, N=923

15

Rysunek 14. Dwuletni wskaźnik EWD w projekcie Połowa drogi… 2012 – w zakresie matematyki na poziomie rozszerzonym

Źródło: opracowanie własne.

-45

-30

-15

0

15

30

45

55 70 85 100 115 130 145 160

Wsk

aźn

ik e

wd

Matematyka do potęgi R 2011-2012

Dwuletni wskaźnik EWD w projekcie Połowa drogi...2012, N=923

16

Rysunek 15. Przykładowy rozrzut dwuletnich wyników ze sprawdzianu Matematyka do potęgi R w projekcie Połowa drogi… 2011-2012

Źródło: opracowanie własne.

55

70

85

100

115

130

145

160

55 70 85 100 115 130 145 160

Ma

tem

aty

ka d

o p

otę

gi R

20

11

-20

12

Potęga matematyki 2009-2010

I Liceum Przykładowe w S.Dwuletnie wyniki w projekcie Połowa drogi...

2011-2012, N=244

17

Rysunek 16. Przykładowy rozkład dwuletnich wskaźników EWD w projekcie Połowa drogi… 2012 – w zakresie matematyki na poziomie rozszerzonym

Źródło: opracowanie własne.

-45

-30

-15

0

15

30

45

55 70 85 100 115 130 145 160

Wsk

aźn

ik e

wd

Matematyka do potęgi R 2011-2012

I Liceum Przykładowe w S.Dwuletni wskaźnik EWD

2011-2012, N=244