r'\ Skolinspektionen

2021-04-16

Ombedömning av

nationella prov 2019

2 (27)

Innehållsförteckning Sammanfattning .................................................................................................................. 4

Bedömningarna skiljer sig för mer än varannan elevlösning.......................................... 4 Olika bedömningsprocesser ........................................................................................... 5 Resultaten varierar mellan olika bedömningsprocesser ................................................ 5 Skolinspektionens iakttagelser efter elva omgångar ...................................................... 5

Uppdrag och genomförande................................................................................................ 6

Uppdraget ...................................................................................................................... 6 Bakgrund ........................................................................................................................ 6 Genomförandet.............................................................................................................. 7

Ombedömda delprov ................................................................................................ 7

Urvalet av skolor ....................................................................................................... 7

Resultat................................................................................................................................ 9

Hur mycket skiljer sig bedömningarna av samma elevlösning? ..................................... 9 Bedömningarna skiljer sig åt för mer än varannan elevlösning................................. 9

Vanligt att skolans lärare gör mer generösa bedömningar i svenska........................ 9

Merparten av elevlösningarna i engelska får en annan bedömning ....................... 10

Merparten av elevlösningarna i NO får en annan bedömning ................................ 11

Skolinspektionens iakttagelser efter elva omgångar............................................... 12

Stor variation mellan skolor .................................................................................... 12

Hur skiljer sig avvikelserna mellan olika bedömningsprocesser? ................................. 14 Stora variationer i hur delproven bedöms .............................................................. 14

Stora variationer i hur bedömningsmetoderna kombineras ................................... 16

Resultaten varierar mellan bedömningsprocesser.................................................. 18

Striktare bedömningar när kombinationer av bedömningsmetoder tillämpats...... 18

Bilagor................................................................................................................................ 21

Bilaga 1 Genomförandet av ombedömningen ............................................................. 21 Urval av prov och skolor.......................................................................................... 21

Hela provet ombedöms inte, endast längre skrivuppgifter..................................... 21

Fördelning av delprov mellan Skolinspektionens ombedömare ............................. 22

Inrapportering av delprovsbetyg............................................................................. 22

Omfattning.............................................................................................................. 23

Bortfall .................................................................................................................... 23

Frågor om bedömningen på skolan ........................................................................ 24

Bilaga 2 Ett harmoniserat mått för att mäta skillnader i bedömning av nationella delprov ......................................................................................................................... 25

3 (27)

Beräkning av det harmoniserade resultatmåttet .................................................... 25

Referenslista ...................................................................................................................... 27

Ombedömning av nationella prov 2019 Diarienummer 2019:503

4 (27)

Sammanfattning Skolinspektionen har mellan 2009 och 20201 fått i uppdrag att ombedöma vissa nation-ella prov. Syftet med uppdraget är att, genom att undersöka bedömningarnas likvärdighet samt analysera vilka faktorer som främjar likvärdig bedömning, stödja en likvärdig be-dömning och betygssättning av proven över landet. Totalt har 24 938 delprov från 297 skolor ombedömts i 2019 års omgång. Resultaten visar, liksom tidigare år, att ombedö-maren gör en annan bedömning än ursprungsbedömaren i över hälften av fallen. I de fall bedömningarna skiljer sig åt är det vanligast att skolans bedömare gjort en mer generös bedömning än ombedömaren. Ombedömarnas bedömningar ska dock inte betraktas som ett facit, det vill säga deras bedömningar är inte mer korrekta än de som ursprungsbedö-marna gjort. Ombedömarnas bedömningar kan betraktas som en ytterligare bedömning och skillnader ger underlag för att diskutera likvärdighet.

Enligt myndighetens uppdrag ska de prov och delprov där risken för avvikelser är som störst väljas ut för ombedömning. Därför har ett urval av delprov som till stor del består av fritextsvar valts ut. I 2019 års ombedömning ingår delprov från de nationella proven i svenska och engelska för årskurs 6, årskurs 9 och gymnasiet samt i NO (biologi, fysik och kemi) för årskurs 9.

Liksom i tidigare rapporter redovisas skillnaden mellan skolans och ombedömarnas be-dömning av delprov uppdelat på ämne, årskurs och kurs, skola samt bedömningsprocess. Urvalet av skolor följer Skolinspektionens inspektionsplanering och är inte utformat för att ge en representativ bild av likvärdigheten i bedömning och betygssättning på nationell nivå. Resultat som presenteras i denna rapport kan därför inte generaliseras till riket i stort. Skolinspektionen bedömer dock att urvalets sammansättning och omfattning gör det möjligt att använda resultaten som en möjlig indikation på den allmänna situationen i landet.

Bedömningarna skiljer sig för mer än

varannan elevlösning Resultaten i rapporten visar att mer än hälften av elevlösningarna2 får olika bedömningar av skolans lärare och ombedömarna. I 57 procent av fallen har ombedömaren gjort en annan bedömning än skolans lärare. I 35 procent av fallen har ursprungsbedömarna gjort en mer generös bedömning än ombedömarna och i 21 procent av fallen har ursprungsbe-dömarna gjort en mer strikt bedömning. Andelen avvikelser mellan ursprungsbedömning och ombedömning varierar något mellan ämnena men denna tendens återfinns i alla om-bedömda ämnen och årskurser samt kurser. I ämnet svenska är skillnaden störst mellan ursprungsbedömning och ombedömning.

I de fall bedömningarna skiljer sig åt är det vanligast att det skiljer ett delprovsbetyg mel-lan ombedömarens och skolans bedömning. Eftersom endast ett delprov per nationellt prov ombedöms är det inte givet att en uppmätt skillnad för ett enskilt delprov får ge-nomslag på det slutliga provbetyget. Det kan dock räcka med ett betygsstegs skillnad på ett delprov för att det totala provbetyget ska påverkas. Det betyder att de avvikelser som

1 2020 års uppdrag ströks från myndighetens regleringsbrev 20 maj 2020. Utbildningsdepartementet, Reglerings-brev för budgetåret 2020 avseende Statens Skolinspektion, Ändringsbeslut (2020). 2Med elevlösning avses en elevs svar på uppgifter i ett nationellt delprov.

5 (27)

uppmäts i ombedömningen på delprovsnivå är av den storleksordningen som kan leda till att det totala provbetyget för en elev påverkas.

Olika bedömningsprocesser Resultaten från ombedömningen visar att inslagen av sambedömning, extern bedömning och avidentifiering varierar mellan ämnen och årskurser samt kurser. För drygt 40 pro-cent av delproven tillämpades extern bedömning, det vill säga att delprovet bedömdes av någon annan än elevens ordinarie lärare. Över 70 procent av delproven sambedömdes och 66 procent var avidentifierade vid bedömningen. Det förekom även att bedömnings-metoderna kombinerats.

En skillnad från tidigare år är att andelen delprov som avidentifierats ökat markant. Ök-ningen förklaras till stor del av att uppsatsdelarna av de nationella proven i svenska, svenska som andraspråk och engelska för årskurs 9 och gymnasieskolan från och med höstterminen 2018 ska skrivas på en digital enhet och vara avidentifierade vid bedöm-ningen.

Resultaten varierar mellan olika

bedömningsprocesser Av resultaten framgår att andelen delprov som bedömts striktare vid ursprungsbedöm-ningen jämfört med ombedömningen är större för delprov där extern bedömning, sam-bedömning och i viss mån avidentifiering tillämpats. Den generella tendensen är att sko-lans bedömare gör en mer generös bedömning jämfört med ombedömaren. Dock är ten-densen mindre för delprov som har bedömts av någon annan än elevens ordinarie lärare, har sambedömts eller har avidentifierats. Mönstret är tydligast när bedömningsme-toderna har kombinerats.

Skolinspektionens iakttagelser efter elva

omgångar Hur ombedömning genomförts har varierat mellan de olika omgångarna och därför kan resultaten inte jämföras mellan år. Vi ser dock vissa återkommande mönster, dessa är:

För delprov som till stor del består av fritextsvar är det vanligt förekommande att ombedömningen skiljer sig från ursprungsbedömningen.

Vanligast är att det skiljer ett betygssteg mellan de två bedömningarna.

I de fall de två bedömningarna skiljer sig åt är det vanligast att ursprungsbedöma-ren gjort en generösare bedömning än ombedömaren.

6 (27)

Uppdrag och genomförande

Uppdraget Mellan 2009 och 20203 har Skolinspektionen årligen i sitt regleringsbrev fått i uppdrag av regeringen att ombedöma nationella prov. Syftet med uppdraget har varit att stödja en likvärdig bedömning och betygssättning över hela landet.4 I beskrivningen av uppdraget framgår bland annat att de prov och delprov där risken för avvikelser är störst ska ingå i så stor utsträckning som möjligt. Därför genomförs ombedömningen av nationella prov för ett urval av ämnen, årskurser, kurser och delprov.

Både insamlingen av elevlösningar och delprovsresultat samt Skolinspektionens ombe-dömning av delproven genomfördes som vanligt under 2019 och början av 2020. I och med pandemin ströks dock uppdraget under våren 2020. Denna rapport redovisas där-med utanför ramen för uppdraget.

I rapporten presenteras deskriptiva resultat. Liksom tidigare redovisas skillnaderna mellan ursprungsbedömarens och ombedömarens bedömning uppdelat på ämne, årskurs, kurs, skola samt bedömningsprocess. Uppdragets genomförande, bortfall och beräkningstek-niska detaljer har sammanställts i bilagor.

Bakgrund De nationella proven syftar till att stödja en rättvis och likvärdig betygsättning. Sedan 29 juni 2018 ska resultat från de nationella proven särskilt beaktas vid betygssättning i ett ämne eller kurs som det ges nationellt prov i, givet att det inte finns särskilda skäl som gör att resultaten inte bör beaktas särskilt.5 Det finns särskilda skäl till varför resultat från de nationella proven ska ges särskild tyngd vid betygssättningen. Anledningen är att de nat-ionella proven är välkonstruerade, noga utprövade och har utformats just för att stödja betygssättningen. Därutöver skiljer sig de nationella proven från övriga bedömningsun-derlag på så sätt att alla elever runt om i landet gör samma prov och bedömarna utgår från samma bedömningsanvisningar.6 Betygssättningen ska dock ske utifrån en allsidig ut-värdering av all information om en elevs kunskaper.7

Skolinspektionens tidigare erfarenheter från ombedömningen av nationella prov är att vissa delprov inte bedöms likvärdigt mellan skolor. Det är vanligt förekommande att samma elevlösning får olika bedömningar av skolan och ombedömaren.8 Skillnaderna mellan bedömare har varit som störst för delprov där eleven ska ange fritextsvar på frå-

3 2020 års uppdrag ströks från myndighetens regleringsbrev 20 maj 2020. Utbildningsdepartementet, Reglerings-brev för budgetåret 2020 avseende Statens Skolinspektion, Ändringsbeslut (2020). 4 Utbildningsdepartementet, Regleringsbrev för budgetåret 2015 avseende Statens Skolinspektion (2014). 5 10 Kap. 20 a § Skollagen (2010:800), 15 Kap. 25 a § Skollagen 6 För alla nationella prov i de årskurser/kurser där betyg ges, följer ett delprovsbetyg samt ett sammanvägt provbe-tyg utifrån bedömningsanvisningarna. 7 Förordning om läroplan för grundskolan, förskoleklassen och fritidshemmet (SKOLFS 2010:37), 2.7 Bedömning och betyg; Förordning om läroplan för gymnasieskolan 2011 (SKOLFS 2011:144), 2.5 Bedömning och betyg. 8 Statens skolinspektion, Ombedömning av nationella prov 2018 – Samma prov, olika bedömningar (2019).

7 (27)

gor som inte har ett givet rätt eller fel svar. För sådana delprov är det vanligt att det skil-jer ett betygssteg eller mer mellan ursprungsbedömarens och ombedömarens bedöm-ning av samma elevlösning.9

Med tanke på betygens många gånger avgörande roll för urval till högre studier och ar-bete kan en olikvärdig bedömning av nationella prov, till exempel att prestationer på ett delprov som anses motivera betyget A på en skola ger C på en annan, få konsekvenser för enskilda elever. Det är därför viktigt att de nationella proven bedöms likvärdigt.

Genomförandet För att genomföra uppdraget samlar Skolinspektionen in kopior på elevlösningar från nat-ionella delprov från ett urval av skolor. De insamlade provkopiorna avidentifieras och maskeras från tidigare bedömares kommentarer, anteckningar och dylikt. Därefter be-döms elevlösningarna på nytt av legitimerade och erfarna ämneslärare som anlitats på uppdrag av Skolinspektionen. Dessa bedömningar görs enskilt. De ursprungliga bedöm-ningarna av elevsvaren jämförs sedan med ombedömarnas bedömningar. Jämförelserna sammanställs både på skolenhetsnivå och på nationell nivå.

För att uppfylla uppdragets syfte ska myndigheten även samla in kompletterande inform-ation om hur och av vem proven bedömts för att få ytterligare underlag för analys av för-utsättningar och faktorer som främjar en likvärdig bedömning. För att Skolinspektionen ska få tillgång till denna information ombes skolorna att för varje delprov besvara några frågor kopplade till bedömningen av delprovet.

Ombedömda delprov I varje ämne ombedöms endast ett delprov. 10 De delprov som ingår är de där risken för skillnader i bedömning mellan olika lärare bedömts vara som störst. I praktiken innebär det att de delprov som väljs till stor del består av fritextsvar där eleven fritt ska formulera sig utifrån en öppen frågeställning som inte har ett givet rätt eller fel svar.

Mot bakgrund av ovan ingår i 2019 års ombedömning delprov C i svenska/svenska som andraspråk och engelska för grundskolans årskurs 6 och 9, samt delprov A2 i biologi, fysik och kemi (NO) för årskurs 9. Vidare innefattar ombedömningen delprov C i svenska 1/svenska som andraspråk 1 och engelska 5 för gymnasieskolan. Totalt har 24 938 del-prov från 297 skolor ombedömts.

Urvalet av skolor Urvalet av skolor för ombedömning följer från och med 2014 Skolinspektionens inspekt-ionsplanering.11 Urvalet är därför inte utformat för att ge en representativ bild av likvär-digheten i bedömning och betygssättning på nationell nivå. Resultatet som presenteras i denna rapport kan därför inte generaliseras till riket i stort. På samma sätt går det inte heller att veta i vilken utsträckning resultaten är jämförbara mellan de olika åren som om-bedömningen gjorts. Skolinspektionen bedömer dock att urvalets sammansättning och omfattning gör det möjligt att använda resultaten som en möjlig indikation på den all-männa situationen i landet, samt på förändringar över tid.

9 Statens skolinspektion, Olikheterna är för stora Omrättning av nationella prov i grundskolan och gymnasieskolan, 2013 (2013). 10 I svenska årskurs 6 är delprovet uppdelat i två delar (C1 och C2). 11 Urvalet regleras i den uppdragsbeskrivning som återfinns i 2015 års regleringsbrev.

8 (27)

Det totala bortfallet på provnivå är 12 procent men varierar mellan de olika delproven. Högst är bortfallet för svenska 1/svenska som andraspråk 1. Bortfallet beskrivs mer ingå-ende i bilaga 1.

9 (27)

Resultat I avsnittet presenteras resultaten av 2019 års ombedömning. Först presenteras jämförel-ser mellan ursprungbedömarnas och ombedömarnas bedömningar av delproven. Däref-ter redovisas jämförelser mellan ursprungsbedömning och ombedömning utifrån olika bedömningsprocesser.

Hur mycket skiljer sig bedömningarna av

samma elevlösning? I följande avsnitt presenteras jämförelser mellan skolornas och ombedömarnas bedöm-ningar av delproven uppdelat per ämne och årskurs samt kurs. Därtill relateras resultaten från årets ombedömning till tidigare år. Avslutningsvis presenteras spridningen över sko-lors genomsnittliga avvikelse mellan ursprungsbedömning och ombedömning.

Bedömningarna skiljer sig åt för mer än varannan elev-

lösning

För 57 procent av elevlösningarna skiljer sig bedömningar mellan skolornas lärare och ombedömarna. Där olika bedömningar gjorts är det vanligast att det skiljer ett delprovs-betyg mellan bedömningarna. Det är vanligast att skolans bedömare gjort en mer generös bedömning än ombedömaren, det gäller för 35 procent av fallen. I 21 procent av fallen har skolans bedömare gjort en mer strikt bedömning än ombedömaren.12 Andelen avvi-kelser skiljer sig något mellan olika ämnen och årskurser.

Vanligt att skolans lärare gör mer generösa

bedömningar i svenska Som framgår av figur 1 har ombedömaren för delproven i svenska i 60 procent av fallen gjort en annan bedömning än ursprungsbedömaren, se den nedersta stapeln i figuren. I 39 procent av fallen har skolans bedömare gjort en generösare bedömning än Skolin-spektionens ombedömare. I 40 procent har samma bedömning gjorts och i 21 procent har skolans bedömare gjort en striktare bedömning. Andelen generösare bedömningar är större för årskurs 6 jämfört med årskurs 9 och gymnasiet.

12 Till följd av avrundning skiljer sig den totalt andelen delprov med avvikelser som presenteras från summan av an-delen delprov där ursprungsbedömaren gjort en generösare eller striktare bedömning.

10 (27)

Svenska åk 6

Svenska åk 9

Svenska gymn

Svenska totalt

1% 16% 38% 34% 11%

3% 22% 38% 29% 8%

1% 17% 44% 28% 9%

2% 19% 40% 30% 9%

0% 20% 40% 60% 80% 100%

Minst två steg lägre betyg på skolan Ett steg lägre betyg på skolan

Samma betyg som på skolan Ett steg högre betyg på skolan

Minst två steg högre betyg på skolan

Figur 1: Resultat i ombedömningen för utvalda delprov i svenska, efter årskurs/kurs. Figuren visar i vilken ut-sträckning skolans lärare ger lägre, högre eller samma betyg som Skolinspektionens ombedömare. N= 9 443

Merparten av elevlösningarna i engelska får en annan

bedömning Andelen delprov i engelska där skolans lärare och ombedömarna har gjort olika bedöm-ningar är 55 procent, se nedersta stapeln i figur 2 nedan. Liksom i svenska är det vanligt att skolans lärare har gjort en mer generös bedömning än ombedömarna. I 32 procent av fallen har skolan gjort en generösare bedömning, i 45 procent av fallen har samma be-dömning gjorts och i 23 procent av fallen har skolan gjort en striktare bedömning än om-bedömaren. Andelen avvikelser är liknande för samtliga årskurser och gymnasiet.

Andelen delprov där skolans bedömning av delproven skiljer minst två betygssteg från Skolinspektionens ombedömare är mindre denna omgång än tidigare omgång. Att ande-len är mindre än tidigare skulle delvis kunna förklaras av att elevlösningar där det skiljt minst två betygssteg mellan ursprungsbedömning och ombedömning bedömts ytterligare en gång av en annan ombedömare denna omgång. Därefter har den av de två ombedöm-ningarna som låg närmast ursprungsbedömningen använts som resultat från ombedöm-ningen.

11 (27)

Engelska åk 6

Engelska åk 9

Engeleska gymn

Engelska totalt

2% 21% 47% 27% 3%

%1 17% 46% 31% 5%

2% 23% 44% 27% 4%

2% 21% 45% 28% 4%

0% 20% 40% 60% 80% 100%

Minst två steg lägre betyg på skolan Ett steg lägre betyg på skolan

Samma betyg som på skolan Ett steg högre betyg på skolan

Minst två steg högre betyg på skolan

Figur 2: Resultat i ombedömningen för utvalda delprov i engelska, efter årskurs/kurs. Figuren visar i vilken ut-sträckning skolans lärare ger lägre, högre eller samma betyg som Skolinspektionens ombedömare. N=8 733

Merparten av elevlösningarna i NO får en annan

bedömning Som framgår av figur 3 nedan fick 45 procent av elevlösningarna i NO-ämnena samma be-dömning av ursprungsbedömarna som av ombedömarna. I de fall där olika bedömningar gjorts, 55 procent, handlar det främst om att skolan gjort en generösare bedömning av delproven än ombedömarna. I 33 procent av fallen har skolans bedömningar varit gene-rösare än ombedömarnas och i 20 procent har skolans bedömningar varit striktare. Där olika bedömningar gjorts skiljer det oftast ett betygssteg (belägg har räknats om till be-tygsskalan A-F). Mönstret är ungefär detsamma för de olika NO-ämnena.

Biologi åk 9

Fysik åk 9

Kemi åk 9

NO totalt

2% 20% 46% 31% 3%

1% 17% 44% 33% 6%

2% 22% 46% 28% 2%

1% 19% 45% 30% 3%

0% 20% 40% 60% 80% 100%

Minst två steg lägre betyg på skolan Ett steg lägre betyg på skolan

Samma betyg som på skolan Ett steg högre betyg på skolan

Minst två steg högre betyg på skolan

Figur 3: Resultat i ombedömningen för utvalda delprov i biologi, fysik och kemi i årskurs 9. Figuren visar i vil-ken utsträckning skolans lärare ger lägre, högre eller samma betyg som Skolinspektionens ombedömare. N=6 762

12 (27)

Skolinspektionens iakttagelser efter elva omgångar Hur ombedömning genomförts har varierat mellan de olika omgångarna. Bland annat har urvalets utformning, antalet delprov som ombedöms samt vilka delprov som ingått i om-bedömningen skiljt sig åt. Detta innebär att resultaten inte går att jämföra mellan år. Vi ser dock vissa återkommande mönster, dessa är:

För delprov som till stor del består av fritextsvar är det vanligt förekommande att ombedömningen skiljer sig från ursprungsombedömningen.

Vanligast är att det skiljer ett betygssteg mellan de två bedömningarna.

I de fall de två bedömningarna skiljer sig åt är det vanligast att ursprungsbedöma-ren gjort en generösare bedömning än ombedömaren.

Stor variation mellan skolor I följande avsnitt redovisas den genomsnittliga avvikelsen mellan ursprungsbedömning och ombedömning på skolenhetsnivå. Avvikelserna redovisas i absoluta tal och det är där-för inte möjligt att dra slutsatser om skolorna överlag bedömer delprov striktare eller ge-nerösare än Skolinspektionens ombedömare.13 Fyra enheter på skalan motsvarar ett steg på betygsskalan A–F.14 Hälften av skolorna ryms inom boxarna som avgränsas av den 25:e och 75:e percentilen. Linjen i boxarna anger medianen. Avståndet mellan den 25:e och 75:e percentilen kallas för kvartilavstånd. De T-formade strecken visar det högsta/lägsta värdet som ligger max 1,5 kvartilavstånd från övre/nedre kvartilen. Eventuella värden ut-anför detta spann (så kallade extremvärden) visas som cirklar eller stjärnor i figuren.

I figur 4 redovisas spridningen mellan skolors genomsnittliga avvikelse uppdelat per ämne. Den genomsnittliga avvikelsen per skola, mellan ursprungsbedömning och ombe-dömning, kan förstås som en referenspunkt. Genom att jämföra hur mycket olika skolors bedömningar i genomsnitt skiljer sig från ombedömarnas går det att jämföra skolor med varandra. Figuren visar att det finns en spridning mellan skolor. Skillnaden mellan den skola som har störst respektive minst avvikelse i jämförelse med ombedömningen mots-varar nästan 6 enheter på skalan för ämnet svenska. För övriga ämnen är avvikelsen nå-got mindre. För den hälft av skolorna som ryms inom boxarna visar figuren att skolornas genomsnittliga andel avvikelser mellan ursprungsbedömning och ombedömning, för samtliga ämnen, skiljer mindre än en enhet på skalan mellan skolorna.

13 Figuren i årets analys presenteras i absoluta tal. Det försvårar jämförelser med motsvarande figur från omgång 9 och bakåt. 14 I NO-ämnen har belägg räknats om till skalan A–F, se bilaga 2.

0 s i-------------------------------------

0 0

0

0 0

41---------+------------J:t------------- ~ ------

0 0

a ~---------------------------------svenska Engelska NO-ämnen

13 (27)

Figur 4: Avvikelse i ombedömningen på skolnivå. Figuren är baserad på ett medelvärde per skola för de skolor

som haft tillräckligt många ombedömda delprov i ämnet för att uppfylla kriterierna för att få en skolenhets-

rapport i ämnet. Totalt ingår 201 skolor i svenska, 198 skolor i engelska och 125 skolor i NO-ämnena. Boxarna

visar var medianen samt den 25:e och 75:e percentilen ligger. Värdet på y-axeln motsvarar den genomsnitt-

liga avvikelsen på skolnivå, mätt i absoluta tal, mellan ursprungsbedömare och ombedömare. Fyra enheters

skillnad motsvarar ett betygssteg på skalan A–F (belägg i NO-ämnen har räknats om till denna skala).

En del av variationen mellan skolor kan bero på att det är svårt att bedöma de utvalda delproven som består av frågor med fritextsvar. I den analys som ingick i regeringsrappor-ten för 2018 belyste Skolinspektionen detta. I analysen fick två ombedömare bedöma samma elevlösning var för sig.15 Resultatet visade att det i många fall blir lika stora skillna-der mellan Skolinspektionens båda ombedömare som mellan läraren på skolan och re-spektive ombedömare.16 Det är heller inte otänkbart att en lärare skulle kunna bedöma samma elevlösning olika, om det gått lång tid mellan bedömningarna och läraren hunnit glömma sin tidigare bedömning.17 En annan faktor som bidrar till slumpmässiga variat-ioner är att endast ett begränsat antal delprov från varje skola har ingått i ombedöm-ningen.

Sammanfattningsvis visar resultaten på fortsatt bristande samstämmighet i bedömning-arna av delprov med fritextsvar. Ombedömarnas bedömningar är inte ett facit och det är fullt möjligt att de överlag är striktare i sin roll som ombedömare. Det finns dock stora va-riationer mellan olika skolor, vilket tyder på bristande likvärdighet mellan landets skolor i bedömningen av delprov som framför allt består av fritextsvar. På vissa skolor är skillna-derna mellan skolans och ombedömarnas bedömningar små, medan de på andra är om-fattande. I följande avsnitt redovisas avvikelser mellan skolornas och ombedömarnas be-dömningar utifrån olika bedömningsprocesser.

15 Om det skiljde minst två betygssteg mellan ursprungsbedömare och ombedömare gick proven i svenska till en andra ombedömning. Den låga samstämmigheten skulle delvis kunna förklaras av att elevlösningarna som ingår i den andra ombedömningen är svårare att bedöma. 16 Statens skolinspektion, Ombedömning av nationella prov 2017 – Fortsatt stora skillnader (2018) s. 32-33. 17 Statens skolverk, Sambedömning i skolan – exempel och forskning (Stockholm: Skolverket, 2013), s. 9.

55%

59%

50%

57%

55%

66%

65%

59%

27% 18%

36% 5%

50%

22% 21%

40% 6%

34%

32% 3%

35% 6%

14 (27)

Hur skiljer sig avvikelserna mellan olika

bedömningsprocesser? I avsnittet redogörs inledningsvis för hur de ombedömda delproven har bedömts på sko-lorna. Därefter redovisas andelen avvikelser mellan ursprungs- och ombedömning utifrån bedömningsprocess.

Stora variationer i hur delproven bedöms För att ta reda på hur bedömningsprocessen sett ut för de elevlösningar som ombedömts har Skolinspektionen bett skolorna att för varje insänd elevlösning besvara en enkät. I en-käten ställdes frågor om vem som bedömt delprovet, om delprovet diskuterades med an-nan pedagogisk personal samt om delprovet var avidentifierat vid bedömningen. Enkäten var frivillig att besvara och därför finns inte uppgifter för samtliga elevlösningar som om-bedömts.

Vanligast att elevens ordinarie lärare bedömt delprovet

Av enkätsvaren framgår att sett till samtliga ämnen och årskurser samt kurser har elevens ordinarie lärare bedömt delprovet i 59 procent av fallen, se stapeln för totalen i figur 5 nedan. Resterande 41 procent har bedömts av någon annan än elevens ordinarie lärare (så kallad extern bedömning), varav 35 procent av lärare på samma skola och 6 procent av lärare utanför skolan. Andelen delprov som bedömts av någon annan än elevens ordi-narie lärare är större i år än tidigare, omgång 10 var andelen 34 procent. Likt tidigare om-gång är det vanligaste svaret att elevens ordinarie lärare bedömt delprovet. Det finns va-riationer mellan ämnen och årskurser samt kurser. Svaret att någon annan än elevens or-dinarie lärare bedömt delprovet är vanligast i engelska på gymnasiet (50 procent) och minst vanligt i NO-ämnena och svenska på gymnasiet (35 respektive 34 procent).

Engelska åk 6

Engelska åk 9

Engelska gymn

Svenska åk 6

Svenska åk 9

Svenska gymn

NO åk 9

Totalt

0%

0%

0% 20% 40% 60% 80% 100%

Elevens ordinarie lärare Annan pedagogisk personal på skolan

Annan pedagogisk personal utanför skolan

Figur 5: Andel delprov i ombedömningen som ursprungligen bedömts av elevens ordinarie lärare respektive annan pedagogisk personal, efter ämne samt årskurs/kurs. N=20 196

15 (27)

Fler än sju av tio delprov sambedömdes

Sambedömning innebär att lärare samarbetar vid bedömning och betygssättning, till ex-empel genom att bedöma elevers prestationer tillsammans eller genom att diskutera be-dömningen.18 Med organiserad sambedömning avses här att skolan har strukturer och ru-tiner för att lärare ska bedöma delprov i samarbete eller i diskussion med kollegor. Detta indikeras av enkätsvaret ”Ja, som en del av en organiserad process för sambedömning”. Med informell sambedömning avses här att lärare bedömt delprov i samråd eller i samar-bete med kollegor trots att formella strukturer och rutiner för sambedömning saknas på skolan. Informell sambedömning kan också ske genom att kollegor diskuterar eller samar-betar kring bedömning och betygssättning utanför de eventuella formella strukturer och rutiner för sambedömning som finns på skolan. Informell sambedömning indikeras av svarsalternativet ”Ja, genom informellt samtal”.

Totalt har det för fler än sju av tio delprov tillämpats någon form av sambedömning i sam-band med bedömningen av elevlösningen (figur 6). Nästan 15 procent av delproven har inte sambedömts. Av de delprov som ingår i årets omgång har en något större andel upp-gett att delprovet sambedömts i jämförelse med förra året, 73 procent jämfört med 69 procent.

Engelska åk 6

Engelska åk 9

Engelska gymn

Svenska åk 6

Svenska åk 9

Svenska gymn

NO åk 9

Totalt 14%

11%

30%

4%

14%

17%

15%

15%

8%

8%

12%

6%

5%

11%

9%

6%

65%

70%

41%

78%

66%

57%

72%

64%

13%

12%

17%

11%

15%

15%

4%

15%

0% 20% 40% 60% 80% 100%

Nej

Ja, genom informellt samtal

Ja, som en del av en organiserad process för sambedömning

Minns ej

Figur 6: Andel delprov i ombedömningen som sambedömts vid den ursprungliga bedömningen på skolan, ef-ter ämne samt årskurs/kurs. N=23 400

Enligt enkätsvaren var den vanligaste formen för sambedömning att den genomfördes som en del av en organiserad process. Totalt har 65 procent av de som besvarat enkäten uppgett att delproven sambedömts på detta sätt. Det var mindre vanligt med organiserad sambedömning på gymnasiet, där 57 procent av delproven i engelska och 41 procent av delproven i svenska uppgetts ha sambedömts som en del av en organiserad process.

18 Statens skolverk, Sambedömning i skolan – exempel och forskning (Stockholm: Skolverket, 2013), s. 11.

I

I

I -I

I

I -I

I I

I I I

I I I I

I I I

I I I I

I

I I

16 (27)

Två tredjedelar av delprov var avidentifierade

Av enkätsvaren framkommer att sett till alla ämnen, årskurser och kurser så var 66 pro-cent av elevlösningarna avidentifierade vid bedömningen, vilket framgår i figur 7 nedan. Andelen avidentifierade delprov är störst för ämnena engelska och svenska i årskurs 9 och gymnasieskolan. Mellan 85 till 93 procent av dessa delprov har varit avidentifierade vid bedömningen. För delprov i NO-ämnena är andelen avidentifierade delprov lägst (21 %).

Totalt sett är andelen delprov som avidentifierats betydligt större i år jämfört med tidi-gare omgång då 22 procent av delproven var avidentifierade. Den stora skillnaden beror med stor sannolikhet på att uppsatsdelarna av de nationella proven i svenska, svenska som andraspråk och engelska för årskurs 9 och gymnasieskolan från och med hösttermi-nen 2018 ska skrivas på en digital enhet och vara avidentifierade vid bedömningen.19

Trots att de nya föreskrifterna inte gäller årskurs 6 är andelen delprov som avidentifierats betydligt större även för årskurs 6 jämfört med tidigare. I år är andelen delprov som upp-getts ha varit avidentifierade 62 procent, förra året var motsvarande andel 16 procent för delprov i svenska och 22 procent för delprov i engelska.

34%

79%

7%

9%

38%

10%

15%

38%

66%

21%

93%

91%

62%

90%

85%

62%

Totalt

NO åk 9

Svenska gymn

Svenska åk 9

Svenska åk 6

Engelska gymn

Engelska åk 9

Engelska åk 6

0% 20% 40% 60% 80% 100%

Nej, elevens identitet var känd för mig när bedömningen gjordes

Ja, provet var avidentifierat när bedömningen gjordes

Figur 7: Andel delprov i ombedömningen som var avidentifierade vid den ursprungliga bedömningen på sko-lan, efter ämne samt årskurs/kurs. N=23 603

Stora variationer i hur bedömningsmetoderna

kombineras I figur 5–7 redovisas varje bedömningsmetod var för sig, utan hänsyn till om någon annan av bedömningsmetoderna förekommit vid bedömningen av delprovet. Detta innebär ex-empelvis att en del av de avidentifierade elevlösningarna även kan ha sambedömts och/eller bedömts av någon annan än elevens ordinarie lärare.

I figur 8 och 9 redovisas fördelningen mellan olika kombinationer av svar på de tre frå-gorna om bedömningsprocessen för språkämnena och NO-ämnena. Figurerna visar för-delningen för de 73 procent av delproven i språk respektive 64 procent av delproven i NO-ämnena med kompletta svar på samtliga tre frågor om bedömningsprocessen. Som

19 Regeringsbeslut U2017/03739/GV

I

I

--

17 (27)

framgår ovan skiljer sig förekomsten av avidentifiering kraftigt mellan de två språkäm-nena jämfört med NO-ämnena, därför redovisas språkämnen och NO-ämnen separat.

Svenska och engelska

Sett till ämnena svenska och engelska är det 37 procent av delproven som bedömts på det sätt som antas mest gynnsamt för likvärdig bedömning, det vill säga att någon annan än elevens ordinarie lärare har bedömt delproven, att delproven sambedömts samt att de varit avidentifierade vid bedömningen. Fem procent har bedömts på det sätt som an-tas minst gynnsamt för en likvärdig bedömning, det vill säga att elevens ordinarie lärare har bedömt delproven, att delproven inte har sambedömts och att de inte har varit avi-dentifierade.

Av delproven i språkämnen är det 24 procent som haft en gynnsam faktor för likvärdig bedömning. I dessa fall är det lika vanligt med sambedömning som avidentifiering. Bland de 34 procent av delproven som haft två gynnsamma faktorer för likvärdig bedömning är det vanligast att sambedömning kombinerats med att provet varit avidentifierat.

Ej elevens lärare & Sambedömt & Avidentifierat

Ej elevens lärare & Sambedömt

Ej elevens lärare & Avidentifierat

Sambedömt & Avidentifierat

Ej elevens lärare

Sambedömt

Avidentifierat

Inget av ovanstående

37%

2%

2%

30%

0%

12%

12%

5%

0% 20% 40% 60% 80% 100%

Figur 8: Svar på tre frågor om hur bedömningen av de nationella delproven i ämnena svenska och engelska gått till på skolan. I figuren redovisas i vilken utsträckning extern bedömning, sambedömning och avidentifie-

ring tillämpats i kombination eller var för sig. N=13 203

NO-ämnena

Det är 10 procent av delproven i NO-ämnena som bedömts på det sätt som antas mest gynnsamt för likvärdig bedömning och 13 procent har bedömts på det sätt som antas minst gynnsamt för en likvärdig bedömning.

I NO-ämnena är det 40 procent som haft en gynnsam faktor för likvärdig bedömning, den absolut vanligaste faktorn är i dessa fall sambedömning. Bland de 37 procent av delpro-ven som haft två gynnsamma faktorer för likvärdig bedömning är det vanligast att en kombination av extern bedömning och sambedömning tillämpats.

---

18 (27)

Ej elevens lärare & Sambedömt & Avidentifierat

10%

Ej elevens lärare & Sambedömt 25%

Ej elevens lärare & Avidentifierat 0%

Sambedömt & Avidentifierat 12%

Ej elevens lärare 1%

Sambedömt 38%

Avidentifierat 1%

Inget av ovanstående 13%

0% 20% 40% 60% 80% 100%

Figur 9: Svar på tre frågor om hur bedömningen av de nationella delproven i NO-ämnen gått till på skolan. I

figuren redovisas i vilken utsträckning extern bedömning, sambedömning och avidentifiering tillämpats i kombination eller var för sig. N=4 311

Sammanfattningsvis visar resultatet att inslagen av sambedömning, extern bedömning och avidentifiering varierar mellan ämnen och årskurser samt kurser.

Resultaten varierar mellan bedömningsprocesser Nedan redovisas resultatet från ombedömning utifrån om en enskild bedömningsmetod eller kombinationer av de tre bedömningsmetoderna förekommit vid den ursprungliga bedömningen. Kategorin ”Ej elevens lärare” innehåller resultat för delprov som inte be-dömts av elevens ordinarie lärare, och där varken sambedömning eller avidentifiering till-lämpats. På motsvarande sätt innehåller gruppen ”Ej elevens lärare & Sambedömt” resul-tat för delprov som inte bedömts av elevens ordinarie lärare och som sambedömts, men inte avidentifierats.

Striktare bedömningar när kombinationer av

bedömningsmetoder tillämpats

Svenska och engelska

Resultaten i figur 10 visar att tendensen att skolans bedömning är mer generös än Skolin-spektionens ombedömare är mindre för delprov där sambedömning, avidentifiering och extern bedömning tillämpats vid ursprungsbedömningen. Bland delprov där ingen av nämnda bedömningsprocesser använts är skolans bedömning generösare än ombedö-marnas i 48 procent av fallen och striktare i 15 procent, det kan jämföras med 32 respek-tive 26 procent då alla tre bedömningsprocesserna förekommit. Andelen delprov där be-dömarna är helt överens är fem procentenheter högre för delprov där de tre bedöm-ningsmetoderna som ingår i denna rapport kombineras, jämfört med delprov där ingen av faktorerna tillämpats.

2%

3%

2%

2%

2%

1%

1%

2%

24%

16%

11%

19%

19%

17%

14%

20%

42%

47%

45%

44%

44%

43%

37%

43%

27%

29%

38%

29%

30%

30%

35%

29%

5%

5%

5%

7%

5%

10%

13%

6%

0% 20% 40% 60% 80% 100%

19 (27)

Ej elevens lärare & Sambedömt & Anonymiserat

Ej elevens lärare & Sambedömt

Ej elevens lärare & Anonymiserat

Sambedömt & Anonymiserat

Ej elevens lärare

Sambedömt

Anonymiserat

Inget av ovanstående

Totalt

Minst två steg lägre betyg på skolan Ett steg lägre betyg på skolan

Samma betyg som på skolan Ett steg högre betyg på skolan

Minst två steg högre betyg på skolan

Figur 10: Resultat i ombedömningen för ämnena svenska och engelska, efter svar på tre frågor om hur be-dömningen av de nationella delproven gått till på skolan (belägg i NO-ämnen har räknats om till skalan A–F). Figuren visar i vilken utsträckning skolans lärare ger lägre, högre eller samma betyg som Skolinspektionens ombedömare. Resultat redovisas för de kombinationer där minst 200 delprov från minst 3 olika skolor ombe-dömts. N=13 203

NO-ämnena

Även resultaten i figur 11 visar att tendensen att ursprungsbedömaren gör en mer gene-rös bedömning än Skolinspektionens ombedömare är mindre för delprov där sambedöm-ning, avidentifiering och extern bedömning tillämpats vid ursprungsbedömningen. Bland delprov där ingen av nämnda bedömningsprocesser använts gör skolans bedömare en ge-nerösare bedömning i 40 procent av fallen och en striktare bedömning i 14 procent, vilket kan jämföras med 23 respektive 35 procent då alla tre bedömningsprocesserna förekom-mit. Andelen delprov där bedömarna är helt överens är tre procentenheter högre för del-prov där varken, extern bedömning, sambedömning eller avidentifiering tillämpats. Det är ett resultat som bör tolkas med försiktighet då antalet prov i de två grupperna är relativt få.

20 (27)

Ej elevens lärare & Sambedömt & Anonymiserat 3% 32% 43% 22% 1%

Ej elevens lärare & Sambedömt 1% 21% 49% 27% 2%

Ej elevens lärare & Anonymiserat

Sambedömt & Anonymiserat 1% 19% 41% 34% 5%

Ej elevens lärare

Sambedömt 1%17% 44% 33% 5%

Anonymiserat

Inget av ovanstående 1%13% 46% 37% 3%

Totalt 1% 19% 45% 31% 4%

0% 20% 40% 60% 80% 100%

Minst två steg lägre betyg på skolan Ett steg lägre betyg på skolan

Samma betyg som på skolan Ett steg högre betyg på skolan

Minst två steg högre betyg på skolan

Figur 11: Resultat i ombedömningen för NO-ämnen, efter svar på tre frågor om hur bedömningen av de nat-ionella delproven gått till på skolan (belägg i NO-ämnen har räknats om till skalan A–F). Figuren visar i vilken utsträckning skolans lärare ger lägre, högre eller samma betyg som Skolinspektionens ombedömare. Resultat redovisas för de kombinationer där minst 200 delprov från minst 3 olika skolor ombedömts. N=4 311

Sammantaget kan resultatet för samtliga tre ämnesgrupper tolkas som att kombinationer av bedömningsmetoder har en återhållande effekt på bedömningen, eftersom andelen generösare bedömningar är mindre för delprov där extern bedömning, sambedömning eller avidentifiering förekommit samtidigt som andelen striktare bedömningar är större. Tendensen är som tydligast när alla tre faktorer kombinerats men finns där även när två av faktorerna kombinerats parvis.

21 (27)

Bilagor

Bilaga 1

Genomförandet av ombedömningen

Urval av prov och skolor 2019 års ombedömning innefattar nationella prov som genomfördes under vårterminen samma år i svenska/svenska som andraspråk och engelska för årskurs 6, årskurs 9 och gymnasiets grundläggande kurser samt NO-prov för årskurs 9. Gymnasieskolor har möjlig-het att genomföra antingen en höstterminsversion eller en vårterminsversion av varje prov. Skolinspektionen har valt att endast ombedöma vårterminsversionen, då denna provversion skrivs av de flesta av landets elever och skolor och därmed ger ett bredare provunderlag att utgå ifrån.

Skolor som ingår i ombedömningen väljs ut genom ett slumpmässigt urval bland skolor vars huvudmän följande år ingår i Skolinspektionens regelbundna tillsyn och granskning. Urvalet av skolor för ombedömning år 2019 gjordes bland skolor vars huvudmän ingår i inspektionsplanen för läsåret 2020/2021. Detta för att ett så aktuellt resultat som möjligt ska kunna användas som underlag vid tillsyn och granskning.

När ursprungsbedömningen av proven genomfördes kände skolorna ännu inte till att de skulle ingå i urvalet för ombedömningen av nationella prov. Skolinspektionen bedömer därför att risken för att skolorna i förväg skulle ha kunnat manipulera proven, med avsikt att uppnå ett fördelaktigt resultat, i princip är obefintlig.

För att kunna inkludera så många skolor som möjligt i ombedömningen ombedöms end-ast ett eller två ämnen per skola. En slumpvis tilldelning av ämnen görs bland de skolor som valts ut att delta. Skolorna ombeds att inkomma med delprov och delprovsresultat för samtliga elever på skolan som skrivit delprovet. På så sätt finns ingen risk för att skolor skickar in ett urval av bedömda elevlösningar som de anser skulle kunna ge ett fördelakt-igt resultat. Det maximala antalet delprov som begärts in från en skolenhet har begrän-sats till 200. Om skolenheten rapporterat att fler än 100 elever går i årskurs 6 eller 9, eller beställt fler än 100 delprov per kurs som ingår i ombedömningen, ombes skolenheten att enbart skicka in delprov för ett ämne eller kurs. Ett fåtal skolenheter har rapporterat att de har över 200 elever inskriva i en årskurs eller beställt fler än 200 delprov. Dessa har in-struerats att slumpmässigt välja ut 200 delprov att inkomma med.

Hela provet ombedöms inte, endast längre

skrivuppgifter Alla nationella prov är uppdelade i delprov. Vissa delprov innehåller laborativa eller munt-liga element, eller uppgifter som genomförs i grupp. Denna typ av delprov är svåra att samla in och fördela ut till ombedömare. Tidigare erfarenheter från ombedömningen har även visat att större avvikelser är sällsynta för delprov med lite utrymme för subjektivitet, till exempel nationella delprov som genomförs i matematik.

Av ovanstående skäl ombedöms inte hela prov, utan endast ett eller två delprov. De del-prov som väljs ut för ombedömning är sådana som är möjliga att ombedöma (som saknar

22 (27)

laborativa eller muntliga inslag), men där det inte finns tydliga rätt eller fel svar på frå-gorna. I praktiken betyder det att de delprov som väljs till stor del består av skrivuppgif-ter, där eleven fritt ska formulera sig utifrån en öppen frågeställning.

Fördelning av delprov mellan Skolinspektionens

ombedömare Skolor som ingår i ombedömningen ombeds skicka in kopior av bedömda delprov till Skol-inspektionen. Delproven avidentifieras och maskeras därefter på personuppgifter, be-dömningsanteckningar och andra uppgifter från ursprungsbedömningen. Därefter be-döms delproven på nytt av ämnesbehöriga, yrkesverksamma och erfarna lärare som anli-tats på uppdrag av Skolinspektionen. Ursprungsbedömningen jämförs sedan med ombe-dömningen, och resultatet sammanställs i skolenhetsvisa rapporter.

Skolinspektionens lärare ombedömer delproven enskilt. Sambedömning tillämpas inte. För att minimera risken att en enskild ombedömares bedömningar får stort genomslag i de sammantagna resultaten sprids elevlösningar för varje skola ut bland flera olika ombe-dömare. Jämförelsen av resultatet mellan skolor blir på så vis så rättvis som möjligt. Bero-ende på ämne, kurs och årskurs fördelas delproven mellan cirka 11 och 23 olika ombedö-mare.

Figur 30: Schematisk bild över fördelningen av delprov mellan ombedömare. Delprov från varje enskild skola fördelas så långt som möjligt ut till flera olika ombedömare. Detta för att minimera risken för att den enskilda ombedömarens bedömningar får för stort genomslag i de sammantagna resultaten.

För delprov där det skiljer mer än två betygssteg mellan bedömning och ombedömning, går delprovet vidare till en andra ombedömning. Det slutgiltiga betyget från ombedöm-ningen blir då resultatet från den av de två ombedömningarna som ligger närmast ur-sprungsbedömningen. Syftet med den andra ombedömningen är att kvalitetssäkra be-dömningen av delprov med betydande avvikelser genom att låta ytterligare en lärare be-döma delproven.

Inrapportering av delprovsbetyg Denna omgång har skolorna tillsammans med varje delprovskopia skickat in tillhörande delprovsresultat. Tidigare år har Skolinspektionen fått delprovsresultat för ämnena svenska och engelska från Statistiska centralbyrån (SCB). Den ytterligare manuella hante-ringen jämfört med tidigare i ämnena svenska och engelska kan ha påverkat kvaliteten på uppgifterna. Skolinspektionen har dock inte fått indikationer som tyder på systematiska

23 (27)

problem eller brister gällande insamlingen av delprovsresultaten. Därför bedöms de re-sultat som presenteras i rapporten vara tillförlitliga.

Omfattning Totalt 24 938 delprov från 297 skolor har ombedömts i 2019 års omgång. Ombedöm-ningen genomfördes av totalt 124 lärare som anlitats av Skolinspektionen. Fördelningen över ämne och delprov framgår av tabell 1.

Tabell 1: Externt och internt bortfall av delprov. Antal begärda delprov är det totala antalet delprov som be-gärdes in från skolorna. Externt bortfall har med skillnaden mellan antal begärda delprov och antal inkomna delprov att göra, medan det interna bortfallet beskriver skillnaden mellan antal inkomna delprov och antal komplett ombedömda delprov. Totalt bortfall, slutligen, handlar om skillnaden mellan antal begärda delprov och antal komplett ombedömda delprov.

Ämne och delprov:

An

tal b

egär

da

pro

v

Från

an

tal s

kolo

r

An

tal i

nko

mn

a p

rov

Från

an

tal s

kolo

r

Exte

rnt

bo

rtfa

ll

(pro

v)

An

tal k

om

ple

tta

om

-

bed

öm

da

pro

v

Från

an

tal s

kolo

r

Inte

rnt

bo

rtfa

ll

(pro

v)

Tota

lt b

ort

fall

An

tal o

mb

edö

mar

e

Engelska åk 6 2 950 90 2 761 86 6 % 2 753 86 0 % 7 % 11

Engelska åk 9 3 022 59 2 613 56 14 % 2 608 56 0 % 14 % 21

Engelska Gy 3 840 58 3 384 56 12 % 3 372 56 0 % 12 % 20

Svenska åk 6 2 955 90 2 689 85 9 % 2 662 85 1 % 10 % 14

Svenska åk 9 4 147 68 3 720 64 10 % 3 707 64 0 % 11 % 23

Svenska Gy 3 793 56 3 154 53 17 % 3 074 53 3 % 19 % 23

Biologi åk 9 2 832 49 2 553 49 10 % 2 533 49 1 % 11 % 17

Fysik åk 9 2 391 43 2 146 42 10 % 2 095 42 2 % 12 % 18

Kemi åk 9 2 421 39 2 162 37 11 % 2 134 37 1 % 12 % 21

Totalt: 28 351 306 25 182 297 11 % 24 938 297 1 % 12 % 124

Bortfall Det externa bortfallet utgörs av delprov som begärts in från skolorna men som inte in-kommit. Det kan handla om att eleven inte genomfört delprovet på grund av sjukdom el-ler frånvaro av annan orsak, att skolor inte kan återfinna delproven samt att uppgifter om antalet delprov som borde genomförts vid skolan är högre än det faktiska antalet.

Tidigare år har antalet begärda delprov per skola baserats på uppgifter från SCB över an-talet delprovsresultat per skola. Till följd av ändrad sekretesspolicy hos SCB har Skolin-spektionen denna omgång istället begärt in delprov utifrån uppgifter från Skolverket. För

24 (27)

svenska/svenska som andraspråk och engelska för årskurs 6 och 9 samt NO-ämnena har Skolverkets elevstatistik använts. För ämnena svenska1/svenska som andraspråk 1 och engelska 5 har uppgifter om antalet prov skolorna beställt från Skolverket använts som underlag för antal delprov som begärts in per skola. Dessa uppgifter är inte lika exakta som antalet delprovsresultat. Exempelvis kan elever i några fall ha slutat på skolan mellan att elevantal rapporterades in och det nationella provet genomfördes. Därför har Skolin-spektionen instruerat skolorna att komplettera informationen i samband med in-samlingen. I de fall detta inte görs kan Skolinspektionen inte korrigera antalet delprov som begärts in och beräkna bortfallet utifrån korrekta uppgifter om antalet elever som de facto borde ha genomfört delprovet. Det gör att ett antal delprov som inte borde begärts in kan ingå i det externa bortfallet.

Internt bortfall utgörs av delprov som inkommit från skolorna, men som av olika orsaker inte kunnat analyseras. De vanligaste orsakerna är att sidor saknas eller att elevens hand-stil varit svår att läsa.

Det sammanvägda bortfallet varierar från delprov till delprov, mellan 7 till 19 procent.

Frågor om bedömningen på skolan I samband med insamlingen av delprov fick skolorna även möjlighet att svara på ett antal frågor om hur bedömningen av delprovet gick till. Frågorna besvarades för varje enskild insänd elevlösning. Det är frivilligt för skolorna att besvara frågorna, vilket i sin tur medför att antalet svar som kunnat analyseras är lägre än antalet inkomna delprov.

I tabell 2 redovisas antal svar per fråga. Bortfallet utgörs av skolor som inkom med del-provkopior som gick att ombedöma, men som inte svarat på frågorna om bedömningens genomförande eller givit medgivande till att svaren används för analys.

Tabell 2: Bortfall vid frågor om bedömningens genomförande på skolorna.

Frågor om bedömningen:

1. Vem bedömde provet?

2. Var provet avidentifierat vid bedömningen?

3. Diskuterades bedömningen med annan pedagogisk personal?

Ämne och årskurs:

Antal svar

Från antal skolor

Bort-fall*

Antal svar

Från an-tal sko-

lor

Bort-fall*

Antal svar

Från antal skolor

Bort-fall*

Engelska åk 6 delprov C

2 123 70 23 % 2 616 81 5 % 2 616 81 5 %

Engelska åk 9 delprov C

2 092 45 20 % 2 554 55 2 % 2 566 55 2 %

Engelska Gy delprov C

3 039 53 10 % 3 206 54 5 % 3 203 54 5 %

Svenska åk 6 delprov C1+C2

1 940 68 27 % 2 535 80 5 % 2 513 79 6 %

Svenska åk 9 delprov C

3 047 56 18 % 3 547 61 4 % 3 468 61 6 %

Svenska Gy delprov C

2 849 50 7 % 2 877 50 6 % 2 875 50 6 %

Biologi åk 9 delprov A2

1 926 45 24 % 2 429 49 4 % 2 428 49 4 %

Fysik åk 9 delprov A2

1 631 32 22 % 1 925 38 8 % 1 889 37 10 %

Kemi åk 9 delprov A2

1 549 30 27 % 1 914 36 10 % 1 842 35 14 %

* Andel kompletta ombedömda delprov där svar på frågan saknas.

25 (27)

Bilaga 2

Ett harmoniserat mått för att mäta

skillnader i bedömning av nationella

delprov Ett nationellt prov består av flera delprov. Alla delprov ombedöms inte utan endast de skriftliga delprov där risken för avvikelser mellan bedömare kan antas vara som störst.

För delproven i svenska och engelska sätts betyg enligt betygsskalan A–F, men för NO-ämnena erhålls i stället ett antal belägg (poäng) på E-, C- respektive A-nivå och endast det samlade provbetyget anges på skalan A–F. För att kunna göra en översiktlig sammanställ-ning av ombedömningens resultat behöver bedömningarna konverteras till en gemensam skala.

Skalan har konstruerats på så sätt att bedömningarna av samtliga delprov kan uttryckas på skalan 0–20, där 0 representerar lägsta möjliga bedömning och 20 representerar högsta möjliga bedömning. Skillnaden mellan ursprungsbedömning och ombedömning kan då uttryckas på skalan -20 till 20. Ett positivt värde indikerar att skolan gjort en gene-rösare bedömning än ombedömaren för en viss elevlösning. Ett negativt värde indikerar motsatsen.

Beräkning av det harmoniserade resultatmåttet För delprov där bokstavsbetyg (A–F) sätts är konverteringen mellan den faktiska bedöm-ningen och den harmoniserade skalan följande: A=20, B=16, C=12, D=8, E=4, F=0. En ge-nomsnittsskillnad på 2 mellan ursprungsbedömarens och ombedömarens bedömning för ett delprov betyder att det i genomsnitt skiljer ”ett halvt betygssteg” mellan bedömning-arna, där ursprungsbedömaren sätter ett högre betyg.

För delprov där delprovsbetyg inte sätts omvandlas i stället antalet belägg på E-, C- re-spektive A-nivå till skalan 0–20 enligt följande modell: ((E*10 + C*15 + A*20) / (max(E)*10 + max(C)*15 + max(A)*20)) * 20.

E, C respektive A står för antalet belägg som respektive bedömare angivit för delprovet. Max (E), max (C) respektive max (A) står för det maximala antal belägg som kan uppnås på det aktuella delprovet.

Beräkningen möjliggör att bedömningar som uttrycks i belägg kan standardiseras till ett enskilt indexvärde på skalan 0–20, där A-belägg väger dubbelt så tungt som E-belägg i sammanräkningen. Om det maximala antalet belägg som eleven kan få på ett delprov är lågt väger varje enskilt belägg i framräkningen av det harmoniserade måttet desto tyngre.

En snabb approximation som underlättar den intuitiva förståelsen är att 2 på den harmo-niserade skalan motsvarar 10 procent av antalet möjliga belägg för det aktuella delprovet, 10 motsvarar 50 procent av antal möjliga belägg och så vidare. Approximationen tar dock inte hänsyn till att A-, C- och E-belägg viktas olika i beräkningen.

Det är viktigt att komma ihåg att det harmoniserade resultatmåttet som bygger på en sammanräkning av belägg endast är ett grovt sätt att på en gemensam skala ange om en skillnad i bedömning är ”stor” eller ”liten”. Det finns dock ingen enkel korrespondens mel-

26 (27)

lan detta mått och ett faktiskt betyg på skalan A–F, eftersom reglerna för hur belägg sum-meras till ett samlat provbetyg ser olika ut för olika prov och dessutom involverar summe-ring av belägg från flera olika delprov.

27 (27)

Referenslista Förordning om läroplan för grundskolan, förskoleklassen och fritidshemmet 2011, SKOLFS 2010:37.

Förordning om läroplan för gymnasieskolan 2011, SKOLFS 2011:144.

Regeringsbeslut, Uppdrag att digitalisera de nationella proven m.m. Dnr U2017/03739/GV (2017).

SFS 2010:800. Skollagen.

Statens skolinspektion (2013), Olikheterna är för stora - Omrättning av nationella prov i grundskolan och gymnasieskolan. Dnr 2011:6544

Statens skolinspektion (2018), Ombedömning av nationella prov 2017 – Fortsatt stora skillnader. Dnr 2017:342

Statens skolinspektion (2019), Ombedömning av nationella prov 2018 – Samma prov, olika bedömningar. Dnr 2018:388

Statens skolverk, Sambedömning i skolan – exempel och forskning (Stockholm: Statens skolverk, 2013).

Utbildningsdepartementet, Regleringsbrev för budgetåret 2015 avseende Statens Skolin-spektion. Dnr U2014/7521/SAM (delvis) U2014/7535/GV (2014).

Utbildningsdepartementet, Regleringsbrev för budgetåret 2020 avseende Statens Skolin-spektion – Ändringsbeslut 2020-05-20. Dnr U2020/03436/GV (2020).