pisa 2015 – bakgrund och metoder med exempel · 1 programme for international student assessment...

56
PISA 2015 – Bakgrund och metoder med exempel Magnus Oskarsson, Nina Eliasson, Ulf Fredriksson, KG Karlsson, Maria Lundgren, Astrid Pettersson, Maria Rasmusson och Samuel Sollerman BILAGA TILL RAPPORT 450 2016 INTERNATIONELLA STUDIER

Upload: others

Post on 28-Jun-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

PISA 2015 – Bakgrund och metoder med exempel Magnus Oskarsson, Nina Eliasson, Ulf Fredriksson, KG Karlsson, Maria Lundgren, Astrid Pettersson, Maria Rasmusson och Samuel Sollerman

BILAGA TILL RAPPORT 450

2016

INTERNATIONELLA STUDIER

Page 2: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning
Page 3: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

PISA 2015 – Bakgrund och metoder med exempel Magnus Oskarsson, Nina Eliasson, Ulf Fredriksson, KG Karlsson, Maria Lundgren, Astrid Pettersson, Maria Rasmusson och Samuel Sollerman

Denna publikation uttrycker inte nödvändigtvis Skolverkets

ställningstagande. Författare svarar självständigt för innehållet

och anges vid referens till publikationen.

Page 4: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

Publikationen finns att ladda ner som kostnadsfri PDF från Skolverkets webbplats: skolverket.se/publikationer

ISBN: 978-91-7559-261-9

Grafisk produktion: AB Typoform

Skolverket, Stockholm 2016

Page 5: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

Förord År 2015 genomfördes för sjätte gången OECD:s internationella kunskaps-undersökning PISA (Programme for International Student Assessment). Studien har sedan 2000 genomförts vart tredje år och undersöker 15-åriga elevers kunskaper i naturvetenskap, läsförståelse och matematik. PISA syftar också till att öka förståelsen för orsakerna till och konsekvenserna av observerade skillnader i kunskaper.

Vid varje mätning turas de tre kunskapsområdena om att vara huvud-område. I PISA 2015 är naturvetenskap huvudområde för andra gången. Innehållet i PISA utformas utifrån ett ramverk som uppdateras varje gång kunskapsområdet är huvudområde. Denna rapport beskriver ramverket för naturvetenskap, läsförståelse och matematik och är en svensk sammanfattning av PISA 2015 Assessment and Analytical Framework.Science, Reading, Mathematic and Financial Literacy, som tagits fram av OECD. Rapporten innehåller också exempel på provuppgifter till eleverna. Rapporten är en bilaga till Skolverkets rapport 450, PISA 2015. 15-åringars kunskaper i naturvetenskap, läsförståelse och matematik, där några av de viktigaste resultaten från PISA 2015 presenteras med fokus på Sverige.

Författarna till denna rapport är de forskare som ansvarat för naturveten-skap, läsförståelse och matematik i PISA 2015.

Eva Lundgren på Skolverket har det övergripande ansvaret för PISA i Sverige. På Skolverkets uppdrag har PISA 2015 genomförts av Mittuniversitetet i samarbete med Stockholms universitet. Mittuniversitetet har haft det operativa ansvaret och även ansvarat för naturvetenskap medan Stockholms universitet ansvarat för matematik och läsförståelse. Magnus Oskarsson har varit nationell projektledare och har tillsammans med Maria Lundgren och Lena Lenner ansvarat för studiens praktiska genomförande. Magnus Oskarsson har också tillsammans med Nina Eliasson och K-G Karlsson ansvarat för naturvetenskap. Ulf Fredriksson och Maria Rasmusson har ansvarat för läsför-ståelse, samt Astrid Pettersson och Samuel Sollerman ansvarat för matematik.

Skolverket vill rikta ett stort tack till alla som arbetat med PISA 2015 och framför allt till de cirka 5 500 elever som deltagit och till deras lärare och rektorer!

Stockholm i december 2016

Mikael Halápi Eva Lundgren Vik. Generaldirektör Undervisningsråd

Page 6: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning
Page 7: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

Innehåll

1. Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2. Naturvetenskapen i PISA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Strukturen för utvärderingen av naturvetenskap i PISA 2015 . . . . . . . . . . . . . . . . . . . . 9

Kompetensdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Sammanhangsdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Kunskapsdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Attityder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Prestationsnivåer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Kognitiva nivåer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Beskrivning av uppgifterna i naturvetenskap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Exempel på uppgifter i naturvetenskap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3. Läsförståelsen i PISA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Strukturen för utvärderingen av läsförståelse i PISA 2015 . . . . . . . . . . . . . . . . . . . . . 23

Kompetensdimension – läsprocesser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Sammanhangsdimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Innehållsdimension – texter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Prestationsnivåer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Beskrivning av uppgifterna i läsförståelse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Exempel på uppgifter i läsförståelse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4. Matematiken i PISA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Strukturen för utvärderingen av matematik i PISA 2015 . . . . . . . . . . . . . . . . . . . . . . . . 35

Kompetensdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Sammanhangsdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Innehållsdimensionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Prestationsnivåer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Beskrivning av uppgifterna i matematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Exempel på uppgifter i matematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

5. PISA-provet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Övergången till ett datorbaserat prov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Förstudien 2014. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Huvudstudien 2015 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Kodning – ett system för att rätta provet. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Referenser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Page 8: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

6 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

1. InledningPISA1 är en OECD-undersökning som studerar kunskaper och färdigheter i naturvetenskap, läsförståelse och matematik bland 15-åringar. Syftet är att undersöka i vilken grad olika länders utbildningssystem bidrar till att eleverna är rustade att möta framtiden. I många länder går dessa elever sista året i den obligatoriska skolan och i Sverige är det i första hand elever i årskurs 9 som deltar i PISA. Frågan som ställs är om 15-åringar kan analysera, resonera och föra fram sina tankar och idéer på ett konstruktivt sätt. I PISA läggs stor vikt vid förmågan att kunna sätta in kunskaper i ett sammanhang, att förstå pro-cesser, att tolka och reflektera över information samt att kunna lösa problem. En av grundfrågorna i PISA är om ungdomar har de kunskaper som bedöms som viktiga för ett livslångt lärande.

Svaren på dessa frågor är viktiga för eleverna själva, deras föräldrar och lärare samt för de politiker som ska fatta beslut om utbildning. PISA-projektet avser att ge en bredare grund för diskussioner om utbildningspolitik och utbildningsmål. Ytterligare ett mål med projektet är att få en bättre förståelse för orsaker till och konsekvenser av skillnader i förmåga. Finns det sätt att organisera undervisningen eller skolsystemet som är mer effektiva än andra när det gäller att uppnå de önskade utbildningsmålen?

Arbetet inom PISA-projektet äger rum i cykler. Tre ämnesområden har ingått sedan 2000: läsförståelse, matematik och naturvetenskap.2 Alla tre ämnena ingår i varje cykel, men ett av dem ges större utrymme vid varje mätning. Poängen med att studera alla tre ämnena vid varje tillfälle är att kunna göra jämförelser inom respektive ämne över tid. I den första data- insamlingen var läsförståelse huvudområde, medan matematik var huvud-område i den andra datainsamlingen och naturvetenskap i den tredje och sedan började det om med läsförståelse. Den första datainsamlingen genom-fördes år 2000, nästa år 2003 och den tredje år 2006 och så vidare. I PISA 2015 är naturvetenskap huvudämne för andra gången och det ger stora möjligheter att beskriva hur elevernas kunskaper i och inställning till naturvetenskap förändrats sedan 2006.

De kompetenser och kunskaper som krävs för att fungera i ett modernt samhälle är många och skiftande. I ett alltmer informationsrikt och tekniskt samhälle krävs allt bredare kompetenser för att kunna förstå och kritiskt gran-ska information. Kompetenserna är viktiga då de ger den enskilde individen möjligheter att hålla sig informerad, och för att kunna ta ställning i viktiga samhällsfrågor. En förutsättning för att tolka och bearbeta information är också grundläggande kunskaper inom olika ämnesområden. Dessa kompeten-ser och kunskaper sammanfattas i PISA med begreppet Literacy.

1 Programme for International Student Assessment2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning.

Där löser eleverna problem i samarbete med en fingerad person i datorn, en så kallad datoragent. Resultat från den studien presenteras under 2017.

Page 9: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

7 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

PISA definierar literacy för naturvetenskap, läsförståelse och matematik på följande sätt.3

NaturvetenskapScientific Literacy är förmågan att reflektera över och viljan att engagera sig i naturvetenskapliga frågor och begrepp. Det kräver följande kompetenser:

• Förklara företeelser naturvetenskapligt och identifiera, bedöma och förklara olika naturliga och teknologiska företeelser.

• Bedöma och utforma naturvetenskapliga undersökningar och ge förslag på sätt att ta sig an frågor från ett naturvetenskapligt perspektiv.

• Tolka data och fakta naturvetenskapligt, analysera och bedöma data, påståenden och resonemang i olika framställningar och dra vetenskapliga slutsatser.

LäsförståelseEn individs förmåga att förstå, använda och reflektera över och engagera sig i texter för att uppnå sina egna mål, utveckla sina kunskaper och sin potential och för att delta i samhället. Utöver avkodning och ytlig förståelse inbegriper läsning tolkning och reflektion samt förmåga att använda läsning för att uppnå sina mål i livet.

MatematikEn individs förmåga att formulera, använda och tolka matematik i en mängd olika sammanhang. Detta inkluderar matematiskt resonemang och att an-vända matematiska begrepp, procedurer, fakta och verktyg för att beskriva, förklara och förutsäga fenomen. Mathematical Literacy hjälper också individer att känna igen den roll matematiken spelar i världen och att göra välgrundade bedömningar och fatta beslut vilka är nödvändiga för konstruktiva, engagerade och reflekterande medborgare.

Det är svårt att finna en adekvat översättning till literacy i respektive ämnes- område och vi har valt att använda begreppen naturvetenskap, matematik och läsförståelse. Man bör dock hålla i minnet att literacy inom de olika ämnes- områdena är väsentligt bredare än motsvarande skolämnen. Målet i PISA är inte primärt att utvärdera elevers förmåga att återge faktakunskaper i relation till skolämnen och styrdokument; målet är i stället att utvärdera hur elever omsätter sina kunskaper i olika sammanhang.

Utvärderingen av literacy indelas för respektive ämnesområde i olika dimen-sioner. Dimensionerna skiljer sig något i utformning för de olika ämnes- områdena, och beskrivs närmare i kommande kapitel. I tabell 1.1 ges en sam-manfattning av de dimensioner som utvärderas inom PISA 2015.

3 OECD, 2016

Matematik

En individs förmåga att formulera, använda och tolka matematik i en mängd olika sammanhang. Detta inkluderar matematiskt resonemang och att använda matematiska begrepp, procedurer, fakta och verktyg för att beskriva, förklara och förutsäga fenomen. Mathematical Literacy hjälper också individer att känna igen den roll matematiken spelar i världen och att göra välgrundade bedömningar och fatta beslut vilka är nödvändiga för konstruktiva, engagerade och reflekterande medborgare.

Läsförståelse

En individs förmåga att förstå, använda och reflektera över och engagera sig i texter för att uppnå sina egna mål, utveckla sina kunskaper och sin potential och för att delta i samhället. Utöver avkodning och ytlig förståelse inbegriper läsning tolkning och reflektion samt förmåga att använda läsning för att uppnå sina mål i livet.

Naturvetenskap

Scientific Literacy är förmågan att reflektera över och viljan att engagera sig i naturvetenskapliga frågor och begrepp. Det kräver följande kompetenser:• Förklara företeelser naturvetenskapligt och identifiera, bedöma och förklara olika naturliga och teknologiska företeelser.• Bedöma och utforma naturvetenskapliga undersökningar och ge förslag på sätt att ta sig an frågor från ett naturvetenskapligt perspektiv.

Tolka data och bevis naturvetenskapligt, analysera och bedöma data, påståenden och resonemang i olika framställningar och dra vetenskapliga slutsatser

Page 10: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

8 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 1.1 Sammanfattning av de dimensioner som utvärderas inom PISA 2015

Naturvetenskap Läsförståelse Matematik

Kompetensdimension

De tre kompetenserna:• Förklara företeelser

naturvetenskapligt • Bedöma och utforma

naturvetenskapliga undersökningar

• Tolka data och fakta naturvetenskapligt

Läsuppgift eller process:• Söka och inhämta

information• Sammanföra och tolka

texter• Reflektera och utvärdera

texter

Processer:• Formulera situationer

matematiskt• Använda matematiska

begrepp, fakta, procedu-rer och resonemang

• Tolka och utvärdera matematiska resultat

Sammanhangsdimensionen

Olika naturvetenskapliga tillämpningsområden som hälsa, naturresurser, miljö, risker och naturvetenska-pens och teknikens front-linjer i sammanhang som kan vara:• Personliga• Lokala och nationella • Globala

De sammanhang som texten är skapad för:• Personliga• Utbildning• Arbete• Offentligt bruk

Sammanhang och situa-tioner som matematik- uppgifterna befinner sig i:• Personliga• Samhällsliv• Arbete• Vetenskapliga

Kunskapsdimensionen Innehållsdimensionen

• Innehållskunskap• Procedurkunskap• Epistemisk kunskap

Textformat:• Löpande texter som

berättelser, redogörelser, argument

• Icke-löpande texter som diagram, formulär, tabeller

• Blandade texter som innehåller både löpande och icke-löpande texter

• Multipla texter som innehåller av varandra oberoende texter (med lika eller olika format) sammanställda med speciella syften

Texttyp:• Beskrivningar (besvarar

vanligen ”vad”-frågor) • Berättelser/skildringar

(vanligen ”när”)• Utredningar/redogörelser

(vanligen ”hur”)

Innehållsområden:• Kvantitet• Rum och form• Förändring och samband• Osäkerhet

Innehållsdimensionen4

• Fysikaliska system• Levande system• Jorden och rymden

Attityder

• Intresse för naturveten-skap och teknik

• Förstår och inser betydelsen av natur- vetenskapliga metoder för undersökningar

• Miljömedvetenhet

I de följande kapitlen presenteras strukturen för utvärdering av respektive ämne i PISA; naturvetenskap, läsförståelse och matematik. De olika dimen-sionerna, uppgiftstyper, och prestationsnivåer beskrivs mer utförligt. I ett avslutande kapitel beskrivs övergången till ett datorbaserat prov, hur provet byggs upp samt hur rättningen går till. 4

4 I naturvetenskap ses de olika innehållsdelarna som en del av kunskapsdimensionen, vilket beskrivs i nästa kapitel

Page 11: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

9 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

2. Naturvetenskapen i PISA

InledningI PISA 2015 är naturvetenskap huvudområde och det innebär att alla elever besvarar frågor i naturvetenskap och att elevenkäten innehåller många frågor om elevernas attityder till naturvetenskap. Samtliga elever gör provet på dator och uppgifterna är en blandning av uppgifter som tidigare ingick i pappers-provet och nykonstruerade uppgifter som kan innehålla olika typer av inter-aktivitet. I följande kapitel beskrivs bakgrunden till och strukturen för hur naturvetenskapen utvärderas i PISA och vilka uppgiftstyper som ingår. På slutet ges exempel på frisläppta uppgifter.

Strukturen för utvärderingen av naturvetenskap i PISA 2015I PISA ligger fokus på de kunskaper och kompetenser som anses behövas i ett modernt samhälle. För naturvetenskapens del innebär det förmågan att engagera sig i och reflektera över naturvetenskapliga frågor och begrepp som en reflekterande medborgare. I PISA används begreppet Scientific Literacy som definieras av de kompetenser man vill mäta och det används för att betona den vikt som PISA-undersökningen lägger vid hur naturvetenskaplig kunskap tillämpas i vardagen. I denna rapport översätts Scientific Literacy till natur-vetenskap och omfattar alltså mer än bara rena faktakunskaper. Definitionen av naturvetenskap i PISA 2015 består av fyra delar eller dimensioner.

Tabell 2.1 De fyra dimensionerna i naturvetenskap i PISA 2015

Kompetenser Dessa tre förmågor är grunddefinitionen för Scientific Literacy: • Förklara företeelser naturvetenskapligt• Bedöma och utforma naturvetenskapliga undersökningar• Tolka data och fakta naturvetenskapligt

Samman-hang

Aktuella såväl som historiska sammanhang, som kräver viss naturveten-skaplig och teknisk förståelse. Det kan vara sammanhang som är:• Personliga• Lokala och nationella • Globala

Kunskap Viktiga fakta, begrepp och förklaringar som utgör grunden för naturveten-skaplig kunskap. Alla uppgifter har ett innehåll och mäter någon typ av kunskap.• Innehållskunskap, inkluderar kunskap om både den fysiska omvärlden

och modern teknik • Procedurkunskap, innebär kunskap om hur vetenskapliga teorier tas fram• Epistemisk kunskap är förståelse för det som ligger till grund för

dessa metoder och hur man motiverar deras användning

Attityder Även attityder anses som en del av naturvetenskap i PISA och dessa sammanfattas i: • Intresse för naturvetenskap och teknik• Förstår och inser betydelsen av naturvetenskapliga metoder för

undersökningar• Miljömedvetenhet

Page 12: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

10 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Faktorer som påverkar hur man gör det

I figur 2.1 beskrivs förhållandet mellan de olika dimensionerna.

Figur 2.1 Förhållandet mellan de fyra dimensionerna i naturvetenskap i PISA 2015

Kompetensdimensionen För att kunna förstå och delta i kritiska diskussioner kring frågor om natur-vetenskap och teknik krävs enligt PISA:s ramverk tre typer av kompetenser. Den första kompetensen är förmågan att förklara företeelser naturvetenskap-ligt vilket handlar om att ge förklaringar till vad som sker i naturen, olika tekniker och tekniska system. En sådan förmåga kräver kunskap om grundläggande naturvetenskapliga begrepp och frågor samt om olika natur-vetenskapliga system och verksamheter. En andra kompetens är bedöma och utforma naturvetenskapliga undersökningar. Eleven förväntas kunna avgöra om riktiga metoder använts och ge förslag på olika sätt att besvara en fråga. Den tredje kompetensen handlar om att tolka och bedöma data och fakta vetenskapligt samt avgöra om det finns grund för slutsatserna.

De naturvetenskapliga kompetenserna utgår från att naturvetenskap inte bara beskrivs med vetenskapliga metoder utan att dessa även samspelar med sociala och mänskliga faktorer.5 Därför används handlingar, alltså vad eleven förväntas kunna göra, för att beskriva samtliga kompetenser vilket kan jäm-föras med de förmågor som beskrivs i de svenska kursplanerna.6

Nedan följer en utförligare beskrivning av de tre naturvetenskapliga kom-petenserna i PISA. Kompetenserna mäts i olika sammanhang och innebär också att eleven behöver visa olika typer av kunskap.

5 National Research Council, 20126 Skolverket, 2011

SAMMANHANG

KOMPETENSER

Kräver att man visar

ATTITYDER KUNSKAP

Personliga, lokala/nationella samt globala frågeställningar som kräver förståelse i natur-vetenskap och teknik.

Att förklara företeelser natur vetenskapligt, bedöma och utforma naturvetenskapliga undersökningar samt tolka data och fakta naturvetenskapligt Intresse för naturveten-

skap och teknik. Förståelse och insikter i naturvetenskapliga metoder för under-sökningar och miljö-medvetenhet.

Viktiga fakta, begrepp och förklaringar som utgör grunden för naturvetenskaplig kunskap. Det inkluderar kunskap om naturen och jorden samt om teknik, (innehållskunskap), kunskap om hur naturveten-skapliga idéer kommer fram, (procedurell kunskap) samt en förståelse för giltigheten i den kunskap som produceras (epistemisk kunskap)

Page 13: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

11 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Förklara företeelser naturvetenskapligt Denna kompetens handlar om att identifiera och förklara olika fenomen i naturen och i olika tekniska system, samt visa förmåga att:

• Komma ihåg och tillämpa lämplig naturvetenskaplig kunskap

• Identifiera, använda och skapa förklaringsmodeller

• Göra och motivera lämpliga förutsägelser

• Ge förklarande hypoteser

• Förklara betydelsen av naturvetenskaplig kunskap för samhället

Förmågan att förklara företeelser naturvetenskapligt kräver att eleven i en given situation använder olika typer av innehållskunskap, som definieras längre fram, för att tolka och förklara situationen. Den innebär att känna igen korrekta beskrivningar och förklaringar. Sådan kunskap kan också användas för att ta fram hypoteser i sammanhang där det saknas kunskap eller tillräcklig infor-mation. Kompetensen inkluderar förmågan att beskriva och tolka företeelser och möjliga förändringar.

Bedöma och utforma naturvetenskapliga undersökningarDenna kompetens handlar om att beskriva och bedöma naturvetenskapliga frågeställningar och ge förslag på sätt att ta sig an problem vetenskapligt och visa förmåga att:

• Identifiera det problem som undersöks i en given naturvetenskaplig studie

• Urskilja frågeställningar som skulle kunna undersökas vetenskapligt

• Ge förslag på sätt att undersöka en given frågeställning naturvetenskapligt

• Bedömning av olika sätt att undersöka ett givet problem naturvetenskapligt

• Beskriva och bedöma hur forskare säkerställer tillförlitliga fakta, och hur objektiv och allmängiltig en förklaring är

Det handlar om en kritisk bedömning av naturvetenskapliga resultat och undersökningar och bygger på en förmåga att skilja naturvetenskapliga frågor från andra typer av frågeställningar samt att identifiera frågor som skulle kunna undersökas naturvetenskapligt i olika sammanhang. Kompetensen kräver kunskap om de centrala delarna i en naturvetenskaplig undersökning – exempelvis vad som ska mätas och vilka åtgärder som krävs för att uppgifter som samlas in ska vara korrekta och exakta.

Därutöver behöver eleverna förstå vikten av att kritiskt granska medierap-portering med naturvetenskaplig anknytning. De behöver förståelse för att forskning bygger på tidigare arbeten, att resultat från forskning alltid inne-håller viss osäkerhet och att olika finansiärer kan påverka forskningen. Kompetensen förutsätter att eleverna i olika utsträckning kan använda kunskap från alla tre delar i kunskapsdimensionen, alltså såväl procedur- som epistemisk kunskap, men också olika innehållskunskaper.

Page 14: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

12 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tolka data och fakta naturvetenskapligt Denna kompetens handlar om att analysera och bedöma olika naturveten-skapliga fakta, påståenden och argument, dra riktiga slutsatser och visa förmåga att:

• Jämföra och omvandla uppgifter från olika källor

• Analysera och tolka fakta och dra korrekta slutsatser

• Identifiera förutsättningar, fakta och resonemang i texter med naturvetenskapligt innehåll

• Skilja mellan argument som är baserade på naturvetenskapliga fakta och teorier och argument som har andra grunder

• Bedöma naturvetenskapliga argument och fakta från olika källor (t.ex. tidningar, internet, tidskrifter)

Den som har denna kompetens ska kunna tolka och förstå naturvetenskapliga fakta och belägg som används för argumentation och slutsatser. Detta kan kräva alla tre formerna av naturvetenskaplig kunskap. Kompetensen kan kräva att matematiska verktyg används för att analysera eller sammanfatta informa-tion. Den innebär att naturvetenskapliga fakta ska tolkas och presenteras för en given publik med hjälp av diagram eller andra lämpliga illustrationer.

Kompetensen kan också inkludera att ta fram naturvetenskaplig informa-tion och producera och bedöma argument och slutsatser baserade på natur- vetenskapliga fakta.7 Eleven ska kunna identifiera logiska eller felaktiga kopp-lingar mellan fakta och slutsatser.

SammanhangsdimensionenUppgifterna i PISA utgår alltid från något sammanhang och i naturvetenskap fokuserar uppgifterna på om eleverna kan använda de tre kompetenserna i situationer som har att göra med dem själva, familjen, eller kamrater (Personliga), samhället (Lokala och nationella) och livet i olika delar av värl-den (Globala). I dessa situationer möter sedan eleven frågeställningar inom olika tillämpningsområden som tillsammans skapar sammanhang som det är sannolikt att 15-åriga elever förstår. Tabell 2.2 visar en matris över de olika sammanhangen i PISA.

7 Kuhn, 2010; Osborne, 2010

Page 15: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

13 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 2.2 Sammanhang i PISA.

SAMMANHANG

Personliga Lokala och nationella Globala

TILL

ÄM

PN

ING

SO

MR

ÅD

EN

Hälsa och sjukdom

Hålla sig frisk, förhindra olyckor, kost

Sjukdomskontroll, val av livsmedel, folkhälsa

Epidemier, global spridning av sjuk-domar

Naturtillgångar Personlig använd-ning av resurser och energi

Bevara befolknings-grupper, livskvalitet, säkerhet, produk-tion och fördel-ning av livsmedel, energiförsörjning

Förnyelsebara och icke-förnyelsebara system, befolk-ningstillväxt

Miljö Miljövänliga åtgär-der, användning och hantering av material och ap-parater

Populationsför- delning, avfalls- hantering, miljö-påverkan

Biologisk mångfald, ekologisk hållbar-het, kontroll av föro-reningar, produktion och förlust av jord/biomassa

Risker Riskbedömning av livsstilsval

Snabba förändringar (t.ex. jordbävningar, extremväder), lång-samma och progres-siva förändringar (t.ex. kusterosion, sedimentation), riskbedömning

Klimatförändringar, påverkan av modern kommunikation, utrotning av arter

Naturveten- skapens och teknikens frontlinjer

Hobbyer med naturvetenskaplig koppling, teknik för personligt bruk, musik och idrotts-aktiviteter

Nya material, enheter och processer, gen-modifiering, hälso-teknik, transport

Utforskning av rymden, univer-sums ursprung och struktur

KunskapsdimensionenFör att kunna besvara uppgifter i PISA krävs också olika typer av kunskap i och om naturvetenskap. PISA definierar tre olika typer av kunskap: innehålls-kunskap, procedurkunskap och epistemisk kunskap, vilka beskrivs nedan. Den första typen av kunskap som beskrivs är innehållskunskap och det mäter om eleverna har kännedom om och kan använda naturvetenskapliga begrepp och teorier. Procedurkunskap och epistemisk kunskap mäter andra typer av kunskap. Men även dessa uppgifter har ett innehåll och klassas in i underrub-rikerna under innehållskunskap vilket visas längre fram i tabell 2.3.

InnehållskunskapEftersom bara en del av all naturvetenskaplig kunskap kan ingå i undersök-ningen av naturvetenskap i PISA 2015, används tydliga kriterier för att styra urvalet av vilka områden som undersöks. De väljs från centrala områden inom fysik, kemi, biologi samt från vissa delar inom geografi. Kunskapen ska vara relevant i verkliga situationer, behandla grundläggande begrepp eller teorier av bestående värde och vara lämplig för 15-åringar.

PISA undersöker elevernas kunskap och förståelse om grundläggande naturvetenskapliga begrepp och teorier och i listan nedan ges några exempel.

Page 16: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

14 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 2.3 Exempel på innehållskunskap i naturvetenskap

Exempel på innehållskunskap i naturvetenskap i PISA 2015:

Fysikaliska system:

• Materiens struktur (t.ex. partikelmodellen, bindningar)• Materiens egenskaper (t.ex. tillståndsförändringar, värme-

och elektrisk ledningsförmåga)• Kemiska förändringar av materia (t.ex. kemiska reaktioner,

energiöverföring, syror/baser)• Rörelse och kraft (t.ex. hastighet, friktion), avståndsverkan

(t.ex. magnetism, gravitation, elektrostatiska krafter)• Energi och energiomvandling (t.ex. bevarande, kemiska reaktioner)• Växelverkan mellan energi och materia (t.ex. ljus- och radiovågor,

ljud- och seismiska vågor)

Levande system: • Celler (t.ex. struktur och funktion, DNA, växter och djur)• Begrepp som gäller organismer (t.ex. encelliga och flercelliga)• Människan (t.ex. hälsa, näring, undersystem såsom matsmältning,

andning, cirkulation, exkretion, reproduktion och förhållandet dem emellan)

• Populationer (t.ex. arter, evolution, biologisk mångfald, genetisk variation)

• Ekosystem (t.ex. näringskedjor, material och energiflöden)• Biosfären (t.ex. ekosystem, hållbarhet)

Jorden och rym-den:

• Strukturer i jordens system (t.ex. litosfären, atmosfären, hydrosfären)

• Energi i jordens system (t.ex. energikällor, klimat)• Förändringar i jordens system (t.ex. plattektonik, geokemiska

cykler, konstruktiva och destruktiva krafter)• Jordens historia (t.ex. fossiler, ursprung och evolution)• Jorden i rymden (t.ex. gravitation, solsystem, galaxer)• Universums storlek och dess historia (t.ex. ljusår, Big Bang-teorin)

Den här typen av kunskap krävs för att förstå frågeställningar som dyker upp i olika sammanhang i den fysiska omvärlden. PISA använder termen system i beskrivningarna av innehållskunskap för att visa att begrepp från fysik/kemi, biovetenskaper och vetenskapen om jorden hänger samman.

ProcedurkunskapEtt grundläggande mål för naturvetenskapen är att skapa förklaringar till den fysiska omvärlden. Preliminära förklaringsmodeller utvecklas först och testas sedan genom empiriska undersökningar. Exemplen nedan illustrerar över-gripande egenskaper i procedurkunskap som kan testas i PISA.

Tabell 2.4 Exempel på procedurkunskap i naturvetenskap i PISA 2015

Exempel på procedurkunskap i naturvetenskap i PISA 2015:

• Begreppet variabler, inklusive beroende, oberoende och kontrollvariabler• Begreppet mätning, t.ex. kvantitativa (mätningar), kvalitativa (observationer),

hur en skala används, diskreta och kontinuerliga variabler• Sätt att undersöka och minimera osäkerhet, t.ex. genom upprepning och

medelvärderingsmätningar.• Mekanismer för att säkerställa reliabilitet och validitet.• Vanliga sätt att sammanfatta och illustrera fakta med hjälp av tabeller och diagram

samt att använda dem på ett riktigt sätt.• Hur man kan utforma en lämplig design för att undersöka en given naturvetenskaplig

fråga.

Page 17: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

15 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Epistemisk kunskapEpistemisk kunskap innebär kunskap om begrepp och utmärkande särdrag för den naturvetenskapliga kunskapsuppbyggnadsprocessen och hur de bidrar till giltigheten i den kunskap som produceras.8 Den som har sådan kunskap kan förklara skillnaden mellan en naturvetenskaplig teori och en hypotes eller naturvetenskapliga fakta och en observation. Den vet att modeller är en central del i naturvetenskapen, och att sådana modeller är mer som kartor än avbildningar av den materiella världen.

Epistemisk kunskap är en logisk grund för de metoder och tillvägagångssätt som forskare använder sig av och grunden till en tro på naturvetenskapliga påståenden om den fysiska omvärlden.

Tabell 2.5 Exempel på epistemisk kunskap i naturvetenskap i PISA 2015

Exempel på epistemisk kunskap i naturvetenskap i PISA 2015

• Olika typer av naturvetenskapliga observationer, fakta, hypoteser, modeller och teorier.• Naturvetenskapens syfte och mål (att ta fram förklaringar till den fysiska omvärlden)

och hur den skiljer sig från tekniken (att ta fram en den bästa lösningen för mänskliga behov), och vad som utgör en naturvetenskaplig eller teknisk fråga.

• Naturvetenskapliga värderingar, t.ex. att vara öppen med resultat, objektivitet samt att undvika partiskhet.

• De typer av resonemang som används inom naturvetenskap, t.ex. deduktiva och induktiva resonemang för att komma fram till den bästa förklaringen.

• Hur naturvetenskapliga anspråk har stöd av fakta och naturvetenskapliga resonemang.• Vilken funktion olika typer av empiriska undersökningar har när ny kunskap tas fram,

deras syfte (att pröva hypoteser eller identifiera mönster) och deras design (observation, kontrollerade experiment, korrelationsstudier).

• Hur mätfel påverkar tillförlitligheten i naturvetenskaplig kunskap. • Vilken funktion samarbete och kritik har, hur kollegial granskning bidrar till att skapa

tillförlitliga naturvetenskapliga påståenden.• Vilken funktion naturvetenskaplig kunskap har tillsammans med andra former av

kunskap när det gäller att identifiera och hantera samhälleliga och tekniska problem.

Epistemisk kunskap testas praktiskt i ett sammanhang där eleven ska tolka och svara på en fråga som kräver viss kunskap istället för att direkt bedöma om de förstår det som beskrivits ovan. Eleverna kan exempelvis bli ombedda att identifiera om uppgifterna utgör belägg för vissa slutsatser, eller vad som bäst stöder den hypotes som lagts fram i en fråga och förklara varför.

AttityderEtt mål med utbildningen i naturvetenskap är att utveckla elevernas intresse för naturvetenskapliga frågeställningar. Att vara intresserad av naturvetenskap kan leda till att eleven hämtar in och tillämpar kunskap i naturvetenskap och teknik i olika sammanhang.9 Attityd till och intresse för naturvetenskap och teknik räknas som en del av naturvetenskapen i PISA. Begreppet attityd som används i PISA bygger på den struktur som skapats av olika forskare för den affektiva domänen i naturvetenskaplig utbildning samt en granskning av forskning om attityder.10 En viktig skillnad som görs är mellan attityd till naturvetenskap och en naturvetenskaplig syn på världen. Den förra mäts

8 Duschl, 20079 Bandura, 199710 Klopfer, 1976; Gardner, 1975; Osborne, Simon och Collins, 2003; Schibeci, 1984

Page 18: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

16 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

genom elevernas intresse för naturvetenskapliga frågor, medan den senare är ett mått på viljan att värdera vetenskap och empiriska belägg som grunden till att förstå olika frågeställningar.

PISA undersöker elevernas attityd till naturvetenskap inom dessa tre områden.

• Intresse för naturvetenskap och teknik

• Förståelse och insikter i naturvetenskapliga metoder för undersökningar

• Miljömedvetenhet

En positiv attityd till naturvetenskap, intresse för miljö och en hållbar livsstil, och att kunna se värdet i naturvetenskapliga undersökningsmetoder utmärker den som i PISA anses kompetent i naturvetenskap. Den utsträckning i vilken elever är intresserade av naturvetenskap och ser vikten av naturvetenskap anses vara ett viktigt mått på resultatet av den grundläggande utbildningen. Frågor om intresse för naturvetenskap och teknik finns med i enkäten på grund av det förhållande som konstaterats mellan intresse och prestation, som i sin tur kan påverka elevernas studie- och yrkesval.

Förmåga att förstå naturvetenskapliga undersökningsmetoders betydelse är viktiga då dessa varit mycket användbara för att skapa ny kunskap inom olika kunskapsområden. Eleverna ska kunna urskilja och bedöma naturvetenskap-liga sätt att samla in fakta, tänka kreativt och rationellt, samt ge kritiska svar och slutsatser i vardagssituationer med koppling till naturvetenskap och teknik. Eleverna ska även förstå varför naturvetenskapliga undersöknings-metoder generellt har varit mer användbara än andra metoder.

Med tanke på hur viktiga miljöfrågor är för livet på jorden och mänsk-lighetens överlevnad måste unga idag förstå de grundläggande ekologiska principerna och behovet av att leva enligt dem. Detta betyder att en viktig del i naturvetenskaplig utbildning är att utveckla miljömedvetenhet och ansvar för miljön.

PrestationsnivåerPISA innehåller uppgifter med olika svårighetsgrad som matchas mot för-delningen av förväntade kompetenser hos 15-åriga elever. Provet innehåller uppgifter som är svåra även för de högst presterande eleverna och uppgifter som, ur en bedömningsaspekt, är lämpliga för elever med låga resultat. En frågas svårighetsgrad avgörs empiriskt av den andel elever som besvarar frågan korrekt. Alla uppgifter placeras ut på en svårighetsskala och sedan kan elev-ernas resultat placeras in på samma skala. På så sätt kan kunskapsnivån på gruppnivå bestämmas för de som skriver provet. En spridning av uppgifternas svårighetsgrad behövs också för att kunna dra slutsatser om de prestations-nivåer som definieras i PISA-undersökningen.

Prestationsnivåerna nedan beskriver vad elever på en given nivå antas kunna lösa för typ av uppgifter. Prestationsnivåerna delar in skalan i nume-riskt fasta steg och sedan beskrivs varje nivå av de uppgifter vars svårighetsgrad ligger inom varje nivå.

Page 19: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

17 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 2.6 Prestationsnivåer i naturvetenskap i PISA 2015

Nivå Undre poänggräns Vad eleverna antas klara av på respektive nivå

6 708 På nivå 6 kan eleverna använda sig av en rad besläktade naturvetenskapliga idéer och begrepp från fysikaliska system, levande system samt jorden och rymden. Eleverna kan använda innehålls-, procedur- och epistemisk kunskap för att lägga fram förklarande teorier av aktuella naturvetenskapliga företeelser, händelser och processer, eller för att göra förutsägelser. Genom att tolka fakta och bevis kan eleverna skilja mellan relevant och irrelevant information och använda kunskap som ligger utanför ordinarie kursplaner. De kan skilja mellan resonemang som är baserade på naturvetenskapliga belägg och teori, och resonemang som är baserade på andra faktorer. Elever på nivå 6 kan motivera val av olika upplägg av experiment, fältstudier eller simuleringar.

5 633 På nivå 5 kan eleverna använda abstrakta naturvetenskapliga idéer och begrepp för att för-klara obekanta eller mer komplicerade företeelser, händelser och processer som består av flera orsakssammanband. De kan tillämpa utvecklad epistemisk kunskap för att bedöma utformning av experiment och motivera val samt använda teoretisk kunskap för att tolka information eller göra förutsägelser. Elever på nivå 5 kan jämföra olika sätt att undersöka ett givet problem naturvetenskapligt och identifiera begränsningar i tolkning av information inklusive källor och hur osäkerhet påverkar naturvetenskapliga fakta.

4 559 På nivå 4 kan eleverna ur minnet eller som ny information använda abstrakt kunskaps- innehåll för att formulera förklaringar av mer komplicerade eller mindre välbekanta händel-ser och processer. De kan utföra experiment som innefattar två eller fler oberoende variab-ler i ett bestämt sammanhang. De kan motivera ett experiments utformning, och använda delar av procedur- och epistemisk kunskap. Elever på nivå 4 kan tolka information av viss komplexitet och mindre välkänt sammanhang, dra lämpliga slutsatser som går utöver fakta samt motivera sina val.

3 484 På nivå 3 kan eleverna använda sig av innehållskunskap på en medelhög komplexitetsnivå för att identifiera eller formulera förklaringar till välkända företeelser. I situationer som är mindre välbekanta eller mer komplicerade kan de med viss hjälp formulera förklaringar. De kan använda sig av delar av procedur- eller epistemisk kunskap för att utföra ett enkelt experiment i ett avgränsat sammanhang. Elever på nivå 3 kan skilja mellan naturveten-skapliga och icke-naturvetenskapliga problem och identifiera fakta som stöder ett natur-vetenskapligt påstående.

2 410 På nivå 2 kan eleverna använda sig av vardagligt kunskapsinnehåll och grundläggande pro-cedurkunskap för att identifiera en lämplig naturvetenskaplig förklaring, tolka information och identifiera den fråga som behandlas i ett enkelt utformat experiment. De kan använda grundläggande eller vardagliga kunskaper om naturvetenskap för att identifiera en riktig slutsats baserat på enkel information. Elever på nivå 2 visar grundläggande epistemisk kunskap genom att kunna identifiera frågor som kan undersökas naturvetenskapligt.

1a 335 På nivå 1a kan eleverna använda grundläggande eller vardaglig innehålls- och procedurkun-skap för att känna igen eller identifiera förklaringar till enkla naturvetenskapliga företeelser. De kan ta sig an strukturerade naturvetenskapliga undersökningar med maximalt två vari-abler. De kan identifiera enkla orsaks- eller sambandsförhållanden och tolka information i form av diagram och illustrationer som kräver en låg kognitionsnivå. Elever på nivå 1a kan välja den bästa naturvetenskapliga förklaringen till given information i välbekanta person-liga, lokala och globala sammanhang.

1b 261 På nivå 1b kan eleverna använda sig av grundläggande eller vardagskunskap i naturveten-skap för att identifiera aspekter av bekanta eller okomplicerade företeelser. De kan iden-tifiera enkla informationsmönster, känna igen grundläggande naturvetenskapliga begrepp och följa tydliga instruktioner för att utföra en naturvetenskaplig procedur.

Page 20: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

18 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Kognitiva nivåerI ramverket för PISA 2015 definieras förutom prestationsnivåer även kognitiva kravnivåer i mätningen av naturvetenskaplig kunskap. Dessa kognitiva krav syftar till den typ av tankeprocesser som krävs.11 Till exempel kan en fråga ha hög svårighetsgrad, exempelvis på nivå 6 enligt tidigare, för att den testar kun-skap som inte i någon större utsträckning är känd. Det kognitiva kravet kan ändå handla om att komma ihåg information. På motsatt sätt kan en fråga vara kognitivt krävande för att den kräver att man knyter ihop och bedömer flera kunskapsfrågor, som alla är lätta att komma ihåg. Därför skiljer PISA:s prov-instrument inte bara mellan olika prestationsnivåer, alltså lättare och svårare uppgifter i provet, utan provet ger också information om hur elever med olika förmåga kan hantera problem vid olika kognitiva kravnivåer.12 I PISA används ett schema baserat på ”Depth of Knowledge”13 för att klassificera uppgifter på olika kognitiva nivåer.

Tabell 2.7 Kognitiva nivåer i naturvetenskap i PISA 2015

Kognitiva nivåer i PISA 2015

Låg Tillämpa procedurer i ett steg, t.ex. komma ihåg fakta, begrepp, principer eller koncept, eller lokalisera en enda punkt information i en graf eller tabell.

Medel Använda och tillämpa konceptuell kunskap för att beskriva eller förklara företeelser, välja lämpliga procedurer som inkluderar två eller fler steg, ordna/illustrera fakta, tolka eller använda enkla dataset eller grafer.

Hög Analysera komplex information eller fakta; framställa eller utvärdera bevis; motivera; resonera, med hjälp av olika källor; utveckla en plan eller en serie steg för att lösa ett problem.

Användningen av de kognitiva kravnivåerna underlättar konstruktionen av uppgifter med olika svårighetsgrad och gör det också lättare att utveckla en definition av de beskrivande delarna i rapporteringen av de olika prestations-nivåerna i tabell 2.6.

Beskrivning av uppgifterna i naturvetenskap Det finns 50 uppgifter med sammanlagt 184 deluppgifter i naturvetenskap i PISA 2015. De mäter de tre dimensioner som finns beskrivna i PISA:s ramverk och i enkäten mäts elevernas attityder. Fördelningen av de 184 del-uppgifterna utifrån dimensionerna Kompetenser, Sammanhang och Kunskaper redovisas i tabell 2.8. Inom kunskapsdimensionen är uppgifter också indelade efter vilket innehåll de har.

11 Davis och Buckendahl, 201112 Brookhart och Nitko, 201113 Webb, 1997

Page 21: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

19 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 2.8 Antal och andel deluppgifter i naturvetenskap i PISA 2015 fördelade på olika dimensionerna. I kolumnen Mål anges den i ramverket definierade eftersträvade fördelningen av uppgifter.14

Trenduppgifter Nya uppgifter Summa Andel Mål

Kompetens-dimensionen

Förklara företeelser naturvetenskapligt 41 48 89 48 % 40–50 %

Bedöma och utforma naturvetenskap-liga undersökningar

16 23 39 21 % 20–30 &

Tolka data och fakta naturvetenskapligt 28 28 56 30 % 30–40 %

Samman-hangs- dimensionen

Personliga 10 11 21 11 % -

Lokala och nationella 58 50 108 59 % -

Globala 17 38 55 30 % -

Kunskaps-dimensionen

Innehållskunskap 51 47 98 53 % 54–66 %

Procedurkunskap 24 36 60 33 % 19–31 %

Epistemisk kunskap 10 16 26 14 % 10–22 %

Innehåll* Fysikaliska system 28 33 61 33 % 36 %

Levande system 39 35 74 40 % 36 %

Jorden och rymden 18 31 49 27 % 28 %

Uppgifts-format

Enkla flervalsuppgifter 29 25 54 29 % -

Sammansatta flervalsuppgifter 25 41 66 36 % -

Öppna svar, automaträttade 3 3 6 3 % -

Öppna svar, experträttade 28 30 58 32 % -

* Det totala antalet uppgifter är 184 och alla dessa klassas in i något av innehållsområdena, även om de mäter procedurkunskap eller epistemisk kunskap.

På följande sidor finns ett exempel på en uppgift i naturvetenskap som består av tre deluppgifter. Fler uppgifter där vissa är interaktiva finns på www.oecd.org/pisa.14

14 För att få ett balanserat prov där olika kompetenser och kunskapstyper kan mätas finns mål för andelen uppgiften i varje kategori. För olika sammanhang och uppgiftstyper finns det inga sådana mål.

Page 22: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

20 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Exempel på uppgifter i naturvetenskap

FÅGELFLYTTNING – FRÅGA 1

Kodning fråga 1

FULL POÄNG

Eleven väljer:

• Fåglar som flyttade en och en eller i små grupper hade mindre chans att överleva och få avkomma.

KOMMENTAR

I fråga 1 ska eleven ge en förklaring till att flyttfåglar flyttar i stora grupper. Denna fråga ligger på nedre delen av nivå 3

Page 23: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

21 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

FÅGELFLYTTNING – FRÅGA 2

Kodning fråga 2

FULL POÄNG15

The student identifies at least one specific factor that can affect the accuracy of counts by observers. The observers may miss counting some birds because they fly high. If the same birds are counted more than once, that can make the numbers too high.

• For birds in a large group, volunteers can only estimate how many birds there are.

• The observers might be wrong about what kind of bird they are, so the numbers of that kind of bird will be wrong.

• The birds migrate at night.

• Volunteers will not be everywhere the birds migrate.

• The observers can make a mistake in counting.

• Clouds or rain hide some of the birds.

KOMMENTAR

För att besvara fråga 2 behövs procedurkunskap för att hitta orsaker till att beräkningar av antalet flyttfåglar kan vara osäkra eller felaktiga. Att inse begränsningar i olika undersökningsmetoder är en viktig del av naturveten-skaplig kompetens och denna fråga ligger på nivå 5.

15 I Sverige användas engelska kodningsmallar, så denna text finns inte översatt.

Page 24: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

22 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

FÅGELFLYTTNING – FRÅGA 3

Kodning fråga 3

FULL POÄNG

Eleven väljer bägge dessa alternativ:

• Kartorna visar att vissa ljungpipares norrgående flyttvägar skiljer sig från flyttvägar söderut.

• Kartorna visar att flyttande ljungpipare tillbringar sin vinter i områden som ligger syd och sydväst om deras bo- eller häckningsplats.

KOMMENTAR

Fråga 3 kräver att eleven kan tolka de två kartorna och jämföra fåglarnas flyttvägar höst och vår. Frågan ligger på Nivå 4.

Tabell 4.7 Kategorisering av uppgiften fågelflyttning.

Fråga 1 Fråga 2 Fråga 3

Kompetens Förklara företeelser naturvetenskapligt

Bedöma och utforma natur-vetenskapliga undersökningar

Tolka data och fakta naturvetenskapligt

Sammanhang Globala – Miljö Globala – Miljö Globala – Miljö

Kunskapinnehåll Innehåll – Levande system Procedurkunskap – Levande system

Procedurkunskap – Levande system

Uppgiftsformat Enkel flervalsuppgift Expertkodad Sammansatt flervalsuppgift

Svårighetsgrad 503 – Nivå 3 637 – Nivå 5 578 – Nivå 4

Fråge ID S656Q01 S656Q02 S656Q04

Page 25: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

23 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

3. Läsförståelsen i PISA

Inledning

Läsning har studerats i samtliga sex PISA-undersökningar (2000, 2003, 2006, 2009, 2012 och 2015). I PISA 2000 och 2009 var läsning huvudområde. I PISA 2015 när läsning inte är huvudområde är det färre elever som gör varje läsuppgift och de frågor som eleverna besvarar i elevenkäten är inte i första hand relaterade till läsning. PISA-rapporterna från 2000 och 2009 innehåller alltså mer om läsning än rapporterna från 2003, 2006, 2012 och den från 2015.

I PISA 2009 genomfördes för första gången ett digitalt läsprov. Det digitala läsprovet var inte del av huvudundersökningen och antalet länder som genomförde detta prov var också färre än antalet som deltog i PISA:s huvudundersökning. PISA 2015 är första gången som hela provet görs digitalt av samtliga elever i Sverige. Eftersom läsning inte är huvudområde 2015 så har endast en sammantagen lässkala utifrån trenduppgifterna beräknats.

I de följande delarna av detta kapitel presenteras först strukturen för utvärderingen av läsförståelse i PISA 2015, de olika dimensioner som ingår i PISA:s definition av läsförståelse, indelningen i olika läsnivåer samt några exempel på en uppgift som ingått i tidigare läsprov i PISA.

Strukturen för utvärderingen av läsförståelse i PISA 2015

Reading literacy – här översatt till läsförståelse – förutsätter inte enbart att eleverna kan avkoda ord och direkt tolka innehållet utan innefattar också en mer tillämpad användning av läsförståelsen. PISA:s definition av läsförståelse innefattar förmågan att använda denna i en rad olika situationer där människor läser samt för läsning av olika typer av texter i olika media. Läsförståelsen innefattar också olika lässtrategier så som förmågan att leta efter praktisk information så väl som djupläsning som syftar till att förstå andra sätt att göra saker, tänka och att vara.

Inför PISA-undersökningen år 2000 utvecklades ett ramverk utifrån vilket läsuppgifter konstruerades. När läsning åter var huvudområde 2009 gjordes några revideringar av detta ramverk16. I PISA 2015 används i stort samma ramverk för läsning som användes i PISA 2009, men med en del mindre förändringar.17 Nedan ges en kort sammanfattning av ramverket.

Liksom inom andra delar av PISA kan man också för läsförståelsen tala om tre huvuddimensioner: innehållsdimension, sammanhangsdimension och kompetensdimension. För läsförståelse handlar innehållsdimensionen om olika typer av texter som ingår i PISA. Sammanhangsdimensionen handlar om de sammanhang som man läser i. Kompetensdimensionen i läsförståelse behandlar olika läsprocesser. I ramverket för PISA beskrivs dessa tre huvud-dimensioner enligt följande:

16 OECD, 200917 Den som vill läsa ramverket från 2015 i sin helhet hänvisas till detta som publicerats av

OECD (OECD, 2016).

Page 26: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

24 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

• Kompetensdimension – läsprocesser, som refererar till olika kognitiva processer som avgör hur läsaren tar sig an texten.

• Sammanhangsdimension – sammanhang, som refererar till en rad olika sammanhang i vilka läsning sker och olika syften för läsning,

• Innehållsdimension – text, som refererar till en rad olika typer av text som läses,

I PISA 2009, då läsförståelse var huvudämne, redovisades inte enbart elev-ernas resultat på det traditionella läsprovet som helhet utan också elevernas resultat på olika delskalor kopplade till de olika textformaten löpande texter och icke-löpande texter samt till de olika läsprocesserna söka och inhämta information, sammanföra och tolka samt reflektera och utvärdera. Eftersom läsning inte var huvudområde i PISA 2015 har eleverna gjort färre läs- uppgifter vilket innebär att resultaten enbart presenteras från en sammantagen lässkala inkluderande de olika dimensionerna.

Kompetensdimension – läsprocesserDen första huvuddimensionen, läsuppgifter eller läsprocesser, definierar hur en läsare tar sig an en text. Dessa kan sammanfattas i tre breda kategorier: söka och inhämta information i en text, sammanföra och tolka det lästa samt reflektera och utvärdera en text i relation till sin egen erfarenhet. Vad detta kan betyda illustreras i tabell 3.1 nedan.

Tabell 3.1. Olika läsprocesser som förekommer i PISA

Läsprocesser Beskrivning

Söka och inhämta information Att söka och inhämta information är när läsaren fokuse-rar på att leta efter, hitta och välja ut särskilda element av information i texten.

Sammanföra och tolka Att sammanföra och tolka är när fokus är på att skapa sig en bred förståelse och utveckla en tolkning i relation till texten.

Uppgifter som fokuserar på hela texten kräver en bred förståelse av texten medan uppgifter som kräver fokus på relationer mellan delar av texten kräver en tolkning. Bägge dessa processer förs samman i denna kategori.

Reflektera och utvärdera För reflektion och utvärdering krävs att läsaren kan an-vända sina egna erfarenheter utanför texten och relatera dessa till det som läses. Reflektion och utvärdering kan handla om både det som står i texten och om textens format. Uppgifter som kräver reflektion och utvärdering förs samman i denna kategori.

SammanhangsdimensionNästa huvuddimension beskriver de sammanhang för vilka texter är produce-rade. Texterna i PISA är indelade efter fyra sammanhang i enlighet med deras förmodade mottagare och syfte, snarare än en plats där läsaktiviteten genom-förs: för personligt bruk, för offentligt bruk, för utbildning och i samband med arbete. Dessa situationer kan vara överlappande. Vad detta kan betyda illustreras i tabell 3.2 nedan.

Page 27: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

25 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 3.2. Olika sammanhang som förekommer i PISA

Sammanhang Beskrivning

personliga Det personliga sammanhanget innefattar texter som läses utifrån en indi-vids personliga intresse, både praktiskt och intellektuellt. Detta inkluderar texter som avser att behålla eller utveckla en persons kontakter med andra människor. Exempel på texter i ett personligt sammanhang är brev, skönlitteratur, biografier och informationstexter som läses för att tillfreds-ställa personlig nyfikenhet i relation till en hobby eller fritidssysselsätt-ning. Sådana digitala texter kan vara personliga e-mail, bloggar och andra meddelande i sociala media.

offentliga Det offentliga sammanhanget innefattar texter som relaterar till aktiviteter och angelägenheter i ett större samhälleligt perspektiv. Det är ofta offentliga dokument som informerar om offentliga händelser. Sådana texter har i regel anonyma författare. Det kan t.ex. vara vissa typer av bloggar, nyhetssiter och offentliga meddelande både på papper och digital.

utbildning Utbildningssammanhanget inkluderar i regel sådant som är kopplat till undervisning. Läroböcker och interaktiva lärprogram är typiska exempel på texter som finns i detta sammanhang. Att läsa sådant material är ofta en del av ett lärande som ingår i ett större sammanhang. Läsaren har sällan möjlighet att själv välja vad som ska läsas. Man läser för att lära.

arbete Typiskt i detta sammanhang är att läsningen är relaterat till genomför-andet av någon omedelbar uppgift. Det kan handla om att leta efter ett arbete i en dagstidning eller on-line, men också instruktioner kopplade till en arbetsplats. Man läser för att göra något.

Innehållsdimension – texterDen tredje huvuddimensionen beskriver olika typer av texter som läses. Med texter menas den uppsättning material som läses. I PISA 2015 klassifice-ras texter utifrån textformat och texttyp.

Textformat används för att göra en distinktion mellan löpande (i meningar och stycken) och icke-löpande texter (i förteckningar, tabeller och diagram). Därutöver finns också blandade texter och multipla texter. Blandade texter är texter som består av element som är både löpande texter och icke-löpande texter. Multipla texter är texter som är sammanförda från olika källor men för ett särskilt syfte i PISA-testet. Vad detta kan betyda illustreras i tabell 3.3 nedan.

Tabell 3.3. Olika textformat som förekommer i PISA

Textformat Beskrivning

Löpande texter

Texter som består av meningar organiserade i stycken. Dessa kan passa in i större enheter så som kapitel, böcker, tidningsartiklar, rapporter, es-säer, historier, brev och också i e-böcker.

Icke-löpande texter

Texter organiserade i matrixformat bestående olika typer av listor så som t.ex. tabeller, figurer, diagram, scheman och kataloger.

Blandade texter

Texter som kombinerar både löpande och icke-löpande texter så att listor, textstycken och bilder förekommer tillsammans. Sådana texter finns t.ex. i tidskrifter, uppslagsböcker och rapporter, men också digitalt på många webbsidor.

Multipla texter

Texter som skapats i olika sammanhang och innehåller av varandra oberoende texter (med lika eller olika format) sammanställda med speciella syften.

Page 28: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

26 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

En andra texttyp identifierar olika slag av text så som beskrivningar, berättelser, utredningar/redogörelser, argument, anvisningar och transaktioner. Vad detta kan betyda illustreras i tabell 3.4 nedan.

Tabell 3.4. Olika texttyper som förekommer i PISA

Texttyp Beskrivning

Beskrivningar En text med information som refererar till egenskaper hos ett föremål eller en plats så som t.ex. resebeskrivningar, kataloger, kartor eller processer i tekniska manualer. Beskrivningar besvarar vanligen ”vad”-frågor.

Berättelser En text som beskriver händelser över tid så som t.ex. skönlitteratur, biografier, en artikel om en händelse eller serietidningar. En berättelse besvarar ofta eller beskriver frågan ”när”.

Utredningar/redogörelser

En text som innehåller information om ett föremål eller ett begrepp där de element som detta består av analyseras. Den behandlar hur dessa element förhåller sig till varandra. Sådana texter kan vara en veten-skaplig artikel, ett diagram, eller ett uppslagsord i ett uppslagsverk (on-line eller i bok). Utredningar/redogörelser besvarar vanligen frågan ”hur”.

Argument En text som behandlar relationen mellan begrepp och olika förslag. Exempel på sådana texter kan vara insändare, affischer eller reklam. Argument besvarar vanligen frågan ”varför”.

Anvisningar En text som ger instruktioner om vad som ska göras för att t.ex. utföra en särskild uppgift. Exempel på sådana texter kan vara recept, manualer och instruktionsböcker.

Transaktioner En text vars syfte är att se till så att något äger rum så som t.ex. ett möte eller kontakt med en person. En sådan text kan vara ett brev, ett SMS eller ett e-postmeddelande.

En tredje möjlig klassificering inom innehållsdimensionen är hur en text visas, vilket kan vara statiskt eller dynamiskt. Begreppen statisk och dynamisk nämns i ramverket för PISA 2015 för att klargöra skillnaden mellan texter som är tryckta på papper, men som också kan förekomma på dator (statiska), och texter på datorskärmar med hyperlänkar som möjliggör eller kräver icke-linjär läsning (dynamiska).”Dynamiska texter” är liktydigt med hypertexter eller text där olika navigationsverktyg används. Varje läsare konstruerar till viss del den text hen läser. Ur detta perspektiv är begreppen ”digital läsning” och ”traditionell läsning” som tidigare använts i PISA, bland annat i den PISA-rapport från 201318 som rapporterade om digital läsning, mindre relevanta. Ramverket för PISA 2015 täcker inte begreppet “digital läsning” som ingick i det ramverk som användes för PISA 2009. I provet 2015 ingick endast trenduppgifter, alltså enbart statiska texter, och inga uppgifter med texter som kräver navigation (med hyperlänkar) ingick. Eftersom sådana texter inte förekommer i PISA 2015 är alltså distinktionen mellan ”statisk text” och ”dynamisk text” ännu inte aktuell i detta sammanhang, men den kommer att användas i PISA 2018.

18 Skolverket. (2013). Digital och traditionell läsning: analys av olika elevgruppers läsning utifrån PISA 2009.

Page 29: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

27 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

PrestationsnivåerI PISA 2009, där läsning var huvudområdet, användes en lässkala som inbe-grep alla uppgifterna i läsprovet. Samma skala används för läsningen i PISA 2015 även om antalet uppgifter i läsning som eleverna gör är färre till antalet. Som en hjälp vid tolkning av elevernas poäng är skalan indelad i nivåer som är beskrivna utifrån de uppgifter som är placerade inom varje nivå. Detta för att ge en uppfattning om vilka slags förmågor och kunskaper som behövs för att klara av dessa uppgifter. I PISA 2015, liksom i PISA 2009, finns sju nivåer av läsförmåga. Nivå 1b är den lägsta nivån följd av nivå 1a, nivå 2, nivå 3, nivå 4, nivå 5 och nivå 6. Nivå 6 är följaktligen den högsta nivån.

Tabell 3.5 presenterar de utmärkande dragen hos den läsförmåga som krävs på varje nivå av lässkalan.

Page 30: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

28 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 3.5 Sammanfattande beskrivningar av de sju nivåerna på lässkalan

Nivå Undre poänggräns Vad eleverna antas klara av på respektive nivå

6 698 Uppgifter på denna nivå kräver normalt att läsaren drar flera slutsatser, gör flera jämförelser och hittar flera motsatser som alla är både detaljerade och exakta. Läsaren måste uppvisa full-ständig och detaljerad förståelse av en eller flera texter, och i detta kan ingå att sammanföra information från flera texter. Uppgifterna kan kräva att läsaren hanterar obekanta tankegångar samtidigt med information som uppenbart är konkurrerande, och att han eller hon skapar abstrakta kategorier för sina tolkningar. Att reflektera över och utvärdera uppgifter kan kräva av läsaren att han eller hon formulerar hypoteser om eller kritiskt utvärderar en komplex text om ett obekant ämne och samtidigt tar hänsyn till flera kriterier eller perspektiv samt tillämpar sofistikerad förståelse med ursprung utanför texten. En framträdande förutsättning för upp-gifter som gäller söka och inhämta på denna nivå är en precisering av analysen och noggrann uppmärksamhet på detaljer som inte är iögonenfallande i texten.

5 626 Uppgifter på denna nivå vilka inbegriper inhämtning av information kräver att läsaren söker och organiserar flera partier ”inbäddad” information och drar slutsatser om vilken information i texten som är relevant. Reflektiva uppgifter kräver kritisk utvärdering eller hypotes och bygger på specialiserad kunskap. Både tolkande och reflektiva uppgifter kräver fullständig och detalje-rad förståelse av en text vars innehåll eller form är obekant. Uppgifter på denna nivå, inom alla aspekter av läsning, inbegriper normalt hantering av begrepp som står i motsats till vad man förväntar sig.

4 553 Uppgifter på denna nivå som rör inhämtning av information kräver att läsaren hittar och organi-serar flera inbäddade informationspartier. Vissa uppgifter på denna nivå kräver att man tolkar innebörden i språkliga nyanser i ett textavsnitt genom att ta hänsyn till texten som helhet. Andra tolkningsuppgifter kräver förståelse och tillämpning av kategorier i ett obekant sam-manhang. Reflektiva uppgifter på denna nivå kräver att läsarna använder formell eller allmän kunskap för att forma hypoteser om eller kritiskt utvärdera en text. Läsarna måste uppvisa en korrekt förståelse av långa eller komplexa texter vars innehåll eller form kan vara obekant.

3 480 Uppgifter på denna nivå kräver att läsaren hittar och i vissa fall känner igen relationen mellan flera informationspartier som måste uppfylla flera villkor. Tolkningsuppgifter på denna nivå kräver att läsaren tar till sig flera delar av en text för att kunna identifiera en huvudtanke, förstå ett förhållande eller härleda innebörden i ett ord eller en fras. Läsaren måste ta hänsyn till många aspekter när han/hon jämför, kontrasterar eller kategoriserar. Ofta är den begärda informationen inte särskilt framträdande eller så finns där mycket information som konkurrerar; eller så finns det andra texthinder, till exempel tankegångar som står i motsats till det förvän-tade, eller är negativt formulerade. Reflektiva uppgifter på denna nivå kan kräva kopplingar, jämförelser och förklaringar, eller så kan de kräva att läsaren utvärderar en funktion hos texten. Vissa reflektiva uppgifter kräver att läsaren uppvisar god förståelse av texten i förhållande till välbekant vardagskunskap. Andra uppgifter kräver inte detaljerad textförståelse men att läsa-ren kan utnyttja mer eller mindre allmän kunskap.

2 407 Vissa uppgifter på denna nivå kräver att läsaren hittar en eller flera sakuppgifter som kan vara nödvändiga att härleda och som kan behöva uppfylla flera villkor. Andra kräver att läsaren inser vad som är textens huvudtanke, förstår förhållanden eller härleder innebörd inom en avgränsad del av texten när informationen inte är uppenbar och läsaren måste dra slutsatser på låg nivå. Uppgifter på denna nivå kan inbegripa jämförelser eller kontraster på basis av en enda egen-skap hos texten. Vanliga reflektiva uppgifter på denna nivå kräver att läsarna gör en jämförelse eller flera kopplingar mellan texten och kunskaper utanför denna genom att utnyttja personliga erfarenheter och attityder.

1a 335 Uppgifter på denna nivå kräver att läsaren hittar ett eller flera oberoende partier med uttryck-ligen formulerad information; för att inse vad som är grundidén eller författarens syfte med en text om ett välbekant ämne, eller göra en enkel koppling mellan information i texten och vanlig vardagskunskap. Vanligen är den efterfrågade informationen i texten tydlig, och den konkurre-rande informationen är ringa om den alls föreligger. Läsaren uppmanas uttryckligen att fundera över relevanta faktorer i uppgiften och i texten.

1b 262 Uppgifter på denna nivå kräver att läsaren hittar ett enda, uttryckligen formulerat stycke information med framträdande placering i en kort, syntaktiskt enkel text med välbekant sam-manhang och texttyp, till exempel en berättelse eller en enkel lista. Vanligtvis ger texten stöd till läsaren, till exempel upprepning av information, bilder eller välbekanta symboler. Det finns mycket lite konkurrerande information. I uppgifter som kräver tolkning kan läsaren behöva göra enkla kopplingar mellan närliggande informationspartier.

Page 31: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

29 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

I de nivåer som presenteras ovan utgör nivå 2 en slags basnivå som eleverna bör uppnå för att ha den läsförståelse som krävs i olika sammanhang. Elever som inte uppnått denna nivå kan läsa, men kan ha svårigheter att hitta en eller flera sakuppgifter i en text och att avgöra vad som är textens huvudtanke.

Beskrivning av uppgifterna i läsförståelseTotalt innehåller PISA 2015 26 uppgifter med sammanlagt 88 deluppgifter i läsförståelse. Kategoriseringen av uppgifterna kan göras efter innehåll, sam-manhang, kompetens och uppgiftstyp. I tabell 3.6 framgår deluppgifternas fördelning efter dessa kategorier.

Förutom de olika dimensionerna som beskrivits tidigare kan också upp-gifterna beskrivas utifrån huruvida de är uppgifter av flervalstyp, komplex flervalstyp eller öppna uppgifter. För flervalsuppgifter och komplexa flervals-uppgifter har eleverna att ange ett eller flera svarsalternativ, medan de som svar på de öppna uppgifter måste skriva ett eget svar.

I tabell 3.6 nedan anges antal deluppgifter efter olika kategorier, samt vad som enligt ramverket för PISA 2015 (OECD, 2016) är den eftersträvansvärda andelen för respektive kategori.

Tabell 3.6 Antal och andel deluppgifter i läsförståelse i PISA 2015 fördelade på olika katego-rier. I kolumnen Mål anges den i ramverket eftersträvade fördelningen av uppgifter.

Område Antal Andel Mål

Kompetens- dimensionen (processer)

Söka och inhämta information 22 25 % 25 %

Sammanföra och tolka texter 46 52 % 50 %

Reflektera och utvärdera texter 20 23 % 25 %

Sammanhangs- dimensionen

Personliga 29 33 % 30 %

Utbildning 26 30 % 25 %

Arbete 16 18 % 15 %

Offentligt bruk 17 19 % 30 %

Innehålls- dimensionen (textformat)

Löpande texter 54 62 % 60 %

Icke-löpande texter 24 27 % 30 %

Blandade texter 7 8 % 5 %

Multipla texter 3 3 % 5 %

Uppgiftsformat Enkla flervalsuppgifter 31 35 % -

sammansatta flervalsuppgifter 11 13 % -

Öppet svar 46 52 % -

Page 32: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

30 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Exempel på uppgifter i läsförståelseNedan följer ett exempel på en uppgift, med två deluppgifter som använts i tidigare undersökningar.19 För att visa hur hela uppgiften har sett ut visas den så som den förekommit i tidigare pappersversioner av PISA-proven.

GIRIGBUKEN OCH HANS GULD

En fabel av Aisopos

En girigbuk sålde allt han ägde och köpte en stor guldklimp som han grävde ner i ett hål i marken bredvid en gammal mur. Varje dag gick han dit för att titta på den. En av hans arbetare iakttog girigbukens täta besök på platsen och beslöt att bevaka hans rörelser. Arbetaren upptäckte snart hemlig-heten med den gömda skatten, grävde upp guldklimpen och stal den. Vid sitt nästa besök fann girigbuken att hålet var tomt och han började slita sitt hår och utstöta höga klagorop. En granne såg att han var utom sig av sorg och när han fick reda på orsaken sade han: ”Snälla du, sörj inte så hårt; gå i stället efter en sten och lägg den i hålet och inbilla dig att guldet fortfarande ligger där. Det kommer att vara till lika stor nytta för dig; för när guldet var där, så hade du det inte, eftersom du inte hade den minsta nytta av det.”

Fråga 1. Här är en del av ett samtal mellan två personer som har läst “Girigbuken och hans guld”.

Vad skulle person 2 kunna säga till stöd för sin åsikt?

19 Fler frisläppta uppgifter och analyser av dessa finns i PISA-rapporten från PISA 2012 (Skolverket, 2013) och PISA 2009 (Skolverket, 2010).

Grannen var otrevlig. Han kunde ha ersatt

guldet med någonting bättre än en sten.

Nej, det kunde han inte. Stenen var viktig

i berättelsen.

Page 33: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

31 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Kodning fråga 1

UPPGIFTENS SYFTE

• Integrera och tolka: Göra en tolkning

• Sätta en detalj i en fabel i samband med dess huvudsyfte

FULL POÄNG

Kod 1: Uppfattar att berättelsens budskap hänger på att guldet ersätts med någonting oanvändbart eller värdelöst.

• Det behövde ersättas med någonting värdelöst; det är just det som är poängen.

• Stenen är viktig i berättelsen, därför att hela poängen är att han lika gärna kunde ha grävt ner en sten eftersom han inte hade någon glädje av guldet.

• Om man ersatte det med någonting bättre än en sten, så skulle man missa poängen, därför att det som var nedgrävt behövde vara någonting riktigt oanvändbart.

• En sten är oanvändbar, men det var guldet också för girigbuken!

• Någonting bättre skulle vara någonting han kunde använda – han använde inte guldet, det var det som mannen påpekade.

INGEN POÄNG

Kod 0: Ger otillräckligt eller oklart svar. • Stenen var viktig i berättelsen. [upprepar frågetexten]

• Det krävdes att det var en sten. [saknar förklaring]

• Det skulle inte ha varit samma sak. [oklart]

Visar på felaktig förståelse av materialet eller ger ett orimligt eller irrelevant svar.

• Det måste vara en sten för en sten är tung.

Kod 9: Svar saknas.

KOMMENTAR

Fråga 1 till texten GIRIGBUKEN OCH HANS GULD är en fråga på nivå 3 som kräver ett öppet svar. Frågan innehåller en dialog mellan två tänkta personer som ger motstridiga tolkningar av berättelsen. Endast den andra personens uppfattning står i överensstämmelse med de slutsatser som kan dras utifrån berättelsen så genom att ge argument till stöd för den uppfattningen visar läsarna att de har förstått poängen med berättelsen – fabelns sensmoral. Den relativa svårigheten med frågan är att eleverna behöver göra en hel del arbete för att producera ett svar som ger full poäng. Först måste de förstå grannens formella sätt att tala. För det andra är relationen mellan texten och den efterfrågade informationen inte uppenbar. Det finns inget eller lite stöd i texten som hjälper läsaren att tolka uppgiften, men referensen till stenen och grannen ska leda läsaren till fabelns slut.

För att få full poäng ska eleven på olika sätt uttrycka nyckelidén att rike-dom är värdelöst om det inte används till något. Vaga svar om att ”stenen har ett symboliskt värde” ges ingen poäng.

Page 34: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

32 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Fråga 2. Hur fick girigbuken en stor guldklimp?

Kodning fråga 2

UPPGIFTENS SYFTE:

• Söka och hitta: Hitta information

• Hitta information som uttryckligen anges i början av en kort text

FULL POÄNG

Kod 1: Anger att han sålde allt han ägde. Kan omskriva eller citera direkt från texten.

• Han sålde allt han ägde.

• Han sålde alla sina ägodelar.

INGEN POÄNG

Kod 0: Ger otillräckligt eller oklart svar.• Det var hans.

• Han förtjänade det.Visar på felaktig förståelse av materialet eller ger ett orimligt eller irrelevant svar.

• Han stal det.Kod 9: Saknas.

KOMMENTAR

Fråga 2 till texten GIRIGBUKEN OCH HANS GULD är en fråga på nivå 1b som kräver ett kort svar. Detta är en av de enklare uppgifterna som förekommit i PISA:s läsprov. Eleven förväntas kunna söka och hitta informa-tion som finns klart angiven i en kort texts början. För att få full poäng kan antingen texten citeras direkt han ”sålde allt han ägde” eller skrivas om på något sätt så som till exempel ”han sålde alla sina saker”. Det formella språket som förekommer i texten bör inte påverka svaren på denna fråga mycket efter-som den efterfrågade informationen finns alldeles i början på texten. Trots att detta är en mycket lätt fråga kräver den en viss inferens. Läsaren måste dra slutsatsen att det finns ett samband mellan den första delen av meningen (att girigbuken sålde allt han ägde) och den andra delen (att han köpte guld).

Page 35: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

33 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 3.7 Kategorisering av uppgiften Girigbuken och hans guld.

Fråga 1 Fråga 2

Kompetens, process: Sammanföra och tolka Söka och hämta in information

Sammanhang: Personliga Personliga

Innehåll, textformat: Löpande Löpande

Innehåll, texttyp: Berättelse Berättelse

Uppgiftstyp: Öppet svar Öppet svar

Svårighetsgrad: 548 (nivå 3) 310 (nivå 1b)

För att illustrera hur en uppgift kan se ut i datorbaserad form har i figur 3.1 nedan en av deluppgifterna i uppgiften ovan fiktivt omformats för att likna formatet för uppgifterna i PISA 2015. Notera att eftersom denna uppgift inte varit med i PISA 2015 finns ingen uppgift som ser ut som denna i det prov som eleverna har gjort.

Figur 3.1 Ett exempel på hur en läsuppgift skulle kunna se ut i PISA-provet 2105

Page 36: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

34 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

4. Matematiken i PISA

InledningFokus för PISA är frågan om i vilken grad 15-åringar som snart avslutar den obligatoriska skolan är rustade att möta framtiden. Framtiden för dessa 15-åringar innehåller matematiska kunskaper i olika grad och i olika former och är nödvändiga i kommande arbetsliv, privatliv, utbildningar med mera. Det är därför viktigt att ha en förståelse för i vilken grad ungdomar som lämnar skolan är förberedda för att tillämpa matematiska begrepp och prin-ciper för att kunna lösa problem som de möter i sitt dagliga liv. Matematiken i PISA handlar om situationer som eleverna kan tänkas möta under livet. Strävan är att uppgifterna ska handla om verklighetsanpassade och realistiska situationer.

För att beskriva den matematiska kunskap och kompetens som fordras för att kunna klara sig i alla olika situationer som samhällsmedborgare, i såväl arbete, socialt liv som i studier med mera, använder man sig inom PISA av begreppet mathematical literacy. Vi saknar motsvarande uttryck för denna kompetens i svenska språket, men innebörden är att man har tillräcklig mate-matisk kunskap och kompetens och kan använda den i alla situationer man kan möta i sitt yrkes- och samhällsliv. Mathematical literacy är med andra ord en sammansättning av olika matematiska kunskaper och kompetenser. En individ äger en mathematical literacy i större eller i mindre utsträckning, det är alltså inte något man antingen har eller inte har.

Mathematical literacy definieras i PISA som en individs förmåga att for-mulera, använda och tolka matematik i en mängd olika sammanhang. Detta inkluderar matematiskt resonemang och att använda matematiska begrepp, procedurer, fakta och verktyg för att beskriva, förklara och förutsäga fenomen. Mathematical literacy hjälper individer att känna igen den roll matematiken spelar i världen och att göra välgrundade bedömningar och fatta beslut som är nödvändiga för konstruktiva, engagerade och reflekterande medborgare. Förutsättningarna och utgångspunkterna för PISA 2015 finns dokumenterat i ett ramverk (OECD, 2016).

Uppgifterna är, precis som vid tidigare undersökningar, av olika slag, från flervalsuppgifter till uppgifter av mer öppen karaktär. Uppgiftsmaterialet i matematik innehåller totalt 46 uppgifter med sammanlagt 71 deluppgifter, fördelade på olika kategorier. Nytt inom ramen för PISA 2015 är att upp-gifterna uteslutande har genomförts på dator. Eftersom matematik inte är huvudämne i PISA 2015 har inga nya uppgifter, anpassade för det digitala mediet, använts. I PISA 2015 har skriftliga trenduppgifter använts. Dessa uppgifter var tidigare pappersbaserade men har nu överförts till en digital form. Avsikten har varit att behålla uppgifterna så intakta som möjligt och eleverna redovisar sina lösningar via det digitala mediet. När eleven ska redo-visa sina lösningar har detta skett i en ruta vid uppgiften och i de uppgifter som PISA ansett att man kan behöva skriva matematiska beräkningar, formler eller uttryck har eleverna haft tillgång till en enkel ekvationseditor. Genom att klicka på en knapp har ekvationseditorn öppnats och eleverna har haft möjlighet att skriva både text och matematiska uttryck bland annat i form av

Page 37: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

35 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

bråk, kvadratrötter och kvadrater. Även vissa symboler och operationer fanns tillgängliga så som till exempel olikhetstecken, en symbol för talet pi och multiplikationstecken. Editorn var endast för redovisning och utförde inga beräkningar.

Figur 4.1 Exempel på ekvationseditorn i PISA 2015.

I datorn fanns även tillgång till en miniräknare och ett formelblad. En skillnad mot tidigare pappersversioner var att eleverna inte kunde bläddra bland uppgifterna och kunde inte gå tillbaka till tidigare uppgifter.20

Strukturen för utvärderingen av matematik i PISA 2015PISA-projektets begreppsmässiga utgångspunkter för undersökningen finns beskrivna i ett ramverk (OECD, 2016) och där redovisas att bedömningen av matematisk kunskap och kompetens bygger på tre huvuddimensioner: innehåll, sammanhang och kompetenser. Den matematiska kunskapen och kompetensen bedöms i samband med en utmaning eller ett problem med ett matematiskt innehåll som uppstår i ett sammanhang grundat i verkligheten, dvs. i en verklighetskontext. Den huvudsakliga kompetensen som problem-lösaren använder vid problemlösningen beskrivs av processer. För att lösa problemet krävs ett antal förmågor som beskriver den typ av matematiskt tänkande och handling som används.

De tre dimensionerna har använts för att konstruera PISA:s samling av matematikuppgifter. Uppgiftssamlingen analyseras med hjälp av dimensio-nerna för att säkerställa att begreppet mathematical literacy är ordentligt täckt. Matematikresultat kan med hjälp av dimensionerna redovisas som ett sam-manlagt resultat men också som resultat för vissa av dimensionerna.

20 I PISA 2012 fanns en valbar separat del med matematik med digitala uppgifter skapade för detta medium men dessa uppgifter ingår inte i trendutvärderingen och ingår därför inte i PISA 2015 då matematiken inte är huvudområde.

Page 38: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

36 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

KompetensdimensionenI PISA 2015 beskrivs strukturen vid problemlösning med hjälp tre processer:

• Formulera handlar om att formulera situationer matematiskt.

• Använda handlar om att använda matematiska begrepp, fakta, procedurer och resonemang.

• Tolka handlar om att tolka och utvärdera matematiska resultat.

I PISA beskrivs problemlösningsprocessen som att den börjar med ett pro-blem som befinner sig i en kontext. Problemlösaren försöker sedan identifiera vilken matematik som ingår i problemet. Sedan formulerar problemlösaren situationen matematiskt genom att använda begrepp och identifierade rela-tioner, samt göra antaganden för att förenkla situationen. Problemlösaren förvandlar alltså ett problem i en kontext till ett rent matematiskt problem som kan lösas med hjälp av matematik. Problemlösaren använder sedan matematiska begrepp, fakta, procedurer och resonemang för att erhålla ett matematiskt resultat. Detta steg innebär vanligtvis matematisk manipulation, transformation och beräkningar, med eller utan verktyg. De matematiska resultaten måste sedan tolkas i relation till det ursprungliga problemet för att få ett resultat i en kontext. Samtliga uppgifter kategoriseras enligt huvudsaklig process. Enligt ramverket bör använda vara huvudsaklig process i cirka hälften av uppgifterna medan formulera och tolka bör vara huvudsaklig process i cirka en fjärdedel var.

PISA 2015 använder sju förmågor som samtliga, i olika grad, kan åter-finnas i de olika processerna ovan. Kommunikation är både receptiv och expressiv, det handlar således om att läsa, avkoda och tolka men även om att presentera och förklara sina lösningar. Matematisering inrymmer att man går mellan den verkliga världen och den matematiska världen. Det handlar om att formulera och tolka matematiska problem. Representation inrymmer att välja, tolka och att använda olika representationer samt att kunna växla mellan olika representationsformer. Resonemang och argumentation inrymmer logiska tankeprocesser som utforskar och kopplar ihop olika delar av problem, så att slutsatser kan dras. Det inrymmer även att värdera givna resonemang eller motivera påståenden eller lösningar på problem. Utforma strategier för att lösa problem karaktäriseras av att välja eller utforma en plan eller strategi för att använda matematik till att lösa problem som uppstår i en uppgift eller kontext. Använda symboliskt, formellt och tekniskt språk och operationer innebär att förstå, tolka, manipulera och använda sig av symboliska och aritmetiska uttryck och operationer. Det innebär även att kunna hantera algoritmer och formella strukturer som baseras på till exempel definitioner och regler. Använda matematiska verktyg innebär att känna till och kunna använda olika verktyg (fysiska eller digitala) som kan underlätta det matematiska arbetet. Det innebär även att känna till vilka begränsningar dessa verktyg har.

Page 39: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

37 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

SammanhangsdimensionenKontexterna identifierar de sammanhang och situationer i vilka man kan möta matematiken. I PISA 2012 finns fyra kontextområden: Personlig som relaterar till individers och familjers vardag, Samhällsliv som relaterar till individen som en del av ett samhälle, det kan gälla såväl lokalt, nationellt som globalt, Arbete som relaterar till arbetslivet och Vetenskapliga som relaterar till användandet av matematik i vetenskap och teknik. Samtliga uppgifter katego-riseras utifrån kontext. Enligt ramverket bör dessa fyra kategorier representeras av lika många uppgifter.

Tabell 4.1. Olika sammanhang som förekommer i matematiken i PISA

Sammanhang Beskrivning

Personliga Uppgifter som klassificerats inom sammanhanget Personlig fokuserar aktiviteter som berör individen själv, dess familj eller individens kamrat-grupp. De typer av sammanhang som definieras som personliga innefat-tar (men är inte begränsade till) sammanhang som involverar matlagning, inköp, spel, hälsa, transporter, sport, resor, planering och privatekonomi.

Samhällsliv Uppgifter som klassificerats inom sammanhanget Samhällsliv fokuserar aktiviteter som berör individens samhälle (lokalt, nationellt eller globalt). De typer av sammanhang som definieras som samhällsliv innefattar (men är inte begränsade till) sammanhang som involverar system för röstning, kollektivtrafik, regering, politik, demografi, reklam, statistik och ekonomi. Även om individer involveras i dessa sammanhang utifrån ett personligt perspektiv så fokuseras i detta sammanhang samhällsperspektivet.

Arbete Uppgifter som klassificerats inom sammanhanget Arbete fokuserar ak-tiviteter som berör arbetslivet. De typer av sammanhang som definieras som arbete innefattar (men är inte begränsade till) sammanhang som involverar mätningar, kostnadsberäkningar och beställningar av material med fokus på att bygga, löner/redovisning, kvalitetskontroll, schemalägg-ning/inventering, design/arkitektur och arbetsrelaterade beslut.

Vetenskapliga Uppgifter som klassificerats inom sammanhanget Vetenskapliga foku-serar tillämpningen av matematik samt frågeställningar och ämnen med anknytning till vetenskap och teknik. De typer av sammanhang som definieras som vetenskapliga innefattar (men är inte begränsade till) sammanhang som involverar väder eller klimat, ekologi, medicin, rymd-vetenskap och genetik. Även alla uppgifter som är inommatematiska, där alla delar som ingår i uppgiften hör hemma i matematikens värld, kategoriseras inom sammanhanget vetenskapliga.

InnehållsdimensionenInnehåll definieras primärt som breda matematiska begrepp med underlig-gande matematiskt tänkande. I PISA 2015 finns fyra centrala innehåll: Förändring och samband som rymmer funktioner, statistik och algebra, Kvantitet som rymmer aritmetik och taluppfattning, Rum och form som rymmer det vi traditionellt menar med geometri och mätningar, samt Osäkerhet som rymmer sannolikhetsrelaterade och statistiska frågeställningar. Samtliga uppgifter kategoriseras enligt huvudsakligt innehåll. Enligt ram- verket bör dessa fyra kategorier representeras av lika många uppgifter. Utförligare beskrivning av innehållskategorierna finns i tabell 4.2.

Page 40: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

38 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Det fyra innehållskategorierna utgör grunden för att beskriva bredden av det matematiska innehållet men det finns flertalet matematiska områden som går in i flera av de olika kategorierna. För att komplettera kategorierna beskriver även PISA 2015 en exempellista på matematiska områden och begrepp som kan ingå i PISA 2015. Exempellistan redovisas i tabell 4.3.

Tabell 4.2 Beskrivning av kategorier för matematiskt innehåll.

Innehåll Beskrivning

Förändring och samband

Kategorin rymmer funktioner, statistik och algebra. Den fokuserar relationer och förhållanden mellan objekt. Matematiskt kunnande i förändring och samband innebär även att man förstår de grundläggande typerna av förändringar och att kunna känna igen dessa förändringar så att lämpliga matematiska modeller kan användas för att beskriva och förutsäga förändringar.

Rum och form Kategorin rymmer det vi traditionellt menar med geometri och mät-ningar. Den omfattar dock ett brett spektrum av fenomen som påträffas överallt t.ex. mönster, egenskaper hos objekt, olika representationer av objekt, avkodning och kodning av visuell information, navigering och dynamisk interaktion med former och deras representationer.

Matematiskt kunnande i rum och form innebär även att bland annat förstå perspektiv, kunna skapa och läsa kartor, kunna transformera former med och utan tekniska verktyg, kunna tolka vyer av tredimensio-nella objekt från olika perspektiv och konstruera representationer av former.

Kvantitet Kategorin rymmer aritmetik och taluppfattning. Kategorin omfattar kvantifiering av bland annat relationer, situationer och enheter, att förstå olika representationer av dessa kvantifieringar och att utvärdera tolkningar och slutsatser som baseras på kvantitet. Det innebär bland annat att kunna förstå mätningar, beräkningar, storheter, enheter, skala, numeriska trender och mönster, samt att kunna tillämpa taluppfatt-ning, olika representationer av siffror, huvudräkning, uppskattning och bedöma ett resultats rimlighet.

Osäkerhet Kategorin rymmer sannolikhetsrelaterade och statistiska frågeställning-ar, som är viktiga att kunna ta ställning till. Den innefattar bland annat hur man identifierar och drar slutsatser ur presenterad data och hur man arbetar med effekterna av osäkerheten och variationerna i statistiska underlag. Osäkerhet är en del av vetenskapliga förutsägel-ser, opinionssiffror, väderprognoser och ekonomiska modeller, variation som förekommer i tillverkningsprocesser, provresultat och enkätunder-sökningar, och chans/risk.

Page 41: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

39 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 4.3 Exempel matematiska områden och begrepp som ingår i PISA 2015.

Områden och begrepp Beskrivning

Funktioner Begreppet funktion, med fokus på men inte begränsat till linjära funktioner, deras egenskaper och variationen i beskrivningar och representationer av dessa. Vanligen använda representa-tioner är muntlig, symbolisk, tabell och grafisk.

Algebraiska uttryck Tolkning och hantering av algebraiska uttryck, som omfattar siffror, symboler, aritmetiska operationer, potenser och enkla rötter.

Ekvationer och olikheter Linjära ekvationer, ekvationssystem och olikheter, enkla andra-gradsekvationer och analytiska och icke-analytiska lösningsme-toder.

Koordinatsystem Representation och beskrivning av data, läge och förhållande.

Förhållanden inom och mellan två- och tredimensionella objekt

Statiska förhållanden såsom algebraiska samband mellan element i figurer (t.ex. Pythagoras sats som definierar ett samband mellan längderna på sidorna i en rätvinklig triangel), relativ position, likformighet och kongruens och dynamiska förhållanden som involverar transformation och förflyttning av objekt, även kopplingar mellan två- och tredimensionella objekt.

Mätning Kvantifiering av egenskaper hos och mellan figurer och objekt, såsom mätning av vinkel, avstånd, längd, omkrets, area och volym.

Tal och enheter Representationer av tal och talsystem, inklusive egenskaperna hos heltal och rationella tal, relevanta aspekter hos irrationella tal, storheter och enheter som hänför sig till fenomen som tid, pengar, vikt, temperatur, avstånd, area och volym, och härledda kvantiteter och deras numeriska beskrivning.

Aritmetiska operationer Karaktären och egenskaperna hos dessa operationer och tillhörande notationer.

Procent, förhållande och proportioner

Numerisk beskrivning av relativ storlek och tillämpning av pro-portioner och proportionella resonemang för att lösa problem.

Beräkningsprinciper Enkla kombinationer och permutationer.

Uppskattning Ändamålsenlig approximation av kvantiteter och numeriska uttryck, inklusive värdesiffror och avrundningar.

Datainsamling, representation och tolkningar

Egenskaper, ursprung och insamling av olika typer av data, och olika sätt att representera och tolka dem.

Variationer i data Begrepp som variation, distribution och lägesmått av data-mängder, och sätt att beskriva och tolka dessa med kvantitativa termer.

Urval Begrepp gällande urval och urval från grupper, inklusive enkla slutsatser baserade på egenskaper hos urval.

Slump och Sannolikhet Begreppet slumpmässiga händelser, slumpmässig variation och dess representationer, slump och frekvensen av händelser, och grundläggande aspekter av begreppet sannolikhet.

Page 42: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

40 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 4.4 Sambandet mellan de matematiska processerna och förmågorna i PISA 2015.

Formulera Tillämpa Tolka

Kommunikation Läsa, avkoda och förstå påståen-den, frågor, uppgifter, objekt eller bilder, för att skapa en förståelse av situationen.

Formulera en lösning, redovisa en lösning som leder till en lösning och/eller sammanfatta och presentera mellanliggande matematiska resultat.

Konstruera och kommunicera förklaringar och argument i problemlösningssamman-hanget.

Matematisering Identifiera de underliggande matematiska variablerna och strukturerna i verklighetsnära problem, och gör antaganden så att de kan användas.

Använder en förståelse för sammanhanget för att vägleda eller påskynda den matematiska lösningsprocessen, t.ex. arbetar med noggrannhet på en för sam-manhanget lämplig nivå.

Förstå den omfattningen och de begränsningar som en lösning av ett matematiskt problem har till följd av använda matema-tiska modeller.

Representation Skapa en matematisk repre-sentation av verklighetsnära information.

Förstå, relatera och använda flera olika representationer vid lösning av ett problem.

Tolka matematiska resultat i flera olika format; jämföra eller utvärdera två eller flera repre-sentationer i förhållande till en given situation.

Resonemang och argumentation

Förklara, försvara eller

ge en motivering för angivna eller utarbetade representationer av verkliga situationer.

Förklara, försvara eller ge en motivering till de processer och metoder som används för att lösa ett matematiskt problem.

Koppla samman bitar av informa-tion för att komma fram till en matematisk lösning, gör genera-liseringar eller skapar flerstegs-argumentet.

Reflektera över matematiska lösningar och skapa förklaringar och argument som stödjer, motsäger eller berättigar en matematisk lösning på ett kontextbundet problem.

Utforma strate-gier för att lösa problem

Välja eller utarbeta en plan eller en strategi för att matematiskt omformulera kontextbundna problem.

Använda effektiva och hållbara kontrollmekanismer vid lösning av flerstegsproblem som leder till en matematisk lösning, slut-sats, eller generalisering.

Utarbeta och genomföra en strategi för att tolka, utvärdera och kontrollera en matematisk lösning på ett kontextbundet problem.

Använda symboliskt, formellt och tekniskt språk och operationer

Använda lämpliga variabler, symboler, diagram och standard-modeller för att representera ett verklighetsnära problem med symbolisk/formellt språk.

Förstå och använda formella konstruktioner baserade på definitioner, regler och formella system samt tillämpa algoritmer.

Förstå sambandet mellan problemets sammanhang och representation av den mate-matiska lösningen. Använda denna förståelse för att tolka lösningen i sitt sammanhang och bedöma genomförbarheten och eventuella begränsningar av lösningen.

Använda matematiska verktyg

Använda matematiska verktyg för att känna igen matematiska kon-struktioner eller för att illustrera matematiska relationer.

Känna till och kunna använda olika verktyg som kan bidra till genomförandet av processer och metoder vid matematisk problemlösningar.

Använda matematiska verktyg för att ta reda på rimligheten hos en matematisk lösning och, med avseende på problemets sammanhang, avgöra dess eventuella begränsningar.

Page 43: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

41 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

PrestationsnivåerUndersökningen i matematik i PISA 2015 innehåller uppgifter med ett brett spektrum av svårighetsgrad, som matchas mot fördelningen av förmågor. Den innehåller uppgifter som är svåra även för de högpresterande eleverna och uppgifter som, ur en bedömningsaspekt, är lämpliga för de lågpresterande eleverna. Ur ett psykometriskt perspektiv är en undersökning som syftar till att mäta exempelvis kunskaper hos en viss grupp av individer mest effektiv när uppgifternas svårighetsgrad matchar förmågan hos de som ska bedömas. En spridning av uppgifternas svårighetsgrad behövs också för att kunna dra slutsatser om de prestationsnivåer som PISA-undersökningen använder.21

För att rapportera resultaten från PISA konstrueras bland annat skalor för resultaten. Som hjälp vid tolkning av elevernas poäng är skalorna indelade i nivåer som är beskrivna utifrån de uppgifter som är placerade inom varje nivå. Detta för att ge en uppfattning om vilka slags förmågor och kunskaper som behövs för att klara dessa uppgifter. I PISA 2015 finns sex nivåer i matematik från den lägsta, nivå 1, till den högsta, nivå 6.

Elever på en nivå som motsvarar nivå 1 kommer sannolikt att klara nivå 1-uppgifter, men troligen inte uppgifter på en högre nivå. Nivå 6 innehåller de uppgifter som presenterar de största utmaningarna när det gäller mate-matisk kunskap och kompetens. Elever med poäng på denna nivå kommer troligtvis att klara uppgifter på denna nivå såväl som alla andra matematik-uppgifter i PISA-undersökningen. I tabell 4.6 presenteras en beskrivning av vad en elev på en viss nivå av matematikskalan klarar av.

21 En fullständig redovisning för de begreppsmässiga utgångspunkterna för PISA-undersök-ningen presenteras i PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy (OECD, 2016). Här definieras undersökningens syn på vad matematisk kunskap och kompetens är, vad som ska utvärderas och hur.

Page 44: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

42 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 4.6 Sammanfattande beskrivning av de sex prestationsnivåerna för matematikskalan.

Nivå Undre poänggräns Vad eleverna antas klara av på respektive nivå

6 669 På nivå 6 kan eleverna göra sig en föreställning om, generalisera, och använda information utifrån sina under-sökningar och modelleringar av komplexa problemsitua-tioner i olika sammanhang. De kan koppla samman olika informationskällor och representationer samt flexibelt förflytta sig mellan dem.

De kan använda avancerat matematiskt tänkande och resonemang. Dessa elever kan tillämpa sin insikt och förståelse om symboliska och formella matematiska ope-rationer och samband för att utveckla nya metoder och strategier för att angripa nya situationer. Elever på denna nivå kan reflektera över sina handlingar och formulera och tydligt kommunicera sina upptäckter, tolkningar och argument samt avgöra hur lämpliga de är i förhållande till ursprungssituationen.

5 607 På nivå 5 kan eleverna utveckla och arbeta med modeller för komplexa situationer, identifiera begränsningar och specificera antaganden.

De kan välja, jämföra och bedöma lämpliga problemlös-ningsstrategier för att handskas med komplexa problem som beskrivs av modeller. Elever på denna nivå kan arbeta strategiskt genom att använda breda och välut-vecklade tankeformer och resonemangsförmågor samt använda ändamålsenliga representationer. De börjar reflektera över sina handlingar, samt formulera och kom-municera sina tolkningar och resonemang.

4 545 På nivå 4 kan eleverna effektivt arbeta med tydliga modeller för komplexa konkreta situationer, som kan innehålla begränsningar eller krav att antaganden måste göras.

De kan välja och sammanlänka olika representationsfor-mer och koppla dessa till verkliga sammanhang. Elever på denna nivå kan använda en begränsad uppsättning färdigheter och resonerar med viss insikt, i okomplice-rade sammanhang. De kan konstruera och kommunicera förklaringar och argument baserade på sina tolkningar, argument och handlingar.

3 482 På nivå 3 kan eleverna utföra tydligt beskrivna procedu-rer, inklusive de som fordrar en kedja av beslut.

De kan välja och tillämpa enkla problemlösningsstra-tegier. Elever på denna nivå kan tolka och använda representationer baserade på olika informationskällor och resonera utifrån dessa. De kan utarbeta kortfattade redovisningar för att rapportera sina tolkningar, resultat och resonemang.

2 420 På nivå 2 kan eleverna tolka och känna igen situationer i sammanhang som inte fordrar mer än direkta slutsatser.

De kan hämta relevant information från en källa och an-vända en representationsform. Elever på denna nivå kan använda grundläggande algoritmer, formler, procedurer eller konventioner. De klarar av att föra ett enkelt resone-mang och att göra fullständiga tolkningar av resultat.

Enligt PISA måste eleven minst uppnå nivå 2 för att vara matematiskt litterat.

1 358 På nivå 1 kan eleverna besvara frågor som innehåller kända sammanhang där all relevant information är given, och frågorna är klara och tydliga.

De klarar att identifiera information och att utföra rutin-procedurer enligt direkta instruktioner. I tydligt angivna situationer kan de utföra handlingar som är självklara och omedelbart följer ur uppgiften.

Page 45: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

43 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Beskrivning av uppgifterna i matematikFör att bedöma matematisk kunskap och kompetens i PISA 2015 används tre uppgiftstyper. Uppgifter med krav på redovisning (öppna egenformulerade svar), kortsvarsuppgifter (slutna egenformulerade svar) och flervalsuppgifter (valbara svar). På uppgifter med krav på redovisning krävs öppna egenfor-mulerade skriftliga svar och det kan finnas krav på redovisning av hur eleven kommit fram till svaret. På dessa uppgifter bedöms elevernas svar manuellt. På kortsvarsuppgifterna krävs ingen redovisning. Dessa uppgifter ger en mer strukturerad men begränsad svarsmöjlighet, där svaren endast kan bedömas vara rätt eller fel. Ofta består svaren på kortsvarsuppgifter endast av siffror. Vissa av dessa uppgifter bedöms automatiskt och vissa bedöms manuellt. På flervalsuppgifter krävs att eleven väljer ett eller flera svar från ett antal svarsal-ternativ eller att eleven får ett antal påståenden som eleven ska avgöra om de är sanna eller falska. På dessa uppgifter bedöms elevernas svar automatiskt.

I PISA 2015 finns sammanlagt 46 matematikuppgifter med totalt 71 del-uppgifter. Kategoriseringen av deluppgifterna kan göras efter huvudsakligt innehåll, kontext, process och uppgiftstyp. I tabell 4.6 framgår deluppgifter-nas fördelning.

Tabell 4.6 Antal och andel deluppgifter i matematik i PISA 2015 fördelade på olika kate-gorier. I kolumnen Mål anges den i ramverket definierade eftersträvade fördelningen av uppgiftspoäng.

Område Antal Andel Mål

Kompetens- dimensionen (processer)

Formulera 22 31,0 % 25 %

Tolka 19 26,8 % 25 %

Använda 30 42,3 % 50 %

Sammanhangs- dimensionen

Personliga 11 15,5 % 25 %

Samhällsliv 25 35,2 % 25 %

Arbete 13 18,3 % 25 %

Vetenskapliga 22 31,0 % 25 %

Innehålls-dimensionen

Förändring och samband 18 25,4 % 25 %

Rum och form 17 23,9 % 25 %

Kvantitet 18 25,4 % 25 %

Osäkerhet 18 25,4 % 25 %

Uppgiftsformat Flervalsuppgifter 25 35,2 % -

Öppet svar, ingen redovisning 38 53,5 % -

Öppet svar, redovisning 8 11,3 % -

Målen för fördelningen av uppgifterna fastställs i PISA:s ramverk. Att andelen uppgifter i PISA 2015 inte överensstämmer med målfördelningen beror bland annat på att uppgifter från tidigare PISA-studier har frisläppts och inga nya har tillkommit.

För att kunna fastställa trender på ett säkert sätt inom PISA är det nöd-vändigt att ett tillräckligt antal uppgifter återkommer i undersökning efter undersökning. De uppgifter som inte ska användas i kommande undersök-ningar offentliggörs för att visa hur prestationsnivåerna mättes. I PISA 2015 användes endast uppgifter som ska fortsätta användas för trendmätning och dessa kan således inte presenteras i denna rapport. I stället följer nedan ett

Page 46: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

44 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

exempel på en frisläppt uppgift från PISA 2012 (figur 4.2) för att åskådliggöra ramverket och de beskrivna nivåerna22.

Exemplet består av uppgiften Seglande fartyg som består av tre deluppgifter. För att illustrera hur en uppgift kan se ut i datorbaserad form har den sista deluppgiften också fiktivt omformats för att likna formatet för uppgifterna i PISA 2015 (figur 4.3).

22 Fler frisläppta uppgifter och analyser av dessa finns i PISA-rapporten från PISA 2012 (Skolverket, 2013). Även i Nortvedt et al. (2016) och Skolverket (2015) presenteras exempel på analyser av uppgifter och analyser av samstämmighet mellan PISAs ramverk och svenska styrdokument.

Page 47: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

45 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Exempel på uppgifter i matematik

Figur 4.2 Uppgiften Seglande fartyg.

SEGLANDE FARTYGNittiofem procent av världshandeln fraktas på haven av grovt räknat 50 000 tankfartyg, lastfartyg och containerfartyg.De flesta av de här fartygen drivs av dieselolja.

Ingenjörer planerar att utveckla vindkraft för att hjälpa fartygen.De tänker sätta fast draksegel på fartygen och använda vindkraften för att minska dieselförbrukningen och därmed effekten på miljön.

Fråga 1En fördel med att använda drakseglet är att det flyger på en höjd av 150 m. Där är vindhastigheten ungefär 25 % högre än nere vid fartygets däck.

Vilken är den ungefärliga vindhastigheten i drakseglet när vindhastigheten har uppmätts till 24 km/h vid fartygets däck?

A. 6 km/hB. 18 km/hC. 25 km/hD. 30 km/hE. 49 km/h

Fråga 2Ungefär hur lång måste linan till drakseglet vara för att seglet ska kunna dra fartyget i en vinkel på 45° och befinna sig på den vertikala höjden 150 m som bilden bredvid visar?

A. 173 mB. 212 mC. 285 mD. 300 m

Fråga 3På grund av den höga kostnaden på 0,42 zed per liter dieselolja har ägarna till fartyget Våge Viking börjat fundera på att utrusta fartyget med ett draksegel.

Man uppskattar att ett draksegel av det här slaget ska kunna minska diesel- förbrukningen med totalt omkring 20 %.

Namn: Våge VikingTyp: fraktfartygLängd: 117 meterBredd: 18 meterLastkapacitet: 12 000 tonMaxfart: 19 knopDieselförbrukning per år utan draksegel: cirka 3 500 000 liter

Kostnaden för att utrusta Våge Viking med ett draksegel är 2 500 000 zed.

Efter hur många år har besparingen i dieselolja betalat kostnaden för drakseglet? Visa hur du har räknat för att komma fram till svaret.

Page 48: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

46 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Tabell 4.7 Kategorisering av uppgiften Seglande fartyg.

Fråga 1 Fråga 2 Fråga 3

Huvudsaklig process: Använda Använda Formulera

Sammanhang Vetenskapliga Vetenskapliga Vetenskapliga

Huvudsakligt innehåll: Kvantitet Rum och form Förändring och samband

Uppgiftstyp: Flerval Flerval Svar med krav på redovisning

Svårighetsgrad: Nivå 4 (512) Nivå 4 (538) Nivå 6 (702)

Bedömningsanvisning: Full poäng:

Alternativ D

Full poäng:

Alternativ B

Full poäng: Svar mellan 8 och 9 år med redovi-sade beräkningar.

1. Exempel på godtagbart svar ”Dieselförbrukning per år utan segel 3,5 miljoner liter, pris 0,42 zed/liter, kostnad för diesel utan segel 1 470 000 zed. Om 20 % sparas med hjälp av segel så sparar man 1 470 000 x 0,2 = 294 000 zed per år. Detta ger 2 500 000 / 294 000 ≈ 8,5 dvs efter cirka 8 till 9 år blir seglet ekonomiskt lönsamt.”

KOMMENTAR

I uppgiften ska eleven lösa ett verklighetsbaserat problem som innehåller kost-nadsbesparingar och bränsleförbrukning. I första deluppgiften ska en ökning med 25 procent beräknas. På deluppgiften angav 62 procent av de svenska 15-åringarna korrekt svar (PISA 2012).

Uppgiftens tre deluppgifter varierar i innehåll. Den första deluppgiften innehåller en beräkning av en procentuell ökning och sorteras inom Kvantitet. Den andra deluppgiften innehåller geometriska objekt och sorteras inom Rum och form. Den tredje deluppgiften måste ett antal samband redas ut och den sorteras som Förändring och samband.

Page 49: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

47 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Figur 4.3 Ett fiktivt exempel på hur en av de frisläppta uppgifterna (Seglande fartyg) skulle se ut om den följde samma format som de datorbaserade uppgifterna i PISA 2015.

Page 50: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

48 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

5. PISA-provet

Övergången till ett datorbaserat provI och med att PISA 2015 har bytt provformat från ett traditionellt prov med papper och penna till ett datorbaserat prov har mycket omsorg ägnats åt att se till så resultaten från PISA 2015 ska vara jämförbara med tidigare PISA-undersökningars resultat. En del uppgifter som använts i PISA 2015 har tidigare använts i de föregående PISA-undersökningarna, och för att kunna göra det har det varit nödvändigt att göra vissa mindre modifieringar av uppgifterna. Sådana modifieringar har bland annat handlat om vilka ord som används för de instruktioner som eleverna får när uppgifter presenterats på en skärm istället för på ett papper och när elever uppmanats att skriva in sina svar på skärmen istället för på papper. Eftersom ett datorbaserat prov kräver vissa datorfärdigheter har avsikten varit att se till att dessa är så grundläggande som möjligt för att undvika att de påverkar resultaten. I PISA 2015 utnyttjades de möjligheter som en datorisering av provet gav och man valde att utvidga det område i naturvetenskap som undersöktes. Ett exempel på detta är att elev-erna fick designa simulerade naturvetenskapliga experiment och sedan tolka resultaten. Utöver detta valde man även att lägga till nya typer av svarsformat som att välja alternativ i tabeller eller flytta text eller bild till rätt position.

Undersökningens första år (2012) ägnades åt att lägga fast en gemen-sam begreppslig bas för vad som skulle mätas och hur ramverken i de olika ämnena skulle byggas upp. Ett datorbaserat prov började konstrueras och arbetet med själva mätinstrumentet inleddes också. Uppgifter som använts vid tidigare PISA-undersökningar (trenduppgifter) i naturvetenskap, läsförståelse och matematik anpassades för att möjliggöra en överföring till digital form. Samtidigt påbörjades arbetet med att skapa nya digitala uppgifter där vissa var interaktiva uppgifter. Alla deltagarländer inbjöds att sända in uppgiftsför-slag till konsortiet och parallellt har en internationell provutvecklingsgrupp arbetat med att ta fram en uppsättning uppgifter. Nationella granskargrupper från deltagarländerna har under utvecklingsfasen fått lämna synpunkter på samtliga uppgifter. Några exempel på frågor att ta ställning till har varit om uppgiften kan ses som relevant för målgruppen, synpunkter på om ämnesin-nehållet motsvarar PISA:s ramverk, om svårighetsgraden på uppgifterna är lämplig för målgruppen, om det finns några översättningssvårigheter och om det kan finnas några etiska eller kulturella problem förknippade med uppgif-terna. Ytterligare granskningar har utförts av internationella konsortiets språk- och ämnesexperter.23

23 Under våren 2013 inleddes arbetet med att skapa svenska versioner av de nya provupp-gifterna. En fransk och en engelsk version av varje provuppgift har översatts till svenska och dessa två olika översättningar har legat till grund för den slutgiltiga svenska versionen som skapats. Översättningar och anpassningar till svenska förhållanden har under arbetets gång förhandlats med och godkänts i flera steg av konsortiet.

Page 51: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

49 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Förstudien 2014Under 2014 genomfördes i varje land en förstudie på ett antal skolor valda med avsikt att ge en allsidig prövning av både mätinstrument och metoder för datainsamling. I Sverige deltog 54 skolor och 1597 elever i förstudien. Provledare samt personer som skulle rätta öppna svar utbildades av respektive lands nationella centrum. Data från förstudien i de olika länderna bearbeta-des sedan i syfte att dels få fram provuppgifter och enkätfrågor som visat sig fungera bra nationellt och internationellt, dels modifiera instruktionerna till skolor och elever inför huvudstudiens genomförande. Till exempel togs prov-uppgifter bort om grupper av elever eller länder gynnades eller missgynnades resultatmässigt eller om provuppgifterna gav upphov till för stort tolknings-utrymme vid rättning av svaren. Utifrån resultatet från förstudien utvecklades ett mätinstrument och metoder inför huvudstudien förfinades.

Huvudstudien 2015Under år 2015 ägde huvudstudien rum. Urvalet av skolor gjordes hösten året innan i enlighet med de internationella regler som PISA har fastställt. Syftet var att ge ett representativt urval av skolor som har elever födda 1999. I Sverige var eleverna mellan 15 år och 2 månader och 16 år och 3 månader vid tiden för undersökningens genomförande. Majoriteten av eleverna gick i grundskolans årskurs 9 (95 %) och resterande gick i årskurs 8 (3 %) eller på gymnasiet (2 %).

Eleverna ska göra PISA-provet på det språk som de undervisas i på den utvalda skolan. De flesta eleverna gjorde provet på svenska, men fem skolor testade sina elever helt eller delvis på engelska. I Sverige deltog knappt 5 500 elever från 202 skolor. På varje skola valdes slumpmässigt 36 av elev-erna ut, men om antalet valbara elever var 36 eller färre valdes samtliga elever ut.

Svenska special- och särskolor deltar inte i PISA, inte heller skolor med annat undervisningsspråk än svenska och engelska. Elever med funktionsned-sättning och/eller begränsade erfarenheter av svenska språket deltar inte om de uppfyller de internationella kriterierna för uteslutning. För Sveriges del var bortfallet på skolnivå mindre än en procent och på elevnivå nio procent. Bortfallet ligger under den gräns som OECD fastställt för att landets resultat ska anses pålitliga. Bortfallets storlek har inte heller ökat eller minskat jämfört med tidigare PISA-undersökningar och bedöms därför inte ha påverkat even-tuella resultatförändringar.

Provledarna, som i Sverige tillhör skolornas personal, utbildades för att sköta arbetet med att planera och organisera provgenomförandena.

Mätinstrumenten modifierades utifrån resultatet från förstudien. Provet och elevenkäten distribuerades via USB vilka skickades ut till skolorna senast två veckor innan valt provdatum. Från den 2 mars till den 10 april genomför-des proven på de 202 skolorna. Om frånvaron vid provtillfället var större än 12 procent hölls ett uppföljningstillfälle.

Eleverna gjorde först ett prov och sedan en enkät, vilka båda distribuerades via USB-minnen. Tiden för provet och enkäten var 120 respektive 40 minu-ter. Elevenkäten bestod av två delar, en del med 62 frågor rörande elevernas bakgrund, familje- och hemförhållanden, skola och erfarenheter av under-

Page 52: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

50 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

visningen, samt en del med 15 frågor om elevernas datorvanor. Eleverna besvarade också en för de nordiska länderna gemensam fråga om provmotiva- tion. Total provtid inklusive raster och introduktion var ca 3 timmar och 50 minuter.

Rektor eller en av rektor utsedd person på varje deltagande skola besvarade en skolenkät innehållande 38 frågor om skolan som lokalisering, storlek, resurser, skolklimat och ledning.

Den totala mängden provfrågor var ordnade i 27 kluster: tolv i naturveten-skap, sex i matematik, sex i läsförståelse och tre i gemensam problemlösning.24 Varje kluster har en provtid på 30 minuter, vilket gör den totala provtiden till 13,5 h. Varje elev gör ett tvåtimmarsprov med fyra olika kluster från olika ämnen. Alla elever besvarar två kluster i naturvetenskap vilka kombineras med ett eller två av övriga ämnesområden. Totalt finns 66 olika prov där olika kluster och ämnen kombineras vilket gör det möjligt att se vilket samband det finns mellan elevers kompetens i de olika ämnena. Det omfattande provmate-rialet ger också en god bredd i de kompetenser PISA kan mäta, vilket beskri-vits i de föregående kapitlen. Provdesignen innebär också att det är grupper, skolor och länder som kan jämföras i PISA, inte enskilda elever eftersom dessa gör olika prov.

Datainsamlingen fungerade väl och provledarna rapporterade att det i de allra flesta fall var lugnt under provtillfället och att eleverna uppskattade att göra ett datorbaserat prov. Det internationella konsortiet utbildade tre obero-ende så kallade skolkvalitetsobservatörer. De besökte ett antal skolor i Sverige för att kontrollera att datainsamlingen på skolnivå genomfördes enligt PISA:s regelverk. Inget avvikande rapporterades.

Kodning – ett system för att rätta provetDet finns olika typer av flervalsuppgifter och tillsammans med en del av de öppna uppgifterna bedöms dessa automatiskt. Sedan finns öppna uppgifter som kräver manuell bedömning för att avgöra kvalitén på de skriftliga svaren. I PISA 2015 var det totalt 122 uppgifter med 343 deluppgifter i naturveten-skap, läsning och matematik varav 182 rättades automatisk och 161 bedöm-des manuellt av experter i de olika ämnena.

Elevernas öppna svar rättades av tre grupper, en för varje ämnesområde med undantag för ämnesområdet problemlösning som inte innehåller frågor som kräver öppna svar. Elevsvaren rörande föräldrarnas arbete och arbetsupp-gifter kodades till internationella yrkeskoder. När de kodade frågorna också förts in i systemet och en rad kvalitetskontroller gjorts på materialet, skickades Sveriges databas in för vidare bearbetning.

När uppgifter i PISA rättas används olika koder för att markera om svaret är helt eller delvis korrekt, och det finns också koder för att kunna skilja på olika typer av korrekta eller felaktiga svar. Bedömningen av elevsvar i PISA kallas för att uppgifterna kodas och denna procedur är noggrant organiserad. Alla länder deltar på ett internationellt möte där rättningsmallar och koder gås igenom. I alla deltagande länder sätts sedan grupper samman av bedömare

24 Mer om bakgrunden till och resultat från gemensam problemlösning (Collaborative Problem Solving) presenteras hösten 2017

Page 53: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

51 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

i de olika ämnena. Dessa personer uppfyller krav på specifika ämneskunskaper och har goda kunskaper om ämnesundervisning för aktuell åldersgrupp. Allt kodningsarbete genomfördes för första gången i PISA 2015 helt digitalt.

För att kunna jämföra resultaten mellan deltagande länder och över tid krävs att reglerna för kodning tillämpas på ett likvärdigt sätt inom landet, i de övriga deltagande länderna och på samma sätt som vid de föregående studierna. Därför genomförs multipelkodning av en delmängd elevsvar vilket innebär att flera personer kodar samma svar oberoende av varandra. För att kontrollera överensstämmelsen mellan bedömare i olika länder används engelska elevsvar som är identiska för alla deltagarländer. Efter varje avslutad kodningsdag genomförs reliabilitetskontroller av materialet för att bestämma graden av överensstämmelse inom respektive kodargrupp. Överensstämmelsen mellan bedömare på varje enskild uppgift ska vara 85 procent eller högre och för alla uppgifter tillsammans ska överensstämmelsen vara 92 procent eller högre. Vid dessa kontroller ges också indikationer på eventuella missförstånd i kodargruppen om hur instruktionerna ska förstås eller om någon av misstag glömt att sätta en kod på någon uppgift. Om det visar sig att överensstämmel-sen mellan kodarna är lägre än 85 procent på någon uppgift finns det möjlig-het att på nytt gå igenom uppgiften och dess kodningsinstruktion. Därefter kodas hela uppgiften om. När alla uppgifter har kodats och multipelkod-ningen är avslutad skickas alla kodade elevsvar och reliabilitetsrapporter in till det internationella konsortiet för vidare bearbetning.

Vidare beskrivning av procedurer och metoder som använts i PISA-provet presenteras i olika dokument från skolverket25 och OECD. Ramverket26 och internationella rapporten27 presenteras under 2016 och längre fram kommer också en mer fullständig teknisk rapport.

25 Skolverkets nationella PISA-rapport presenteras 6 december 201626 OECD, 201627 Den internationella PISA-rapporten presenteras 6 december 2016

Page 54: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

52 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

ReferenserBandura, A. (1997), Self-Efficacy: The Exercise of Control, W.H. Freeman and Company, Macmillan Publishers, New York.

Brookhart, S.M. and A.J. Nitko (2011), “Strategies for constructing assess-ments of higher order thinking skills”, in G. Schraw and D.R. Robinson (eds.), Assessment of Higher Order Thinking Skills, IAP, Charlotte, NC, pp. 327–359.

Davis, S.L. and C.W. Buckendahl (2011), “Incorporating cognitive demand in credentialing examinations”, in G. Schraw and D.R. Robinson (eds), Assessment of Higher Order Thinking Skills, IAP, Charlotte, NC, pp. 327–359.

Duschl, R. (2007), “Science education in three-part harmony: Balancing conceptual, epistemic and social learning goals”, Review of Research in Educa-tion, Vol. 32, pp. 268–291, http://dx.doi.org/10.3102/0091732X07309371.

Gardner, P.L. (1975), “Attitudes to Science”, Studies in Science Education, Vol. 2, pp. 1–41.

Klopfer, L.E. (1971), “Evaluation of learning in science” in B.S. Bloom, J.T. Hastings and G.F. Madaus (eds.), Handbook of Formative and Summative Evaluation of Student Learning, McGraw-Hill Book Company, London.

Klopfer, L.E. (1976), “A structure for the affective domain in relation to science education”, Science Education, Vol. 60/3, pp. 299–312, http://dx.doi.org/ 10.1002/sce.3730600304.

Kuhn, D. (2010), “Teaching and learning science as argument”, Science Education, Vol. 94/5, pp. 810–824, http://dx.doi.org/ 10.1002/sce.20395.

National Research Council (2012), A Framework for K-12 Science Education: Practices, Crosscutting Concepts, and Core Ideas, Committee on a Conceptual Framework for New K-12 Science Education Standards, Board on Science Education, Division of Behavioral and Social Sciences and Education, Washington, DC.

Nortvedt, G., Pettersen, A., Pettersson, A., & Sollerman, S. (2016). Is PISA 2012 relevant to mathematics education in Norway and Sweden? Northern lights on PISA and TALIS. Nordic Council of Ministers.

OECD (2009) PISA 2009 Assessment Framework Key Competencies in Reading, Mathematics and Science. Paris: OECD

OECD (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy, PISA, OECD Publishing, Paris.

Osborne, J.F., S. Simon and S. Collins (2003), “Attitudes towards science: A review of the literature and its implications”, International Journal of Science Education, Vol. 25/9, pp. 1049–1079, http://dx.doi.org/10.1080/0950069032000032199.

Page 55: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

53 PISA 2015 – BAKGRUND MED METODER OCH EXEMPEL

Osborne, J.F. (2010), “Arguing to learn in science: The role of collaborative, critical discourse”, Science, Vol. 328/5977, pp. 463–466, http://dx.doi.org/ 10.1126/science.1183944.

Schibeci, R.A. (1984), “Attitudes to science: An update”, Studies in Science Education, Vol. 11, pp. 26–59.

Skolverket (2011). Lgr 11. Läroplan för grundskolan, förskoleklassen och fritidshemmet 2011. Stockholm: Skolverket.

Skolverket. (2013). Digital och traditionell läsning : analys av olika elevgruppers läsning utifrån PISA 2009. Stockholm: Skolverket.

Skolverket. (2013). PISA 2012 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap. Rapport 398. Stockholm: Skolverket.

Skolverket (2015). Med fokus på matematik: Analys av samstämmighet mellan svenska styrdokument och den internationella studien PISA. Stockholm: Skolverket.

Webb, N.L. (1997), “Criteria for alignment of expectations and assessments in mathematics and science education”, Council of Chief State School Officers and National Institute for Science Education Research Monograph, National Institution for Science Education, Washington, DC.

Page 56: PISA 2015 – Bakgrund och metoder med exempel · 1 Programme for International Student Assessment 2 I varje cykel ingår också en fjärde domän och PISA 2015 var det gemensam problemlösning

År 2015 genomfördes för sjätte gången OECD:s internationella kunskapsundersökning, PISA (Programme for International Student

Assessment). Studien har sedan 2000 genomförts vart tredje år och undersöker 15-åriga elevers kunskaper i naturvetenskap, läsförståelse och matematik. Totalt deltog 72 länder eller regioner, däribland samtliga 35 OECD-länder.

Denna rapport beskriver ramverket för naturvetenskap, läsförståelse och matematik och är en svensk sammanfattning av PISA 2015

Assessment and Analytical Framework.Science, Reading, Mathematic

and Financial Literacy, som tagits fram av OECD. Rapporten innehåller också exempel på provuppgifter till eleverna. Rapporten är en bilaga till Skolverkets rapport 450, PISA 2015. 15-åringars

kunskaper i naturvetenskap, läsförståelse och matematik, där några av de viktigaste resultaten från PISA 2015 presenteras med fokus på Sverige.

Denna publikation uttrycker inte nödvändigtvis Skolverkets ställningstagande. Författare svarar självständigt för innehållet och anges vid referens till publikationen.