科學素養新式評量 種子教師進階研習

研習簡介---內容

• 科學素養新式評量試題體驗實作

• 科學素養新式評量架構與例題說明

• 評分規準的建立與評分練習

• 線上評量施測操作說明

進階研習課程：科學素養新式評量問題探究與解決體驗實作、評析並編製科學素養新式評量試卷

對象：已取得初、中階研習時數，且對於在教學應用上有興趣者。

研習大綱

• 體驗科學素養測驗與命題向度分類

• 如何設計非選擇題評分標準？

• 非選擇題閱卷實作

• 科學素養測驗操作實務

Therefore the view of scientific literacy which forms the basis for the 2015 international assessment of 15-year-olds is a response to the question: What is important for young people to know, value, and be able to do in situations involving science and technology ?

PISA : citizens (2012) → young people (2015 )

From : PISA 2015 DRAFT SCIENCE FRAMEWORK( MARCH 2013),p.4

PISA 科學素養

5

PISA 2015 科學素養的定義如下：

科學素養是身為一個反思的公民，具有以科學的觀點從事科學相關議題的能力。

因此有科學素養的人，願意從事理性論述科學與科技議題，則須具備以下能力：

1.科學地解釋現象； 2.評估與設計科學探究活動；

3.科學地詮(解)釋數據與證據。 From : PISA 2015 DRAFT SCIENCE FRAMEWORK( MARCH 2013),p.7

PISA 2006~12 科學素養評量架構

情境(Context) 包含科學與科技的生活情境

能力(Compentencies)

•辨識科學議題 Identifying scientific

issues

•科學地解釋現象 Explain phenomena

scientifically

•運用科學證據 Using scientific

evidence

知識(Knowledge) •關於自然世界

(knowledge of science) •關於科學本身

(knowledge about science)

態度(Attitudes) 對於科學議題的回應 ：興趣、科學探究 (調查)的支持、責任

Requires you to:

How you do so is influenced by:

From : PISA 2012 framework e-book_final

PISA 2015 科學素養評量架構 (Framework for PISA 2015 Scientific Literacy Assessment)

情境(Contexts) •個人的 •地區的/國家的 •全球的

能力(Compentencies)

•科學地解釋現象 Explain phenomena scientifically.

•評估與設計科學探究活動 Evaluate and design scientific enquiry.

•科學地詮釋數據與證據 Interpret data and evidence scientifically.

知識(Knowledge)

•學科內容(Content)

•程序的(Procedural)

•認識的(Epistemic)

態度(Attitudes)

•對科學的興趣

•衡量科學探究的方法

•環境的覺察

Requires individuals to display :

How an individual does

this is influenced by:

From : PISA 2015 DRAFT SCIENCE FRAMEWORK( MARCH 2013),p.12

Explain phenomena scientifically （科學地解釋現象）

Recognise, offer and evaluate explanations for a range of natural

and technological phenomena demonstrating the ability to:

• Recall and apply appropriate scientific knowledge;

• Identify, use and generate explanatory models and representations;

• Make and justify appropriate predictions;

• Offer explanatory hypotheses;

• Explain the potential implications of scientific knowledge for society.

PISA 2015 competencies (1)

8

科學地解釋現象 （Explain phenomena scientifically）

針對一系列自然與科技性現象作再認、提供與評估解釋的能力，包括： 1-1 回憶與應用合適的科學知識 1-2 辨識、使用與產生解釋性的模型及表徵 1-3 產生並證明合適的預測 1-4 提供解釋性的假說 1-5 解釋社會中科學知識的潛在影響

PISA 2015 competencies (1)

9

Evaluate and design scientific enquiry （評估與設計科學探究活動）

Describe and appraise scientific investigations and propose ways

of addressing questions scientifically demonstrating the ability to:

• Identify the question explored in a given scientific study;

• Distinguish questions that are possible to investigate scientifically;

• Propose a way of exploring a given question scientifically;

• Evaluate ways of exploring a given question scientifically;

• Describe and evaluate a range of ways that scientists use to ensure the

reliability of data and the objectivity and generalisability of explanations.

PISA 2015 competencies (2)

10

評估與設計科學探究活動 （Evaluate and design scientific enquiry）

描述與評估科學調查活動，並提出可解決問題的科學方法，包括： 2-1 辨識出科學研究中所探索的問題 2-2 區分出能進行科學調查的問題 2-3 提出一個能進行科學探索的方法 2-4 評估進行科學探索的方法 2-5 敘述與評估一系列科學家用以確認資料的信度與解釋的客觀性

和一般性之方法

PISA 2015 competencies (2)

11

Interpret data and evidence scientifically （科學地詮 (解)釋數據與證據）

Analyse and evaluate scientific data, claims and arguments in a variety of representations and draw appropriate conclusions demonstrating the ability to: • Transform data from one representation to another; • Analyse and interpret data and draw appropriate conclusions; • Identify the assumptions, evidence and reasoning in science-related texts; • Distinguish between arguments which are based on scientific evidence and

theory and those based on other considerations; • Evaluate scientific arguments and evidence from different sources (e.g.

newspaper, internet, journals).

PISA 2015 competencies (3)

12

科學地詮 (解)釋數據與證據 （Interpret data and evidence scientifically）

利用一系列表徵進行分析並評估科學數據、主張與論證，並產生合適推論的能力，包括： 3-1 將數據作不同表徵的轉換 3-2 分析與解釋數據，並產生合適的推論 3-3 在科學相關的文本中，辨識出假說、證據與推理 3-4 區分出以科學證據和理論為基礎的論證，或以其他考量因素為

基礎的論證 3-5 透過不同來源（如：新聞、網路、期刊）評估科學論證與證據

PISA 2015 competencies (3)

13

Content knowledge

PISA：

現實生活情境中的關連性

has relevance to real-life situations;

重要的科學概念，且具有持久的效用

represents an important scientific concept or major

explanatory theory that has enduring utility;

適合15歲學生的發展水準

is appropriate to the developmental level of 15-year-olds.

14

PISA 「國際學生能力評量計畫」 • PISA 2006 主測科學素養（閱讀、數學為輔）

• 臺灣學生科學素養總排名第 4 名

• 科學素養能力分項排名：

2006 2015

辨識科學議題 (第17名) 評估與設計科學探究活動

科學地解釋現象(第3名) 科學地解釋現象

運用科學證據 (第8名) 科學地詮釋數據與證據

科學素養 1.解釋現象 Explain phenomena scientifically

E1. 回憶和應用科學知識

E2. 提出和評估預測

E3. 提出和評估假說

2.研究設計 Evaluate and design scientific enquiry D1. 辨認問題是否是科學的

D2. 研究方法已知，認出該方法所要探索的問題

D3. 研究問題已知，提出和評估探索該問題的方法

3.詮釋證據 Interpret data and evidence scientifically I1. 將資料以不同的方式（如：文字、圖、表）來表達

I2. 分析、詮釋資料、並形成結論

I3. 認出和評估在結論背後的假設、證據和推理 16

設計實驗或 探究活動

產生與 紀錄資料

分析資料

形成結論

提出研究問題 建立假說

提出預測

遭遇待解釋的現象

提取知識

對事物分類

17

科學探究

(臺師大科教中心 李哲迪教授)

體驗科學素養測驗與命題向度分類

103年度「科學素養新式評量種子教師進階研習」答案紙

P.1 體驗科學素養試題──科學素養線上施測及命題向度分類

進階研習手冊學員版答案紙A4_1030507修正版.docx進階研習手冊學員版答案紙A4_1030507修正版.docx

如何設計非選擇題評分標準？

評分規準的制定

評量規準(Scoring Rubrics)

Rubrics：學習成果評量指標

• 評分規準(scoring rubrics)：美國視導與課程發展協會(ASCD)：「一個列有工作或計分規準的評量工具。」

• 基準(criteria，標準standard) ：不同的觀察層面、向度或項目，通常與教學目標有關。

• 規準：用「量化」或「質性描述」表示學生的學習成果或表現程度具體情形，並以文字、數字、符號表示其等第(quality)。

功能：公平、有效率、學習回饋

PISA 試題類型：題組

2006 ｜

2012

選擇題（Simple multiple-choice）

多重是非題（Complex multiple-choice）

封閉式問答題（Closed constructed-response）

開放式問答題（Open constructed-response）

2015

單一選擇題（Simple multiple-choice）

多重選擇題（Complex multiple-choice）

建構反應題（Constructed response）

21

PISA 科學試卷計分規範 • S114 溫室效應：

問題3、問題5（PISA 2006 臺灣學生答對率：0.30）

• S485 酸雨：

問題5(PISA 2006 臺灣學生答對率：0.41)

• S195 賽邁爾維斯日記：

問題2(2011樣本試題施測學生答對率：0.23)、問題5

• S253 臭氧：

問題1(2011樣本試題施測學生答對率：0.27) 、問題5

資料來源：1. PISA 2006科學樣本試題 (中文版含評分規準) (中文翻譯版權所有：國立台南大學) 2. 2012_PISA科學應試指南 p.9

科學樣本試題(中文版含評分規準).pdf科學樣本試題(中文版含評分規準).pdf科學樣本試題(中文版含評分規準).pdf科學樣本試題(中文版含評分規準).pdf科學樣本試題(中文版含評分規準).pdf科學樣本試題(中文版含評分規準).pdf2012_PISA科學應試指南.pdf2012_PISA科學應試指南.pdf2012_PISA科學應試指南.pdf2012_PISA科學應試指南.pdf2012_PISA科學應試指南.pdf2012_PISA科學應試指南.pdf

PISA 評分規準

採用「滿分—Full Credit 」、「部分分數—Partial Credit 」、「零分—No credit」或「沒有作答(空白)—Missing」取代「正確」或「錯誤」

有些問題根本沒有所謂「正確」答案；更確切地說，應以學生對問題中的文本或有關主題的理解程度作為評分標準。

「滿分」的答案並不一定只包括完全正確或完美的答案。

零分並不代表學生的答案全錯；而滿分也不代表答案是完美或趨近完美。

真正的得分是在統計分析後才決定的。

23

PISA閱卷說明(公開版)_臺南大學

評分標準的制定

• 寫出完整答案的內容，或盡量列舉可能的答案類型(可加入學生作答的合理答案)

• 依據前述已寫出的答案摘錄出數點重要的概念或解釋或理由或依據或證據等作為「評分要件」。

• 依據評分要件做部分給分的規劃

• 若無作答或作答不正確，則以零分計。

• 列出學生作答舉例

24 (臺師大科教所 許瑛玿所長)

借鏡他山－－試題實例

美國- • 化學反應(馬里蘭州) • 細胞(蒙大拿州) • 月相 (緬因州)

25

• 化學反應p.6(馬里蘭州)

A student mixed two substances together and concluded that a chemical reaction had taken place. Explain how the student was able to conclude that a chemical reaction occurred. In your explanation, be sure to include • evidence that would support the student's conclusion. 一位學生將兩種物質混合在一起後，然後做出此兩物質發生化學反應的「推論」。請解釋此位學生為何能夠推論出發生化學反應。 ‧在你的解釋中，必須確定包含支持此位學生推論的證據。

26

link/Maryland 08Gr8_Chemical reaction_CRS.pdflink/Maryland 08Gr8_Chemical reaction_CRS.pdf

TIMSS 2011 (Grade 8)

Ahmet put some powder into a test tube. He then added liquid to the powder and shook the test tube. A chemical reaction took place. Describe two things he might observe as the chemical reaction took place. Ahmet在試管中放了一些粉末。他接著加入液體至試管中並搖動試管。試管內發生了某種化學反應。 描述當化學反應發生時，他可能會觀察到的兩種現象。

27

Taiwan ：Full Credit 44 % (rank 4)

•細胞 p.10(蒙大拿州)

Plant and animal cells have similarities and differences.

植物和動物細胞有相同與相異處。

a. Describe in detail two ways plant and animal cells are similar. 詳細描述植物和動物細胞在2種方面的相似處

b. Describe in detail two ways plant and animal cells are different。 詳細描述植物和動物細胞在2種方面的相異處

28

link/Montana 09Gr8_Science CR.pdflink/Montana 09Gr8_Science CR.pdflink/Montana 09Gr8_Science CR.pdf

• 月相p.3 (緬因州)

The diagram below shows different phases of the Moon. a. Describe the Moon’s phases as seen from Earth when the Moon is

at positions P and Q. b. Explain why the Moon has different phases. 下圖中顯示不同的月相。

a. 當月球在P與Q位置時，試描述從地球看到的月相。 b.解釋為什麼月球會有不同的月相。

29

link/Marine 11Gr8_Science CRS.pdflink/Marine 11Gr8_Science CRS.pdflink/Marine 11Gr8_Science CRS.pdf

科學報告(以A4紙單面為原則)

1.生活中的化學藥品

•來源

•名稱

•性質

•用途

•感想——結論與反思

•參考資料

2.主題研究

•動機

•研究內容

•感想——結論與反思

•參考資料

30

科學報告——質性描述

31

表現 項目

4 (優秀)

3 (良好)

2 (可以)

1 (待改進)

格式 • 項目、字數

完全符合 大部分 符合

少部分 符合

不符合 (重寫補交)

內容 • 組織、邏輯

內容豐富，組織清晰，觀念正確，且連結間非常有條理。

內容適切，組織清晰，觀念正確 ，但連結間稍有不足。

內容尚可，組織稍亂，部分觀念不正確，連結間亦不足。

內容貧乏，缺乏組織，觀念錯誤 。

感想 • 對主題展現深度的理解

深具洞察力、敏銳性的結論與反思

具有意義 、細心的結論與反思

具簡單、一般性的結論與反思

僅有一些或沒有個人的結論與反思

評分規準的建立與評分練習 評分標準設計實作 非選擇題閱卷實作

一、擬定評分標準：請嘗試以體驗試題「造雲趣第2題」與「光的折射二第4題」，設計出「評分標準」。此評分標準應包含： 1.正確及錯誤的評分要件 2.參考答案 • 20分鐘後進行分組報告，每組10分鐘。

二、閱卷實作：題目同上。

32

狀況處理

•如果學生的答案沒有辦法事先推測

1. 透過試測來蒐集答案類型。

2. 分析學生的作答資料，將答案合併和分類。

3. 根據分析的結果寫出評分要件。

33

PISA科學素養與教學評量(教育會考)

PISA 2006 ~ 2012 科學素養排名

Rank 2006(主測科學) 2009(主測閱讀) 2012(主測數學)

1 芬蘭 563 上海 575 上海 580 2 香港 542 芬蘭 554 香港 555 3 加拿大 534 香港 549 新加坡 551 4 臺灣 532 新加坡 542 日本 547 5 愛沙尼亞 531 日本 539 芬蘭 545 6 日本 531 韓國 538 愛沙尼亞 541 7 紐西蘭 530 紐西蘭 532 韓國 538 8 澳大利亞 527 加拿大 529 越南 528 9 荷蘭 525 愛沙尼亞 528 波蘭 526

10 列支敦斯登 522 澳大利亞 527 加拿大 525 11 韓國 522 荷蘭 522 列支敦斯登 525 12 斯洛維尼亞 519 臺灣（-8） 520 德國 524 13 德國 516 德國 520 臺灣（-1） 523 14 英國 515 列支敦斯登 520 紐西蘭 522 臺灣 閱讀(16)、數學(1) 閱讀(23)、數學(5) 閱讀(8)、數學(4)

35

PISA 2009 各國科學素養水準人數比例

投影片取自台灣PISA 2009結果報告(2010)，PISA國家研究中心

11.1 3.2 6.3 6 6.6

11.5 10.7 9.6 18

8.8

24.3 11.6

18.7 16.2 19.9 17 4.7 8.5

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

臺

灣

上

海

韓

國

芬

蘭

香

港

新

加

坡

日

本

澳

門

O

E

C

D

水準6

水準5

水準4

水準3

水準2

水準1

未達水

準1

註：數字顯示為未達水準2和水準5以上 (18)

36

PISA 2012 各國科學素養水準人數比例

圖片取自 pisa-2012-results-volume-I，p.232 (2013),OECD. 37

日本 新學習指導要領

学力の３つの要素

• 基礎的・基本的な知識・技能

• 知識・技能を活用して課題を解決するために必要な思考力・判断力・表現力等

→ 言語活動を通した

• 主体的に学習に取り組む態度 → 学習意欲

省思：科學教學與學習

現行審定本教材的「內容」是否不足？

教師的教學與評量是否過度強調「知識面」？

科學教學中，「學生動手實驗」是否受到支持？

教師的教學與評量，提高了學生學習科學的「興趣與成就感」，還是 「焦慮與挫折感」？

How to Read(do) Science？ • Learn to read , Read to learn. • 提昇學生實驗操作、過程技能、問題解決、思考……等能力 • Students must know not only what but also how and why.

39

(祁明輝)

班級有效教學/活化、差異化教學

確立清晰的教學目標 • 所有的教學活動，皆是為了達成教學目標而設計與實施 ，不要只為了「熱鬧」而活動。

• 有時學習不一定是教學的「結果」

瞭解學生的先備能力

具備專業的學科知識

熟悉概念架構與教學策略 概念架構—核心概念由淺入深、由具體到抽象……

教學策略—講述、提問引導、討論、實驗觀察與操作、科學探究、POE(C)、5E learning cycle、分組合作學習、學習共同體、翻轉教學……

40

有效教學的意涵(518研習之一)

有效教學就是應用適切教學策略，達成預期教學目標。

包含教學的效能(effectiveness)與效率(efficiency) 。

•教學效能指教學目標之達成；

•教學效率指教學條件之有效規劃及教學資源之有效應用。

可在最少資源下，有效率達到目標。

41

(摘錄自新竹縣辦理「教育部委託辦理建置有效教學支援平台實施計畫」作業要點101.12.28)

規劃有目的、有系統的教學內容、流程，完成教學準備

使用多元化的教學策略與方式

規劃有目標的學習活動與探究實驗

連結與融入生活經驗與實例

提出有效問題

善用教具與科技產品

運用國內外教學媒體、書籍與網路資源

給予適量的練習、作業或報告

採取適當的評量方式

結合不同領域的相關題材

42

規劃與設計多元化、有意義的實驗(探究)與教學活動

43

(祁明輝)

動手做實驗 • 科學思維：發現→探究→歸納(原理、原則)

44

國中科學奧賽奪冠 實驗待加強【印度普恩11日專電】2013/12/11

2013 年國際國中科學奧林匹亞競賽中華民國總排名奪冠。但代表團領隊張永達指出，學生在實驗操作方面經驗不足，學校教育課程安排是否有需修改之處，值得思考。

張永達告訴中央社記者，代表團 6 名學生理論成績不但名列前茅，甚至領先其他代表團一大截，但實驗操作的部分因欠缺經驗，並未拿到任何獎牌。他認為，「我們可能要從整體教育環境去思考，學校教育和課程安排上，是不是有需要修改的地方」。

張永達認為，6 位同學實驗操作項目雖然經驗不足，但成績在中上程度，因此總成績仍可奪冠，「如果實驗稍微困難一點，我們的學生又訓練不夠的話，單靠理論題的成績表現，也許將來要維持『多金』的情況，可能會比較困難」。

教師教學

教學目標(學習結果)——評量的基礎

45

教育目標 帶著走的能力

學生學習

提昇教學與學習成效

評量

作業與評量

兼顧高低層次學生的學習，可彈性調整「作業」與「評量」

• 核心概念——一定要學會的

• 基本能力——一定要具備的

• 檢驗學習結果與挑戰

46

教育會考自然科等級描述 等級103

考試科目 精熟 ○：46~54

46~49,50~51,52~54

基礎 ○：19~45

19~27,28~35,36~45

待加強 ○：0~18

自然

能融會貫通學習內容，並能運用所培養的能力來解決需要多層次思考的問題。

能知道及理解學習內容，並能運用所培養的能力來解決基本的問題。

能部分知道及理解學習內容。

http://cap.ntnu.edu.tw/score_1.html

http://cap.ntnu.edu.tw/score_1.htmlhttp://cap.ntnu.edu.tw/score_1.htmlhttp://cap.ntnu.edu.tw/score_1.htmlhttp://cap.ntnu.edu.tw/score_1.html

103國中會考自然科試題題型分析

分析細項 生物 理化 地科 合計 圖表題 9 21 10 40

實驗題 1 10 0 11

計算題 0 10 0 10

生活題 3 9 1 13

時事題 1 1 0 2

環保題 1 1 0 2

創新題型 3 0 1 3

103教育會考自然科

但在班級教學中，評量應依概念層次出題(題組)，以診斷學生的問題： 1) 甲、乙兩電阻為串聯，還是並聯？ 。 2) 經過甲電阻電流的大小為 A；經過乙電阻的電流大小為 A。 3) 甲電阻兩端的電壓大小為 V；乙電阻兩端的電壓大小為 V。 4) 甲、乙兩電阻大小各為多少歐姆？試列出計算過程，並註明單位。

結語：關於紙筆評量的建議

•短期目標：

除辦理「適量」的紙筆測驗外，先在作業、測驗(平時小

考與定期考試)中加入非選擇題——不僅是填充或計算，

最好包含如實驗操作相關問題、過程技能、問題解決、

邏輯與批判性思考……等類型試題；且不要以日常紙筆

測驗成績佔平時成績的「大部分」比例。

願您的光與熱， 成為學生的明燈與動力。

52

敬請指教 有緣再見