繽紛多元的數位學習行為分析淺談線上學習活動之行為與內容分析

台灣科技大學工程技術研究所科學教育與數位學習組 侯惠澤 助理教授

為何探究歷程與行為為何探究歷程與行為 ??

行為歷程中哪裡出錯了行為歷程中哪裡出錯了 ??

單看會議記錄是否可以了解單看會議記錄是否可以了解 ??

分析師的工作分析師的工作 -BI-BI 的運用的運用數位學習的運用數位學習的運用 ??

用以診斷學習困難、動機干擾與行為模式用以診斷學習困難、動機干擾與行為模式用以作為自動偵測學習行為並給予適性回用以作為自動偵測學習行為並給予適性回饋的運算饋的運算

現象、文本、詮釋、真相現象、文本、詮釋、真相客觀詮釋學派文本功用客觀詮釋學派文本功用 (Garz, 1994)(Garz, 1994)

導出發現或結果的基本資料導出發現或結果的基本資料各種詮釋分析的基礎各種詮釋分析的基礎發表與溝通結果的核心媒介發表與溝通結果的核心媒介社會科學社會科學 =>=> 文本的科學文本的科學 (Gross, 1981)(Gross, 1981)

再現危機再現危機 (crisis of re-presentation):(crisis of re-presentation): 社會科學可直接捕捉到經驗。當前社會科學可直接捕捉到經驗。當前一般見解偏向於主張生活經驗乃是由研究者書寫的社會文本所創造出之一般見解偏向於主張生活經驗乃是由研究者書寫的社會文本所創造出之產物產物質疑文本與經驗的關連質疑文本與經驗的關連 (Denzin & Lincoln, 2000)(Denzin & Lincoln, 2000)

社會建構論觀點社會建構論觀點 :: 只有經過選擇與詮釋後，事實才具有關連性，拒絕外只有經過選擇與詮釋後，事實才具有關連性，拒絕外在真實假設，參與者藉由附加在特定事件或事物之意義從而主動創造出在真實假設，參與者藉由附加在特定事件或事物之意義從而主動創造出真實，若社會研究要處理社會真時就不可避免必須面對參與者主動附加真實，若社會研究要處理社會真時就不可避免必須面對參與者主動附加意義的運作意義的運作

QCA ProcedureQCA Procedure

艱難的內容分析範例艱難的內容分析範例 ~~

Building coding systemBuilding coding system

Data collectionData collection Observation Observation

(( 需考慮評分者一致性需考慮評分者一致性 )(Kappa))(Kappa)

Data analysisData analysis

QCAQCA 相關議題相關議題 QCAQCA 為一個有前景的研究方式，但是依然在資料可靠性為一個有前景的研究方式，但是依然在資料可靠性上受到質疑，且最終討論到整個研究的效度上受到質疑，且最終討論到整個研究的效度 (validity)(validity) 問題問題，也就是說，該類研究如何說服讀者運用，也就是說，該類研究如何說服讀者運用 QCAQCA 程序所進程序所進行的推論可靠，且提供實徵的證據與理論的基礎。行的推論可靠，且提供實徵的證據與理論的基礎。舉例而言舉例而言 :: 如果以如果以 QCAQCA 來陳述互動的情形來陳述互動的情形 (( 如學生的討論如學生的討論次數次數 )) ，是較可信的，但是，若要據此推論，是較可信的，但是，若要據此推論 (( 如如 :: 用前述用前述的資料推論學生批判思考的程度的資料推論學生批判思考的程度 )) ，就較難很明確。，就較難很明確。

整理自 Rourke L., & Anderson, T. (2004). Validity in Quantitative Content Analysis, Educational Technology, Research and Development, 52(1), 5-18.

QCAQCA 相關議題相關議題 Identifying Behaviours That Represent theIdentifying Behaviours That Represent the ConstructConstruct 當確定了目的之後，接著就是要確認該所要觀察行為可以當確定了目的之後，接著就是要確認該所要觀察行為可以呈現出所要探討的構想，也就是要檢驗確定是否有囊括了呈現出所要探討的構想，也就是要檢驗確定是否有囊括了不恰當的行為或遺漏了應觀察的行為。應由多面向去觀察不恰當的行為或遺漏了應觀察的行為。應由多面向去觀察，不應僅由單面向去決定所要觀察的行為。，不應僅由單面向去決定所要觀察的行為。 (( 例如例如 :: 要了要了解行動參與與其他變項的關係解行動參與與其他變項的關係 ..)..)

經常用於增加經常用於增加 QCAQCA 構想代表性的方式有文獻探討與質化構想代表性的方式有文獻探討與質化的內容分析等，或的內容分析等，或 critical incident technique(critical incident technique( 關鍵事件找關鍵事件找尋技巧尋技巧 ) (Flanagan, 1954) ) (Flanagan, 1954) 或口語分析或口語分析 (protocol (protocol analysis) ( Ericsson & Simon, 1993)analysis) ( Ericsson & Simon, 1993) 等等

整理自 Rourke L., & Anderson, T. (2004). Validity in Quantitative Content Analysis, Educational Technology, Research and Development, 52(1), 5-18.

QCAQCA 相關議題相關議題

進階效度的檢核進階效度的檢核問卷問卷訪談訪談質化文本分析質化文本分析效標關聯分析效標關聯分析多元編碼交互解釋多元編碼交互解釋運用已運用過的編碼表運用已運用過的編碼表

結構論的基本假設結構論的基本假設 Sleeper effect (Hovland et al.,1949) Sleeper effect (Hovland et al.,1949) Discounting cue Discounting cue 假設假設 :: 說服者的負面特性成說服者的負面特性成為訊息打折扣的線索，人們可能將內容與傳遞為訊息打折扣的線索，人們可能將內容與傳遞者分別儲存而遺忘此傳遞者者分別儲存而遺忘此傳遞者

態度測量要與其所預測之行為在行動、目標、態度測量要與其所預測之行為在行動、目標、脈絡、時間四項因素的聚題程度上處於同一層脈絡、時間四項因素的聚題程度上處於同一層次才具有預測性次才具有預測性 (Ajzen & Fishbein, 1977)(Ajzen & Fishbein, 1977)

每個個體每個個體 ((無論是否為研究者無論是否為研究者 ))皆有其各自的皆有其各自的本體論觀點、知識論觀點與方法論觀點，因此本體論觀點、知識論觀點與方法論觀點，因此研究者的互動與詮釋應更多元研究者的互動與詮釋應更多元 (( 假設假設 ))

理論取徑理論取徑 ::區隔經驗與行動表層與其深層結構，區隔經驗與行動表層與其深層結構，探索其隱性結構探索其隱性結構 ((潛意識潛意識 ))

結構論的基本假設結構論的基本假設 客觀詮釋之說明客觀詮釋之說明 於可重建的法則基礎上，互動文本形成客觀意義結構，這於可重建的法則基礎上，互動文本形成客觀意義結構，這些意義結構再現或表達互動本身的隱性結構些意義結構再現或表達互動本身的隱性結構 (latent (latent structures)structures) ，此等客觀意義結構獨立存在，不受具體參與，此等客觀意義結構獨立存在，不受具體參與互動之個人對於該互動之意向之影響互動之個人對於該互動之意向之影響 (Oevermann et al., (Oevermann et al., 1979)1979)

如如 :ant, PSO:ant, PSO 演算法、演算法、 structural protein structural protein 語言分析、嚴格之序列分析介入，以一定程度語言分析、嚴格之序列分析介入，以一定程度表現其客觀結構表現其客觀結構

小敘事、小理論之蒐集並加以量化客觀詮釋小敘事、小理論之蒐集並加以量化客觀詮釋 多面向的內容分析多面向的內容分析與與視覺化行為模式視覺化行為模式呈現呈現 序列行為分析序列行為分析 ::補充質量研究之侷限補充質量研究之侷限 (( 如如 ::量量化成效分析之疑點與質化詮釋之主觀性與代表化成效分析之疑點與質化詮釋之主觀性與代表性限制性限制 ))

序列分析是什麼序列分析是什麼 ??

Analysis a behavioral sequence Analysis a behavioral sequence (ex. ABABCBEBABAEDBD…)(ex. ABABCBEBABAEDBD…)

A method of sequential analysis (Bakeman & A method of sequential analysis (Bakeman & Gottman, 1986 ; Gottman, Markman, & Gottman, 1986 ; Gottman, Markman, & Notarius, 1977)Notarius, 1977)Lag sequential analysis is the examination of Lag sequential analysis is the examination of whether particular sequences of behavior whether particular sequences of behavior occur more or less frequently than would be occur more or less frequently than would be expected by chance.expected by chance.It could examine the sequence that a It could examine the sequence that a particular target event would occur particular target event would occur subsequent to a given event having already subsequent to a given event having already occurred.occurred.

序列分析圖範例序列分析圖範例

Hou, H. T., Chang, K. E., & Sung, Y. T. (2008). Analysis of Problem-Solving Based Online Asynchronous Discussion Pattern. Educational Technology & Society. 11(1), 17-28.

序列分析步驟序列分析步驟Building coding systemBuilding coding system

Data collectionData collection Observation (Observation ( 需考慮評分者一致性需考慮評分者一致性 )(Kappa))(Kappa) Web logsWeb logs

Data analysisData analysis Frequency of BehaviorsFrequency of Behaviors Conditional Probability CalculationConditional Probability Calculation Expected frequenciesExpected frequencies Z-Score CalculationZ-Score Calculation Draw Transitional DiagramDraw Transitional Diagram