智慧學習產業整合輸出計畫高階專技培育模式智慧化分項計畫高 … ·...

經濟部工業局 106 年度專案計畫

智慧學習產業整合輸出計畫

高階/專技培育模式智慧化分項計畫

高階/專技培訓服務雛型系統測試報告

主辦單位：經濟部工業局

執行單位：財團法人資訊工業策進會

中華民國 106 年 10 月 30 日

i 本研究報告之著作權屬於經濟部工業局所有，非經允許，不得以任何形式散布、轉載、複製或利用。

目錄

壹、系統測試說明……………………………………………………………………3

貳、系統概要…………………………………………………………………………4

一、架構與流程……………………………………………………………………5

二、介面規格設計…………………………………………………………………6

三、系統開發環境………………………………………………………………11

參、系統功能測試…………………………………………………………………11

一、系統功能測試………………………………………………………………12

二、系統穩定性與效能測試……………………………………………………17

ii 本研究報告之著作權屬於經濟部工業局所有，非經允許，不得以任何形式散布、轉載、複製或利用。

圖目錄

圖 1、學習科技發展趨勢…………………………………………………………2

圖 2、學習科技發展指標…………………………………………………………2

圖 3整體測試流程圖••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••3

圖 4高階/專技培訓服務雛型系統方塊圖••••••••••••••••••••••••••••••••••••••••••••••••••••••••••4

圖 5高階/專技培訓服務雛型系統軟體架構圖••••••••••••••••••••••••••••••••••••••••••••••••••5

圖 6高階/專技培訓服務雛型系統體感互動介面••••••••••••••••••••••••••••••••••••••••••••••6

圖 7高階/專技培訓服務雛型系統虛擬人物教學內容範例活動說明•••••••••••••••6

圖 8高階/專技培訓服務雛型系統虛擬人物教學內容範例問答題目•••••••••••••••7

圖 9高階/專技培訓服務雛型系統虛擬人物教學內容範例問答選項•••••••••••••••7

圖 10高階/專技培訓服務雛型系統虛擬人物教學內容範例問答活動結束•••••••8

圖 11高階/專技培訓服務雛型系統頭部姿態顯示介面•••••••••••••••••••••••••••••••••••••8

圖 12高階/專技培訓服務雛型系統頭部姿態計算範例 1••••••••••••••••••••••••••••••••9

圖 13高階/專技培訓服務雛型系統頭部姿態計算範例 2••••••••••••••••••••••••••••••••9

圖 14高階/專技培訓服務雛型系統情緒辨識範例 1•••••••••••••••••••••••••••••••••••••••10

圖 15高階/專技培訓服務雛型系統情緒辨識範例 2•••••••••••••••••••••••••••••••••••••••10

iii 本研究報告之著作權屬於經濟部工業局所有，非經允許，不得以任何形式散布、轉載、複製或利用。

表目錄

表 1測試紀錄表(表單代號：001) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••12

表 2測試紀錄表(表單代號：002) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••13

表 3測試紀錄表(表單代號：003) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••14

表 4測試紀錄表(表單代號：004) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••15

表 5測試紀錄表(表單代號：005) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••16

表 6測試紀錄表(表單代號：006) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••17

表 7測試紀錄表(表單代號：007) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••18

表 8測試紀錄表(表單代號：008) •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••19

1 本研究報告之著作權屬於經濟部工業局所有，非經允許，不得以任何形式散布、轉載、複製或利用。

前言

學習科技領域藉由感測技術的成熟及人工智慧、雲端運算技術及巨量資料

處理技術的蓬勃發展，加速產業訓練智慧化同時帶動銷售產值。2017 年

Gartner發表的學習科技發展趨勢報告顯示，Affective Computing in

Education 與 Artificial Intelligence Education Applications 相關科技

發展即將進入 peak of inflated expectation(如圖一所示)，未來五年至十年

間將會是國內外產業界與學界發展的重點(如圖二所示)。

有鑒於此，未來擬針對專業訓練領域，透過整合人類行為分析技術，計算

影像、語音、文字以及生理訊號(腦波、體溫、脈搏)等相關人類行為訊號的特

徵與狀態，建置高可信度、可複製性及可擴展性的系統，將人類的主觀感知機

制自動化，進一步協助教育、醫療相關領域的從業人員進行決策。南加大資通

訊中心將此技術應用在創傷治療應用中，整合多重信號分析進行患者心理健康

評估。另外，麻省理工學院多媒體實驗室長期深根情感分析，研發穿戴式情緒

感知裝置，收集生理訊號並建立情緒模式，進而導入人工智慧技術發展智慧化

與有效的人機介面。

傳統課程的教學模式，僅能分辨出哪位學生對於目前課程掌握得較為迅

速，而不能得知學生學習行為與非認知能力變化；教學者也不易設計與提供適

性化學習方案。未來可透過結合感測裝置匯集學生身理資訊，例如臉部表情、

肢體動作、腦波變化等，再藉由整合 ICT軟硬體的新興技術與創新的學習模式

研發培訓雛型系統，以提升高階/專技培訓體系的效率、效益與效果。除了知識

能力的提升之外，更進一步針對學員的非認知能力進行評測，發展便利、即

時、適性化的學習環境解決方案，提供教學者與學習者真實、有感的教學互動

體驗。並且運用新媒體載具研發「高階/專技培訓服務雛型系統促進學習產業發

展創新產品，或進一步形成新興產業鏈，提供智慧化校園之運用，使其具有指

標性。


資料來源：Gartner (106.7)

圖 1、學習科技發展趨勢

資料來源：Gartner (106.7)

圖 2、學習科技發展指標


壹、系統測試說明

整體應用系統測試包含系統功能測試、系統穩定性測試、系統效能測

試及系統安全性測試。整體測試流程如下圖一所示：

資料來源：本計畫研發團隊(106.10)

圖 3整體測試流程圖


貳、系統概要

本雛型系統為整合新型態的人機互動模式以及人類主觀感知機制自動

化機制，開發適用於下世代數位學習情境的高階/專技培訓服務雛形系統。

系統架構如圖二所示，分為虛擬人物互動子系統以及人類行為分析子系

統。本雛型系統的體感擷取裝置採用微軟出產的 Kinect。

Kinect為一深度影像資訊感測器，有三個鏡頭，中間的鏡頭是 RGB

彩色攝影機，左右兩邊鏡頭則分別為紅外線發射器和紅外線 CMOS 攝影機

所構成的 3D結構光深度感應器。Kinect也內建陣列式麥克風，由多組麥

克風同時收音，比對後消除雜音。並可以搭配 Kinect for Windows SDK 或

OpenNI的軟體開發框架擷取使用者的骨架資訊，同時也可以因應不同主題

需求，具備結合其他軟體函式庫之擴充性。


圖 4 高階/專技培訓服務雛型系統方塊圖


一、架構與流程

人類行為分析子系統方塊圖如圖 4-1所示，本系統透過電腦視覺及機器

學習技術得到學員的行為資訊，分別為人臉身份辨識、頭部姿態辨識，

人臉表情辨識以及人體姿態辨識。課堂氣氛管理系統透過影像視訊分析

辨識學生在課堂中的行為。影像資訊可以分成彩色影像資訊以及深度影

像資訊兩種。本系統使用 dlib函式庫提供的功能計算學生臉部特徵與頭

部姿態等資訊。系統經由 HOG特徵擷取，影像金字塔和滑動視窗檢測方

法在畫面中找尋臉部位置。在找到臉部區塊後經由機器學習訓練人臉五

官與輪廓標籤的辨識模型，可以得到使用者臉部 68個特徵標籤。系統透

過將人臉影射到 128個維度的向量空間中，將使用者與資料庫中的測試

人臉影像進行特徵空間中的距離比對，尋找最靠近的測試人臉作為人臉

身份辨識的方法。系統透過 SVM機器學習演算法訓練人臉表情辨識的模

型分類開心的表情與平常的表情。經由臉部特徵點(鼻尖、下巴、左眼左

側、右眼右側、左邊嘴角、右邊嘴角)與通用臉部立體模型的對應可以得

到使用者頭部方向的即時資訊。本系統透過 Kinect深度影像感測器得到

鏡頭前使用者的人體骨架，再經由 KNN演算法對使用者的姿態進行分

類，得到上半身驅(舉手與否)與下半身軀(坐著或站著)的狀態。


圖 5高階/專技培訓服務雛型系統軟體架構圖


二、介面規格設計

在高階/專技培訓服務雛型系統開發上，預計將使用者的臉部表情、

頭部姿態、肢體動作、語音訊號波型及語音辨識結果相關資訊透過儀表

板做初步資料處理，視窗程式以 C++進行建置，並進行動態統計圖表製

作。數據影像資料透過行動網路或 Wi-Fi將資料即時傳輸至雲端伺服

器。並將人機互動以及人類行為分析的資料顯示在介面上，如圖四、

五、六、七、八、九、十、十一、十二、十三。


圖 6 高階/專技培訓服務雛型系統體感互動介面


圖 7高階/專技培訓服務雛型系統虛擬人物教學內容範例活動說明



圖 8高階/專技培訓服務雛型系統虛擬人物教學內容範例問答題目


圖 9 高階/專技培訓服務雛型系統虛擬人物教學內容範例問答選項



圖 10 高階/專技培訓服務雛型系統虛擬人物教學內容範例問答活動結束


圖 11高階/專技培訓服務雛型系統頭部姿態顯示介面



圖 12高階/專技培訓服務雛型系統頭部姿態計算範例 1


圖 13高階/專技培訓服務雛型系統頭部姿態計算範例 2



圖 14高階/專技培訓服務雛型系統情緒辨識範例 1


圖 15高階/專技培訓服務雛型系統情緒辨識範例 2


三、系統開發環境

本研究開發並實施了基於 Kinect的 3D手勢識別和身體語言識別和臉

部表情識別技術，用於人類行為分析功能。開發的系統從 Kinect 傳感器捕

獲的 RGBD圖像中檢測和跟踪人的手，身體骨骼和臉部地標，並識別人的行

為。此外，我們已經探索和開發了實時學習跟踪（RTL）技術，並期望採用

大數據提供更多的教學和學習友好的環境。開發的系統在 Windows 10 筆記

本電腦上使用 C ++和 OpenCV 3.1.0庫實現，並在普通教室環境下進行測

試。其性能表現出在各種環境照明條件下識別身體和臉部行為指令狀態的

整體平均精度約為 90％。

本系統整合上述的行為辨識技術，擷取學員的行為資訊。透過隨機森

林演算法以及支持向量機等機器學習技術建構學習行為的多模態分析模

型，此兩種演算法適用於小規模數據的人工智慧系統實踐。

參、系統功能測試

本系統為實踐高階/專技培訓服務系統概念，建置一體感互動系統，具備以下功

能：

學員身份人臉身份識別。

系統偵測學員的學習行為(包括臉部表情、頭部姿態、人體骨架等數據)。

系統透過虛擬人物與學員互動 (透過影像顯示器呈現虛擬人物)。

系統記錄學員與虛擬人物互動過程中的人類行為訊號，透過機器學習與大數

據分析可以產出一份對學員的回饋報告。

系統亦依照上述功能進行測試，測試範圍有系統功能測試、系統穩定性測

試、系統效能測試及系統安全性測試(如圖一)。


一、系統功能測試

本測試目的在比較發展之系統與合約所記載之用戶需求是否符合，故需將

軟體規格說明書中確定的軟體技術指標作為測試的確認準則。

表 1測試紀錄表(表單代號：001)

表單代號：001 測試紀錄表版本：V1.00

系統名稱功能名稱測試日期頁次

影像即時傳輸人臉身份識別服務 106/10/15 第 1 頁

測試條件：正常室內光源。

測試項目：

1. 即時人臉偵測。

2. 人臉特徵點擷取。

3. 人臉特徵向量比對。

測試結果：正常






影像即時傳輸臉部表情辨識 106/10/15 第 1 頁


測試項目：


2. 人臉特徵點計算。

3. 臉部表情辨識。







影像即時傳輸頭部姿態計算服務 106/10/15 第 1 頁


測試項目：


2. 人臉特徵點計算。

3. 臉部法向量計算。







影像即時傳輸肢體行為辨識服務 106/10/15 第 1 頁


測試項目：

1. 即時人體偵測。

2. 人體骨架計算。

3. 肢體行為辨識。







影像即時傳輸人機互動行為紀錄服務 106/10/15 第 1 頁

測試條件：4G 環境測試，網路連線正常。

測試項目：

1. 肢體行為辨識結果寫入資料庫。

2. 網頁資料即時更新功能。

3. 網頁內嵌資料更新頁面。







影像即時傳輸虛擬人物教學內容範例 106/10/15 第 1 頁


測試項目：

1. 肢體行為問答功能。

2. 問答系統語音輸出功能。

3. 問答系統視覺輸出功能。







影像即時傳輸學員學習行為回饋報告 106/10/15 第 1 頁


測試項目：

1. 學員學習過程情緒紀錄。

2. 學員學習過程專注度紀錄。

3. 學員學習過程肢體行為紀錄。




二、系統穩定性與效能測試

系統穩定性測試，主要著重在系統於多次操作下，系統操作功能正常反

應，及其反應時間變動監測。以確定系統在多次操作情況下依然能夠穩定運

作。

表八、測試紀錄表(表單代號：008)

表單代號：008 系統穩定性測試紀錄表版本：V1.00

伺服器 CPU 使用率(%) 記憶體使用量測試日期

CPU:Intel(R)

Core(TM)i7-7700、

硬碟 : 128G、

記憶體 : 16G、

OS : Win10

50% 40% 106/10/15

測試功能名稱：學員身份人臉身份識別、系統偵測學員的學習行為(包

括臉部表情、頭部姿態、人體骨架等數據)、系統透過虛擬人物與學員互

動 (透過影像顯示器呈現虛擬人物)、系統記錄學員與虛擬人物互動過程

中的人類行為訊號，透過機器學習與大數據分析可以產出一份對學員的回

饋報告。



智慧學習產業整合輸出計畫 高階 專技培育模式智慧化分項計畫 高 … ·...

Documents

智慧學習產業整合輸出計畫高階專技培育模式智慧化分項計畫高 … ·...