人機介面 : 課程簡介Human Computer

Interaction

開課單位 : 政大資科系授課教師 : 廖文宏 whliao@gmail.com

教學目標介紹人機介面最新技術，並將藉由數項人

機互動技術之原理簡介與實作演練，強化修課同學之核心能力。

四大教學模組：–人機互動基礎概念–以視覺為基礎的人機互動–實體運算互動系統–高階嵌入式平台應用

課程模組模組 A ：人機互動基礎概念– 介紹人機互動與使用者體驗的基本概念。– 透過實際體驗的方式，讓學生熟悉新型的人機介面。– 介紹新型態的人機介面技術模組 B ：以視覺為基礎的人機互動。– 介紹基於電腦視覺技術的人機互動模式。– 透過實作與應用展示，強化修習同學之基礎能力。模組 C ：實體運算互動系統 (Physical Computing)– 介紹實體運算的概念及互動裝置之應用。– 透過Arduino平台，動手開發基於實體運算的互動裝置。模組 D ：高階嵌入式平台應用– 介紹高階嵌入式平台之應用。– 選定Android系統，介紹其架構與開發工具，並藉由實作與展示提升修課同學之實務經驗。

模組 A ：人機互動基礎概念教學目標 : 介紹人機互動與使用者體驗的

基本概念，除回顧人機互動發展歷程與重要里程碑，及簡要說明人類的視覺與記憶系統外，更強調透過實際體驗的方式，讓學生熟悉新型的人機介面，如體感操控裝置、多點觸控、語音介面、手寫辨識、手勢辨識、視覺軌跡介面等，並以使用者角度評估這些介面的優缺點，以作為後續模組進行特定人機互動介面開發的基礎。

單元主題人機互動概念簡介人機互動發展歷程視覺與記憶系統各式人機介面探討

模組 B ：以視覺為基礎的人機互動

教學目標 : 介紹基於電腦視覺技術的人機互動模式，包含動作偵測、光流追蹤、人臉偵測、手勢辨識與視覺軌跡介面，除簡介其運作原理外，並透過實作與應用展示，強化修習同學之基礎能力。

單元主題電腦視覺基礎概念OpenCV 簡介手勢辨識視覺軌跡介面 (eye tracking)基於 Kinect+ OpenCV 之人機互動

模組 C ：實體運算互動系統教學目標 : 介紹實體運算的概念及互動裝

置之應用，除介紹感測裝置的基本原理，也將透過 Arduino 平台，搭配 Processing語言，教導同學如何動手製作與開發基於實體運算的互動裝置。

單元主題實體運算簡介感測裝置Arduino 平台簡介Processing 語言專題製作與展示

模組 D ：高階嵌入式平台應用

教學目標 : 介紹高階嵌入式平台之應用，選定 Android 系統，介紹其架構與開發工具，以適地性服務 (location-based service, LBS) 與 OSC 協定為例，藉由實作與展示，提升修課同學之實務經驗。

單元主題智慧型手機平台簡介Android 架構Android 平台應用程式開發適地性服務OSC 協定專題製作與展示。

實習課程設計1. 第一次接觸體感裝置2. 自己做手寫辨識3. 用 OpenCV 玩人機介面4. OpenCV + Kinect 於 人機介面應用5. Arduino 基礎應用6. Arduino 高階感測器應用7. Android 初階入門8. Android 人機介面的進階應用

課程實驗所需設備

設備項目 用途說明 單價

Kinect 感測器 擷取主動式立體視覺影像，即時建構環境深度資訊

5,000

Android 平板電腦 Android系統載具，用於開發Android-based互動應用程式

15,000

Arduino 實驗基板 Arduino基礎實驗板，用於連接周邊裝置

500

Arduino 周邊感測器 各種感測裝置，用於接收或回饋環境訊息

9,500

實驗課程模組 A ：人機互動基礎概念

– 人機互動發展歷程– 視覺與記憶系統與各式人機介面探討

輔助實驗：– 1. 第一次接觸體感裝置– 2. 自己做手寫辨識

模組B：以視覺為基礎的人機互動– 電腦視覺基礎概念– OpenCV 簡介– 人臉偵測與表情識別– 手勢辨識與視覺軌跡介面

輔助實驗：– 3. 用 OpenCV 玩人機介面– 4. OpenCV + Kinect 於 人機介面應用

模組C：實體運算互動系統 (Physical Computing)

– 實體運算簡介– 各種感測裝置– Arduino 平台簡介– 專題製作與展示

輔助實驗：– 5. Arduino 基礎應用– 6. Arduino 高階感測器應用

模組 D ：高階嵌入式平台應用– 智慧型手機平台簡介– Android 架構– Android 平台應用程式開發– 專題製作與展示

輔助實驗：– 7. Android 初階入門– 8. Android 人機介面的進階應用

1. 第一次接觸體感裝置 ( 一 )

1. 第一次接觸體感裝置 ( 二 )

2. 自己做手寫辨識 ( 一 )

• $1 Unistroke Recognition in JavaScript

Result : Ｘ

Result :Array

2. 自己做手寫辨識 ( 二 )

Step 1: Resample the Point Path

Step 2: Rotate Once Based on the “Indicative Angle

Step 3: Scale and TranslateStep 4: Find the Optimal Angle for the Best Score

3. 用 OpenCV 玩人機介面 ( 一 )

3. 用 OpenCV 玩人機介面 ( 二 )

4. 基於 OpenCV + Kinect 之人機介面 ( 一 )

Powerful Sensor Powerful Library

Diverse Application

4. 基於 OpenCV + Kinect 之人機介面 ( 二 )

5. Arduino 基礎應用 ( 一 )

5. Arduino 基礎應用 ( 二 )

6. Arduino 高階感測器應用

7. Android 初階入門

8. Android 人機介面的進階應用

Interactive Interface Powerful Platform

Fascinating Application

修課規定及須知須有電腦程式語言基礎 (Java, C. C+

+) 。Arduino 部分會用到一些簡單的電路接

線。評分以各實驗之作業與期末專題為主。實驗份量頗重，上課時僅講解原理與重要

步驟或流程，細節部分須於課後自行動手實作。

儀器設備請妥善保管。若干開發平台由於版本變動頻繁，請務必

確認平台之相容性。

關於未來人機介面的一些想像( 一 )

Microsoft in 2019關鍵人機互動技術 : 手寫辨識、機器翻

譯、觸控介面、擴增實境、可撓式顯示裝置等。

關於未來人機介面的一些想像( 二 )

Microsoft Productivity Future Vision關鍵人機互動技術 :圖形與文字辨識、觸

控螢幕、擴增實境、語音辨識、資料視覺化等。

關於未來人機介面的一些想像( 三 )

Nokia Future Vision關鍵人機互動技術 : 視線軌跡 (gaze-

based UI) 、擴增實境、觸感介面 (Haptic UI) 、 3D 音效

關於未來人機介面的一些想像( 四 )

Sixth Sense Technology by Pranav Mistry :虛實整合的互動體驗

關鍵人機互動技術 : 手勢辨識 ( gesture recognition),物件追蹤與定位、微投影裝置、擴增實境

關於未來人機介面的一些想像( 五 )

A day made of class顯示技術

更多展示影片Gaze-based UIBrain-computer interfacePen-based UIMulti-touch UIGesture-based UITangible UIMuscle-computer interface

Gazed-based UI

 VIPL video包含以下影片

– 以視覺軌跡為基礎的瀏覽器– 能紀錄視覺焦點之相片瀏覽程式– 互動式媒體–井字遊戲等。

 Brain Computer Interface

BBCI Pinball VideoNeuroSky MindSet

Pen-based UI

Swype$1 Gesture Recognizer  on Mobile Phone

Multi-touch UI

Multi-touch table at NCCUMicrosoft SurfaceMicrosoft Surface 2.0Apple Multi-touch trackpad

Gesture-based UI

Sign language: Sign Language RecognitionBody gesture: 

Microsoft Project NatalHand gesture: 

Toshiba Gesture Interface Demo

Tangible UI

Multi-Display Map Touring with Tangible Widget故宮雍正展互動桌(一)

DEMO VIDEO 轉盤 TUIC: Enabling Tangible Interaction on Capacitive Multi-touch Displays

Muscle Computer Interface

Video Figure from UIST 2009 paper on Muscle-Computer Interfaces (

wmv, 30MB)Papers

– Making Muscle-Computer Interfaces More Practical

T. Scott Saponas , Desney Tan , Dan Morris , Jim Turner and James A. Landay , Conference on Human Factors in Computing Systems, 2010. CHI Note (PDF)

– Enhancing Input On and Above the Interactive Surface with Muscle SensingHrvoje Benko , T. Scott Saponas , Dan Morris and Desney Tan , ACM International Conference on Interactive Tabletops and Surfaces, 2009. Full Paper (PDF)

習題請至網路上搜尋未來人機介面技術之相關

資訊，並找出其中使用之關鍵技術。思考問題 :

– 哪些技術目前已經達實用階段 ?– 哪些技術仍待開發或改善 ?– 技術的瓶頸何在 ?

參考資料Human-Computer Interaction

Resources : HCI BibliographyInteraction Design: Beyond Human-Computer Interaction, 3

rd edition.Designing the User Interface: Strategies for Effective Human-Computer Interaction, 5

th Edition.The Design of Everyday Things

相關研討會詳細列表 : 請參閱

http://hcibib.org/hci-sites/CONFERENCES.html

重要會議 :– ACM CHI (since 1983):

SIGCHI Conference on Human Factors in Computing Systems

– UIST (since 1986): User Interface Software Technology (Conference)

– MobileHCI (since 1998): www.mobilehci.org/

國外大學相關課程U.C. Berkeley CS 160Stanford University CS 147Carnegie Mellon University HCI Institute CoursesUniversity of Washington (Seattle) CSE 440