智慧應用與智慧裝置發展趨勢 (the development trend of smart applications and smart...

Note: The Copyrights of the referenced materials and photos go to its original authors. As a result, this slide is for internal reference only.

For the contents created in this document, the Copyright belongs to William W.-Y. Liang. © 2005-2015 All Rights Reserved.

Note: The Copyrights of the referenced materials and photos go to their original authors. As a result, this slide is for non-commercial reference only.

For the contents created in this document, the Copyright belongs to William W.-Y. Liang. © 2005-2015 All Rights Reserved.

智慧應用與智慧裝置發展趨勢 The Development Trend of Smart Applications and Smart Devices

William W.-Y. Liang (梁文耀), Ph. D. http://www.ntut.edu.tw/~wyliang

This version of the slides was mainly used in some talks given during the latter half of the year 2015.

本投影片用於 2015 下半年與該主題相關之演講中.

© 2015 William W.-Y. Liang, All Rights Reserved.

大綱

智慧裝置與應用領域

物聯網與雲端整合趨勢

智慧裝置軟硬體發展趨勢

智慧應用平台的開源趨勢

中高階智慧應用裝置範例

結論

2 Trend of Smart Applications and Devices


大綱






結論



何謂智慧應用裝置

嵌入式系統

電子裝置 + 處理器 + 軟體

智慧裝置

嵌入式系統 + 通訊機制 + 感測/控制

智慧應用

軟硬整合 + 創新應用+雲端運算


何謂嵌入式系統 An “embedded system” is any computer system

or computing device that performs a dedicated

function or is designed for use with a specific

embedded software application.


智慧應用的四大組成 TICS

智慧終端 (Terminal)

使用者資訊擷取與控制平台

物聯網 (IoT)

數據傳遞：無線感測網路、

互聯網、數據通訊網

雲端運算 (Cloud)

資料分析：巨量資料、智慧分析

感測裝置 (Sensor Devices)

數據擷取：個人資訊、家庭資訊、環境資訊


http://edition.cnn.com/2013/05/02/travel/london-city-airport-internet-of-things/


智慧應用裝置市場趨勢


http://electronics360.globalspec.com/article/4364/companies-pin-hopes-on-the-internet-of-things

http://mhealthintelligence.com/news/top-trends-

revolutionizing-the-market-for-wearable-devices

http://www.businessinsider.com/how-the-internet-of-things-market-will-grow-2014-10


智慧裝置應用場域

Smart Home, Smart Living, and Entertainment

E.g. Appliance Controllers, Smart TVs, Remote Control

Devices, E.g. Game Consoles, Portable Game Devices,

Smart Toys


http://www.greenpeak.com/Application/ResidentialApps.html

http://chinese.engadget.com/tag/jennet-ip/


智慧裝置應用場域 (續)

Wearable Devices

E.g. Wearable Computers/Devices,

Sport Watches, Smart Watches,

Google Glasses, Smart Shoes

Information Device

E.g. Digital Photo Frames, Information Pads, Kiosks, Digital

Signage Systems, Smart Watches

8 Trend of Smart Applications and Devices http://www.nexcom.com.tw/news/detail/digital-signage-responds-to-its-audience



Surveillance

Video Camera, Monitoring Terminals, CMS,

Home Automation Control Center,

Car-Recording Systems


http://hunterkirk.livejournal.com/702857.html

http://www.securitycameraking.com/s

ecurityinfo/tag/home-camera-system/

http://www.realhomesmagazine.co.uk/expert

-advice/expert-advice/integrated-security

http://www.huffingtonpost.com/geoffrey-r-

stone/the-boston-bombing-the-ri_b_3223871.html



Telematics Systems

PNDs, Driving Assistant Systems,

Dash Boards, In-vehicle Entertainment

Systems

Industrial & Commercial

Machine Monitory and Control, Smart

Factory, Factory Automation, Logistics, POS


http://igyaan.in/2012/01/20344/autogyaan-mercedes-

benz-futuristic-dice-dashboard-concept/

http://www.technologyreview.com/photogallery/427652/building-tesla/

https://ec.europa.eu/digital-

agenda/en/embedded-systems



Robots, Autonomous Car, Unmanned Vehicles, UAV


http://www.defenseindustrydaily.com/cv-ucavs-the-return-of-ucas-03557/

http://www.nasa.gov/mission_pages/msl/multimedia/pia15090.html

http://www.forcesofgeek.com/2012/07/sdcc-exclusive-limited-i-robot-3d-blu.html

https://en.wikipedia.org/wiki/Google_driverless_car



Others: Medical Information Systems and Health Care

Devices, Energy Saving, Agriculture, Education, Smart

City, Government, etc.


Still Much More…

All kinds of Electronic Devices in our daily life could be

turned into some kinds of Smart Devices.

Limited only by your Imagination!


大綱






結論



雲端 -- 雲與端


The Clouds Connected by Apps (Software)

Any where & Any time

Storage & Computing

Availability & Reliability

Security

Many of the smart devices will be connected with …


大數據

大數據收集

Big Data (大數據) 是由

Small Data (感測網路及

物聯網) 匯集而成

雲端與大數據分析

透過雲端進行數據

收集、追蹤、統計分析

對智慧應用的影響

大數據將提供更精確的用戶使用行為數據，

顛覆傳統的數據統計方式


https://upload.wikimedi

a.org/wikipedia/commo

ns/e/e3/BigData_2267

x1146_trasparent.png

趨勢：大數據、感知運算、人工智慧


感知運算與人工智慧

感知運算

為使用者進行環境估測與預測，

主動協助或提醒用戶日常工作並

提供建議

感知運算三到五年內將逐漸普及

透過各種智慧終端裝置實現於日常生活之中

人工智慧

感知運算持續演進後將

更接近人工智慧

4G/5G 行動網路頻寬逐步提昇，

透過雲端進行AI運算將更可行


http://www.nownews.co

m/n/2012/12/18/352477

https://upload.wikimedia.org/wikipe

dia/zh/7/73/%E4%BA%BA%E5%B

7%A5%E6%99%BA%E6%85%A7_

%E6%B5%B7%E5%A0%B12.jpg


智慧應用運算複雜度分類

低複雜度運算

感測前端：資料收集、

資料前處理、裝置間通訊

中複雜度運算

使用者終端：語音辨識、

人臉偵測、多媒體與UI處理

高複雜度運算

雲端智能分析：語意分析、

影像辨識、感測資料分析預測、

使用者行為預測、商業需求分析、

科學計算、進階人工智慧應用

17

http://jerrydrussell.com/business-2/ibms-cloud-

supercomputer-powers-artificially-intelligent-consumer-apps/

http://www.scientificamerican.com/article.cfm?i

d=yahoo-supercomputer-google-open-source

NVIDIA_CES14_FINAL_published

Trend of Smart Applications and Devices

Shallow Water Equations

is equal to 0.05, as a representation of light brush surface over floodplain

u

xy

© William Liang, http://www.ntut.edu.tw/~wyliang

資料處理負載分配前端：感測裝置與智慧終端，資料預處理與過濾後端：雲端巨量資料處理，高性能平行運算資料分析


雲端背後的功臣 -- 高性能平行運算系統


Moore’s Law @1965

# on transistors on cost-effective integrated circuit double every 18 months

Source : http://www.llnl.gov/computing/tutorials/parallel_comp

Total of 299,008 processor cores, and a total of 693.6 TiB of CPU and

GPU RAM 18,688 nodes (4 nodes per blade, 24 blades per cabinet), each

containing a 16-core AMD Opteron 6274 CPU with 32 GiB of DDR3 ECC

memory an Nvidia Tesla K20X GPU with 6 GiB GDDR5 ECC memory

http://www.uwyo.edu/uw/news/2012/06/ibm-

chosen-to-construct-uws-campus-cluster.html


大綱






結論



智慧裝置的硬體平台 -- 微處理器

低階(如感測節點)

Cortex-M, 8051, other MCUs

中階(如穿戴式裝置)

Cortex-R , Quark, MIPS, etc.

高階：

終端 – Cortex-A, x86/64, MIPS, etc.

雲端 – IA64, PowerPC, ARMv8, GP/GPU, etc.



微處理器與系統晶片發展趨勢


SoC: System-on-Chip

SiP: System-in-Package

http://linuxgizmos.com/sbc-runs-linux-on-new-quad-core-cortex-a9-soc/

http://m.eettaiwan.com/ART_8800697488_676964_NT_57e14b60_2.HTM


智慧裝置的軟體平台 -- 作業系統

Embedded OS

感測端: TinyOS, mbed OS, Brillo, other RTOS, Linux

General Purpose OS

終端: Android, iOS, Linux, Web-based OS, Windows

雲端: Linux, Unix


& Brillo


採用開源與閉源作業系統的趨勢


http://m.eettaiwan.com/ART_8800697488_676964_NT_57e14b60_2.HTM


物聯網作業系統範例: mbed OS


Supports a wide range of ARM Cortex-M based hardware platforms from major MCU vendors

Provide a C++ Application Framework and component architecture

Automation of power management

Connectivity protocol stack support for BLE® , Cellular, Ethernet, Thread, Wi-fi® , Zigbee IP,

Zigbee NAN, 6LoWPAN, TLS & DTLS end-to-end IP secure communication channels, OMA

LWM2M protocol for device management

Software asset protection and secure firmware updates for device security & management

https://developer.mbed.org/blog/entry

/Announcing-our-plans-for-mbed-v30/


開源作業系統 -- Linux

Open source and free

Maintained by numerous

volunteer experts and hackers

Robust, efficient, and reliable

Modular, configurable, and scalable

Tons of applications available

Lower hardware requirement and

BOM cost for mid-range to low-end products.

Also suitable for general purpose computers, especially

for high performance servers



開源作業系統 -- Android

Consistent user experience and good UI design

Easy to be commercialized

Complete software framework

Lower App development cost

Already supported by millions Apps

Applicable for m high-end to mid-range devices

High portability for Apps and the OS itself

Suitable for resource-limited handheld devices



大綱






結論



開放源碼的優點

開源人的特質

熱情、自由、普遍具備較佳的創造力

主動、積極、具深入探究技術的能力

貢獻源碼的優點：以 Linux Kernel 驅動程式為例

較佳品質：被維護的驅動程式可能被開發者 (Kernel

Hackers) 改得更好

持續維護：如果原廠不再維護或開發人員離職時, 該驅動程式可以持續被維護及更新 (特別是對新版本的跟進)

對廠商來說，事實上可降低成本，亦可延長硬體銷售期。


關於一般公司對開源的擔心與戒心鼓勵開源 ≠ 全面開源源碼可開放，被複製，但軟體價值與差異化關鍵

在設計者的創作靈感與對核心軟體技術的掌握度


開源軟體與開放平台發展趨勢

開源作業系統平台：

Linux, Android, Firefox OS, FreeBSD, embed OS, etc.

知名開源專案：

Chromium, Firefox, PHP, Python, Apache Web Server,

Eclipse, Gimp, Emacs, Vim, etc.

開放平台

吸引開發者，拓展可能商機。

在多樣化 IoT 的時代更顯得重要！


開源軟體開放平台

Maker 創客世代來臨


物聯網裝置開放平台

Intel Edison

ARM mbed

Raspberry Pi

Arduino

Actions/Linaro 96Boards


http://en.wikipedia.org/wiki/Mbed_microcontroller

http://en.wikipedia.org/wiki/Raspberry_Pi

http://en.wikipedia.org/wiki/Arduino

http://www.intel.com.tw/content/ww

w/tw/zh/do-it-yourself/edison.html

http://www.actduino.org/?lang=zh-hans


開源的安全性議題

何謂安全 (Security)

沒有無法破解的安全體系，只是時間問題！

安全性評估指標：破解時間或代價 >> 破解所得利益

閉源不會比較安全

切勿低估駭客的能力 (舉例…)

開源直接公開接受檢驗

愈多人參予愈能找出漏洞，強化安全性

如何選擇較安全的開源專案

方法1：具備正規化驗證之開源實作 (如：NSA、NICTA)

方法2：商業級開源系統 (如 IBM、Redhat、Canonical)

方法3：越多人積極參予的開源專案安全漏洞將會越少



大綱






結論



Android 的開放架構：元件化與階層化

元件化的Android

適合軟體的產業分工

Android 框架的四大元件

Android 的功能性元件

元件的可置換性

階層化的Android

可抽換軟硬體元件的能力，e.g.

硬體抽換、Codec、周邊、etc...

有利於產業分工

Compare: Android vs. Microsoft/Apple

分層架構允許各路人馬皆有展現實力之處



Android 所創造的產品機會

一般智慧裝置的軟硬整合

外部週邊整合

延伸至其他嵌入式智慧裝置

透過雲端延伸服務內容


http://www.electronics-lab.com/blog/?tag=adk

http://store.arduino.cc/ww/index.php?main_page=

product_info&cPath=2_23&products_id=140

http://www.cc.ntut.edu.tw/~wyliang/

http://www.cc.ntut.edu.tw/~wyliang/


以開源平台為基礎的物聯網智慧裝置應用示例

The Android Car 2012 遙控車無人車


A Brief Introduction Movie

http://youtu.be/6A3n2u3SabA

Demo: LAN Control

http://youtu.be/11Z8r-eRJ7w Demo: WAN Control

http://youtu.be/82rWGIoearQ

Demo: TV Interview

https://www.facebook.com/ph

oto.php?v=251309341643002

Motor Contro

Camera Integration




http://youtu.be/11Z8r-eRJ7w










https://www.facebook.com/photo.php?v=251309341643002







將 Android 系統置入的優點與商機

定位：發展中高階物聯網智慧裝置

優點：

應用開發者將擁有豐富軟體資源

透過眾多的軟體開發者，為智慧裝置匯集創意。

讓智慧裝置更「聰明」(by developers)

商機

硬體：開創周邊硬體的生態系統

軟體：發展新的智慧應用市集

Powered by Open Source Platforms!

Trend of Smart Applications and Devices 36


大綱






結論



結論

智慧應用 TICS 四大組成：終端裝置(Terminals)、物聯網(IoT)、雲端(Cloud)、感測裝置(Sensors)。

智慧裝置將可實現於生活中的各種應用場域。

大數據收集與雲端資料分析將顛覆傳統統計方式，提供更精確的預測與判斷，感知運算與AI應用將更為普遍與實際。

雲端與智慧應用密不可分，終端雲端前後台整合與異質架構將成為高效能智慧應用系統設計主流。

智慧應用的基礎 – SoC 與 OS 平台正快速演進當中，其中匯集全世界眾多專家打造的開源軟體已成為開發主流。

站在開源巨人肩膀上有機會較容易且快速地解決複雜問題，

而且更安全。

新的智慧應用生態體系將引發一連串的破壞式創新應用，大幅改變我們的生活方式。



Q&A

其他分享: http://goo.gl/6qxlSv

Email: [email protected]

Home: http://www.ntut.edu.tw/~wyliang

FB: http://www.facebook.com/william.wyliang

關於講者：梁文耀 (William W.-Y. Liang) • 顧問 / 開源貢獻者 (2014.10~) • 鴻海科技集團創新數位系統事業群資深處長 (2013.01~2014.09) • 安佐立科技顧問公司技術總監 (2012.08~2013.07) • 國立台北科技大學資訊工程系專任助理教授 (2005.02~2012.07) • 先前經歷: 聚興科技研發處協理、晶慧資訊研發副總經理、

晶慧資訊研發部經理、晶慧資訊資深工程師、美商 Avant! 軟體工程師 • 專長領域：作業系統、嵌入式系統、計算機結構、平行與分散式系統 Linux 系統軟體 (1993~Now) Android 與 Linux 嵌入式系統核心及軟硬整合開發 (2001~Now)

• 國立台灣大學資訊工程博士、國立清華大學資訊科學碩士

Trend of Smart Applications and Devices 39

http://goo.gl/6qxlSv

mailto:[email protected]

http://www.ntut.edu.tw/~wyliang

http://www.facebook.com/william.wyliang

智慧應用與智慧裝置發展趨勢 (the development trend of smart applications and smart...

Technology