artificial intelligence multimedia signal processing computer...

27
Artificial Intelligence Multimedia Signal Processing Computer Vision

Upload: others

Post on 16-Feb-2021

2 views

Category:

Documents


0 download

TRANSCRIPT

  • ArtificialIntelligence

    MultimediaSignal

    Processing

    Computer Vision

  • ArtificialIntelligence

    MultimediaSignal

    Processing

    Computer Vision

  • 劉奕汶

    研究領域 : 聲音 聲學 (人類聽覺、機器聽覺;人類語音、機器語音)

    音樂 (歌唱分析與AI合成、音樂演奏科技)

    生醫訊號處理 (喉科訊號、耳科訊號、麻醉科訊號)

    陽光優雅地漫步旅店的草坪人魚在石刻牆壁彈奏著豎琴圓弧屋頂用拉丁式的黎明顏色曖昧的勾引我已經開始微醺…

    X

    =? AI學習視譜唱蔡依林的歌

    對照組:AI學不太起來的時候….

  • Human-centered Behavioral Signal Processing (BSP)人本行為訊號處理

    透過數位資料收集、整合跨領域人類科學知

    識、開發訊號處理、機器學習智能演算法,

    對於人類狀態量化辨識,提供專家全新的決

    策工具。

    BIIC LAB:資電館 713BIIC @ SP•ARK:綜三館315 http://biic.ee.nthu.edu.tw

    Interdisciplinaryresearch

    AffectiveComputing

    MultimodalSignal

    Processing

    MachineLearning

    #實際應用HR 輔助分析工具

    ASD

    #實際應用AI 自動化血癌篩檢

    #實際應用帕金森氏症診斷輔助

    fMRI

    Box Office多媒體票房預測

    SpeechRecognition

    EHR電子病歷智慧分析

    李祈均 Chi-Chun Lee (Jeremy)

    成員:15位博士生、13位碩士生、4 位專任助理

    產學合作:驊 訊 電 子

    BIIC Lab

  • 邱偉育

    研究領域 :多目標控制 Multiobjective Control強化學習 Reinforcement Learning

    智慧能源系統設計 (智慧電網、智慧家庭)

    機器人行為控制 (機器人多目標控制、多目標強化學習)

    多目標控制強化學習

    智慧電網

    智慧機器人

    資源分配

    智慧家庭

    耗能最佳化

    步態控制

  • 黃朝宗

    研究領域 : 嵌入式電腦視覺技術 數位積體電路與晶片設計 (ISSCC, VLSIC, JSSC)

    硬體導向之電腦視覺技術 (CVPR, ICCV, TPAMI)

    卷積神經網路計算架構 (MICRO)

    Embedded Computer Vision

    Circuits Systems

    Light-Field Signal Processing Deep Convolutional Networks

    Real-Time and Power-Efficient IC

    High-Quality Algorithm,Real-World Demo

    𝒛𝑝, 𝑙𝑝 𝒛𝑞, 𝑙𝑞𝑢𝑝𝑞

    𝒚𝑣𝑝(𝑙𝑝)

    𝑤𝑣𝑝…

  • 深度學習 金融科技 身分識別 通訊系統應用

    翁詠祿

    研究領域 : 迭代訊息處理 通訊演算法 (錯誤更正碼、無線通訊系統)

    數位電路設計 (通訊基頻IC、 AI晶片)

    深度學習 (金融科技、 身分識別)

    通訊演算法

    數位電路設計

    深度學習

    錯誤更正碼 LDPC Code Polar Code 量子錯誤更正碼

    無線通訊系統 B5G系統 MIMO系統 Massive MIMO 系統

    數位電路設計 LDPC編解碼器 Polar編解碼器 AI晶片

    迭代訊號處理

  • 馬席彬

    研究領域 : 物聯網系統及高頻交易技術 感測器系統 (生醫應用穿戴裝置, 運動器材感測, 智慧棒球)

    訊號處理與分析 (生醫訊號, 運動器材感測訊號)

    智慧高頻交易 (高頻交易系統及交易策略硬體加速實作)

    生醫感測系統(裝置及AI演算法)

    智慧棒球

    智慧高頻交易系統

    台大醫院合作

    元大期貨合作

  • Communication

    Machine Learning

    Quantum Computing

  • 李夢麟

    研究領域 : 生醫成像技術 生醫超音波及光聲成像技術

    系統開發與設計

    影像及訊號處理

    超音波及光聲Ultrasound & Photoacoustics

    成像系統開發 成像演算法

    應用. 三維微細血管造影

    . 無線可攜式超音波系統 . 超解析

    Leltek Inc.

    -10 0 10

    Lateral (mm)

    15

    20

    25

    30

    35

    40

    Axia

    l (m

    m)

    5

    10

    15

    20

    25

    30

    35

    40

    -10 0 10

    Lateral (mm)

    15

    20

    25

    30

    35

    40

    Axia

    l (m

    m)

    5

    10

    15

    20

    25

    30

    35

    40

    Smart wall filtering –High contrast w/adequate load

    SVD wall High comload

    Bl d l

    (µm)

    . 智能B超/彩超

    . 磁致動超音波: 定位磁性奈米藥物

    . 活果蠅腦神經造影

    . 光聲顯微影像系統

  • 鄭 傑

    研究領域 光排隊理論 (Optical queueing theory)

    最佳化理論 (Optimization theory)

    字碼組合學 (Combinatorics on words)

    • 光排隊理論: 先進先出光學多工器 (optical first-in-first-out multiplexers)、先進先出光佇列(optical first-in-first-out queues)、優先權光佇列 (optical priority queues)

    應用: 全光交換網路 (all optical packet-switched networks)

    • 最佳化理論: 線性規劃 (linear programming)、凸優化 (convex optimization)、組合優化(combinatorial optimization)

    應用: 無線通訊 (wireless communications)、通訊網路 (communication networks)、訊息理論

    (information theory)、賽局論 (game theory)

    • 字碼組合學: 克里斯多福字碼 (Christoffel words)、史特彌字碼 (Sturmian words)、圖厄-摩斯字碼 (Thue-Morse words)

    應用: 電腦演算法 (computer algorithms)

  • 陳博現教授

    研究領域 控制理論及其應用

    訊號處理及安全濾波器設計

    系統藥物設計

    2. 訊號處理及安全濾波器設計

    未來世界都將透過無線網路來處理訊號相關濾波問

    題,易被惡意攻擊,如何設計在惡意攻擊下能不受

    影響的安全濾波器是訊號處理未來一大研究主題。

    1. 控制理論及其應用

    結合控制理論及Deep Learning演算法來研究非

    線性系統控制器設計,使能在隨機內在擾動及外

    來干擾下,滿足相關規格並達成控制目標。

    應用到無人機群及機器人群的團隊任務控制。

    在未來Smart Cities,如何透過無線網路來控制

    無人機群、機器人群及衛星群,在cyber-attack

    下達成任務及目標。

    3. 系統藥物設計

    利用系統生物學、生物基因體大數據、

    藥物大數據來尋找致病機制的重要

    biomarkers , 並 針 對 這 些 重 要

    biomarkers,再利用Deep Learning及生

    物 filtering algorithm 來 設 計 multiple-

    molecule drug來滿足good docking, less

    toxicity, adequate regulability, less side-

    effect等藥物設計規格的系統藥學設計方

    法,並應用到各種癌症及傳染病上。

  • 白明憲

    研究領域 : 聲學陣列技術 麥克風與喇叭陣列訊號處理

    聲場分析與合成技術

    語音與音訊品質強化

    Communication Car

    Consumer Computer

    Approaches Array signal processing Audio enhancement Multichannel inverse

    filtering Compressed sensing Optimization Machine learning (ML) Adaptive filtering Linear control system Electroacoustics

    Applications Smart home Smart speaker Active Noise Control

    (ANC) 3D audio (gaming, VR) Personal audio Source localization and

    separation Acoustic camera Sound event & scene

    detection

  • 吳誠文 Cheng-Wen WuIEEE Fellow教育部國家講座主持人清華特聘講座教授

    Contact InformationEmail: [email protected]: 03-5162419 (x62419)

    Research Interests

    IC Design and Test Memory Test and Repair Internet of Things (IoT) Neuromorphic Computing

  • 研究領域

    • 記憶體測試− 新型態記憶體之錯誤分析與測試技術,及自我測試與修復電路設計

    − 半導體記憶體診斷、修復與良率提升技術∗ 含3D堆疊記憶體之架構設計

    • SOC/IOT/AI晶片與系統設計及測試− SOC測試架構及平台方案− 共生物聯網系統與晶片設計、測試技術

    − 高可靠度神經網路形態運算架構設計、測試技術

    − 晶片與系統品質、可靠度與良率增進技術

    15

  • 黃錫瑜目前主要的研究方向

    研究常用之背景知識: 邏輯設計、IC設計導論、軟體演算法、機率、線性代數

    Cloud-Based Big Data Analysis(world-wide self-healing IoT system)

    New Online Test and Monitoring Methodology(e.g., performance hazard detection, jitter measurement)

    Synthesizable Timing Circuits (PLL, DLL, TDC)eClock

    Self-Healing Infrastructure(Health-Care Center)

    總目標Die-Hard ICs

    (健康而長壽的晶片)

    尋求晶片的【永保安康】之道

    http://scholar.google.com/citations?user=b6XdJzMAAAAJ&hl=enhttp://scholar.google.com/citations?user=b6XdJzMAAAAJ&hl=en

  • 黃柏鈞

    研究領域 : 感知技術 感知系統雛形 (醫學應用, 運動科技, 電能管理等)

    訊號處理與分析 (資訊萃取, 資訊融合, 事件判讀等)

    電路設計 (Analog, Power Manage, Mixed-Signal)

    感知技術Cognitive Technology

    系統整合 訊號處理

    IC設計 10bit, 240Mb/s 28nm ADC,瑞昱半導體

    3-6V 體內神經刺激器,

    . 放大器, 濾波器等

    . 類比數位轉換, 電能轉換等

    . 感測系統介面整合

    . 睡眠中止居家檢測 (林口長庚)

    . 運動行為 (清大運科)

    . Biomarker (清大生科)

    . 光達 Lidar (清大光電)

    . Mixed-Signal

    . 回授系統設計

    . 機器學習ML

    . 資訊融合

  • 劉靖家

    研究領域 : 系統層級設計,高可靠度設計,容錯系統設計,嵌入式

    系統設計

    虛實整合系統設計彈性整合軟硬體系統和機械系統︰ 支援電子系統和物理模擬 SystemC等高階設計語言。 軟硬體共同設計。 深度學習加速器及工具鏈。 模仿學習,強化學習,轉移學習等

    技術。高可靠度系統設計整合各種軟硬體容錯或錯誤修正技術,以符合安全性設計︰ 系統層級評估流程。 容錯合成軟硬體架構。 晶片可靠度測試和設計。

    TVM

    DNN Model

    Cross Compiler

    DNNCompiler

    ML APP SW

    User Library

    OS KernelDevice Driver

    Interconnect Model

    PPA PPA PPA

    PPA

    PPA RISC-V

    Buffer

    PE PE PE

    PE PE PE

    PE PE PE

    DRAM I2C

    RISCV CPURelu

    Pooling

    DNN ACC Virtual Platform

    DNN Accelerator

    PWM

    台達館926 電話 03-5162204Email: [email protected]/jjliou

    1. Flexible TVM flow for DNN accelerators

    2. Efficient accelerator architecture計畫科技部射月,台積電產學大聯盟,

    工研院斷金、聯發科技、瑞昱等。

    mailto:[email protected]

  • 張孟凡 特聘教授- Intelligent Memory Design Lab. (iMDL)

    具11+年工業界經驗(台灣+美國), IEEE Fellow

    實驗室與多家IC設計/半導體公司產學合作

    為記憶體電路領域全世界rank #1之學校實驗室

    全世界領先之人工智慧記憶體內運算電路研究

    工業界提供特殊晶片下線資源(非從CIC下線)

    主要研究領域: 人工智慧記憶體內運算電路 記憶體+IoT安全電路 軟硬體系統設計for AI chip 下世代奈米記憶體電路設計 跨元件+電路+系統之知識

    人才培育目標: 兼具前瞻與務實之研究 培養可學以致用之人才 培養業界風評良好之人才 培養世界級記憶體&AI電路人才

    研究所新生招募對象: 電機所丙組(系B):積體電路 電機所乙組(系A):系統+記憶體 電子所:元件+電路 co-design

    實驗室文化 積極, 獨立, 注重團隊, 不怕辛苦, 抗壓高=>業界風評好

  • 鄭桂忠

    研究領域 :人工智慧仿生晶片系統 仿神經人工智慧晶片(Neuromorphic AI chip)

    電子鼻系統 (Miniature Electronic Nose System)

    生醫植入式輔具-醫用植入、腦機介面、神經輔具 (Medical

    implant, brain-machine interface, neural prosthesis)

    Miniature Electronic Nose System- Integrated Micro Sensor Array- System-on-Chip and Package- Module, System and Algorithm

    Kea-Tiong (Samuel) Tang

    人工智慧仿生晶片系統

    仿神經人工智慧晶片

    生醫植入式輔具

    電子鼻系統

    ← System Design For Computing-In-Memory and Processing-In-Sensor

    Application:- 酒精偵測、食物偵測- 呼吸氣體偵測、家居甲醛偵測- 有毒氣體偵測- 肺炎、COPD偵測

    Circuit Design for Biomedical Devices- Data transceiver- Wireless power transfer system- Stimulator- Analog to digital converter- Low noise amplifier- Digital Processor

    Neuromorphic AI Accelerator- Neuromorphic AI Accelerator System Design- Neuromorphic AI Inference Chip Algorithm- Neuromorphic AI Accelerator Chip Design

    ← Application: Deep Brain Stimulation

    簡報者簡報註解System RequirementsImplantable、BatterylessBidirectional communicationsNeural recording and stimulationLow power、Small device size

  • 謝志成

    研究領域 : 訊號感測與應用 智慧視覺晶片(事件感測, 感測器內運算, 低壓低功耗)

    類比數位轉換器 (高效能, 高解析度, 高頻寬)

    混波電路設計 (感測器類比前端, 讀出電路)

    0.54 mm

    0.11 mm

    SHDAC0

    DAC1 VCO

    Digi

    tal

  • 朱大舜

    研究領域 : 積體電路設計 射頻積體電路、類比積體電路 、混訊積體電路

    雷達晶片設計、分析、最佳化

    Current Research Topics功率放大器 (Power Amplifier)

    • GaAs High-Efficiency Power Amplifier• GaN High-Efficiency Power Amplifier

    時脈電路 (Clocking Circuitry)• Clock Distribution Circuits • LVDS SerDes

    類比數位轉換器 (Analog-to-digital converter)• High-Speed Pipeline ADC (High Speed)• Delta-Sigma Modulator (High Resolution)

  • • Energy harvesting Interface circuit • Lengthen device lifetime for sensor networks

    or biomedical applications• Architecture/circuit structure optimization

    • Timing generation and distribution• For synchronization in high-performance

    microprocessors and high-speed data communications• Strict trade-off in performance vs. power, area, etc., …

    • Front-end circuit for Lidar system• Depth sensing for AR/VR applications• Cooperation/optimization

    across multi-disciplines

    謝秉璇

    研究領域 : 混合型信號電路設計 能量擷取系統

    光達系統前端電路

    時脈產生與同步

    PLL

    Txlogic

    osci

    Rxlogic

    CDR

    APD Sensor ArrayLow-Cost High-Throughput

    Depth Image

  • 呂仁碩

    研究領域 : 計算機架構、數位電路 AI 加速晶片 (數位電路設計、加速與低功耗設計)

    記憶體系統 (固態硬碟架構、記憶體運算架構)

    無人機晶片 (數位電路設計、軟硬體共同設計)

    • 固態硬碟、無人機

    • 記憶體運算架構

    • 加速低功耗

    • AI晶片架構

    處理器

    資料記憶、儲存

    架構與策略

    0 0 1

    1 1 1

    w1w2

    WD

    WD

    ADC ADC ADC

    1 0 1 wkWD

    … … …1 0 1a1

    a2 0 1 1

    ak 1 1 0

    EnergyLow

    High

    Low

    HighMid

    Mid

    1-bit2-bit

    3-bit

    電腦、晶片研究領域

    • 執行科技部射月計畫、台積電大聯盟計畫

    • 發表電資領域頂尖論文• USENIX ATC• ESSCIRC、ICCAD

    • 學生國內外獲獎• ACM國際競賽銀牌• IEEE 台灣分會論文獎• TSRI數位特優設計奬• VLSI/CAD 最佳論文獎• 新思優秀博士生獎學金

    • 畢業生任職於瑞昱、慧榮、聯發科…

  • Jen-Ming Wu(吳仁銘 )ProfessorInst. of Communications EngineeringDepartment of Electrical EngineeringNational Tsing Hua UniversityEmail: [email protected]

    Wireless Signal Processing – Systems, Hardware, and Software

    Wireless Fundamentals 5G/B5G PHY MIMO Radar

    Modulation and coding Random multiple access Stealth communicationsMachine learning for

    communications…

    ……

    Digital Precoder

    ……

    ……

    ……

    Spatial Modulator

    RF BeamformerBeam

    Control

    ……

    ……

    Sn

    (C)

    ……

    ……

    RF Beamformer

    RF-Chain

    RF-Chain

    Digital Combiner

    ……

    ……

    ……

    (B)

    MIM

    O Detector

    (C)(B)

    Channel Estimator

    Sn

    (A)

    ……

    ……

    ……

    RF-Chain

    RF-Chain

    (B)

    Array Antenna

    Array Antenna

    (B)

    Array Antenna

    Array Antenna

    MIMOChannel

    H

    TRANSMITTER RECEIVERBeamspace Effective Channel Heff

    PAPhase Shifter LNAPhase Shifter

    Beam Controller (A)

    Channel Encoder

    Channel Decoder

    3GPP 5G New Radio & beyondBaseband signal processingUltra-reliable and low latency

    (URLLC)Software defined radio (SDR)HW and SW integration

    Pulse Doppler radarSpace-time adaptive

    processingClutter and jammer

    interference suppression Machine learning for radar

    target recognition

  • 黃元豪

    研究領域 : 通訊與訊號處理晶片設計 通訊系統晶片 (多輸入多輸出偵測、預編碼、Tensor處理器)

    感測數位訊號處理系統與晶片 (光達, 太赫茲感測)

    生醫訊號處理 (睡眠深度、呼吸中止症)

    . 光達前端數位系統

    . 光達深度影像成像. 5G毫米波混合預編碼晶片

    . 5G毫米波基頻處理晶片

    . AI 基頻通訊晶片

    . Tensor 處理器晶片

    . 太赫茲壓縮式感測系統

    . 太赫茲感測訊號重建晶片

    . 壓縮式感測訊號重建

    Transmitter 1

    Transmitter 4

    Transmitter 2

    Transmitter 3

    Receiver 1

    Receiver 4

    Receiver 2

    Receiver 3

    Channel

    . 睡眠深度偵測系統

    . 睡眠呼吸中止症偵測

    數位晶片與系統

    通訊訊號處理 感測訊號處理

    生醫訊號處理

    APD Sensor Array

    High-Precision Depth Image

  • 指導老師: 陳 新 (Hsin Chen)專長: 仿神經網路晶片、生醫晶片、神經工程實驗室網頁: http://nel003.ee.nthu.edu.tw/

    Recurrent Spiking Neural Networks in VLSI Neuromorphic chips Nonvolatile memories Computation with noise Recurrent SNN for

    probabilistic learning & reasoning

    Bio-electronic Medicine for Neural Disorders Biochips interfacing with neurons Wireless power/data transmission Closed-loop algorithms for

    neuromodulation Compressive sensing algorithms

    and hardware

    仿神經網路架構 仿神經晶片系統架構

    http://nel003.ee.nthu.edu.tw/

    投影片編號 1投影片編號 2投影片編號 3投影片編號 4投影片編號 5投影片編號 6投影片編號 7投影片編號 8投影片編號 9投影片編號 10投影片編號 11投影片編號 12投影片編號 13投影片編號 14研究領域黃錫瑜目前主要的研究方向投影片編號 17投影片編號 18投影片編號 19投影片編號 20投影片編號 21投影片編號 22投影片編號 23投影片編號 24投影片編號 25投影片編號 26投影片編號 27