徳島大学大学院 ソシオテクノサイエンス研究部 情報...
TRANSCRIPT
![Page 1: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/1.jpg)
1
動画像符号化標準H.264/AVCにおける高性能VLSIの開発
徳島大学大学院
ソシオテクノサイエンス研究部
情報ソリューション部門
計算機システム工学大講座
宋天 島本隆
![Page 2: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/2.jpg)
2
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
背景
1997年~2004年 白川研究室(大阪大学)
2004年~今 徳島大学 來山研究室 助教
2004年~今 (株)シンセシス 主任研究員
研究暦:
1997年~2004年 H.263, H.263+を中心とする動画像符
号化アルゴリズム、VLSI化設計
2004年~今 H.264/AVC実装に向けアルゴリズム、
およびそのVLSIアーキテクチャ
![Page 3: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/3.jpg)
3
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
動画像符号化標準の歴史
90 91 92 93 94 95 96 97 98 99 00 01 02 03
MPEG
ITU|T
H.261(90)
H.263(95/96)
H.263+(97/98)
H.263++(00)
H.264(02/03)
MPEG-2(94/95)
MPEG-1(93)
MPEG-4v1(98/99)
MPEG-4v2(99/00)
MPEG-4v3(01)
H.263(95/96)
H.263+(97/98)
H.264(02/03)
![Page 4: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/4.jpg)
4
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
H.264/AVCの特徴広範囲な帯域での利用を想定
低ビットレート携帯端末から、デジタルシネマまで
携帯、ワンセグ放送、蓄積媒体、ゲーム機など
高い符号化効率従来のMPEG-4の約2倍の圧縮率
新たなアルゴリズムの導入フレーム間予測:7種類ブロックサイズ動き補償
フレーム内予測:多種多様な予測モード
算術符号化手法CABAC
演算量の大幅増加
![Page 5: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/5.jpg)
5
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
Rate Distortion Optimization
JMODE :コスト関数SSD :画像の歪み(現画像と複合画像の差)R :ビット数
従来の手法では,画質の劣化が著しい!
JMODE=SSD+λMODE・R 膨大な演算量!
すべてのブロックサイズでの動き探索
すべての予測モードに対して評価する
符号化コストを評価し、最適符号化モードを決定する
![Page 6: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/6.jpg)
6
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
3.DQ Engine
1.RDOアーキテクチャ
研究テーマ
DCT Q
IQ
IDCT
+
−
RAMMC
ME(Motion Estimation)
CAVLCCABAC
Rate Ctrl
Input Bit stream
DF
4.低遅延メモリアクセス手法5.高速DFアーキテクチャ
6.高速CABAC
2.低演算量ME
![Page 7: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/7.jpg)
7
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
RDOアーキテクチャ
“Efficient Motion Compensation Architecture with Rate-Distortion Optimization for H.264/AVC”, SIGMAP, Barcelona, July 2007
MEMEInterpolationMemory (IM)
INTER
INTRA
DF MC+
RDO
MC-
MC
distortion
DCT Q
IQIDCT
FEGBFEGB
DQ
bits
![Page 8: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/8.jpg)
8
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
動き探索アーキテクチャ(ME)• 概要
– ME を行いブロックサイズ・動きベクトルの情報を生成
• 特徴– TAD+Top-down method の実装
– 探索範囲を適応的に制御可能な設計
– 並列演算法の実装
• 目標– 画質の劣化は最小限にとどめる
– HDTV 720p (1280x720, 30fps) のリアルタイム演算
“Efficient variable search range motion estimation architecture for real-time RDO of H.264/AVC”, NCSP, Shanghai, March 2007
![Page 9: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/9.jpg)
9
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
動きの少ないシーケンス
過去のフレーム 符号化フレーム
動きが大きいシーケンス
冗長な探索範囲が存在
動きの激しさに応じ、適応的に探索範囲を決定
“Adaptive search range motion estimation algorithm for H.264/AVC”, ISCAS, New Orleans, May, 2007
低演算量ME‐適応的探索範囲
過去のフレーム 符号化フレーム
![Page 10: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/10.jpg)
10
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
高速DCT/量子化エンジン
“Fast Transform and Quantization Architecture with All-Zero Detection and Bit Estimation for”, IWSDA, Chengdu, Sep. 2007
AllZero
Q
FEGB
IQ
DCT
IDCT
16
1616 ●
1616
16●
MC
VLC
MCDCT
QIQ
IDCTVLC
:Motion Compensation:Discrete Cosine Transform:Quantization:Inverse Q:Inverse DCT:Variable Length Codinggenerated bits
DQ
All-zeroブロックの判定: 冗長な処理を省く生成ビット数の高速予測: 高速RDOを実現
![Page 11: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/11.jpg)
11
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
低遅延フレームメモリアクセス手法
“Reference Frame Data Compression Method for H.264/AVC”, IEICE Electronics Express, vol.4, no.3, pp.122-126
“H.264/AVCにおけるフレームメモリアクセス手法”, IEICE VLD研究会, 北海道, June, 2007
DMA
SDRAM
DMA制御部 メモリ制御部
ME
MC data⑥
data④
data④
data④
address②
access③
ME_req①
MC_req⑤
SRAM
データ圧縮
ME,MCの処理特徴を利用し、SRAMを設置
現画像データをロスレス圧縮
![Page 12: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/12.jpg)
12
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
高速デブロッキングフィルタ設計
“H.264/AVCデコーダにおける低演算量デブロッキングフィルタ実装手法”, IEICE VLD研究会, 北海道, June, 2007
cif画像(352×288)
16画素
16画素
ブロック境界
4画素 4画素
画素の特徴を用いる高速処理: 192サイクル以下/ブロック
![Page 13: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/13.jpg)
13
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
CABACの全体構成
コンテキスト計算部
2値化部
CABAC
符号ビット
(0,1,0,0,1)2値信号
発生確率
多値信号
(+3,-6,…)算術符号化器
CAVLCより、高い圧縮率達成する符号化手法並列処理が困難: 1ビット/1サイクル実現
高解像度アプリケーションに対応できず
1サイクルに複数のビット処理を実現するアーキテクチャ
![Page 14: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/14.jpg)
14
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
高速CABACアーキテクチャ
“Efficient Multi-State Estimated Architecture of CABAC for H.264/AVC Encoder”,
NCSP, Shanghai, March 2007 (特許: PCT/JP2007-54358 )
Stage 1 Stage 2 Stage 3 Stage 4
ContextMemoryManager
MSEContextUpdate
RAMMSErLPS
Selector
MSERangeUpdate
MSELow
Update
context1
context2rLPS1[4]
rLPS2[4]
TransrLPS1
TransrLPS2
symbol2
symbol1
Contextmemory1
Contextmemory2
Parsngarea1
Parsngarea2
updatedcontext1
updatedcontext2
MSELow
Update
![Page 15: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/15.jpg)
15
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
研究のまとめ
1.RDOアーキテクチャ2.低演算量ME3.DQ Engine 4.低遅延メモリアクセス手法5.高速DFアーキテクチャ6.高速CABAC (適応的CAVLC/CABAC符号化)7.MPEG-2/H.264 Transcoding8.SVC(Scalable Video Coding)
H.264/AVC VLSI化実装技術
H.264/AVCコーデックの実現
1.各機能ブロックの技術が完成2.全体アーキテクチャが研究レベルで完成3.実機検証は未完成
![Page 16: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/16.jpg)
16
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
想定された用途
• 高解像度アプリケーション– 特に高いビットレートが要求される製品に組み込む専用LSI– 高い圧縮率が求められる製品(HDレコーダ用LSI)
• リアルタイム処理アプリケーション
– ビデオカメラ
– 録画機器
• 携帯機器– 携帯端末向け、動画像符号化(ビデオ携帯、Webcam)
– テレビ電話
![Page 17: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/17.jpg)
17
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
実用化に向けた課題
• 現在、中核技術に関してはソフトウェアや、コンピュータシミュレーション上の動作確認済み。
• 今後、具体的アプリケーションに特化した全体制御部分の設計が残されている。
• アーキテクチャをハードウェア実装を行い、実機で動作を検証する必要がある。
![Page 18: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/18.jpg)
18
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
企業への期待
• 技術難題を克服したため、商品化に向け、特定の需要を定めたい。
• H.264/AVCの全体設計について、共同研
究を希望する。
• 関連技術の共同研究も希望する。
• 動画像の処理に関係する企業の難題を一緒に解決したい。
![Page 19: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/19.jpg)
19
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
研究に関する知的財産権
発明の名称:算術符号化装置、算術符号化方法、算術符号化プログラムを格納したコンピュータで読み取り可能な記録媒体
出願番号:PCT/JP2007/54358
出願人:徳島大学
発明者: 宋天(大学院ソシオテクノサイエンス研究部)山田篤(大学院工学研究科)島本隆(大学院ソシオテクノサイエンス研究部)
![Page 20: 徳島大学大学院 ソシオテクノサイエンス研究部 情報 ......算術符号化手法CABAC 演算量の大幅増加 5 Dept. of Electrical and Electronic Engineering KITAYAMA](https://reader035.vdocuments.pub/reader035/viewer/2022071411/61073aee87deda5dd74afb28/html5/thumbnails/20.jpg)
20
Dept. of Electrical and Electronic Engineering KITAYAMA Lab.
お問い合わせ先
(株)テクノネットワーク四国(通称:四国TLO)技術移転部課長 田村 英樹
〒760-0033 香川県高松市丸の内2番5号TEL: 087-811-5039 FAX: 087-811-5040E-mail: [email protected]
国立大学法人徳島大学知的財産本部 知的財産部門 特許管理室知的財産研究員 増田 隆男〒770-8506 徳島市南常三島町2-1TEL : 088-656-4997(内線4997)FAX : 088-656-9814E-Mail : [email protected]
宋 天(ソウ テン)徳島大学大学院ソシオテクノサイエンス研究部(研究部)情報ソリューション部門・計算機システム工学大講座(教育部)電気電子創生工学コース・知能電子回路講座(学 部)電気電子工学科・知能電子回路講座Tel:088-656-7484, FAX:088-656-7471 内線: 5105Email: [email protected]