my mpeg life: mpeg-2, mpeg-4, h264/avc and h.265/hevc

NTTドコモ　執行役員、イノベーション統括部長!

栄藤　稔（えとう　みのる）

…MPEG2,MPEG4,H.264/AVCそしてH.265/HEVC….

1

MPEG回想録

Shall を求めて。。。

知財戦争

世界の英知

簡単な自己紹介

2

情報メディアの伝送速度と圧縮後の伝送速度

16kbps

1 5.5

1.4Mbps

100 kbps

10 kbps

100 Mbps

1Gbps

伝送速度

電話 音楽 （CD）

256kbps

ビデオ （VHS品質）

30Mbps

1.5Mbps

現行テレビ （受信品質）

100Mbps

4Mbps

　　　HDTV （ﾊｲﾋﾞｼﾞｮﾝ･ｽﾀｼﾞｵ品質）

圧縮率

30Mbps

情報メディア

電話

音楽

ビデオ

現行テレビ

ハイビジョン・テレビ

1 4

1 20

1 25

1 40

圧縮後の 伝送速度

原信号の 伝送速度

♪CD

60kbps

3

放送の多チャネル化

4

放送衛星

ＢＳ

(Broadcasting Satellite)

27ＭＨｚ

（1ﾁｬﾝﾈﾙ分の 伝送帯域）

従来の1ﾁｬﾝﾈﾙ

アナログ

情報圧縮後

ディジタル

従来の1ﾁｬﾝﾈﾙ分で6ﾁｬﾝﾈﾙ分のﾃﾚﾋﾞ画像が伝送可能

例 30Mbps/ﾁｬﾈﾙ

MPEG2

多ﾁｬﾈﾙ化

例

①5Mbps/ﾁｬﾈﾙ

②5Mbps/ﾁｬﾈﾙ

③5Mbps/ﾁｬﾈﾙ

④5Mbps/ﾁｬﾈﾙ

⑤5Mbps/ﾁｬﾈﾙ

⑥5Mbps/ﾁｬﾈﾙ

［例］

総合ﾁｬﾈﾙ だけ

総合ﾁｬﾈﾙ

ﾆｭｰｽ・ ﾁｬﾈﾙ

ｽﾎﾟｰﾂ・ ﾁｬﾈﾙ

教育ﾁｬﾈﾙ

映画ﾁｬﾈﾙ

その他

10k 100k 1M 10M

176x144 (テレビ電話)

320x240 (PCｽﾄﾘｰﾐﾝｸﾞ)

720x480/VGA (通常TV映像)

1920x1080 (HD映像)

3840x2160 (4K UHDTV)

MPE

G-2 (1

994)

H.261

MPEG-1

(199

2)H.

263

MPE

G-4(1

999)

H.264/A

VC (2

003)

100M

ISDNテレビ電話

デジタルSD放送 / DVD (6M～8M)

デジタルHD放送 / HD-DVD (20M～28M)

Blu-ray DVD

ワンセグ

H.265/H

EVC

(2013

)5

ISO/IEC JT1の組織図とMPEGの位置づけ!!!

International Organization for Standardization

!!

International Electrotechnical

Commission

IEC国際標準化機構

ISO国際電気標準会議

!!!

ISO/IEC Joint Technical Committee

ISO/IEC 合同技術委員会 1ISO/IEC JTC1

SC1

SC2

SC29

WG1(JPEG, JBIG)

WG11(MPEG)

WG12(MHEG)

SC :Sub Committee, 専門部会 WG :Working Group, 作業部会 JPEG :Joint Photographic Coding Experts Group MHEG :Multimedia and Hypermedia Information Coding Experts Group MPEG :Moving Picture Experts Group ﾏﾙﾁﾒﾃﾞｨｱ

符号化

6

画像符号化規格の変遷• ISO/IEC 標準規格 と ITU-T 勧告

ISO/IEC

ITU-T

MPEG-1 MPEG-2MPEG-4

Part2

H.261 H.262 H.263 H.26L

Storage Media ～1.5Mbps

Generic ～80Mbps

Generic AV 10k～40Mbps

ISDN TV phone p×64kbps

B-ISDN Comm. ～80Mbps

PSTN TV Phone ～28.8kbps

Common Text

1990 1992 1994 1996 1998 2000 2002 2004

Technically Aligned

MPEG-4 Part10

H.264

2003年3月作業完了

7

トピック

• 動画像符号化標準化の歴史!❖ ＭＰＥＧ１：ＣＤ-ROMに動画像!❖ ＭＰＥＧ２：デジタルＴＶ放送の実現!❖ ＭＰＥＧ４：オブジェクト表現への挑戦!❖ H.264/AVC: ITUチームの勝利!❖ H.265/HEVC：実はドコモが仕掛けた標準!

• 標準化裏話

8

すべてはH.261 (1998.11)から始まった

9

2001年 MPEG-4 Video

10

2001年末 i-motion

11

MPEG-4 Simple Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps

12

❏ ❏メディアの性質を利用 ➤ 2値画像: 白黒画素が連続しやすい ランレングス符号化 ➤静止画: 　 近くの画素は似ている DCT ➤動画像: 現画面は前画面に似ている 動き補償予測

❏ ❏人間の視聴覚特性を利用 ➤画像: 色信号の劣化には鈍感 色はサブサンプル ➤音声: 大音と同時にある小音は聞こえにくい マスキング

❏ ❏符号の発生確率の偏りを利用 ➤符号発生確率に差がある 可変長符号化

まずは画像符号化（圧縮）のおさらい

13

❏ ❏可逆圧縮： 完全に元通りに伸張できる ➤コンピュータデータ等完全保存が必要なもの ➤圧縮率は低い ➤医用画像では重要。

❏ ❏非可逆圧縮： 完全に元通りに伸張できない ➤画像圧縮等多少の劣化を許容できるもの ➤人の眼をごまかせる情報は落とす。 ➤圧縮率は高い

可逆圧縮と非可逆圧縮

14

画像圧縮とは

15

視覚特性を考慮した上で、画像等の持つ 　空間的、時間的、統計的冗長性 を除く事によってデータ量を減らすこと

この辺は一様なので冗長度が高く圧縮しやすい

この辺は入り組んでいるので冗長度が 低く圧縮しにくい

画像

❏ ❏空間的冗長性の利用 ➤ DCT/量子化

❏ ❏時間的冗長性の利用 ➤ 動き補償予測

❏ ❏統計的冗長性の利用 ➤ 可変長符号

画像圧縮の原理　-冗長性からの分類-

16

❏ メディアの性質: 自然画では隣り合う画素は似ている ❏ 視覚の性質: 人間は細かな絵柄は見えにくい

❏ 画像を空間周波数成分に分解 ➤ 信号が低周波成分に集中する

❏ 低周波成分のみ伝送 ➤ 少しのデータで伝送可能

空間冗長性の利用

17

空間周波数

フラット

自然画

幾何学模様

x

輝 度

x

輝 度

x

輝 度

空間周波数

18

f(x)

u

スペクトル

u

u

F(u)

スペクトル

スペクトル

DCTの図形的理解（直交射影）　

19

1次元DCTの各成分

2次元DCTの各成分

DCT特有の視覚劣化(Artifact)

20

ブロックノイズ

モスキートノイズ

差分のみ伝送

❏ 動画像では前後の画面はよく似ている ➤ 前画面との差分のみを送ればよい

時間的冗長性の利用

21

動画像の情報源モデル→動画像は平行移動するブロックから構成される !

動きの方向/大きさから、次の画面は予測できる 　　　　　　

ベクトル ベクトル

動き補償

22

前フレーム 現フレーム

動きベクトル

差分

動き補償された フレーム

差分とベクトル のみを伝送

動き補償フレーム予測

23

転送レート 64Kbps～2Mbps ～1.5Mbps ～15Mbps（現行TV） ～80Mbps（HDTV）

代表的画像サイズ 360×288×30 （ﾉﾝｲﾝﾀｰﾚｰｽ）

360×288×30 （ﾉﾝｲﾝﾀｰﾚｰｽ）

基本アルゴリズム動き補償予測

＋DCT動き補償予測

＋DCT

フレーム構造フレーム内符号化

＋フレーム間符号化フレーム内符号化

＋フレーム間符号化 ＋両方向予測符号化

フレーム内符号化 の周期

不定期 （最低132frame中 1frame）

定期 （GOP単位）

その他

標準化時期 1990年12月 勧告 1992年11月標準化

主な用途 ISDN網用テレビ電話・会議

CD、DAT

H.261 MPEG1 MPEG2

720×480×30（ｲﾝﾀｰﾚｰｽ） HDTV

動き補償予測 ＋DCT

フレーム内符号化 ＋フレーム間符号化 ＋両方向予測符号化

定期 （GOP単位）

・ﾉﾝｲﾝﾀｰﾚｰｽ/ｲﾝﾀｰﾚｰｽ 適応 符号化

・ｽｹｰﾗﾋﾞﾘﾃｨ拡張

1994年11月 標準化

汎用　(DVD, 放送など)

H.261とMPEG1、MPEG2

24

I B B P B B P

I : Intra (ﾌﾚｰﾑ内符号化） P : Prediction (前方向ﾌﾚｰﾑ予測符号化） B : Bi Prediction (両方向ﾌﾚｰﾑ予測符号化）

MPEG

H.261 I P P P P P P

フレーム予測構造

25

MPEG-4標準化でやったこと❖ １９９２年から１９９６年頃にかけて、超低ビットレート符号化（VLBR

Coding)の研究がブームとなり、多くが挑戦。しかし、モバイルだから超低ビットレート／誤り耐性という特徴を求めたことは失敗。!

❖ 私の標準化チームもオブジェクト符号化を提案した。これは画像を階層的に表現するものでMPEG-4の主特徴となったが商用化は失敗。!

❖ DCT係数予測、動きベクトルの精緻化、算術符号化の導入などをやってMPEG1/2より30%改善程度。

26

スプライト符号化

27

スプライト符号化

28

採用されたオブジェクト符号化技術

29

ISO標準化で思うこと

✴ それまで「大学の研究が一番進んでいて、企業は応用開発を考えるところだ」と思っていた青い考えが木っ端みじんに粉砕。

✴ 標準化＝世界の英知を集めた競争／共同開発。 ✴ 交渉、発表は 全て個人ベース。会社の肩書きなんて役立たず。 ✴ 腹芸、論破、ロビー活動、交渉、法的記述で個人能力は成長。 ✴ インナーサークル（内輪） は存在し、入るための場外活動が重要。 ✴ 英語が話せないということは論外。

30

学会レベルとは何かを考えさせられた話

トップレベル ＤＣＴ＋動き補償符号化、枯れた技術を提案

２番手レベル Wavelet, 可変領域動き補償、 フラクタル

論文に良く出ている方式を提案

３番手レベル ＤＣＴ＋動き補償符号化、枯れた技術を提案

ＭＰＥＧ４の主観評価実験の結果は 以下の３グループに分けられる。

トップレベルと２番手レベルの 違いは何か？ バックデータの違い。 トップレベルは全ての技術を 追試し、そのアセスメントを 終えている。 それが企業の技術、実力！

31

MPEG−４の標準化を終わって、もうこれ以上の効率改善はないと思った。

32

2001年 ITU-Tグループが地道に先行

FDIS: 最終標準規格案

1997 1998 1999 2000 2001 2002 2003

ITU-T (VCEG)

ISO/IEC (MPEG)

H.26L 提案募集

H.26L 第1草案

MPEG-4 Part 2 Ver. 1 FDIS

MPEG-4 Part 2 Ver. 2 FDIS

新規 提案評価

`98/01 `99/10

`98/10 `99/11 `01/07

`01/12 `03/03

JVT

最終標準規格案

H 2 6 4 / A V C共同作業班発足

33

H.264/AVCの技術的特徴

動き 補償

フレーム メモリ

エントロピー 符号化－

＋

動き 検出

ブロック 歪除去 フィルタ

変換 量子化

逆量子化

逆変換

ﾌﾚｰﾑ 内予測

空間方向の冗長度削減

時間方向の冗長度削減

画像の復元

エラー 耐性 ツール

画像を複数の ブロックに分割

MPEG-4から変更した機能

MPEG-4を拡張した機能

MPEG-4になかった機能

34

H.264 Baseline Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps

MPEG-4 Simple Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps

35

Akiyo QCIF 15Hz

Y-P

SN

R [d

B]

282930313233343536373839404142

Bit-rate [kbit/s]

0 7.4 14.9 22.3 29.7 37.1 44.6 52

H.263-BaseMPEG-4 SPH.264/AVC BP

H.264/AVC Baseline Profileの客観的性能

Codec MPEG-4 SP H.263 Baseline

H.264/AVC Baseline 29.37% 40.59%

MPEG-4 SP - 15.69%

By courtesy of Heinrich Hertz Institute Berlin, Germany

36

H.264/AVC と MPEG-4 パート2との比較要素技術 MPEG-4 (Simple) H.264/AVC (Baseline)

フレーム内予測 変換係数の予測 画素値の予測

動き補償の単位 16x16画素のブロックと 8x8画素のブロックの2種類

16x16画素のブロック～4x4 画素のブロックの7種類

動き補償の精度 ½ 画素精度まで ¼画素精度まで

参照画像の枚数 1枚 5枚

動きベクトルの個数 1または4個 1, 2, 4または16個

変換方法 8x8画素単位の離散コサイン 変換(DCT)

4x4画素単位の整数変換

エントロピー符号化 ハフマン符号化 適応ハフマン符号化*

ループフィルタ なし あり

エラー耐性ツール 組込み型 組込み型

冗長度削減 時間方向

冗長度削減 空間方向

* H.264/AVC main プロファイルには算術符号化が含まれる

37

H.264/AVC映像符号化標準規格のHigh Profileへの貢献に対して、米国のエミー賞(Primetime Emmy Engineering Awards)を団体で受賞。ITUとISO/IECのビデオ・エキスパート・グループの共同検討チーム (通称JVT、ドコモを含む全9団体）が受賞。 !Emmy賞とは：米国テレビ芸術科学アカデミー（The Academy of Television Arts & Sciences）の主催で、アメリカのテレビドラマを始めとする番組のほか、テレビに関連する様々な業績に与えられる賞である。過去1996 年に　ISO/IEC SC29（代表、安田浩　元東大教授、現東京電機大学）JPEG、 MPEG-1、MPEG-2の国際標準化活動の功績に対して、第50回米国エミー賞（技術開発部門）を受賞 Technology and Engineering

Emmy Award

エミー賞（団体）の受賞(2008)

38

エミー賞技術部門　授賞式出席模様(2008.8.23 18:00-22:00)

受賞会場：Renaissance Hollywood Hotel and Spa,

SONY ThomsonHHI

Microsoft

Motorola

Docomo

Dolby

出席者：技術部門賞の関係者200人ほど

39

受賞後の記念撮影

40

知財について❖ MPEG-2の規格特許は一本数億円の価値だとか？　秘密。!

❖ 多くの私企業ではR＆Dの仕事は知財の確保。!

❖ どちらが大事？　1. N社は寄書提出前に書く。2. S社とP社は特許を会合中に書く。!

❖ 会合終了時に標準ドラフトの不備を指摘する。自ら技術提案はしない。待っていれば、自分が書いた特許にぶつかる寄書を誰か出す。自分が提案しなくても特許は増える。

41

H.264でもう仕事はやり遂げたと思った。もう符号化効率向上はもう無いだろう。

42

と思ったら。同僚が。。。

43

H.264の２倍の効率：H.265/HEVC

2003 2013

ドコモ端末にて 提供される動画サービス

(2001)

(2006) (2012)

(2009)

HEVCによる  モバイル動画の  高精細・高品質化

10年

3GPP  Rel.12  (予定)

2014/61998

H.265 HEVC

44

HEVC標準化とドコモの関わり■ ドコモは「動画トラヒック急増によるモバイル網の逼迫」を見越し、H.264の性能を超える方式の必要性を提起。  ■ 全世界の英知を集め最高性能の方式構築を目指し、ITU-T/ISO共同標準化作業の立ち上げに貢献。  – ドコモ主催の標準化会合で、ITU-Tから正式にISOとの共同作業提案を表明。8か月後に共同作業班JCT-VC*1が設立。  – JCT-VCの下でHEVC標準化が開始し、HEVC要求仕様はドコモ提案(圧縮率/複雑度要求等)に基づく。  

■ ドコモが開発した方式に基づく共同提案は、HEVC提案募集に対する最優秀方式の１つ(27提案中)と評価。  ■ 各社提案の技術採否審議の主要メンバーや、HEVC規格参照ソフトウェア(HM)の主査を担う。  ■ 圧縮性能、機能性、演算量低減、プロファイル提案等の幅広いドコモ提案が採用。

*1  Joint  Collaborative  Team  on  Video  Coding  

HEVC標準化活動(JCT-VC)

規格完成

構想・要求条件議論

共同提案

プロファイル決定  （ドコモ案ベース）

技術提案（圧縮性能、機能性、演算量低減　等）　　　ドコモの動画圧縮方式開発

技術採否審議・参照ソフトウェア(HM)主査

次期圧縮方式 必要性提起

20122011 2013201020092006-2008

構想検討

構想／要求 仕様を提案

標準化会合  主催

テスト  動画提供

最優秀方式  の1つと評価

HEVC標準化

プロファイル  提案

モバイル  実時間再生  実証

ドコモの関わり

4K実時間再生（ＰＣ）

要求仕様(初版)  (ドコモ案ベース)

ITU-TからISO  に共同作業提案

検証必須  動画に採用

JCT-VC設立  要求仕様・  提案募集  発行

46

47

ＨＥＶＣの主な技術

48

画面間 予測

フレーム  メモリ

　エントロピー  符号化

－

＋

動き 検出

変換 量子化

逆量子化

逆変換

画面内 予測

空間方向の冗長度削減

画像の復元画像を複数の  ブロックに分割

フィルタ 処理

時間方向の冗長度削減

010 0 011

①

②

② ③

① 高解像な動画の効率圧縮のため、より大きなブロックサイズの導入  ② 画面内・画面間予測でさらに高精細な予測方法の実現  ③ 復号画像を原画により近づけるフィルタ処理の導入

- 7 -49

ＨＥＶＣの主な技術：①大きなブロックサイズ

最大ブロックサイズ：16x16 最大ブロックサイズ：64x64  

HEVCH.264

50

ドコモにおけるHEVCの商用利用

51

©創通･サンライズ　　　　

機動戦士ガンダム

©Magica  Quartet/Aniplex ･ Madoka    Partners  ･ MBS　　

©ANOHARA  PROJECT　　　　

魔法少女  まどか☆マギカ

あの日見た花の名前を  僕たちはまだ知らない。

iPhone6/6plus

14冬-15春モデル　9機種  

SC-04F SH-04F F-05FSO-04F SO-03F F-06F SH-06F SO-05F

SO-02G SC-01G SC-02GSO-01G F-02G SH-02G F-03GSH-01G SC-03G

dアニメストア    HEVC対応作品例

14夏モデル　　　　　8機種

dアニメストア    HEVCコンテンツ対応端末

iPhone  FaceTime(TV電話)でHEVC対応

FaceTime

あきらめないことが大事。 MPEG回想録

52

H.266 !to be continued?