mmtを用いた 8kスーパーハイビジョン衛星放送の 7 hyper text markup language 5 ※8...

12
報告 要約 8Kスーパーハイビジョン(以下,8K)衛星放送システムの開発が進められている。8Kに対応 したディスプレーは極めて高精細であるため,放送と通信の両方の伝送路を同じように用いてコ ンテンツを配信するハイブリッド配信により,効果的に情報を提示することができる。NHK は,8K衛星放送のメディアトランスポート方式としてMMT(MPEG Media Transport)を用 いる方式を提案し,その方式が国内の標準規格に採用された。本稿では,ハイブリッド配信によ り実現されるサービス例を紹介するとともに,MMTを用いる放送システムの構成,映像・音声 信号のMMTPパケット化の詳細,放送サービスを受信するために必要な制御情報について述べ る。 ABSTRACT An ultra-high definition display for 8K Super Hi-Vision is able to present much more information at one time. A variety of services are enabled by presenting various information obtained from broadband networks together with high-quality content delivered through satellite broadcasting channels. In order to realize advanced hybrid services achieved by harmonization of broadband networks with broadcast channels in terms of content delivery, an MMT - based transport technology we have proposed is introduced in an 8K Super Hi-Vision satellite broadcasting system under development in Japan. This report describes the general structure of MMT-based broadcasting systems, carriage of audio / video signals in the MMT Protocol, and signaling information required for broadcasting systems. MMTを用いた 8Kスーパーハイビジョン衛星放送の メディアトランスポート方式 青木秀一 Development of Media Transport Protocol for 8K Super Hi−Vision Satellite Broadcasting System Using MMT Shuichi Aoki NHK技研 R&D/No.150/2015.3 23

Upload: phamliem

Post on 18-Mar-2018

225 views

Category:

Documents


4 download

TRANSCRIPT

報告

要約 8Kスーパーハイビジョン(以下,8K)衛星放送システムの開発が進められている。8Kに対応したディスプレーは極めて高精細であるため,放送と通信の両方の伝送路を同じように用いてコンテンツを配信するハイブリッド配信により,効果的に情報を提示することができる。NHKは,8K衛星放送のメディアトランスポート方式としてMMT(MPEG Media Transport)を用いる方式を提案し,その方式が国内の標準規格に採用された。本稿では,ハイブリッド配信により実現されるサービス例を紹介するとともに,MMTを用いる放送システムの構成,映像・音声信号のMMTPパケット化の詳細,放送サービスを受信するために必要な制御情報について述べる。

ABSTRACT An ultra-high definition display for 8K Super Hi-Vision is able to present much more informationat one time. A variety of services are enabled by presenting various information obtained frombroadband networks together with high-quality content delivered through satellite broadcastingchannels. In order to realize advanced hybrid services achieved by harmonization of broadbandnetworks with broadcast channels in terms of content delivery, an MMT-based transporttechnology we have proposed is introduced in an 8K Super Hi-Vision satellite broadcastingsystem under development in Japan. This report describes the general structure of MMT-basedbroadcasting systems, carriage of audio/video signals in the MMT Protocol, and signalinginformation required for broadcasting systems.

MMTを用いた8Kスーパーハイビジョン衛星放送のメディアトランスポート方式青木秀一

Development of Media Transport Protocol for 8K SuperHi−Vision Satellite Broadcasting System Using MMT

Shuichi Aoki

NHK技研 R&D/No.150/2015.3 23

タブレット端末

通信

映像放送

映像

映像 映像

映像映像

(a)放送と通信で伝送するコンポーネントを同期して提示

(b)放送と通信で伝送するコンテンツを切り替えて提示

通信

映像音声

映像音声

放送

放送

通信

放送 放送

1.はじめに2016年の試験放送開始を目指し,8K衛星放送システムの開発が進められている。8Kに対応したディスプレーは極めて高精細であるため,従来と比べてより多くの情報を提示することができる。そこで,この8Kディスプレーを用いて,衛星放送で伝送する高品質のコンテンツを提示するだけでなく,通信伝送路から取得した関連情報も併せて提示するサービスの実現が期待される。当所では,こうしたハイブリッド配信によるサービスの実現を目的として,8K衛星放送システムにおける通信伝送路の積極的な利用を検討してきた。この検討に基づき,わが国における8K衛星放送の標準化において,放送や通信など多様な伝送路を用いることが可能なメディアトランスポート方式であるMMT1)を用いた放送システムを提案した。情報通信審議会における審議の結果,当所の提案は,2014年3月の一部答申に採用された。MMTは,ISO/IEC(International Organization for

Standardization/International Electrotechnical Com-mission:国際標準化機構/国際電気標準会議)の標準規格として,さまざまなアプリケーションに対応できるように,伝送時のパケット形式,ペイロード形式,制御情報の形式などを規定しているが,それらの規格をどのように用いるかについて,アプリケーションに応じて検討する必要がある。そのため当所では,放送システムを実現するためのMMTの詳細仕様を検討し,電波産業会(ARIB:Association of Radio Industries and Businesses)の標準規格の策定において提案を行った。この提案は,MMTを用いる放送システムにおける映像・音声信号の伝送方法や,種々の制御情報の仕様を含んでおり,ARIBにおける審議の結果,標準規格2)に採用された。

本稿では,当所が提案し,国内の標準規格に採用されたMMTによる放送システムの構成や,映像・音声信号の伝送方法,さらに,放送システムを実現するための制御情報などについて述べる。

2.ハイブリッド配信により実現されるサービス

衛星放送は,多数の利用者に同時に安定して高品質のコンテンツを伝送できるという特徴がある。一方,通信伝送路は双方向の伝送が可能であり,受信者の要求に応じたコンテンツを伝送できるという特徴がある。そこで,衛星放送と通信伝送路を併せて用いるハイブリッド配信により,1図に示すようなサービスを実現することができる。1図(a)は,放送と通信で伝送する映像や音声などのコンポーネント(コンテンツを構成する要素)を同期して提示するサービスの例である。多くの利用者が見込まれるコンポーネントは放送で伝送する一方,個別の要求に応じたコンポーネントは通信伝送路で提供する。このとき,画面上の指定した位置に映像コンポーネントを提示することで,超高精細のディスプレーを効果的に活用することができる。さらに,近年普及しつつあるタブレット端末などを利用して,放送に関連するコンテンツを視聴することも可能となる。1図(b)は,利用者の性別や年齢などに応じて,提示するコマーシャルを切り替えるなど,コンテンツを切り替えて提示するサービスの例である。特定の時間だけ通信伝送路から受信する,あるいは蓄積された映像・音声信号に切り替えることで,利用者ごとに適したコンテンツを提示することが可能となる。このように,ハイブリッド配信により情報を活用するこ

1図 ハイブリッド配信により実現されるサービスの例

報告

NHK技研 R&D/No.150/2015.324

(a)放送伝送路のレイヤーモデル

MMT

HEVC※3

コンテンツダウンロード

AAC※4,ALS※5

HTML5※7

映像 音声 字幕 EPG※6アプリ

MMT-SI

字幕符号化

TLV

時刻情報

(NTP※2)

データ伝送方式

UDP※8/IP

放送

TMCC※1

(b)通信伝送路のレイヤーモデル

MMT

HEVC AAC,ALS

映像 音声

データ伝送方式

UDP/IP,HTTP※9/TCP※10/IP

通信

UDP/IP TCP/IP

HTTP

※1 Transmission and Multiplexing Configuration Control※2 Network Time Protocol※3 High Efficiency Video Coding

※4 Advanced Audio Coding※5 Audio Lossless Coding※6 Electronic Program Guide※7 Hyper Text Markup Language 5※8 User Datagram Protocol※9 Hyper Text Transfer Protocol※10 Transmission Control Protocol

時刻情報

(NTP)

字幕

字幕符号化

MMT-SI

HTML5

EPGアプリコンテンツダウンロード

とで,これまでのテレビの利用形態とは異なる新たなサービスの実現が期待できる3)~6)。

3.MMTによる放送システムの概要3.1 放送システムの構成MMTは,放送のような一方向伝送路を含む多様な伝送路を用いたコンテンツ配信に適するメディアトランスポート方式であり7)8),ISO/IEC JTC1/SC29/WG11(MPEG:Moving Picture Experts Group)において,2014年3月に国際規格として承認された。わが国では,情報通信審議会が2014年3月に一部答申した「超高精細度テレビジョン放送システムに関する技術的条件」のうち「衛星基幹放送及び衛星一般放送に関する技術的条件」において,放送と通信の両方の伝送路を同じように用いることで可能となる高度な放送・通信連携サービスを実現するために,当所が提案したMMTを用いる方式が採用された。この一部答申を受け,ARIBにおいて,8K衛星放送システムを実現するための規格整備が行われた。ARIBの標準規格で規定される4K/8K放送システムの構成を2図に示す。2図(a)の放送伝送路のレイヤーモ

デルにおいては,符号化した映像・音声信号等をMMTP(MMT Protocol)パケットに格納し,IP(Internet Pro-tocol)パケットで伝送する。IPパケットの伝送には,効率的な多重が可能なTLV(Type-Length-Value)多重化方式9)*1を用いる。このような映像・音声信号等の伝送方法と併せ,放送番組のための制御情報であるMMT-SI(MMT-Signaling Information)の仕様も規定されている。2図(b)の通信伝送路のレイヤーモデルは,2図(a)の放送伝送路のレイヤーモデルと非常に類似している。これは,MMTが放送伝送路と通信伝送路を同じように扱うことができるという特徴によるものである。当所では,この放送システムの実装を行い,放送伝送路で伝送したコンポーネントと,通信伝送路で伝送したコンポーネントを,受信装置で同期させて提示するコンテンツ配信の機能検証実験を行い,MMTの有効性を示した。この検証実験に用いたシステムを,2014年の当所の一般公開で展示した。3.2 MMTのパッケージと放送のサービスとの関係MMTでは,コンテンツの単位をパッケージと称してい

*1 IPパケット等の可変長パケットを多重化するための枠組み。

2図 4K/8K放送システムの構成

NHK技研 R&D/No.150/2015.3 25

映像コンポーネント

音声コンポーネント

データ

サービス

パッケージ

映像コンポーネント

音声コンポーネント

データ

マルチ編成のサービス

パッケージ

IPデータフロー(放送あるいは通信の伝送の単位)

イベント(番組)

物理チャンネル

TLVストリーム

TLVストリーム(放送伝送路における伝送の単位)

パッケージ

サービス

パッケージ

サービス

映像コンポーネント

音声コンポーネント

… …

映像コンポーネント

… …

る。このパッケージと放送のサービスとの関係を3図に示す。放送のサービスとは,スケジュールに従って送出される連続した番組のことである。MMTによる放送システムにおいては,パッケージをサービスと一対一に対応付けることとした。これまでの放送では,MPEG-2 Systems*2で規定されるプログラム(MPEG-2 Systemsにおけるコンテンツの単位)を,放送のサービスと一対一に対応付けていたが,MMTによる放送システムでは,プログラムの代わりにパッケージを用いる。1つのサービス(1つのパッケージ)において,開始時刻と終了時刻により区切られた番組をイベントと呼ぶ。3図に示すように,複数のパッケージを同一のIPデータフローに多重して伝送することができる。ここでIPデータフローとは,IPヘッダーおよびUDPヘッダーに含まれる送信元IPアドレス,宛先IPアドレス,IPヘッダーに含まれるプロトコル種別,送信元ポート番号(送信アプリケーションが指定する番号),宛先ポート番号(受信アプリケーションを指定する番号)の5種類のフィールドの値がすべて同じであるIPパケットの集合である。放送伝送路には,パッケージを伝送するIPデータフローに加えて,ダウンロードサービスや拡張サービスのためのIPデータフローが存在することもある。このような複数のIPデータフローは,放送伝送路における伝送の単位であるTLVストリームに多重される。ここでストリームとは,伝送路の種類や信号形式にかかわらず「データの流れ」を意味する。TLVストリームは,

TLVストリームID(Identification)で識別されるTLVパケットの系列であり,TLV-NIT(Network Informa-tion Table)やAMT(Address Map Table)といったTLV多重化方式の制御情報(TLV-SI)もTLVパケットとして含んでいる。TLV-NITは,放送波の周波数など伝送路に関する制御情報である。また,AMTは放送サービスを構成するIPパケットのマルチキャストグループ*3の一覧を示す制御情報である。このようなTLVパケットを格納した伝送スロットは,衛星放送のTMCC(Transmis-sion and Multiplexing Configuration Control)信号に含まれるTLVストリームIDを用いて特定する。次に,放送伝送路と通信伝送路の両方を用いる場合のサービスの構成を4図に示す。4図は,映像コンポーネント1,音声コンポーネント1,データ1を放送伝送路で,映像コンポーネント2,音声コンポーネント2,データ2を通信伝送路で伝送する様子を示している。放送伝送路では,伝送する3つのコンポーネントを同じIPデータフローに多重し,同一のTLVストリームで伝送している。これは,放送伝送路では,送信した情報がすべての受信端末に伝送されるため,別々のIPデータフローとする必要がないためである。一方,通信伝送路で伝送するコンポーネントは,受信端末ごとの個別の要求に応じて伝送するため,コンポネートごとに異なるIPデータフローで伝送する。

*2 1994年にMPEGで規格化され,現在のデジタル放送で用いられているメディアトランスポート方式。

*3 IPマルチキャストによる配信を行う際の宛先のIPアドレス。

3図 MMTのパッケージと放送のサービスとの関係

報告

NHK技研 R&D/No.150/2015.326

映像コンポーネント1

音声コンポーネント1

データ1

サービス

パッケージ

IPデータフロー(放送あるいは通信の伝送の単位)

イベント(番組)

物理チャンネル(放送伝送路)

TLVストリーム(放送伝送路における伝送の単位)

映像コンポーネント2

データ2

音声コンポーネント2

通信伝送路で伝送するIPデータフロー

32

送信元IPv4アドレス

送信元IPv6アドレス

送信元IPv6アドレス

32 16

宛先ポート番号

宛先ポート番号

宛先ポート番号

128 128 16

8

URL長

8xN

URLバイト

ロケーションタイプ=0x00

ロケーションタイプ=0x01

ロケーションタイプ=0x02

ロケーションタイプ=0x03

ロケーションタイプ=0x04

ロケーションタイプ=0x05

8

ロケーションタイプ

16

16

ネットワーク識別子

16

トランスポートストリーム識別子

16

パケット識別子

パケット識別子

パケット識別子

16

3

将来予約

13

MPEG-2パケット識別子

128 128 16 3 13

(数字はそれぞれのフィールドのビット数を示す)

宛先IPv4アドレス

宛先IPv6アドレス

宛先IPv6アドレス

将来予約

MPEG-2パケット識別子

MMTには,MPテーブル(MMT Package Table)と呼ばれる制御情報がある。MPテーブルは,パッケージを構成するコンポーネントの種類や,その詳細な情報と取得先を示す制御情報である。MPテーブルにおいて,コンポーネントの取得先は,5図に示す構造のロケーション情報(general_location_info)で指定される。ロケーション情報には,コンポーネントの取得先の指定方法に対応して,5図に示す6種類

のロケーションタイプがある。ロケーション情報を用いると,MPテーブルと同一のIPデータフローに多重されたコンポーネントの取得先(ロケーションタイプ=0x00)を指定できるだけでなく,任意のIPデータフローのMMTPパケット(ロケーションタイプ=0x01または0x02),MPEG-2 TS(Transport Stream)を用いた放送ネットワーク(ロケーションタイプ=0x03),MPEG-2 TSover IPで伝送されるMPEG-2 TSパケット(ロケーショ

4図 放送伝送路と通信伝送路の両方を用いる場合のサービスの構成

5図 ロケーション情報によるコンポーネントの取得先

NHK技研 R&D/No.150/2015.3 27

MPUメタデータ

ムービーフラグメントメタデータ

MFU … MFU

MPU

サンプルデータ ムービーフラグメントメタデータ

MFU … MFU

サンプルデータ…

ンタイプ=0x04)で伝送するコンポーネントの取得先も指定可能である。さらに,URL(Uniform ResourceLocator)によりコンポーネントの取得先を指定することも可能となっている(ロケーションタイプ=0x05)。つまり,このロケーション情報を用いることで,コンテンツを構成するコンポーネントの取得先を放送・通信横断的に指定することができる。このようにMMTでは,異なる伝送路で伝送するコンポーネントを1つのパッケージにまとめることができるため,放送と通信の両方を用いたサービスを容易に実現することが可能になる。3.3 MMTの信号の単位MMTにおける符号化された信号の単位としては,MPU(Media Processing Unit),MFU(Media FragmentUnit),MMTPペイロード,MMTPパケットがある。MPUは,MMTにおけるデータの処理単位である。MPUの一般的な構成を6図に示す。MPUは,MPU全体の属性情報を記載するMPUメタデータ,アクセスユニット*4の属性情報などを記載するムービーフラグメントメタデータ,映像・音声等の信号を含むサンプルデータとから構成される。MPUは,1個以上のアクセスユニットを含み,MPU単体で映像・音声等の復号処理が可能な単位である。フレーム間予測を用いて符号化する映像信号では,MPUはGOP(Group of Pictures)と同じ単位とする必要がある。MPUには,同一のコンポーネントに含まれるMPUごとにシーケンス番号を付加する。コンポーネントを識別するアセットIDと,MPUごとのシーケンス番号を組み合わせることにより,MPUを他のMPUと区別することができる。MFUはMPUよりも小さな単位であり,サンプルデータを分割したものがMFUとなる。映像信号ではNAL(Network Abstraction Layer)ユニット*5をMFUとしたり,音声信号ではアクセスユニットをMFUとしたりする。このように,MPUよりも小さな単位でMFUを構成し伝送することで,パケットロス(パケットの消失)のような伝送品質低下が発生したときにも,受信端末では復号した映像・音声信号における誤りの伝搬を可能な限り抑える

ことができる。MFU,制御情報は,MMTPパケットを用いて伝送する。MMTPパケットはヘッダー部とペイロード部とから構成される。伝送するMFUや制御情報の大きさが,伝送路ごとに定まる伝送可能な最大のパケットサイズであるMTU(Maximum Transmission Unit)と比べ小さい場合は,同一種類の複数のMFUあるいは複数の制御情報をまとめて1つのMMTPペイロードに格納することができる。一方,伝送するMFUや制御情報がMTUより大きい場合は,それらを分割して複数のMMTPペイロードに格納する(7図)。1つのMMTPペイロードは1つのMMTPパケットで送られる。1つのMMTPパケットが複数のMMTPペイロードを送ることや,1つのMMTPペイロードが複数のMMTPパケットにまたがって送られることはない。MPUやMFUからMMTPペイロードを構成する方法には2通りが考えられる。1つ目の方法は,エンコーダーが出力する映像信号から6図に示す一般的なMPUを構成した上で,そのMPUを分割し,MMTPペイロードを構成する方法である。もう1つの方法は,6図に示す一般的なMPUを構成する処理を省略し,エンコーダーが出力する映像・音声信号のNALユニットあるいはアクセスユニットをMFUとし,このMFUをMMTPペイロードに格納する方法である。放送では後者の方法を用いることで,送信時の遅延を抑制することができる。このとき,MPUとして必要な情報は,MMTPパケットのヘッダーにより伝送される。

4.MMTを用いた放送システムにおける映像・音声信号の伝送方法

4.1 MMTPによる映像信号の伝送方法HEVC(High Efficiency Video Coding)で符号化した映像信号をMMTで伝送する場合,符号化した映像信号はNALユニットの形でMMTの処理に入力される。NAL

*4 映像のフレームや音声の符号化単位など,同期が可能な最小単位。*5 映像信号の動きベクトル,直交変換係数を算術符号化したデータ,

それらの付帯情報などを含むデータの単位。

6図 MPUの一般的な構成

報告

NHK技研 R&D/No.150/2015.328

MMTPパケット

NAL/AU NAL/AU NAL/AU NAL/AU・・・

サンプルデータMPUメタデータ

ムービーフラグメントメタデータMPU

MFU MFU MFU MFU・・・

ヘッダー

GOP

映像・音声

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

ヘッダー

ペイロード

VPS SPS PPS SEIs CRANALユニット

NALユニット

MPU

ペイロードヘッダー ペイロードヘッダー ペイロードヘッダー

・・・ ・・・ ・・・ ・・・

MMTPパケット

・・・

ユニットは,映像信号の動きベクトルや直交変換係数を算術符号化したデータであるVCL(Video Coding Layer)NALユニットと,それらの付帯情報である非VCL NALユニットとに分類される。HEVC規格のNALユニットの例を1表に示す。MMTでは,いずれのNALユニットもMFUとして扱う。MPUを構成するNALユニットを,MMTPパケット化

するまでの概要を8図に示す。先に述べたように映像信号のMPUはGOPと同じ単位とする必要があるため,MPUの先頭はIRAP(Intra Random Access Point)*6のアクセスユニットとする必要がある。そこで8図ではMPUのVCL NALユニットの先頭を,IRAPのアクセスユ

*6 即座に復号できるアクセスユニット。

NALユニットの名称 説明

VPS(Video Parameter Set) 階層符号化においてレイヤー間の共通情報や関係情報を示す。

SPS(Sequence Parameter Set) ビデオシーケンスで共通のパラメーターを示す。

PPS(Picture Parameter Set) ビデオピクチャーで共通のパラメーターを示す。

Prefix-SEI(Supplemental Enhancement Information) VCL NALユニットの前に置かれる補足的な付加情報。

NALユニットの名称 説明

CRA(Clean Random Access) IRAPの1つであり,表示順でこれより後となる映像フレームの復号を可能とするデータを含む。

IDR(Instantaneous Decoding Refresh) IRAPの1つであり,これより後に復号される映像フレームの復号を可能とするデータを含む。

TRAIL IRAPの映像フレームより後に復号され,次のIRAPの映像フレームより前に表示されるデータを含む。

7図 1つのMFUが複数のMMTPペイロードに分割される例

1表 HEVC規格のNALユニットの例(1)非VCL NALユニット

(2)VCL NALユニット

8図 MPUを構成するNALユニットとMMTPパケット化の概要

NHK技研 R&D/No.150/2015.3 29

I P

B

B

B

B B

B

B

提示順

Temporal ID

P

B

B

B

B B

B

B

I P

B

B

B

B B

B

B B

B

B

B B

B

B

P

120Pサブセット

60Pサブビットストリーム

MMTPパケット

MMTPパケット…

MMTPパケット

MMTPパケット…

MMTPパケット

MMTPパケット…

アセット1

アセット2

MPUシーケンス番号= n

MMTPパケット

MMTPパケット…

MPUシーケンス番号= (n-1)

MPUシーケンス番号= (n+1)

パケットID =y

パケットID =x

MPU

ニットを構成するCRAのNALユニットとした。このCRAに先立ち,映像信号を復号するために必要な非VCLのNALユニットを配置している。MPUの大きさは,放送のチャンネル切り替え時に映像が提示されるまでの遅延に影響する。MPUを大きくし複数のGOPで構成すると,チャンネル切り替え時の遅延が大きくなる。そのため,映像信号のMPUは1つのGOPから構成している。4.2 映像信号の時間方向階層符号化への対応毎秒120フレーム(120P*7)の映像信号を送出した場合においても,毎秒60フレーム(60P)の映像信号の復号に対応した受信端末では,60Pの映像として復号・提示できることが望ましい。この要件に対応するためには,時間方向に階層符号化を行ったHEVCストリームの120Pサブセット(部分集合)から60Pサブビットストリームを分離できる信号構造とし,受信端末が両者を識別できるように伝送すればよい。サブビットストリームとは,サブセット中において特定の時間解像度の映像を復号するための情報である。本節では,このような信号構造と伝送方法について述べる。

時間方向階層符号化を行ったHEVCストリームの構造の例を9図に示す。9図において,Iはフレーム間予測を行わないで符号化される映像フレームを,Pは前方向の予測により符号化される映像フレームを,またBは双方向の予測により符号化される映像フレームを表す。TemporalID(映像フレームの時間方向の識別子)が0から2までのNALユニットを60Pサブビットストリームとし,Temporal IDが3のNALユニットを120Pサブセットとする。この時間方向階層符号化HEVCビットストリームの伝送の概要を10図に示す。パッケージを構成する際,60Pサブビットストリームと120Pサブセットは,別々のコンポーネントとする。10図では前者をアセット(映像や音声などのコンポーネント)1,後者をアセット2として示した。アセット1とアセット2は異なるコンポーネントであるため,アセット1とアセット2に含まれるアクセスユニットは,それぞれ別のパケットIDを持つMMTPパケットで伝送される。アセット2を復号するためには,アセット1のデータ

*7 フレーム周波数が120Hzで順次走査の映像信号。

9図 時間方向階層符号化の例

10図 時間方向階層符号化HEVCビットストリームのMMTによる伝送の概要

報告

NHK技研 R&D/No.150/2015.330

HEVCエンコーダー

MMT送出装置

アセット1

アセット2

60P対応受信端末

HEVCデコーダー

HEVCデコーダー

4K・8K/60P映像

4K・8K/120P映像

アセット1

アセット1+アセット2

120P対応受信端末

放送

通信

も必要となる。そのため,MPテーブルにおいて,アセット2の情報を記述する記述子領域(5.1節参照)に依存関係記述子(4表参照)を挿入し,依存先としてアセット1のアセットIDを記述する。また,アセット間の時間的な関係を容易に識別するために,アセット2のMPUには,アセット1のMPUと同一のMPUシーケンス番号を付加する。このように,時間的に関連があるMPUに,同一のMPUシーケンス番号を付加することにより,アセット2のMPUを復号するために,アセット1のどのMPUが必要となるかを,受信端末が容易に識別することが可能となる。以上のように伝送することで,120Pに対応した受信端末は120P対応のHEVCデコーダーを用いて120Pの復号・提示を行い,60Pに対応した受信端末は60P対応のHEVCデコーダーを用いて60Pの復号・提示を行うことが可能となる。また,放送伝送路で120Pの映像を送る場合の他に,放送伝送路では60Pのためのサブビットストリームを送り,通信伝送路では120Pのためのサブセットを送る方法も考えられる。4図に示したように,MMTのパッケージは,放送伝送路で送るコンポーネントと,通信伝送路で送るコンポーネントの両方を含むことができる。従って,アセット1を放送伝送路で,アセット2を通信伝送路で送り,受信端末は必要に応じてアセット2を受信することにより,120Pへの対応を行うことができる(11図)。4.3 MMTPによる音声信号の伝送方法次世代の放送システムにおいては,音声符号化方式として,MPEG-4 AAC(Advanced Audio Coding)あるいはMPEG-4 ALS(Audio Lossless Coding)が用いられる見込みである。これらの方式の符号の形式は,LATM(Low Overhead MPEG-4 Audio Transport Multiplex)/LOAS(Low Overhead Audio Stream)ストリーム形式である。LATMは,音声データのチャネルコンフィグレーション情報(構成情報)や,音声データの順序や連結などの多重に関する情報を提供する。また,LOASは同期

機能を提供する。LATM/LOASストリーム形式は,1つ以上の音声フレームを含むAudioMuxElement*8が連なったストリームであり,MPEG-4 Audio規格10)で規定されている。こうした音声信号の伝送では,1つのAudioMuxEle-mentを1つのMFUとすることにより,MFUを最小の単位として音声信号の符号化データを処理することができる。MPEG-4 AACあるいはALSは,映像信号と異なり,複数の音声フレームにまたがる圧縮符号化を行わないため,いずれの音声フレームも,ランダムアクセスポイント*9とすることができる。このため,1つの音声フレームからMPUを構成することも可能である。しかしこの場合,音声信号の提示時間を指定するために,音声フレームごとにMPテーブルを送出する必要があり,オーバーヘッド*10 が増加してしまう。そこで,複数の音声フレームをまとめてMPUを構成することが考えられる。映像信号と音声信号の両方を参照するMPテーブルの記述を容易とするためには,映像信号のIRAPの間隔に相当する時間の音声フレームからMPUを構成することが妥当と考えられる。

5.MMTを用いる放送システムの制御情報5.1 制御情報の種類と機能制御情報は,放送番組の構成や,放送サービスに関連する情報を示す信号であり,メッセージ,テーブル,記述子の3種類がある。メッセージは,テーブルや記述子を伝送時に格納するための制御情報である。テーブルは,特定の情報を示す要素や属性を記載した制御情報である。記述子は,より詳細な情報を示す制御情報である。主なメッセージ,テーブル,記述子と,それらの機能をそれぞれ2表,3表,4表に示す。5.2 提示ための制御情報7,680×4,320個の画素を持つ8Kの超高精細ディスプ

*8 音声データや,デコーダーの初期化情報等を含むビットストリーム。*9 正しく復号を行うことができるデータの復号開始位置。*10 正味のデータ以外の,ヘッダーやテーブルなどの付加的なデータ。

11図 ハイブリッド配信による120P対応

NHK技研 R&D/No.150/2015.3 31

レイアウト番号:0(デフォルトレイアウト)

領域0

レイアウト番号:1

領域0

領域2

領域1

レイアウト番号:2(領域1と2は領域0の前面)

レイアウト番号:3(タブレット端末などにも出力)

領域1

タブレット端末

8Kディスプレー 8Kディスプレー

領域0

領域2

領域1

8Kディスプレー

領域0

8Kディスプレー

:音声が出力される領域

レーに複数の映像を提示する場合,それぞれの映像の提示位置を指定することによって,効果的な情報表示を行うことができる。この目的のために,MMTの制御情報では,映像の提示時刻に加え,レイアウト番号と領域番号により,映像の提示位置を指定することができるようになっている(12図)。具体的な領域の割り当ては,制御情報の1つであるレイアウト設定テーブルを用いて行う。このような制御情報を用いることで,超高精細のディスプレーを効果的に活用するサービスが可能になる。

5.3 チャンネル選択時の制御情報の処理受信端末におけるチャンネル選択時の制御情報の処理フローを13図に示す。チャンネル選択は,希望するサービスのIDを指定することで行われる。利用者がサービスIDを指定すると,受信端末はAMTを用いて,利用者が希望するサービスIDとIPデータフローの情報を対応付ける。次に,TLV-NITを用いて,対応するサービスIDの物理チャンネルを特定し,物理チャンネルの選局処理が行われる。この結果,所

メッセージ名 機能

PA(Package Access)メッセージ すべてのテーブルを含むことができるメッセージ。受信端末が最初に処理する制御情報である。

M2セクションメッセージ 現在のデジタル放送の番組配列情報を伝送するために,MPEG-2 Systemsのセクション拡張形式を伝送する。

CA(Conditional Access)メッセージ 限定受信方式に関する情報を伝送する。

テーブル名 機能

MP(MMT Package)テーブル コンポーネントの種類やその取得先など,パッケージを構成するための情報を与える。

パッケージリストテーブル PAメッセージを伝送するIPデータフローおよびパケットID,IPサービスを伝送するIPデータフローの一覧を示す。

レイアウト設定テーブル 提示のためのレイアウト情報を,レイアウト番号に対応付ける。

CAテーブル 限定受信方式に関する記述子を伝送する。

記述子名 機能

アセットグループ記述子 アセットのグループ関係とグループ内での優先度を示す。

MPU提示領域指定記述子 MPUの提示位置を示す。

MPUタイムスタンプ記述子 MPUの提示時刻を示す。

依存関係記述子 依存関係にあるコンポーネントのアセットIDを示す。

緊急情報記述子 緊急警報信号として必要な情報および機能を記述する。

2表 主なメッセージ

3表 主なテーブル

4表 主な記述子

12図 映像の提示領域を指定するレイアウトの例

報告

NHK技研 R&D/No.150/2015.332

サービスIDを指定

MPテーブルのパッケージIDとサービスIDが一致?

・特定したパケットIDのパケットを受信しMFUを取得

yes

no

・映像信号・音声信号の提示・出力

フロントエンド部での選局処理

周波数変更

TMCC受信

復調

周波数チューニング

キャリヤー再生

フロントエンド部での選局処理

no

yes

アクセス制御記述子 検索

MMTデスクランブル

・MFUに含まれる映像・音声信号を復号

※1 Entitlement Management Message※2 Entitlement Control Message

当該IPデータフローを受信・パケットID=0x0001のパケットを受信しCAメッセージを取得・CAメッセージ内のCAテーブルを取得・アクセス制御記述子のCA_system_IDに対するパケットIDを 取得し,ワーク鍵などの個別情報を伝送するEMM※1を受信

・MFUを伝送するIPデータフローのIPアドレスおよび パケットIDを取得・MPUタイムスタンプ記述子,MPU提示領域指定記述子 から,MPUの提示時刻およびレイアウト番号を取得

TLV-NIT受信・サービスリスト記述子を参照 当該サービスIDのTLV_stream_idを取得・衛星分配システム記述子を参照 当該TLV_stream_idの搬送周波数を取得

AMT受信・IPデータフローとサービスIDを対応付け

当該IPデータフローを受信・パケットID=0x0000のパケットを受信しPAメッセージを取得・PAメッセージ内のMPテーブルを取得

・PAメッセージ内のパッケージリスト テーブルを取得・指定サービスIDのMPテーブルを伝送 するパケットIDを取得

・当該パケットIDのMMTパケットを受信 しPAメッセージを取得・PAメッセージ内のMPテーブルを取得

・アクセス制御記述子のCA_system_IDに対するパケットIDを取得し,限定受信に関する共通情報を伝送するECM※2を受信

望のIPデータフローが受信端末のフロントエンド部から出力される。出力されたIPパケットはMMTPパケットを格納している。ここからMMTPパケットヘッダーのパケットIDフィールドの値が0x0000であるMMTPパケットを選択し,PA(Package Access)メッセージを取得する。2表に示した通り,PAメッセージはすべてのテーブルを含むことができるメッセージである。受信端末は,PAメッセージ内のMPテーブルを取得する。放送時間によっては,1つのIPデータフローに複数の

パッケージが多重される場合がある(3図)。そこで,得られたMPテーブルのパッケージIDが,利用者により指定されたサービスIDと一致することを確認する。一致しない場合,PAメッセージに含まれるパッケージリストテーブルを取得し,必要なサービスIDのMPテーブルを伝送するMMTPパケットのパケットIDを特定する。MPテーブルに記載されているロケーション情報から,コンテンツを構成するコンポーネントを伝送するIPデータフローおよびパケットIDを特定する。同時にMPUタイムスタンプ記述子およびMPU提示領域指定記述子から,

13図 受信端末におけるチャンネル選択時の制御情報の処理フロー

NHK技研 R&D/No.150/2015.3 33

MPUの提示時刻とレイアウト番号を特定する。次に,コンポーネントを伝送するMMTPパケットを受信し,必要なMFUを取得する。このMFUに含まれる映像・音声信号を復号し,指定の提示時刻に,指定のレイアウト番号と領域番号の位置に提示・出力することで,映像信号や音声信号の提示が行われる。

6.むすび本稿では,当所が8K衛星放送システムの標準化において提案し採用された,MMTによる放送システムの構成,映像・音声信号の伝送方法,放送システムのための種々の制御情報について述べた。

ARIBにおいて,MMTによる放送システムの標準化が行われ,2015年3月現在,実運用に向けた運用規定の検討が行われている。今後は,MMTならではの放送・通信連携サービスを実現するために,通信伝送路における伝送方式の開発と検証を行う予定である。

本稿は,IEEE Transactions on Broadcastingに掲載された以下の論文を元に加筆・修正したものである。Y. Lim,S. Aoki,I. Bouazizi and J. Song:“New MPEGTransport Standard for Next Generation Hybrid Broadcast-ing System with IP,”IEEE Transactions on Broadcasting,Vol.60,No.2,pp.160-169(2014)

参考文献 1) ISO/IEC 23008-1:2014,“Information Technology - High Efficiency Coding and Media Delivery inHeterogeneous Environments - Part 1:MPEG Media Transport(MMT)”

2) 電波産業会:“デジタル放送におけるMMTによるメディアトランスポート方式,”ARIB STD-B60(2014)

3) H.-J. Lee,P. Kim,T. Kim and D.-G. Oh:“Broadband Systems Based on DVB-S2 and Mobile DVB-RCS,and Their Future Applications to Broadband Mobiles,”International Workshop on Satellite andSpace Communications,pp. 98-102(2006)

4) B. D. Lee:“Provisioning of Rich Media Experiences for Hybrid Mobile Broadcast Services,”IEEETransactions on Consumer Electronics,Vol.55,No.3,pp.1113-1120(2009)

5) P. Siebert:“Hybrid Broadband/Broadcast Systems and Set- top Boxes,”IEEE InternationalSymposium on Broadband Multimedia Systems and Broadcasting(2008)

6) A. Bria:“Future Hybrid Cellular-Broadcasting Systems for Multimedia Multicasting,”InternationalConference on Wireless and Mobile Communications(2006)

7) Y.Lim:“IP-Friendly MPEG Media Delivery Standards for Next Generation Broadcasting,”IEEEInternational Symposium on Broadband Multimedia Systems and Broadcasting(2012)

8) Y.Lim,K.Park,J.Lee,S.Aoki and G.Fernando:“MMT:An Emerging MPEG Standard for MultimediaDelivery over the Internet,”IEEE Multimedia Mag.,Vol.20,No.1,pp.80-85(2013)

9) Rec. ITU-R BT.1869,“Multiplexing Scheme for Variable-length Packets in Digital BroadcastingSystems”(2010)

10)ISO/IEC 14496-3:2009,“Information Technology - Coding of Audio-visual Objects - Part 3:Audio”

あ お きしゅういち

青木秀一

2003年入局。同年から放送技術研究所において,IP技術を用いる放送システムの研究に従事。現在,放送技術研究所伝送システム研究部に所属。博士(情報理工学)。

報告

NHK技研 R&D/No.150/2015.334