多地点間における音声・ビデオを用いた合唱のQoE評価

宮下裕司† 石橋豊† 福嶋慶繁†

菅原真司† Kostas E. Psannis††

†名古屋工業大学大学院創成シミュレーション工学専攻

††Department of Technology Management University of Macedonia

発表内容

� 背景

� ネットワークを介した合唱

� 目的

� 端末間同期制御

� 実験システム

� QoE評価方法

� 評価結果と考察

� 結論と今後の課題

端末間でメディアの出力タイミングにずれが発生公平性の損失作業が成立しなくなる可能性

背景(1/2)

複数の利用者が競合作業や協調作業を行う

端末間でメディアの出力タイミングをそろえる端末間同期制御が必要

音声・ビデオを用いた多地点間通信

ネットワーク遅延やその揺らぎ

送信端末（メディア発生源）

端末間同期制御の概要

MU : メディアユニットメディア同期のための処理単位（例: ビデオフレーム）

ネットワーク 受信端末1（メディア出力先1）

受信端末2（メディア出力先2）

同期出力ネットワーク遅延や

その揺らぎ

送信入力

受信 時間関係の乱れ

この他，複数端末で発生したメディア間の出力タイミングをそろえる必要のある作業として，ネットワークを介した合唱が考えられる

・音声・ビデオを用いた競合作業を対象にQoE評価（早押しクイズ形式の名前当てゲーム）

・端末間でネットワーク遅延に差があると公平性が劣化・端末間同期制御によって公平性を高く保持可能

背景(2/2)

従来の研究

ネットワークを介した合唱

� 合唱における利用者の例

� 指揮者：タイミングの基準を示す

� 歌い手：指揮に合わせて歌う

� 視聴者：合唱を聴く

� ネットワーク遅延の違いにより，視聴者のいる地点で出力される歌声の間にずれが生じる

� 視聴者の地点：メディア内・メディア間と端末間同期制御が必要

� 歌い手の地点：指揮者の地点からの音声・ビデオの出力品質の劣化を防ぐため，メディア内及びメディア間同期制御が必要

メディア内同期制御：単一メディア内のMU間の時間関係を維持メディア間同期制御：複数のメディア間の時間関係を維持

従来の研究：長野オリンピック開会式

ベルリン合唱隊

長野県民文化会館 指揮者 オーケストラ

オリンピック会場 視聴者長野

北京合唱隊

ニューヨーク合唱隊

シドニー合唱隊

ケープタウン合唱隊

回線センタ

衛星回線

衛星回線

同期出力 ネットワーク遅延を予め設定した基準値

にそろえる

音声・ビデオを送受信

・長野オリンピックと同様に指揮者，歌い手，視聴者を別々に配置・視聴者の地点で基準値をネットワーク遅延に応じて動的に決定

するために端末間同期制御を適用

・予め計測したネットワーク遅延の内最も大きい値＝基準値

・視聴者の地点において全ての地点からの音声・ビデオのネットワーク遅延を基準値にそろえることで指揮及び歌声を同期

目的

本研究

従来の研究：長野オリンピック開会式

・ネットワーク遅延が基準値を超えると同期不可能・基準値を大きく設定しすぎると

バッファリング時間が過大→リアルタイム性の損失

端末間同期制御(1/5)

指揮者端末1

歌い手端末2

視聴者

歌い手端末3

歌い手端末4

歌い手端末M+1

・・・

歌い手の端末ではメディア内及び

メディア間同期制御

視聴者の端末ではメディア内・メディア間と

端末間同期制御(同期マエストロ方式)

音声MUの出力タイミングをそろえて歌声を同期( 端末1における音声MUの発生時刻から出力時刻までの時間)

同期マエストロ出力タイミングに

関する情報を収集し, 基準とすべき出力タイミングを決定

端末間同期制御(2/5)

・音声：マスターメディア

メディア内同期制御 端末間同期制御

・ビデオ：スレーブメディア

メディア間同期制御

・端末i (i =1, 2, 3,…, M+1)からの出力タイミング):ΔS(i)(>0)

(端末1における音声MUの発生時刻から出力時刻までの時間)

・基準とすべき出力タイミングΔG:

ΔS(1), ΔS

(2),…, ΔS(M+1)のうち最も大きい値

・各端末からの音声MUの出力タイミングをΔGに近づける

ことで歌声を同期

端末間同期制御(3/5)

・ 歌い手の端末i (i =2, 3,…, M+1)では,

歌い手は端末1から受信した音声・ビデオに合わせて歌う

・ 歌い手の端末i では，最後に出力した音声MUのΔ1(i)

(指揮者の端末1において音声MUが発生してから，それが

歌い手の端末i において出力されるまでの時間)を

自端末で発生する音声MUに付加して視聴者の端末に送信

・ 歌い手の端末は，メディア内同期制御によって指揮者の

端末からの最初の音声MUを出力し，

それと同時に自端末のMUの入力を開始

・ 視聴者の端末において歌い手の端末iからの音声MUの出力タイミングΔS

(i)を計算するためΔ1(i)が必要

なぜなら

端末間同期制御(4/5)

視聴者の端末では・歌い手の端末i (i =2, 3,…, M+1)において音声MUが発生

してから，それが視聴者の端末で出力されるまでの時間

Δ2(i)を求める

・ 音声MUに付加されているΔ1(i)より，ΔS

(i)=Δ1(i)+Δ2

(i)を計算

端末間同期制御(5/5)

視聴者の端末では各端末からの音声MUの出力タイミングをΔGに近づけるため・指揮者の端末1からの音声MUがΔGよりも

・ Na(≧ 1)回連続して早く出力された場合ΔS

(1)をΔI(> 0)msだけ遅らせる・ Nb(≧ 1)回連続して遅く出力された場合

ΔS(1)をΔD(> 0)msだけ早める

・歌い手の端末iからの音声MUがΔGよりも・ Na(≧ 1)回連続して早く出力された場合

Δ2(i)をΔImsだけ遅らせる

・ Nb(≧ 1)回連続して遅く出力された場合Δ2

(i)をΔDmsだけ早める・ ΔS

(i), Δ2(i)はΔL(≧0)msからΔH(≧ΔL)msの範囲で変化

実験システム

端末3（歌い手）

端末1（指揮者）

付加遅延1 付加遅延2

ネットワークエミュレータNIST Net

端末2（歌い手）

スイッチングハブ

端末4（視聴者）

付加遅延3 付加遅延4付加遅延5

音声・ビデオMUを送受信

指揮のテンポに基準を設けるためメトロノームを配置

NIST Net通過するMUに対して

パレート正規分布に従った付加遅延を発生

QoE評価方法(1/3)

・ 楽曲: 「かえるの合唱」・ テンポはメトロノーム

により100bpmに設定

・指揮を行う・歌い出しの掛け声を

掛けて歌唱を開始・20秒程（8小節）歌う 歌い手

指揮者

図：視聴者の端末における表示例

指揮者

歌い手

・指揮者に合わせて歌う

視聴者

・合唱の様子を視聴

QoE評価方法(2/3)

端末3（歌い手）

端末1（指揮者）

付加遅延1 付加遅延2=50ms

ネットワークエミュレータNIST Net

端末2（歌い手）

スイッチングハブ

端末4（視聴者）

付加遅延3=50ms 付加遅延4=50ms付加遅延5

50, 100, 150, 200, 250, 300msで変化

50, 300msで変化

付加遅延の標準偏差は10ms

・端末間同期制御なし/ありの二つの状態で評価

・ΔI=ΔD=20ms, Na=Nb=5, ΔL=40ms, ΔH=500ms

QoE評価方法(3/3)

視聴者による評価

劣化が非常に邪魔になる1

劣化が邪魔になる2

劣化が気になるが邪魔にならない3

劣化がわかるが気にならない4

劣化がわからない5

評価基準評価

・ 合唱の同期品質

（合唱の同期：歌声や指揮の動作が総合的に同期していること）

平均してMOS（Mean Opinion Score)を求める

被験者

21～24歳の男女20名

・ ITU-R BT.500-11の単一刺激法

合唱の同期品質のMOS値

1

2

3

4

5

50 100 150 200 250 300

付加遅延1の平均[ms]

MO

S

付加遅延5の平均：50ms 付加遅延5の平均：300ms

付加遅延5の平均：50ms 付加遅延5の平均：300ms

I 95％信頼区間

端末間同期制御なし

端末間同期制御あり

結論

音声・ビデオを用いた多地点間通信において合唱を行う場合を扱い，端末間同期制御を適用

QoE評価により，端末間同期制御の効果を調査

� 端末間同期制御を行うことで，その制御を行わない場合に比べ，合唱の同期品質のQoEを高く保てる

今後の課題

・多様なネットワーク環境で

端末間同期制御の効果を調査

・楽曲やテンポの変更

・作業内容の変更：楽器を用いた合奏など