the effect of position and workload of visuospatial …brain activity, aiming to contribute to the...

7
02 報告 像情報を受容しているときの視聴者の心理的状態を理解するための一助として,映像 に向けられた注意と脳活動の関係について調べた。注意の視野上の位置とその負荷の 大きさの効果について検討したところ,注意負荷が増大するほど脳活動も増大することと,そ の増大の程度は注意の位置によって異なることが分かった。このことは,脳活動による注意の 強度の推定にあたっては,その位置の情報も欠かすことができないことを意味している。 W e investigated the relationship between visuospatial attention and brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of the position in the visual field and workload of spatial attention, it was revealed that increasing the workload increased the cortical brain activity and that the amount of increase depended on the position of spatial attention. These results suggested that the position of attention is necessary information for estimating the strength of attention from brain activity. 映像に向けられた注意の 位置と負荷が脳活動に与える影響 原澤賢充 The Effect of Position and Workload of Visuospatial Attention on Brain Activities Masamitsu HARASAWA ABSTRACT 33 NHK技研 R&D No.159 2016.9

Upload: others

Post on 03-Jul-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

02報 告

映 像情報を受容しているときの視聴者の心理的状態を理解するための一助として,映像に向けられた注意と脳活動の関係について調べた。注意の視野上の位置とその負荷の

大きさの効果について検討したところ,注意負荷が増大するほど脳活動も増大することと,その増大の程度は注意の位置によって異なることが分かった。このことは,脳活動による注意の強度の推定にあたっては,その位置の情報も欠かすことができないことを意味している。

W e investigated the relationship between visuospatial attention and brain activity, aiming to contribute to the understanding of

psychological states of TV viewers. By examining the effects of the position in the visual field and workload of spatial attention, it was revealed that increasing the workload increased the cortical brain activity and that the amount of increase depended on the position of spatial attention. These results suggested that the position of attention is necessary information for estimating the strength of attention from brain activity.

映像に向けられた注意の 位置と負荷が脳活動に与える影響原澤賢充

The Effect of Position and Workload of Visuospatial Attention on Brain ActivitiesMasamitsu HARASAWA

要 約

ABSTRACT

33NHK技研 R&D ■ No.159 2016.9

Page 2: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

集中しているか,または映像コンテンツのどこに注意を向けているかを知ることは,コンテンツ制作や表示装置の開発にとって重要である。したがって,映像情報の受容にあたって情報のアンプやフィルターのような働きをしている視空間的注意の振る舞いと脳活動の関係を調べることは,このような目的に近づく一歩と言える。

ところで,視空間的注意はいくらでも視聴の対象に向けることができるわけではなく,その容量には限りがある。たとえば注意を同時に複数の対象に向けることは可能だが,その上限はおおむね4つ程度であり6),認知資源*2の容量によって規定されていると考えられる。AlvarezとCavanagh7) は,この容量が左右の視野ごとに分かれていることを心理実験によって示した。彼らは移動する2つの物体を同時に追跡する*3課題(Multiple Object Tracking Task:MOT課題)を実施するときに,2つの追跡対象が左右それぞれの視野に1つずつ表示されているときよりも,両方が左右いずれか1つの視野に表示されているときの方が,追跡が困難になることを示した。このことは,注意を向ける対象が左右いずれか一方の視野に偏って存在しているときに比べて,左右の視野に分かれて存在しているときの方が,視覚情報処理が容易になることを意味している。注意の制御に必要な認知資源が左右の視野で共有されているならこのような現象は生じないはずであり,そのためこの現象は左右それぞれの視野での制御のための資源が独立して存在していることを示唆している。一般に,認知課題が困難になるほど脳活動が高まる傾向があり,MOT課題においても追跡対象が増えると脳活動も強くなる8)。しかし,認知資源が左右の視野で独立しているとすると,追跡対象の視野上の配置によってはこの関係が崩れる可能性があると考えられる。

また,ここで扱う認知資源はあくまで機能的な概念であるが,この機能がどのような神経機構によって実現されているのかは定かではない。注意が視野上のどこにどの程度の強さで向けられているのかと脳活動との関係について考える場合,これらの認知機能についての知見を欠くと,その関係を正しく理解するのは困難である。

本研究では,追跡対象が左右いずれかの視野に偏っている場合と両視野にまたがっている場合とで脳活動がどのように異なるのかを調べることで,視空間的注意の状態と脳活動の関係について検討した。

1.はじめに

映像コンテンツを人間がどのように視聴しているかを知ることは,コンテンツ制作とその表示装置の開発のいずれにとっても重要なことである。それでは,どのようにして視聴の状態を測定すればよいのだろうか。現在は主としてアンケートや視聴率などが用いられているが,より豊かな情報を得るために,眼球運動や身体動揺といった生体情報の利用についても模索が続けられてきた。また,近年ではニューロマーケティング*1と呼ばれる手法が開発され始め,消費者の態度を知るための手段としての脳活動に注目が集まりつつある1)2)。

映像コンテンツの視聴について考えた場合,視聴者が映像のどこをどれだけ真剣に見ているかという情報は極めて重要であり,そのような情報を得る手段を開発することで,多くの波及効果を期待することができる。特に,人間が情報の取捨選択に用いている「注意(attention)」と呼ばれる認知機能は,視聴態度の重要な一部を占めていると言え,これについて調べることの意義は大きい。本稿では,この「注意」と脳活動の関係に注目して実施した実験について報告する。

2.視空間的注意

人間が映像から情報を受容しようとするとき,適切な対象からの情報のみを受容し,それ以外の対象からの情報は抑制しようとする働きが生じる。このような働きは「注意」と呼ばれる認知的な機構によって実現されている。注意のうち視覚に関連するものは視覚的注意と呼ばれ,特にある空間に向けられる視覚的注意は視空間的注意(visuospatial attention)と呼ばれる。

人間が視空間的注意を制御しようとするとき,しばしば眼球運動が生じる。多くの場合,眼球運動によって視線が対象に向かうため,眼球運動の振る舞いによってある程度は人間の注意の状態を推定することができる。しかし,実際には注意は複数の対象に同時に向けられたり3),一点ではなくある広がりをもった領域に向けられたり4)するため,必ずしも眼球の振る舞いだけから注意の状態を知ることはできない。また,注意の強さの程度も視線から知ることは困難である。

一方,このような認知活動は脳活動によって実現されているため,脳活動を測定することで眼球運動からは分からない注意の状態を推定できる可能性がある5)。このように,視聴者がどのように映像から情報を受容しているかを知ろうとする場合に,脳活動はその有力な手段の一つになりうる可能性がある。特に,視聴者が映像コンテンツにどの程度

*1 消費者の脳の反応を計測することにより,消費者の心理や行動を解明し,マーケティングに応用する手法。

*2 人間が何らかの認知的な作業を行うときに消費される資源のこと。困難な作業では資源を多く消費し,簡単な作業であれば消費は少ない。

*3 ここでは,「追跡する」とは視線を動かさずに目で追いかけることを意味する。

34 NHK技研 R&D ■ No.159 2016.9

Page 3: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

報告 02

4.1 実験方法実験参加者は,画面中心の十字印を注視しながら,風

車状の縞し ま

模様が回転する様子を,眼球運動を起こすことなく追跡した(1図)。実験者は,実験参加者が追跡する対象(風車状の縞模様)の数とその位置を操作し,後頭部での脳活動をfNIRSによって計測した。実験には健常な視機能を有する20名の成人男女が参加した。視覚刺激はコンピューターのディスプレー上に表示し,脳活動はfNIRSによる脳機能計測装置(日立メディコ社製光トポグラフィ,ETG-100)によって計測した。

(1)視覚刺激刺激としては,風車のような形状の放射状正弦波縞を用

いた(1図)。以下では,1図中の各円形(風車状の縞模様)を単に「縞」と呼ぶ。刺激は十字状の注視点と4つの縞(半径は視角3°)によって構成された。注視点を中心とする4つの縞は,辺の長さが視角8.5°の正方形の各頂点上に各縞の中心が位置するように配置された。従って,各縞の中心から注視点までの距離は視角6°となった。

(2)手続き参加者は,画面中央の注視点から眼を動かすことなく1

個もしくは2個の縞の回転を追跡するよう指示された。追跡する縞(以下,標的刺激)は,回転する前に線分の手がかり刺激によって指示された(1図左)。

1回の試行の流れは以下の通りとした。最初に,注視点と4つの縞が表示された。続いて,手がかり刺激となる線分が縞に重なって表示され,3回点滅した。注視点と線分は赤色もしくは緑色で,標的刺激(1個もしくは2個)上の線分は注視点と同じ色とし,無視すべき縞(妨害刺激)上の線分は注視点と異なる色とした。その後,線分は消え,注視点

3.脳活動の計測

脳活動測定技術は多岐にわたるが,本研究では対象に定常的に向けられた注意について検討するために,時間的に比較的安定した指標である脳血流反応を対象とすることにした。また,視覚刺激の提示に制限のない装置が好ましいため,機能的近赤外線分光法(functional Near-Infrared Spectroscopy:fNIRS)によって脳活動を計測することとした。fNIRSは,大脳皮質を流れる血液中の酸化ヘモグロビンと脱酸化ヘモグロビンが波長800nm近傍で異なる分光吸収特性を持つ性質を利用し9) 10),波長の異なる複数の近赤外線を頭皮から非侵襲的に照射し,反射した光の強度を計測することで大脳皮質での代謝の状態を知ることができる11)。この原理を利用した装置は,脳波と異なり電気的なノイズの影響を受けず,機能的核磁気共鳴画像法(functional Magnetic Resonance Imaging:fMRI)*4

と異なり実験参加者への身体的拘束と視野への制限が小さいという利点を持つため,多様な映像表示装置に接近して計測することが可能で,映像視聴中の脳活動の計測に向いていると考えられる。

4.実験

本研究では,視野上の特定の領域に定常的に向けられた視空間的注意の影響を調べることを目的とするため,Alvaerz と Cavanagh7)に類似した視覚刺激によるMOT課題を用いた。また,Culhamら8)はfMRIを用いた研究でMOT課 題 に よって 後 部 頭 頂 皮 質(Posterior Parietal Cortex:PPC)や頭頂間溝(Intraparietal Sulcus:IPS)が活性化することを示しており,本研究でも同様の箇所で脳活動を計測することとした。これらの手続きで,左右の視野に向けられた視空間的注意による脳の働きについて検討した。

1図 視覚刺激と実験の手続きの概要

*4 数メートル程度の大きさの筒型の装置内に参加者を固定し,強い磁気を用いて神経活動に関連した血流反応を測定する方法。

注視点

注視点と同じ色の手がかり刺激で標的刺激(1個/2個)が示される

回転方向は約1秒ごとのランダムなタイミングで反転

1個の標的刺激について正確に回転を追跡できたか二肢強制選択で回答

35NHK技研 R&D ■ No.159 2016.9

Page 4: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

した場合の各参加者の正答率が90%となるようにした。標的刺激の個数と位置によっていくつかの条件を設けた

(2図)。2つの縞の回転を追跡する試行のうち,標的刺激が垂直に並んだものを「片側条件」,水平に並んだものを「両側条件」とした。また1つの縞の回転を追跡する試行はそれぞれの標的刺激の位置に応じて片側条件と両側条件のいずれかに振り分けた。たとえば左上の縞を追跡する試行は片側条件での上視野単一条件と両側条件での左視野単一条件の両方に算入することとした。2図では「-1」「‒2」がそれぞれ標的刺激の数を意味している。

(3)計測脳活動の計測に使用した装置ETG-100は波長の異なる2

つの近赤外線(780nmと830nm)を使用している。近赤外

は白色となり,1秒後から10秒間すべての縞が回転した(1図中央)。回転速度は一定だったが,回転方向は約1秒おきのランダムなタイミングで反転した。その後,標的刺激のうちランダムに選択された1つに重なって線分が表示された(1図右)。参加者は,線分と標的刺激の縞との相対的な角度関係が回転の前後で変わったかどうかを二肢強制選択で回答した。すなわち,縞のうち回転前と同一の黒色部分に線分が表示されたのか,それとも90度回転した黒色部分に線分が表示されたのかを回答した。この手続きによって,適切に回転の追跡ができたかどうかを調べた。半分の試行で線分を本来の角度から90°回転させたため,でたらめに回答した場合の正答率は50%となる。回転速度は予備実験の正答率によって参加者ごとに調整し,単一の縞の回転を追跡

2図 実験条件ごとの標的刺激の配置

3図 光ファイバープローブの設置の概要

片側条件左-1 左-2

右-1 右-2

両側条件上-1 上-2

下-1 下-2

:標的刺激

:妨害刺激

(a)光ファイバープローブの設置位置(青色の領域)

(b)光ファイバープローブの配置

左半球

3cm

計測点

検出

右左

A1 A2

FZ

CZ

F3F7

頭頂CzFz

C3 Pz

後頭結節

O1T5

P3

T3

A1

眉間

Fp1F1

F3 Fp1

C3T3

T5 P3

O1

F4 F8

Fp2

C4 T4

T6P4

O2

PZ

右半球

照射

36 NHK技研 R&D ■ No.159 2016.9

Page 5: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

報告 02

4.2 実験結果前節で述べた追跡課題の成績とOxy-Hbを,標的刺激の

数と位置の条件ごとに分析した。

(1)行動成績実験条件ごとに行動成績(課題正答率)の平均値を集計

すると1表のようになった。1表左は単一標的,1表中央・右は複数標的での正答率(%)を示し,それぞれの数字の位置は標的刺激の位置に対応する。片側条件では複数標的での成績は単一標的よりも統計的に有意に低下したが,両側条件では単一標的と複数標的の差は有意ではなかった。この傾向はAlvarez と Cavanagh7)と共通している。

(2)脳血流反応の分析注意を適切に標的に向けることができていた参加者の

データのみを分析するために,片側条件での正答率が75%を超えていた10名のデータを分析の対象とした。Oxy-Hbの波形について神経活動に由来する信号を取り出すために通過帯域0.01~1.0Hzのバンドパスフィルターを適用し,手がかり刺激提示前からの変量を算出し,24箇所の計測点すべての値を平均した結果を4図に示す。一般に脳血流反応は数秒程度前の神経活動を反映していると考えられているの

線の照射のための光ファイバープローブを10個,検出のための光ファイバープローブを8個使用し,それぞれの半数ずつを,3図(a)に示すように後頭部の左右に設置した。図中の記号(P3,P4など)は脳波電極設置についての国際的基準である10/20法による頭表上の位置を示す。本実験では,左右の光ファイバープローブ設置装置の上部がそれぞれP3,P4を覆うように配置した。3図(b)に示すように,照射と検出のプローブを頭表上で3cmの距離を空けて互い違いに設置することで,その中間の部位での脳血流反応を検出することができる。したがって,左右半球でそれぞれ12箇所ずつ,合計24箇所で同時に計測ができた(3図(b))。本研究では血中酸化ヘモグロビンの濃度の変化(Oxy-Hb)を脳活動の指標として分析の対象とした。

4図 脳血流反応の変化の様子

1表 標的刺激の位置と課題正答率の関係(%)

単一標的 複数標的片側条件 両側条件

90.4 87.573.3 67.9

78.3

88.7 91.2 89.6

2

1.5

1

0.5

0

-0.5

Oxy-Hbの変化量(a.u.)

-10 -5 0 5 10 15回転開始からの経過時間(秒)

分析に供した区間

片側条件

左-1左-2右-1右-2

2

1.5

1

0.5

0

-0.5

Oxy-Hbの変化量(a.u.)

-10 -5 0 5 10 15回転開始からの経過時間(秒)

分析に供した区間

両側条件

上-1上-2下-1下-2

a.u.はarbitrary unit(任意単位)

37NHK技研 R&D ■ No.159 2016.9

Page 6: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

視野による顕著な差が見られた。これまで脳損傷の症例研究を含めたさまざまな研究から,空間的注意の制御については左右大脳半球の間に機能的な差があることが示されてきた12)。機序は明らかではないものの,本研究の結果もこうした特性と関連するものと推定される。

脳活動から認知課題への集中の程度などを知ろうとする試みはこれまで多くなされてきており,たとえば認知的な負荷の上昇と脳活動の関係13)や,映像コンテンツの記憶成績と脳活動の関係14)などが調べられている。一般に脳活動が高まるほど課題に集中していたり成績が向上したりする傾向があるが,本研究の結果は,脳活動だけから認知的な状態を理解することは困難であり,どのような課題を行っているのかということも考慮に入れる必要があることを示している。すなわち,本研究では4図・5図に示すように,課題が困難になることで脳活動が大きくなる傾向のあることが示されたが,この脳活動の上昇のみから課題の困難度を推定しようとした場合,注意がどこに向いているかを考慮しないと推定が大きく誤る可能性があることが示唆された。

5.むすび

映像に向けられた注意の状態と脳活動の関係について調べる実験を実施した。本実験では,注意の位置と負荷の強度を操作したところ,注意の位置が変わることで負荷が脳活動に与える効果が異なることが示された。

映像コンテンツが視聴者にどのように受容されているかを知ろうとした場合,脳活動は重要な手助けになりうることが改めて確認できた。しかし,それのみで目的を達成するのは困難であり,たとえば眼球運動や瞳孔径,発汗,心拍などの身体応答や,アンケートなどへの回答といった他の多面的な指標と組み合わせることで,より確かな推定が可能になると思われる。

本稿は,Brain and Cognition誌に掲載された以下の論文を元に再構成したものである。M. Harasawa and S. Shioiri:“Asymmetrical Brain Activity Induced by Voluntary Spatial Attention Depends on the Visual Hemifield:A Functional Near-infrared Spectroscopy Study,” Brain and Cognition,Vol.75,No.3,pp.292-298 (2011)

で,縞が回転していた10秒間のうち後半の4秒間が追跡課題の実行を反映していると考え,この区間の平均値を分析の対象とした。この値を実験条件ごとにまとめると5図のようになった。4図・5図いずれの場合も,片側条件では標的が複数のときは単一のときよりも統計的に有意に活動が大きくなっているのに対し,両側条件では有意な差は見られなかった。この標的刺激の配置と脳活動の上昇の傾向は行動成績の傾向と一致しており,条件間の成績の差が大きいほど,脳活動の差も大きくなった。この片側条件での脳活動の上昇は,標的刺激が左視野にあったときと右視野にあったときとで異なっており,その差は有意だった。一方,両側条件では上下視野で脳活動に違いは見られなかった。このような標的の配置と脳活動上昇の関係は,今回計測した範囲の中では,脳部位や左右半球の違いに関わりなくすべての計測点で共通して見られた。

4.3 考察回転する刺激を視空間的注意によって追跡する課題を実

施し,そのときの脳活動を計測した。追跡する対象の数が等しい場合でもその配置によって課題の難易度や脳活動には違いが生じることが示された。これは似たような映像コンテンツであってもその画面上での配置のしかたによっては情報受容の容易さが異なりうることを示唆している。

標的刺激が左右いずれかの視野に偏っていた場合には追跡課題が困難になることが示されたが,その難易度(課題正答率)に関しては,左右の視野で違いが見られなかった。一方,脳活動に関しては,5図に示すように,左右の

5図 標的刺激の条件による課題依存脳血流反応の比較

1.5

1

0.5

0

上-1上-2下-1下-2

左-1左-2右-1右-2

Oxy-Hbの変化量(a.u.)

片側条件 両側条件

38 NHK技研 R&D ■ No.159 2016.9

Page 7: The Effect of Position and Workload of Visuospatial …brain activity, aiming to contribute to the understanding of psychological states of TV viewers. By examining the effects of

報告 02

1) 博報堂:“脳科学を利用した「fMRI実験調査」結果発表,” http://www.hakuhodo.co.jp/pdf/2009/20090313.pdf(2009)

2) K.M.Mueller:NeuroPricing:WieKundenüberPreiseDenken,Haufe-Lexware(2012)

3) Z.PylyshynandR.Storm:“TrackingMultiple IndependentTargets :Evidence foraParallelTrackingMechanism,” SpatialVision,Vol.3,pp.179-197(1988)

4) K.R.CaveandN.P.Bichot:“VisuospatialAttention :BeyondaSpotlightModel,” PsychonomicBulletin&Review,Vol.6,No.2,pp.204-223(1999)

5) R.DattaandE.A.DeYoe:“IKnowWhereYouAreSecretlyAttending!TheTopographyofHumanVisualAttentionRevealedwithfMRI,” VisionRes.,Vol.49,No.10,pp.1037-1044(2009)

6) J. IntriligatorandP.Cavanagh:“TheSpatialResolutionofVisualAttention,” CognitivePsychology,Vol.43,pp.171-216(2001)

7) G.AlvarezandP.Cavanagh:“IndependentResourcesforAttentionalTrackingintheLeftandRightVisualHemifields,” PsychologicalScience,Vol.16,pp.637-643(2005)

8) J.Culham,S.Brandt,P.Cavanagh,N.Kanwisher,A.DaleandR.Tootell:“CorticalfMRIAct ivat ion Produced by Attent ive Tracking of Moving Targets,” Journal ofNeurophysiology,Vol.80,pp.2657-2670(1998)

9) F. Jobsis:“Noninvasive, InfraredMonitoringofCerebral andMyocardialOxygenSufficiencyandCirculatoryParameters,” Science,Vol.198,pp.1264-1267(1977)

10) 小泉:“活動する脳を見る-高次脳機能の視覚化-,” 現代科学,No.320,pp.27-33(1997)

11) 山下,牧,山本,小泉:“光による無侵襲脳機能画像化技術-「光トポグラフィ」-,” 分光研究,Vol.49,No.6,pp.275-286(2000)

12) K.HeilmanandT.VanDenAbell:“RightHemisphereDominanceforAttention :TheMechanismUnderlyingHemisphericAsymmetriesofInattention(Neglect),” Neurology,Vol.30,pp.327-330(1980)

13) C.Berka,D. J. Levendowski,M.N. Lumicao,A.Yau,G.Davis,V.T.Zivkovic,R.E.Olmstead,P.D.TremouletandP.L.Craven:“EEGCorrelatesofTaskEngagementandMentalWorkload inVigilance,Learning,andMemoryTasks,” Aviation,Space,andEnvironmentalMedicine,Vol.78,pp.B231-B244(2007)

14) U.Hasson,O. Furman,D.Clark,Y.Dudai andL.Davachi:“Enhanced IntersubjectCor re la t ions Dur ing Mov ie V iewing Cor re la te wi th Successfu l Ep isod icEncoding,” Neuron,Vol.57,pp.452-462(2008)

参考文献

原はら

澤さわ

賢まさ

充みつ

2006年入局。同年から放送技術研究所において,視聴者の心理状態に関して実験心理学・脳科学の手法を用いた研究に従事。現在,放送技術研究所立体映像研究部に所属。

39NHK技研 R&D ■ No.159 2016.9