wi2研究会 vol.10発表資料20170708

批判的情報検索を促進するクエリプライミング

山本 祐輔（静岡大学）, 山本 岳洋（京都大学）

yamamoto@inf.shizuoka.ac.jp

WI2研究会 Vol.10（2017.7.8）

玉石混淆のウェブ情報

医療専門家のチェックを受けていいるいるるウるウウェウェェブェブブサブササイサイイト医療療専門家家家ののチチチェェェッッックククをををを受受受受受けけててていい

500%%%%%未%未未満満満*

* E. Sillence et al., “Trust and Mistrust of Online Health Sites”, ACM CHI, pp.663-670, 2004

https://minnakenko.jp よりhttps://www.dermatol.or.jp/qa/ より

4

Less than 50%

情報学が取り得るアプローチ

信頼できる情報の獲得

信頼性分析の（半）自動化

5

情報信頼性分析システム

*2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment of Web Search Results. In Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011.

*1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808.

TruthFinder*1

あるオブジェクトに関するファクトの信頼性をスコアリング

CowSearch*2

信頼性判断に重要とされる様々な尺度でウェブページの信頼性を可視化

*2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment of Web Search Results. In Y. *2 Y Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011.

*1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808.l 分析に必要なデータが入手できるドメインにしか適用できないl 分析結果は情報の正確さを保証しているわけではない

技術の限界

6

信頼できる情報を得るために必要なこと

信頼できる情報の獲得

信頼性分析の（半）自動化

ユーザ自身による情報精査

7

57%

ウェブ情報を信用している人は予想以上に多い

82%

ウェブ情報の信頼性を疑ったことがない15〜35歳の日本人*1

*1 Adobe Inc., “The State of Content : Rules of Engagement”, 2015*2 S.Nakamura et al., “Trustworthiness analysis of Web search results (ECDL 2007)

気にしない、気にしない。

検索エンジンが返す結果ページの信頼性を疑わない日本人*2

8

情情情報報報精精精査査査ののの必必必要要要性性性ををを感感感じじじててていいいななないいいユユユーーザザザのザザのの存存存在

怪怪し怪しいいい情情情報報報のの存存存在在在に怪怪し気しいい気気気気づい情情づづづづい情情報報情づづいいいいて報報の報いいてててていののいいいいな在在に在在存存存存

いいいなない自自身身身のの信信憑憑憑性性性判判断自身能身身の能能能力信の信力力へ信へへへの憑憑憑憑のの過判断性性判判性性

過過過過過信

情情報報報のの精精精査査を査査をしをししなしなないいい・い・安安安安易易なな判判断断を断断をすをすする

能能力 の

の精精精査査査査ををしししなないいい・安安安安易易な判判断断断

批判的な情報精査を促す仕掛けも必要

9

情情情報報報精精精査査査ののの必必必要要要性性性ををを感感感じじじててていいいななないいいユユユーーザザザのザザのの存存存在

怪怪し怪しいいい情情情報報報のの存存存在在在に怪怪し気しいい気気気気づい情情づづづづい情情報報情づづいいいいて報報の報いいてててていののいいいいな在在に在在存存存存

いいいなない自自身身身のの信信頼頼頼性性性判判断自身能身身の能能能力信の信力力へ信へへへの頼頼頼頼のの過判断性性判判性性

過過過過過信

情情報報報のの精精精査査を査査をしをししなしなないいい・い・安安安安易易なな判判断断を断断をすをすする

能能力 の

の精精精査査査査ををしししなないいい・安安安安易易な判判断断断

10

情報学が取り得るアプローチ2

批判的な情報精査を促す

信頼性分析の（半）自動化

信頼できる情報の獲得

11

検索ユーザに批判的な情報精査を促すにはどうすればよいか？Q.

12

糖尿病 症状

糖尿病 症状 比較糖尿病 症状 統計糖尿病 症状 分析糖尿病 症状 調査糖尿病 症状 研究糖尿病 症状 検証糖尿病 症状 根拠糖尿病 症状 実証糖尿病 症状 データ糖尿病 症状 原理

提案：クエリプライミング

情報精査の促進効果が期待される語（クエリプライム）

状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理

プライミング効果に着目し、情報精査をする気にさせる単語をクエリ補完・推薦に溶け込ませる

13

プライミング効果（asイデオモーター効果）

忘れっぽい はげ

ごま塩 シワ

プライム刺激

おじいさん

観念を想起

刺激を受けた人の行動が変化

歩行速度がゆっくりに

先行する刺激（プライム）の処理が後の行動を促進または抑制する効果

Bargh, J. A., Chen, M. and Burrows, L.: Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action, Journal of personality and social psychology, 71(2), pp. 230-244 (1996).

14

クエリプライミングの狙い

糖尿病 症状

糖尿病 症状 比較糖尿病 症状 統計糖尿病 症状 分析糖尿病 症状 調査糖尿病 症状 研究糖尿病 症状 検証糖尿病 症状 根拠糖尿病 症状 実証糖尿病 症状 データ糖尿病 症状 原理

検索者の行動変化を誘発

批判的思考態度*

喚起

発

批判的な情報精査

状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理

* 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015)

刺激（プライム語）

15

糖尿病 症状

糖尿病 症状 比較糖尿病 症状 統計糖尿病 症状 分析糖尿病 症状 調査糖尿病 症状 研究糖尿病 症状 検証糖尿病 症状 根拠糖尿病 症状 実証糖尿病 症状 データ糖尿病 症状 原理

糖尿病 症状

糖尿病 症状 目糖尿病 症状 看護糖尿病 症状 数値糖尿病 症状 女性糖尿病 症状 眠気糖尿病 症状 痩せる糖尿病 症状 子供糖尿病 症状 尿糖尿病 症状 爪糖尿病 症状 めまい

提案：クエリプライミング

クエリプライミングを用いたクエリ補完

状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理

通常のクエリ補完

プライミング効果に着目し、情報精査をする気にさせる単語をクエリ補完・推薦に溶け込ませる

16

クエリプライミングによって期待される行動変化

批判的な情報精査

閲覧ページ数が増える

多様な話題をチェックする

検索・閲覧時間が長くなる

17

今日の報告事項

1. クエリプライミングの設計

2. プライム語の収集

3. 評価実験

18

クエリプライミングの設計1 情報精査を促進する刺激（プライム語）に求められることは？

19

クエリプライミングに用いる刺激（プライム語）に求められる要件

批判的思考態度を想起できること

プライム語提示が検索行為を干渉しないこと

必ず検索中に目に触れること

意識的か無意識的かに関わらず、対象観念が連想される

検索タスク中に補完情報として提示しても違和感がない

必ず検索ユーザの目に触れ、可能なら複数回目にする機会がある

20

クエリプライミングに用いる刺激（プライム語）に求められる要件

批判的思考態度を想起できること

プライム語提示が検索行為を干渉しないこと

必ず検索中に目に触れること

意識的か無意識的かに関わらず、対象観念が連想される

検索タスク中に補完情報として提示しても違和感がない

必ず検索ユーザの目に触れ、可能なら複数回目にする機会がある

21

メディアリテラシーと批判的思考態度

* 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015)

メディアリテラシー

態度的側面スキル的側面

批判的思考*

l論理的思考の自覚l探究心l客観性l証拠の重視

クエリプライミングで喚起させる具体的態度

主観にとらわれることなく、客観的に物事を捉え、適切な基準に基づき判断しようとする思考

22

クエリプライミングに用いる刺激（プライム語）に求められる要件

批判的思考態度を想起できること

プライム語提示が検索行為を干渉しないこと

必ず検索中に目に触れること

意識的か無意識的かに関わらず、対象観念が連想される

検索タスク中に補完情報として提示しても違和感がない

必ず検索ユーザの目に触れ、可能なら複数回目にする機会がある

23

検索行動を妨げずに必ずプライムに目に触れさせるには？

クエリ入力時→クエリ補完 検索結果表示後→クエリ推薦

検索クエリの関連語として提示しても違和感のない語をクエリ補完、クエリ推薦時に提示

24

プライム語の収集2 情報精査を促進するプライム語をどう準備するか？

25

プライム刺激（プライム語）の収集・絞り込みタスク

批判的思考態度を持った人物から連想する性格と行動

批判的思考態度を持った人物が入力しうるクエリ語

批判的思考態度を持つ人物を語から連想する度合いの評価

収集タスク1 収集タスク2

絞り込みタスク

Lancers.jp Lancers.jp

Lancers.jp

プライム候補語

26

プライム語収集タスク1

タスク説明文の例

「客観的な視点を持った人」から連想されるキーワード（例: 典型的な性格や行動）を3つ教えてください。なお、このタスクでは、客観性を「主観にとらわれず客観的に考えようとする態度」と定義します。例えば、いつも偏りのない判断をしようとする態度が挙げられます。

批判的思考態度を持った人物から連想する性格や行動に関するキーワードをクラウドソーシングで収集

27

プライム語収集タスク1

タスク説明文の例

「客観的な視点を持った人」から連想されるキーワード（例: 典型的な性格や行動）を3つ教えてください。なお、このタスクでは、客観性を「主観にとらわれず客観的に考えようとする態度」と定義します。例えば、いつも偏りのない判断をしようとする態度が挙げられます。

批判的思考態度を持った人物から連想する性格と行動に関するキーワードをクラウドソーシングで収集

4種類の態度のいずれかをランダムに割当

74名から401個のキーワードを収集28

プライム語収集タスク2

タスク説明文の例

「客観的な視点を持った人」が「ダイエットの方法」についてウェブ検索をしているとします。「ダイエット 方法」に続く検索キーワードとして、客観的な視点を持った人が入力しそうなキーワードXを3つ考えてください。

批判的思考態度を持った人物がウェブ検索中に入力しそうなクエリ語をクラウドソーシングで収集

例えば「ダイエット 方法 画像」と入力したとすると、キーワードXに該当するものは「画像」となります．

29

プライム語収集タスク2

タスク説明文の例

「客観的な視点を持った人」が「ダイエットの方法」についてウェブ検索をしているとします。「ダイエット 方法」に続く検索キーワードとして、客観的な視点を持った人が入力しそうなキーワードXを3つ考えてください。

例えば「ダイエット 方法 画像」と入力したとすると、キーワードXに該当するものは「画像」となります．

批判的思考態度を持った人物がウェブ検索中に入力しそうなクエリ語をクラウドソーシングで収集

ドとしてーワードド 考 てくド

AND条件で使われそうな単語を3つ挙げさせる

30

プライム語収集タスク2

タスク説明文の例

「客観的な視点を持った人」が「ダイエットの方法」についてウェブ検索をしているとします。「ダイエット 方法」に続く検索キーワードとして、客観的な視点を持った人が入力しそうなキーワードXを3つ考えてください。

例えば「ダイエット 方法 画像」と入力したとすると、キーワードXに該当するものは「画像」となります．

批判的思考態度を持った人物がウェブ検索中に入力しそうなクエリ語をクラウドソーシングで収集

を持った人検索をして検索キー

力しそうな

が「ダイいるとしまードとして

キーワードが入力 なキ ド を力しそうなキ ワ ド態度と検索トピック（10種類）はワーカーごとにランダムに割当

54名から317個のキーワードを収集31

プライム語絞り込みタスク

タスク説明文の例

ある人物がトピックXについてウェブ検索しているときに「トピックX 比較」という検索ワードを使ったとします．この検索ワードから、検索中の人物は「客観的な視点を持った人物」であると感じますか？5段階で評価してください（2：かなり感じる ～ -2：まったく感じない）。なお、この人物はどんなトピックを調べる時も検索ワードに「比較」という語を付け足すことが多い人物と考えてください。

プライム候補語を含むクエリから批判的思考態度を持つ人物を連想する度合いを評価

32

プライム語絞り込みタスク

プライム候補語を含むクエリから批判的思考態度を持つ人物を連想する度合いを評価

論理的思考の自覚 探究心 客観性 証拠の重視

仕組み効果

ロジック…

メリット原因

調査評判

レビュー…

最新検証

俯瞰分析違い…

公平慎重

統計証明根拠…

裏付け実績

評価

50ワーカー

評価

50ワーカー

評価

50ワーカー

評価

50ワーカー

33

評価値の高かったプライム語候補TOP3

論理的思考の自覚 探究心 客観性 証拠の重視

原理（1.37）

証拠（1.22）

仕組み（1.22）

調査（1.37）

研究（1.33）

検証（1.31）

比較（1.22）

統計（1.24）

分析（0.98）

根拠（1.74）

実証（1.74）

データ（1.56）

各態度の上位3件のうち、意味が重複しない10つの語をクエリプライミングに用いる

34

ユーザ実験3 クエリプライミングは検索中の情報精査を促進できるか？

by クラウドソーシング

35

クエリプライミングの狙いの再確認

糖尿病 症状

糖尿病 症状 比較糖尿病 症状 統計糖尿病 症状 分析糖尿病 症状 調査糖尿病 症状 研究糖尿病 症状 検証糖尿病 症状 根拠糖尿病 症状 実証糖尿病 症状 データ糖尿病 症状 原理

クエリプライミング

批判的思考態度

ページ閲覧数

検索・閲覧時間

話題のチェック数

批判的情報検索in ウェブ検索態

度喚起

行動促進

36

タスク概要

あるトピックについて指定のシステムを使って検索。

満足できる情報を見つけ次第、タスク終了

あなたは「○○に関して調べるよう依頼され，ウェブ検索エンジンを使って情報を集め，有益な情報を探そうとしているとします。「検索開始」リンクをクリックして検索を開始してください。ある程度有益な情報が得られたと感じるまで調査を続けましたら，検索を終了し，今回の調査で最も印象に残った内容を報告してください。

37

実験用システム

×効果的なダイエット

×効果的なダイエット

効果的なダイエット 納豆効果的なダイエット バナナ

Web Search効果的なダイエット 納豆効果的なダイエット バナナ

低炭水化物ダイエット

アトキンスダイエットの効果

XXXXXXのYYYY

評価のための制約

§ クエリは検索トップ画面で1回のみ入力可（内容も指定）§ 検索結果リストは検索トピックで固定§ 文書中のリンクは無効化

低炭水化物ダイエット

アトキンスダイエットの効果

XXXXXXのYYYY

低

38

タスク構成

検索タスクは合計3種類（3 トピック）- 検索タスクごとに異なるシステム（3種類）を使用- タスクで用いるシステム、検索トピックは被験者ごとにランダム化

タスクXby システムA

タスクYby システムB

タスクZby システムC

タスクZby システムC

タスクXby システムB

タスクYby システムA

終了

終了…

被験者1

被験者2

…

39

比較対象 ~ 3つの実験システム

糖尿病 症状

糖尿病 症状 比較糖尿病 症状 統計糖尿病 症状 分析糖尿病 症状 調査糖尿病 症状 研究糖尿病 症状 検証糖尿病 症状 根拠糖尿病 症状 実証糖尿病 症状 データ糖尿病 症状 原理

糖尿病 症状

糖尿病 症状 目糖尿病 症状 看護糖尿病 症状 数値糖尿病 症状 女性糖尿病 症状 眠気糖尿病 症状 痩せる糖尿病 症状 子供糖尿病 症状 尿糖尿病 症状 爪糖尿病 症状 めまい

Proposed クエリプライム語を１0個提示

ConventionalGoogleのクエリ推薦語を１0個提示

糖尿病 症状

Plain 何も情報補完を行わない

40

被験者、検索トピック、文書コーパス

被験者 143 名 on Lancers.jp

実験環境 オンライン

検索トピック うつ病糖尿病の症状結婚式の服装マナー

文書コーパス ClueWeb09-JA(文書ランキングにはBM25 + MRRを適用)

41

分析指標 for批判的情報検索

閲覧ページ数

タスク所要時間（セッション時間）

情報利得*

* Umemoto, K., Yamamoto, T. and Tanaka, K.: Scent- Bar: A Query Suggestion Interface Visualizing the Amount of Missed Relevant Information for Intrinsically Diverse Search, Proc. of ACM SIGIR’16, pp. 405-414 (2016).

判断材料を増やすために、多くのページから情報を集めるようになるか？

情報を慎重に見定めるために、検索にかける時間が長くなるか？

俯瞰的に調べるために、多様な観点から情報を集めるようになるか？（閲覧の視点に偏りがないようにしようとするか？）

42

1タスクあたりのページ閲覧数、セッション時間

セッション時間（秒）

クエリプライミングと他システム間で有意さは確認されず…

4.52 4.52 254.9 248.3

ページ閲覧数

Plain Conventional Proposed Plain Conventional Proposed

5.20 268.7

43

1タスクあたりの情報利得

情報利得 0.143 0.149

クエリプライミングを用いた場合、他システムと比べ情報利得が多い傾向 (p=0.1)

タスクに関して多様なトピックを閲覧

p<0.1 p<0.1

Plain Conventional Proposed

0.171

44

結果の考察～クエリプライミング（QP）は効果があったのか？

QPは検索行動を変容させる可能性ありl 情報利得の向上 より多様なトピックを閲覧 ？l 批判的情報検索への寄与を適切に調べるために、実験の再設計が必要

期待よりも低かったQP効果l プライム刺激との接触機会の頻度l 実験設計、評価尺度の妥当性l 個人差の影響

46

考察1：プライム刺激との接触機会と提示効果の関係

糖尿病の症状

糖尿病の症状 比較糖尿病の症状 根拠糖尿病の症状 データ

効果発現に必要な認知処理が十分に行われていない?

l ユーザは指定された初期クエリを受動的に入力l 今回の実験ではプライム刺激の目視機会が22回しかない

47

考察1：プライム刺激との接触機会と提示効果の関係

効果発現に必要な認知処理が十分に行われていない?

クエリ修正を許可し、

自由にページを閲覧する

l ユーザは指定された初期クエリを受動的に入力l 今回の実験ではプライム刺激の目視機会が22回しかない

糖尿病の症状

糖尿病の症状 比較糖尿病の症状 根拠糖尿病の症状 データ

自由にクエリ入力

改善案

改善案

48

考察：評価尺度、実験設定の妥当性

批判的情報検索

ページ閲覧数

セッション時間

情報利得

妥当な尺度？

49

考察：評価尺度、実験設定の妥当性

批判的情報検索

ページ閲覧数

タスク所要時間

情報利得 証拠の確認の有無

確認した主張の多様性

論理的思考の自覚

探究心 客観性証拠の重視

批判的情報検索を評価するための妥当な指標・タスクの再検討が必要

？？

for 説が複数ある検索課題etc..

50

考察：客観視の心がけと情報利得の関係

p<0.01

1タスクで得た情報利得

客観視を心がけていない被験者 心がけている被験者

Plainシステム

ConventionalProposed

0.150 0.129 0.137 0.165

客観視スコア*が低い被験者は、情報利得に対してクエリプライミングと通常のクエリ推薦・補完間で効果に差があり

* 平山るみ, 楠見孝:「批判的思考態度が結論導出プロセスに及ぼす影響：証拠評価と結論生成課題を用いての検討」，教育心理学研究 (2004).

0.177 0.167

51

まとめ

プライミング効果に着目した批判的な情報検索を促進するクエリ補完・推薦の提案

l 実験デザイン、評価尺度の再検討l 個人差の影響の分析

今後の課題

52