@ir_takt

Web閲覧履歴から得られる search trailの価値測定

Assessing the scenic route: measuring the value of search trails in web logs

Proceedings of ACM SIGIR 2010 pp.587-594

Ryen W. White, Microsoft Research Jeff Huang, University of Washington

検索結果ページ 通常ページ 再訪 進む 戻る

図1. search trailの図解

Q:クエリ(検索ワード) P:ページ

検索～目的ページ発見までを一単位とする検索履歴群 White & Drucker, 2007

検索結果ページ 通常ページ 再訪 進む 戻る

図1. search trailの図解

Q:クエリ(検索ワード) P:ページ

検索～目的ページ発見までを一単位とする検索履歴群 White & Drucker, 2007

Webページを効率的に見つける研究が盛ん

複数ページを持つsearch trailの発掘・利用方法を研究

Bilenko & White, 2008

しかし・・・

ユーザ視点でのtrailの利用価値はまだ不明 有用であれば、trail中心の検索エンジンを組む価値がある

単一のページを検索する手法は 複雑な情報ニーズに対して不十分

本論文著者

情報検索における

trailの価値の

評価方法を考案し

比較・検証を行う

関連研究に 基づく 評価基準

•カバレッジ •多様性 •新規性 •有用性 •関連性

Clarkeら, 2008 Coleら, 2009

カバレッジ

trailによってクエリの意図をどれだけユーザに提供できるか

trail内の全URLにODPカテゴリラベルを付加

URL1つにつきカテゴリ1つ

カバレッジ 各クエリに対して

Google, Yahoo!, Bingの各検索結果Top200から ラベル登場回数で重み付けした ODPカテゴリラベルのリスト(例:表2)を作成

Label 重み(𝑤𝑙)

科学: テクノロジー: 宇宙: NASA 0.64

科学: テクノロジー: 宇宙: ニュース 0.18

リファレンス 0.16

… …

Σ𝑤𝑙 = 1

384/600個

表2. [太陽系発見]クエリに含まれる上位ラベル

カバレッジ

trailに含まれるラベルのリスト(例:表3)を作成

各trail(または単一ページ)について trailによって提供できるクエリラベルの重み和を計算

0～1の評価値

𝑙:ラベル 𝑠:ソースのラベル 𝑞𝑥:クエリのラベル wl : クエリのラベル数

𝐶𝑜𝑣𝑒𝑟𝑎𝑔𝑒 𝑡𝑠 = 𝑤𝑙𝑙 ∈ (𝑠 ∩ 𝑞𝑥)

表2. クエリに含まれるラベル(一部)

Label 重み

科学: テクノロジー: 宇宙: NASA 0.64

科学: テクノロジー: 宇宙: ニュース 0.18

リファレンス 0.16

…

表3. あるtrailに含まれるラベル Label

勉強: 理科: 天文・宇宙

科学: テクノロジー: 宇宙: ニュース

リファレンス

0.18+0.16 = 0.34

多様性

trailによってクエリの多様な性質をどれだけ提供できるか

カバレッジ評価と同様の手法

ラベルの重みの代わりにラベルの数を用いる

𝑙:ラベル 𝑠:ソースのラベル 𝑞𝑥:クエリのラベルリスト 𝑞𝑥 : クエリのラベル数

𝐷𝑖𝑣𝑒𝑟𝑠𝑖𝑡𝑦 𝑡𝑠 = 1

𝑞𝑥𝑙∈(𝑠∩𝑞𝑥)

表2. クエリに含まれるラベル(一部)

Label(総ラベル数10種類と仮定)

科学: テクノロジー: 宇宙: NASA

科学: テクノロジー: 宇宙: ニュース

リファレンス

…

表3. あるtrailに含まれるラベル Label

勉強: 理科: 天文・宇宙

科学: テクノロジー: 宇宙: ニュース

リファレンス

2/10 = 0.2

新規性

trailがユーザの知らない多様性をどれだけ提供できるか

多様性評価と同様の手法

ただし、trailを発行したユーザの履歴に 既に存在するラベルを除外

ℎ𝑥:履歴に存在するラベル 𝑁𝑜𝑣𝑒𝑙𝑡𝑦 𝑡𝑠 = 1

𝑞𝑥𝑙 ∈(𝑠 ∩ 𝑞𝑥) ⋀ 𝑙 ∈ ℎ𝑥

表2. クエリに含まれるラベル(一部)

Label(総ラベル数10種類と仮定)

科学: テクノロジー: 宇宙: NASA

科学: テクノロジー: 宇宙: ニュース

リファレンス

… 表4. ユーザ履歴に存在するラベル Label

リファレンス

…

表3. あるtrailに含まれるラベル Label

勉強: 理科: 天文・宇宙

科学: テクノロジー: 宇宙: ニュース

リファレンス

(2-1)/10 = 0.1

有用性

ソースが有用であったかどうか

各ページについて、 30秒以上滞在されたページビューの割合を測定 Foxら(2005)と同様の手法

関連性

クエリとページの関連性

trail内の全てのページに対して 数百人による6段階評価を実施

平均値を算出

単一ページ(trailの一部を利用)

Origin

P2に相当

Destination

P5に相当 / Whiteら(2007)と関連

trail(複数ページ)

Full-trail

trail全てを使用

Sub-trail

P5以外を使用 / Destinationの有無による評価値の比較

4パターンの比較を行う

単一/複数ページ間の差は (p < 0.01で有意)

関連性以外ではtrailのほうが高い価値を提供

Destination 2.9 0.372 0.307 0.045 0.498Sub-trail 3 0.455 0.384 0.157 0.624Full trail 3 0.489 0.412 0.159 0.653

0

1

2

3

4

5

Ori

gin

De

stin

atio

n

Sub

-tra

il

Full-

trai

l

関連性

評価値

(6段階

)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Ori

gin

De

stin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

De

stin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

De

stin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

De

stin

atio

n

Sub

-tra

il

Full-

trai

l

カバレッジ 多様性 新規性 有用性

評価値

[%]

検索過程でユーザのニーズが変動するため

(一元配置分散分析および)多重比較(Tukey法)の結果 単一～複数ページ間で有意差あり(α=.05, all p≦.01) 有意差なし

単一/複数のページに基づく情報検索の価値を、

異なる評価基準で体系的に比較する手法を提案した

search trailがユーザにもたらす価値を示した

関連性においては、単一ページのほうが高い

Full-trailとSub-trailの差は小さい

trailから価値を得るために全ページを見る必要はない

今後の研究

検索過程における関連性変動の研究

検索結果として用いる適切なソース(4種類)の選択方法

trailをユーザに提示する方法

検索への影響を評価

クエリ人気別

同一クエリを発行した人数を

1人(低) / ～99人(中) / 100人～(高) にグループ分け

クエリ再発行回数別

同一ユーザによる同一クエリの再発行回数を

0回(無) / ～29回(中) / 30回～(多) にグループ分け

関連研究(Coleら,2009)(Downeyら,2008)にて 検索に影響することが分かっている

0

1

2

3

4

5

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

関連性

評価値

(6段階

)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

カバレッジ 多様性 新規性 有用性

評価値

[%]

クエリ人気 低

クエリ人気 中

クエリ人気 高

クエリ人気が高くなるに連れて 評価値は全体的にほんの少し上昇傾向

二元配置分散分析の結果 全て有意差なし(α=.05, ソース:all p≦.02, 人気:all p≦.13)

0

1

2

3

4

5

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

関連性

評価値

(6段階

)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

Ori

gin

Des

tin

atio

n

Sub

-tra

il

Full-

trai

l

カバレッジ 多様性 新規性 有用性

評価値

[%]

再検索回数 無

再検索回数 中

再検索回数 多

関連性・有用性は上昇 / 他は下降

ユーザの情報量/情報識別能力が増えるため

二元配置分散分析の結果 全て有意差あり(ソース:all p≦.001, 再検索回数:all p≦.001)

評価値はクエリの再検索回数によって変動する