wsdm2016報告会−論文紹介(understanding user attention and engagement in online news...

WSDM 2016 報告”Understanding User Attention and Engagement in

Online News Reading”

ヤフー株式会社鳥谷部有子

2016年4月6日

論文 http://www.dcs.gla.ac.uk/~mounia/Papers/wsdm2016.pdfスライド http://www.slideshare.net/mounialalmas/understanding-and-measuring-user-engagement-and-attention-in-online-news-reading

Yahoo Faculty Researchインターン時の論文

紹介論文 (Yahoo Labs)

本論文のポイント

オンラインニュースサイト(Yahoo! News)において

1. あらたなUser Engagement 指標「Viewport Time」を提案

2. ニュース記事の閲覧パターンを分析

3. 記事のコンテンツの素性で User Engagement を予測

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

User Engagement とは？


ユーザーとコンテンツ間の感情的、認知的、行動的な

つながりの度合い(Attfield et al., 2011)

ユーザーがニュースサイト上でどれだけの時間を費やしたか

(stickness)

User Engagement 指標

CTR (Click Through Rate)クリック数/表示回数

・大規模な計測可・ノイズが多い

アイトラッキング視線の位置や動きを測定するデバイスを用いて計測。

・非常に詳細な動きを取得可・コスト高・小規模

マウスカーソルトラッキングユーザーのマウスカーソルの位置、時間を収集したもの。

・大規模な計測可・細かくUser Attentionを計測可・ニュース記事では、記事を読んでる間はマウスがほぼ動かないため、User Attentionとの相関が低い

Dwell Timeページ上の滞在時間

・大規模に計測が可能・User Engagementとの相関が高い・ページ内のどこが見られていたかがわからない

5Measuring User Engagement - https://labtomarket.files.wordpress.com/2013/05/measuringuserengagement_presented.pdf

Beyond clicks: dwell time for personalizationhttp://dl.acm.org/citation.cfm?id=2645724

https://labtomarket.files.wordpress.com/2013/05/measuringuserengagement_presented.pdf

User Engagement 指標の課題

Dwell Timeによってわかってきたこと。

1. 興味ある記事では興味がない記事より滞在時間が長い。

2. 「記事の長さ」と「読む時間」はとても弱い相関。ほとんどの記事は一部しか読まれない。

3. 動画や写真の有無、レイアウト、読みやすさがユーザーの滞在時間に影響する。


Dwell Timeでは、ページ上のどこをユーザーが見ているのかがわからない！

アイトラッキングでは詳細な注目箇所がわかるがコストがかかりすぎる！

ニュース記事を読む際、マウスカーソルはほぼ動かないのでユーザーがどこを注目しているかがわかりにくい！

★Viewport Time★

Viewport Time表示領域ごとの滞在時間


「Dwell Time」 vs 「Viewport Time」


Dwell TimeViewportTime

Viewport

Viewport・・・・

Viewport Time

各表示領域における滞在時間※ユーザーが記事のどこまで読んだか、記事のどこでどれぐらい

滞在したかがわかる。

※アイトラッキングほど詳細に位置はわからないが,大規模に

データ収集が可能

Dwell Time

ページ上の滞在時間

Viewport Time の取得方法

・JavaScriptでスクロール位置, 表示領域サイズ(幅, 高さ), コンテンツのポジション(記事のヘッダー, 本体, コメントブロック etc)を取得。

・スクロールのタイミングで滞在時間を算出


i番目のスクロールでの表示領域に座標yが入っていれば1, なければ0

1. Viewport Time 取得

2. ニュース記事の閲覧行動パターン分析

3. 記事の内容からUser Engagement予測

本論文の論点

1. ニュース記事閲覧時、どこでユーザーが時間を使ってるか

2. 画像や動画コンテンツは滞在時間に影響を与えるか


ニュース記事閲覧時の一般的なパターン


下部ほど滞在時間が減る(右下がり)

記事の下部にもある程度滞在するユーザーもあり（=記事に興味あると考えられる）

平均でみると、ピークが2箇所（1000px, 5000px）

Yahoo!Newsの1か月分(@2013)のログデータでViewport Timeを集計。※PC, 1,971記事, 267,210PV, PV>10のみ,60％の記事はコメントあり


画像・動画の影響は?


画像も動画ともに、ページ上部(ポジション<1000px)で大きな違い。画像・動画があると、ページ上部での滞在時間が2倍程度になる。

オレンジ:画像/動画なしブルー：画像/動画あり




ニュース記事を閲覧する際の行動パターンは？

本論文の論点

行動パターン推定 (マルコフモデルで解析)



ニュース記事閲覧時の行動パターン



結論・多くのユーザーは上から下に読み進める。(一定数は一旦topに戻り離脱)・どこまで読み進めるかはユーザーによって異なる。→「より多く読むほど、Engagementが強い」と考えられそうページ離脱前に

一度topに戻る

ページ訪問するもすぐ離脱(Dwell Time < 10sec)

記事本体の閲覧：50％以下。(記事本体のviewport time≧5s)

記事本体の閲覧：50％以上。

コメント欄でコメント記載or返信

Engagement Level Metrics : 4 levels



Level別 Viewport Time

18

- Engageが強くなるほど Viewport time は高くなる

- CompleteのみBi-modalのかたち



3. 記事の内容からUser Engagement予測

コンテンツからUser Engagementを正確に予測できるか

本論文の論点

この記事のUser Engagement Level の分布は？

これができたら、ニュース記事の最適化が可能に！

ニュース記事のUser Engagementを予測する


3. 記事の内容からUserEngagement予測

TUNE : LDA(潜在的ディリクレ配分法)ベース


「記事の内容（文字数、メディアコンテンツの有無、ワードの共起など）」と「User Engagement Level」を使ってモデル化

Topics of User Engagement


結果 : 予測精度 (正解との相関係数)


最もパフォーマンスが高かったセット(baseとの比較)

Dwell TimeはBounceの予測精度は高いが他は低い


base

Media素性を追加しても%bounceはあまり改善しない。

→ページ上の滞在時間は増加するが、Bounce判断にはあまり寄与しない

まとめ

Viewport Timeを使うことで、ユーザーがどこをどれぐらい見ていたかを測ることが可能になった。

ニュース記事の閲覧パターンを分析

ユーザーによって読む深さが異なる。(Bounce < Shallow < Deep < Complete)

上から下に読み、一部のユーザーは離脱前に上部に戻る

ニュース記事のコンテンツからUser Engagementのレベルを予測できた。

Dwell TimeよりViewport Timeの方が高い予測精度


ありがとうございました。


wsdm2016報告会−論文紹介(understanding user attention and engagement in online news...

Technology