情報推薦システムとユーザ体験

Yoshifumi Seki

Gunosy, Inc / University of Tokyo

2013/08/02

@Zansa

About me

• 関喜史– 富山県出身,1987年生まれ

– 富山商船高等専門学校を卒業し、東京大学に編入学

– 同学大学院工学系研究科技術経営戦略学専攻博士1年在学中

– 研究分野：ウェブマイニング、書誌計量学

– 様々なウェブ系企業でデータマイニングのインターンを経験

– 2011年10月Gunosyを公開，2012年11月法人化

• 推薦システム構築を中心としたデータマイニングの研究開発業務に従事

What’s Gunosy?

• ユーザの嗜好に合わせたウェブコンテンツを毎日届けるレコメンドサービス

• 2011年10月末公開– 開発理由：夏休み暇だった– データマイニングを研究する学生3人で開発

• 2012年度未踏発掘・育成事業採択• ユーザ数 22万人 ( 2013年5月末時点 )

• 自分たちが欲しい物を作った– RSSリーダーをどうも好きになれない

• 未読が三桁になって見るのも嫌になってしまう

– 読むべき情報を知りたい

• 簡単に真似できないものを作りたかった– 研究分野への勉強という意味も含めて– データマイニングの面白さと実践の溝

今日のお話

• 現代のウェブにおける推薦エンジンの価値

• 推薦エンジン研究の最近のトレンドの話– 推薦エンジンの歴史

– 既存の評価指標の限界

• Filer Bubble

– From Algorithms To User experience

– 実際に明らかになってきていること

What’s Recommender System

• 膨大な情報の中からユーザに適した情報を探索し，ユーザに提供する– ユーザの情報を特徴付ける

• ユーザのプロフィール

• アイテムに対する評価データ

– アイテムの情報を特徴付ける

• アイテムの中身

• 他のユーザの評価

– ユーザ・アイテム間の類似性を評価する

ウェブと推薦エンジン

• ECサイトへの導入– Amazon, e-bay

• パーソナライゼーション– Google Search

– Facebookのタイムライン

• スマートフォンの普及– 画面が小さい、操作性が低い、通信速度が遅い

– 大量の情報を以下に表示するか？

– 情報を減らす

• パーソナライゼーション

History

Microsoft Academic

Search

History

• 誕生は90年代– 協調フィルタリング

• 現在でも多くのシステムで活用されている手法

• あなたの買った◯◯を買った人は××も買っています

• 2000年代– インターネット・バブル

• Amazon等ECサイトにおける推薦エンジンの成功

• Netfix Prize

– 推薦エンジンの精度向上コンテスト

– 多くの新しい手法が生み出されたが結局実際には使われなかったとの批判も

– 新しい手法は多く生み出されたが協調フィルタリングが圧倒的優位

– 推薦システムを売りにしたベンチャーの多くは倒産または売却• 売上への寄与が見えづらく，売りにくい

• 単純なモデルを実装した営業力の強い会社の勝利

• 汎用的に使えるものはなく，チューニングが必要なため外注ではなかなかマネタイズしない

Filter Bubble

• The Filter Bubble: What the Internet Is Hiding from You

– Eli Pariser (2011)

• ウェブにおけるパーソナライゼーションの負の側面を指摘– 多様な情報に触れる機会が減らされている．

• Recsys 2011でFilterBubbleのWorkshopが開かれる．– Are there “filter bubbles”?

– To what degree is personalized filtering problem?

– What should we as a community do to address the filter bubble

issue?

Filter Bubble

• Recsys2011での議論– Are there “filter bubbles”?

• 本質的にはトレードオフである

– To what degree is personalized filtering problem?

• すべての情報を人が網羅することは不可能なのでフィルタリング技術は必須である

– What should we as a community do to address the filter bubble issue?

• 推薦の透明性，説明性を確保すべき

• 利用者が現在求めるものだけでなく，長期的多様性も考慮

• アイテムごとの個別判断ではなく，推薦リスト全体の良さを追求

• 何が問題だったのか？(私見)– 推薦システムの評価方法がユーザ体験を考慮していない

• ５年分のデータのうち最初の１年で残りの４年を予測する

• ユーザの行動予測問題

From Algorithm to User Experience

• Recommender Systems: from algorithms to user experience

– Joseph A. Konstan and John Riedl,User Modeling and User adapted Interaction(2012)

– 推薦システムのユーザ体験評価についてのサーベイ論文

• 推薦システムが悪いとユーザのサービスに対する満足度を落とす (Cosley et al. 2003)

– ユーザは推薦システムが悪いとは認識しない

• 推薦システムのライフサイクル– 新規ユーザと既存ユーザの推薦システムに対する期待の違い．

• より洗練された評価基準– ユーザ行動予測以外の評価基準

– 推薦結果全体の評価、多様性

• ユーザが推薦システムをコントロールすること

User Recommender Lifecycle

• New User Problem

– 評価値データがない( cold start problem)

– 人気なものと，評価が割れるものを混ぜて推薦するものが継続率が高い ( Rashid et al 2002)

• 推薦していないにも関わらずユーザはすごく精度が高いと評価する

• ユーザモデルも作りやすい

• User Lifecycle (McNee 2006)

1. 推薦エンジンを観察する．

2. 推薦されるアイテムに関心をもち，多くのアイテムを評価するようになる

3. 推薦システムとして活用するようになる

Recommender System Quality

• Top-N Recommendation

– Mean Absolute Error

• 平均絶対誤差

– Precision, Recall

• 検索エンジンの指標

– False positive, False negative

• ROE curve トレードオフ,

• Diversity Problem (Ziegler et al. 2005)

– 推薦対象でないものを結果リストに差し込む

• ユーザは個人に最適化されてないことを認識するが，差し込まれた量が全体の30%程度であれば差し込まれた方を好む

• Data quality

– ユーザにアイテムを再評価させると評価結果が改善する.(Amatriain et al. 2009)

Explanations and Transparency

• Explanations of recommendation (Tintarev et al. 2007)– Transparency

• どのように推薦結果が決められたか説明することで信頼性を上げることができる

– Trust

• 推薦結果の正確性以外の部分で努力する必要がある．

– Scrutability

• ユーザが推薦に用いるデータの過ちに気づき，改善を自身で行うことができる．

• 説明性を高めることで，ユーザの意思決定を促進することできる．– アルゴリズムが洗練されて正しいことより，近い友人が薦めて

いるという説明のほうが効果がある． (Herlocker et al. 2000)

– 多様性を計算することより，タグをつけて多様であるように見えるほうが効果がある．(Vig et al. 2009)

推薦システムの効果

• Youtubeにおける推薦• James Davidson et al. (RecSys’10)

– co-Viewを用いた単純な協調フィルタリングモデルでランキングと比較して207％クリックが向上した

• ブラジル2位のECサイトにおける推薦• ThiagoBullef et al. (RecSys’12)

– 90万人のユーザのうち5%のユーザに推薦システムを用いないことにして比較

– 8-20%の売上の向上が見られた

• 経済シミュレーションにおける多様性の評価• Daniel Fleder et al.

– 多様なコンテンツに対するアクションが成立するかは，そのシステムの教師データに依存する．

スコアとクリック率との比較

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

通常

普通の記事

ranking

click rate

表示順位とスコアの比較

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

アルゴリズム

逆表示

click rate

ranking

継続率の変化

0

5000

10000

15000

20000

25000

30000

35000

40000

45000

58

60

62

64

66

68

70

72

74

76

78

one_month_active_rate

user_num

アルゴリズム変更

まとめ

• データマイニング研究はオフライン評価が中心であるが，近年それに対する批判も多くオンライン評価の研究もいくつか出てきている

– しかしながらまだ数は尐なく，推薦システムのユーザ行動には明らかになっていない点が多い

– UIの影響とか，オフライン評価の精度向上がオンライン評価に与える影響とか

• 目的を何にするかが非常に大事– 精度をあげる ->サービスの価値なのか？

– リスト全体の評価なのか，コンテンツひとつずつ評価なのか

情報体験

• ウェブの情報体験– 自分から情報を取りに行かなくてはいけない

– 探すためのリテラシーが必要

– 能動的

• 旧来メディアの情報体験– 新聞：毎日やってくる

– テレビ：つければ入ってくる

– 受動的

• 受動的な情報体験が人々の基本的な情報体験として根付いている

– ウェブがテレビ・新聞を超えられない理由はここにあるのではないか？

Gunosy’s Vision

• ウェブにおける受動的な情報体験を設計する– 普段通り過ごすだけでGunosyが必要な情報を集めてくれる

– ユーザに考えさせない，情報を入力させない• 登録はSNSアカウントのみ

• 設定もほぼなし

– クリックなどのGunosy利用状況に応じて最適化する• RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情

報を出す

– アルゴリズムの評価はユーザ継続率ベース• 使い続けることが重要

• 毎日使うサービスではなく時々使うサービス

• 見ていないことに対してストレスを与えない

– RSSリーダの未読(9999)って辛いよね。がスタート

• 機械が得意なことは機械にやらせよう– 大量の選択肢からの単純な意思決定は機械のほうが得意

– 労働集約型産業へのイノベーションを起こす

宣伝

• Gunosyでは毎週水曜日１９時から勉強会をやっています– 書籍の輪読

• PRML ( 2013/02 ~ 2013/05 )

• IIR ( 2013/06 ~ )

– 論文の紹介

• 毎週１本担当を決めて紹介

References (1/2)

• Panel on the filter bubble in RecSys 2011– http://acmrecsys.wordpress.com/2011/10/25/panel-on-the-filter-

bubble/

– 情報中立推薦システム (神嶌ら)• http://www.kamishima.net/archive/2012-p-jsai-PR.pdf

• Recommender systems: from algorithm to user experience– Joseph A. Konstan, John Riedl

– User Modeling and User-Adapted Interaction Vol.12 pp-101-123 2012

• Getting to you know: learning new user preferences in recommender systems– Rashid et al.

– IUI’02

• Is seeing believing?: how recommender system interfaces affect user opinion.– Cosley et al.

– CHI’03

References

• Making recommendations better: an analytic model for

human-recommender interaction

– McMee et al.

– CHI’06

• Improvingrecommendation lists through topic diversification

– Ziegler et al.

– WWW’05

• Rate it againL increasing recommendation accuracy by user

re-rating

– Amatriain et al.

– RecSys’09

• Effective ecplanations of recommendations: user-centered

design

– Tintarev et al.

– RecSys’07

References

• Explaining collaborative filtering recommendations– Herlocker et al.

– CSCW’00

• Tagsplanations: explaining recommendation using tag– Vig et al.

– IUI’09

• The YouTube Video Recommendation System– Davidson et al.

– RecSys’10

• Case Study on the Business Value Impact of Personalized Recommendations on a Large Online Retailer– Belluf et al.

– RecSys’12

• Recommender Systems and their Impact on Sales Diversity– Fleder et al.

– EC’07