AIによるSNS上で人気度を向上させるハッシュタグ推薦

山崎 俊彦

東京大学大学院 情報理工学系研究科

山﨑俊彦学歴：2004, 東大にて博士取得アナログVLSIの研究に従事

経歴：2004-2009,東大・新領域および情報理工で助教・講師2009-現在, 東大・情報理工・電子情報 准教授2011-2013, 米国コーネル大学訪問研究員研究領域: MM, CV, PR, ML, CG

Attractiveness Computing (魅力工学)-ビッグマルチメディアデータを用いた魅力の定量化、予測、解析、強化-

ファッションの推薦・印象解析

不動産情報処理

人材マッチング・婚活

Query images

Similar image set

旅行・写真撮影支援

0

5

10

15

20

25

0 5 10 15 20 25

Pre

dic

ted

Au

die

nce

Ra

tin

gs [%

]

Actual Audience Ratings [%]

R=0.832MAE=2.2%

妊活・子育て支援

IoTセンシングによる魅力定量化 1

プレゼンテーションの印象解析 SNSの人気度予測と強化視聴率・利用者数予測

SNSは今や重要なビジネスツール

2

ソーシャル人気度(人気度)

人気度はテキスト タグに大きく 影響される

人気度の予測

人気度の増強

この画像をSNSで人気にするには？

3

関連研究

• タグ推薦

• 協調フィルタリング(CF) [Sarwar, WWW01]

• FolkRank [Hotho, ESWC2006]

• Tagcoor [Sigurbjornsson, WWW08]

• 画像認識によるタグ付け、内容記述

• 物体認識 [多数]

• 画像記述生成 [Ushiku, ACMMM12; etc.]

• 情動的な商品説明記述 [Yashima, ACCV16]

意味的には正しいが人気度に寄与するかは考慮なし我々は世界で初めて人気を向上させるタグ推薦に成功

従来のAIを用いたタグ推薦例

https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/

客観的には正しいが、このタグをつけて投稿しても人気が向上する保証はなし（実験にて向上しないこと確認済み）

FolkPopularityRank (FPRank)

• 基本コンセプト

• 人気コンテンツに付与されたタグは重要

• 重要なタグと共起しているタグも重要

• 多くのコンテンツに付与されたタグも重要

owlbird

fly

6

計算の概念図

データセット

• Yahoo Flickr Common Creatives (YFCC100M)を利用

• 20タグ以上がつけられているもの(FPRankはつけられたタグをみて連想するため)

8

Data Set # Tags # Views # images

Training Set ≥ 20 ≥ 5000 60,000

Test Set A(popular)

≥ 20 ≥ 5000 862

Test Set B(common)

≥ 20 ≤ 1000 947

人気コンテンツ

一般コンテンツ

学習用

推薦結果

9

creatures

photo

female image

nature nevada

phalarope

birdwildlife

wading

shore

tricolor

pics

avian

picture

pic

pictures

birds animals images

natural

phalaropus

photographs

wild

wilson’s

photograph

original

photography canon

water flickr

nikon beach

travel

beautiful girl

landscape

Tagcoor

photography zoo

united states

north america

nikon

forest

project365

arizona

usa

americaCF

CF_DF-W

photography zoo

jpge jpg

nikon

forest

project365arizona

usaamerica

photography canon

water

macrogreen insect

travel

beautiful

blue

animaliaFPRank

original (人間がつけたタグ)

Tagcoor (10)original

CF (10)original

CF_DF-W (10)original

FPRank (10)original

画像 + タグ

0.

1.2.3.4.

Flickrを用いた実証実験

10

投稿者の履歴が影響しないように、毎回新規アカウントを作成

実験結果

• CF_DF-W と FPRank が最も効果的

11

通常コンテンツ1000枚人気コンテンツ1000枚

統計的有意差も確認

p=0.015<0.05

タグあたりの獲得view数

タグ数が多いからではなく、タグあたりの人気度も最大

CV APIによる客観的なタグの付与

+FPRankによる推薦

完全自動なタグ付与も可能

タグの品質評価

• Amazon Mechanical Turkによるクラウド実験• 25,000の画像-タグペアを提示

• ペア辺り5人が評価 (125,000件の投票)

• 延べ1500人以上、3週間に渡る評価実験

14

品質評価結果

• FPRank は人間がつけたタグとほぼ同程度品質

• CF_DF-W は余り品質が良くない

15

3.01

2.89

2.68 2.67

2.81

2.89 2.86

2.70 2.68

2.79

2.50

2.60

2.70

2.80

2.90

3.00

3.10

Original Tagcoor CF CF_DF-W FPRank

それぞれの手法の平均スコア (1-5)

Test Set A Test Set BPopular Common

人間がつけたタグのみを用いた場合：9追加でFPRankが推薦したタグをつけた場合：223

最も効果が出た例

◆人間がつけたタグ：4th,4thstreetart,andrew,anrei,art,artists,arts,ave.,city,festival,fourth,friedrich,jc,jersey,joel,lamp,meltdowns,music,newark,nj,no,particle,pasaran,post,skaters,street,studio,sullivan,tour,zoo◆追加でFPRankが推薦したタグ：nyc,new+york,manhattan,ny,beach,sports, newjerseyなど

元画像：https://www.flickr.com/photos/59144304@N00/2917125780

元画像：https://www.flickr.com/photos/153188348@N03/36281708625/

人間がつけたタグのみを用いた場合：17追加でFPRankが推薦したタグをつけた場合：350

◆人間がつけたタグ：2014,7,7th,alternative,artist,band,christian,columbus,concert,jen+ledger,john+cooper,jonathan+chu,korey+cooper,live,march,memorial,metal,music,oh,ohio,performance,rock,rubbertoe,seth+morrison,show,skillet,stage,tate+olsen,veterans,vets◆追加でFPRankが推薦したタグ：festival,hot,america,black,usa,city,art,usなど

DEMO

ビジネス応用

• 広告・プロモーション

• インスタ受けするタグ推薦

• オウンドメディアのCTR向上

• WEB広告最適化

• ECサイト最適化

• 言葉づかいの最適化

• 印象的な文章・キーワードの判定

• プレゼンテーションの印象予測

• 営業・販売の評価・スキル向上

18

現在研究中の課題

• 印象の予測・増強

• 画像のいいね数予測 (相関係数0.7を達成)

• インスタ映えする画像の編集・生成

• SNSの解析

• いち早い流行・バズりの発見

• 特定の商品・サービスの流行・広がり解析

• 実ビジネスとSNSのリンク

• SNSでの動向を利用したブランド間距離の算出

• インスタグラマーの影響力解析・推薦

まとめ

• SNSの人気度を向上させる世界初のタグ推薦技術

• FolkPopularityRank (FPRank)

• 4種類の他手法と比較

• 実験により効果を実証

• 画像とタグの関連性も主観評価実験で確認

20

人工知能による「匠の技」の実現

お問い合わせ先

株式会社東京大学TLO

ライセンスアソシエイト 居石圭司

TEL 03-6830-0058

FAX 03-5805-7699

e-mail sueishi@todaitlo.jp

用語解説

• ハッシュタグ検索しやすくするために画像や映像に付与されるテキスト、キーワード。

• タグ推薦上記タグの付与は時間・手間のかかる作業であるため、AIを用いて自動的に「これをつけてみたらどうですか」と推薦する技術が研究されている。

• Flicker画像・動画を取り扱うSNSのうち最も老舗と言えるサービスの１つ。Yahoo.comが運営。

• タグ品質付与されたタグが写真とどれだけ合致しているかの指標

• Amazon Mechanical Turkクラウドワーキングサービスの一つ。WEB上で謝金を払う代わりにアンケートや簡単な作業を行ってもらうことができる。

• CTRClick Through Rate。WEB広告などで下記の計算で求めた指標クリックされた数/表示された回数

22