ヤフオク!における機械学習～深層学習、分散表現～ #devsumi

2016/2/18

ヤフオク!における機械学習～深層学習、分散表現～

山下勝司(やまかつ)ヤフオク!カンパニーヤフオク!開発本部

サイエンス部サイエンス

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

自己紹介

本名: 山下勝司

通称: やまかつ

2015年1月中途入社

ヤフオク!カンパニー所属

ヤフオク!の機械学習周りを担当


ヤフオク!について

※1: 2015年6月実績※2: 2015年6月22日実績※3: Nielsen NetView（家庭および職場からのPCによるアクセス。アプリは除く）Nielsen Mobile NetView（Android+iOS / アプリいずれも含む）2015/04「訪問者数」データ、「オークション」サブカテゴリ



サービス開始：1999年





日本最大級の

インターネットオークションサイト





日本最大級の


出品数：常時約3900万個※1





日本最大級の



1秒あたり273個※2





日本最大級の




ユーザ数(PC)：約1117万人※3





日本最大級の




ユーザ数(PC)：約1117万人※3

ユーザ数(SP)：約1671万人※3



アジェンダ

• ヤフオク!における深層学習を利用した画像処理のご紹介

• ヤフオク!における分散表現を利用した検索ランキングのご紹介


解決したい課題



MacBook Air



カテゴリ違い


カテゴリ違い

入札ユーザ

「折角、カテゴリを絞って検索したのに、

関係ない商品が…」


カテゴリ違い

入札ユーザ



ユーザビリティの低下


カテゴリ違い

入札ユーザ



カテゴリ違いを検知！


カテゴリ違いの検知

人による検知



人による検知

・高い精度



人による検知

・高い精度

しかし限界も



人による検知

・高い精度

しかし限界も

・量



人による検知

・高い精度

しかし限界も

・量

・スピード



人による検知

・高い精度

しかし限界も

・量

・スピード

機械学習の利用



機械学習にも限界が




・未知のパターン





・100%の精度は難しい






など






など

機械学習は銀の弾丸ではない



人と機械学習のハイブリッド




・人：判断




・人：判断

・機械学習：人が判断する順序を決定




・人：判断

・機械学習：人が判断する順序を決定

メリットの両立

・人：高い精度

・機械学習：量とスピード


カテゴリ違いの検知モデル



商品タイトルベース




ex. MacBook Air カテゴリへの出品





「MacBook Air 用カバー」

「MacBook Air カバー」





「MacBook Air 用カバー」 → ✕

「MacBook Air カバー」 → ✕







「MacBook Air + カバー」







「MacBook Air + カバー」 → ◯








「MacBook Air おまけ付カバー」








「MacBook Air おまけ付カバー」 → ？








「MacBook Air おまけ付カバー」 → ？

一定の精度はあるものの、限界も



単語に加え、画像も利用




例：MacBook Air カテゴリ




例：MacBook Air カテゴリ

◯ ✕ ✕



画像に写っている物体を認識



画像に写っている物体を認識

深層学習（Deep Learning）を利用


深層学習の代表的手法

CNN（Convolutional Neural Network）

RNN（Recurrent Neural Network）

RNN（Recursive Neural Network）

DBN（Deep Belief Network）

DBM（Deep Boltzmann Network）

DAE（Deep Autoencorder）

at el.


CNNによる物体認識

画像に写っている物体を識別

Going deeper with convolutions (http://arxiv.org/pdf/1409.4842v1.pdf)より引用


CNNによる物体認識

画像に写っている物体を識別

シベリアンハスキーエスキーモドッグ

Going deeper with convolutions (http://arxiv.org/pdf/1409.4842v1.pdf)より引用


学習

学習データ

ヤフオク!の過去の出品画像

約2万件

環境

・Caffe v1.0rc2

・CUDA 7.5

・GPUサーバ（オンプレ）


識別

ノートPCである確率を出力


識別

ノートPCである確率を出力

80.1% 0.1% 0.9%


目視チェックの順序(イメージ)

80.1% 0.1% 0.9%


目視チェックの順序(イメージ)

80.1% 0.1% 0.9%

③ ②①※実際には商品タイトル等の他の特徴を考慮


今後


今後

学習データを高精度、大量、継続的に

増加させる仕組み


今後



ラベル付け：高コスト


今後



ラベル付け：高コスト

精度の向上

新しいパターンへの対応


アジェンダ

• ヤフオク!における深層学習を利用した画像処理のご紹介

• ヤフオク!における分散表現を利用した検索ランキングのご紹介


ヤフオク! サイト内検索


ヤフオク! サイト内検索

機械学習によるランキング


検索ランキング

CTRやCVR等を最大化するモデル

CTR：商品詳細画面へ流入する確率

CVR：その後に入札する確率



多くの特徴を利用




重要な特徴の1つが単語





特にタイトル中の単語





特にタイトル中の単語

「MacBook Air」

「MacBook Air カバー」


単語の利用

単語を特徴に利用した場合の課題


単語の利用


表記ゆれ、同義語


単語の利用


表記ゆれ、同義語

一般的な対応

・正規化

小文字大文字、半角全角、記号等

・同義語辞書


単語の利用

同義語辞書の整備：人手


単語の利用


・コスト


単語の利用


・コスト

ヤフオク!の商品ドメイン：多

・服、本、スマホから自動車、家まで


単語の利用


・コスト



コストやばい


単語の利用


・コスト



計算で求めたい


単語の利用


・コスト



分散表現を利用


分散表現

局所表現

分散表現


分散表現

局所表現

サッカー: (1,0,0,0 … 0,0,0,0)

フットボール: (0,0,0,0 … 0,1,0,0)

分散表現


分散表現

局所表現

サッカー: (1,0,0,0 … 0,0,0,0)

フットボール: (0,0,0,0 … 0,1,0,0)

ベクトルは単純なエンコード

分散表現


分散表現

局所表現

サッカー: (1,0,0,0 … 0,0,0,0)

フットボール: (0,0,0,0 … 0,1,0,0)


分散表現

サッカー: (0.13, -0.32, … 0.1, 0.07)

フットボール: (0.11, -0.27, … 0.13, 0.07)


分散表現

局所表現

サッカー: (1,0,0,0 … 0,0,0,0)

フットボール: (0,0,0,0 … 0,1,0,0)


分散表現

サッカー: (0.13, -0.32, … 0.1, 0.07)

フットボール: (0.11, -0.27, … 0.13, 0.07)

意味が近い表現：近いベクトル


単語の分散表現

意味が近い単語：ベクトルが近い単語




クラスタリング





意味が近い単語群：同一クラスタ






検索ランキングのモデルの特徴







・単語







・単語

・クラスタID


分散表現の学習

学習コーパス

・商品タイトル

・商品数：約5000万件（重複除外）

・単語数：約3億8000万

・Vocabulary：約40万

モデル：

skip-gram (+negative sampling)



モデル：k-means（k-means++）

距離：コサイン類似度


生成されたクラスタの例

クラスタ例1：

ザク, ドム, グフ, ゲルググ, ズゴック, …


生成されたクラスタの例

クラスタ例1：

ザク, ドム, グフ, ゲルググ, ズゴック, …

クラスタ例2：

アイパッド, iPad, iPadmini, Air, …


商品タイトルの置き換え

クラスタ例1：ザク, ドム, グフ, ゲルググ, …




中古 HY2M 1/12 ザク MS-06J ZAKUII

↓

中古 HY2M 1/12 cid_1 MS-06J ZAKUII




中古 HY2M 1/12 ザク MS-06J ZAKUII

↓

中古 HY2M 1/12 cid_1 MS-06J ZAKUII

ガンプラ MG1/100 MS-09 ドム

↓

ガンプラ MG1/100 MS-09 cid_1


今後

skip-gram以降の分散表現のモデルを

利用


今後


利用

重複タイトルの判断精度


今後


利用

重複タイトルの判断精度

クラスタリング精度

ex. ディリクレ過程混合正規分布


ご静聴有難うございました

ヤフオク!における機械学習 ～深層学習、分散表現～ #devsumi

Technology

ヤフオク!における機械学習～深層学習、分散表現～ #devsumi