How NoSQL Fundamentally Changed Machine Learning

2015/8/7

棚橋 耕太郎http://data-magnum.com/how-nosql-has-fundamentally-changed-machine-learning/

1. predictive models

主なデータ：数値 主な手法：クラスタリング,回帰,分類器

rise of “date lakes”

NoSQLによりXML,JSONなどが利用可能に

2. recommenders

大規模データを用いてレコメンドを行う ビジネス的に重要な領域

3. NLP

interpret general trends and sentimentNLPは予測モデルにも使える

4. IOT

大量のデータはNoSQLによって処理される

5. image processing

画像処理やDLはまだ未熟な領域

Question answering on the Facebook bAbi dataset using recurrent neural networks and 175 lines of Python + Keras

http://smerity.com/articles/2015/keras_qa.html

question answering

Facebook bAbi tasks

人口の質問データセット ロボットの評価に用いる

Why a synthetic dataset? The vocabulary (set of words) is constrained, the sentences are always well structured (the only noise is the noise we want to challenge the model with), and the performance on specific tasks can be tested without other tasks interferring

How do we approach the problem?

Word vectors

https://en.wikipedia.org/wiki/Recurrent_neural_network

performance

the results are comparable (and occasionally superior) to those for the LSTM baseline provided in Weston et al.'s

comparison to FB baseline

まとめ・question answering の機械がこんな簡単に作れる! ・いろいろ応用できそう(LINEのログを使いたい) ・theanoのような計算フレームワークの必要性を再認識