session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」／比戸将平...
DESCRIPTION
PFIオープンセミナー2012「多様化する情報を支える技術」 2012年9月21日（金）実施 ≪概要≫Hadoopが大規模データ処理に広く用いられれる一方、その限界も見え始めてきた。一方、データに潜む複雑な因果関係や傾向を発見し精度の良い予測を実現する機械学習技術は性能向上と適用範囲の拡大を続けている。本講演ではビッグデータとその先進アプリケーションについて、間を繋ぐ機械学習技術の観点から最新動向について述べる。特に、PFIがフォーカスしているリアルタイム性とトレーサビリティについて詳しく述べ、JubatusとBazilという製品を紹介する。TRANSCRIPT
- 1. PFI2012 Preferred Infrastructure Jubatus
2. l HIDO Shoheil l l -2006: l 2006-2012: IBMl ()l l 2012-: l Jubatus2 3. l l l 2l 3 4. l l l PFI 4 5. NoSQLVolume VarietyHadoop Velocity Complex Event M2M5 Processing 6. SQLDWH BI (MachineCQLCEP M/R6 Learning) 7. l l l l l l l l l l Dimensionality Reduction by Learning an Invariant MappingRaia Hadsell, Sumit Chopra, Yann LeCun, CVPR, 20067 8. l l /Web//Twitter l l l l // l l l M2M l 8 9. Jeopardy! 9 10. l l l PFI 10 11. 11 12. 12 13. l Hadoopl YARN (MapReduce2.0)l MapReducel Mahout (Apache)l AllReduce or Vowpal Wabbit (Yahoo!)l SystemML (IBM)l MapReducel Spark 13 14. Webl Google l PageRank l l SEO l Facebook l l l Amazon l l Twitterl l M2M14 15. l Machine learning that matters [K. L. Wagsta, ICML2012] l / l Big Learning Workshop [NIPS2011, NIPS2012]l Scaling Up Machine Learning (Book) [2011/12] 15 16. Machine Learning for the New York City PowerGrid [Rudin et al., TPAMI, 2012]l l l l l l ll Rule&k-means: l : MTBF()http://web.mit.edu/rudin/www/TPAMIPreprint.pdf16 17. l l l PFI 17 18. 19. Structured Perception [Collins] Passive Aggressive / MIRA Oll: online-learning library [PFI] Complex Event Processing RDBMS/DWH Yahoo! S4 Twitter Storm 20. (1/2)R l l WekaSPSS l l 20 21. Bazill l OKOK etc etc 22. Bazil Farm (1-1) :2010-19l 10-19ameblol 10-1910-19()22 23. Bazil Farm (1-2):2020-29l 20-29l 20-29 20-29() 24. Bazil Farm (2):l l 25. Bazil Farm(3): 25 26. (2/2)Velocityl 3VVelocity l l l Hadoopl CEPHadoop???CEP 26 27. Jubatus: Hadoopl l NTT SICl http://jubat.us/l l 1. 2. 3. 27 28. Jubatus// Structured Perceptron 2011 [Collins, EMNLP 2002] Passive Aggressive / MIRA 2004 online-learning library [, 2008] WEKA 1993- SVM lightMahout 1998- 2006- 28 29. l Jubatusl l l l l UPDATE MIXANALYZE 29 30. Jubatus l JubatusJubatus Hadoop CEP RDBMS HDFS Mahout SPSS Mahout 30 31. Edge-heavy datal Edge-heavy data l l l Edge-heavy data l l 31 32. Jubatus v0.4.020121132 33. PFIl l l 2l BazilJubatus 33