a brain-friendly guide
DESCRIPTION
A Brain-Friendly Guide. Head First. Social. BigData. Facebook Twitter Social Graph Social Bookmark. User Logging. Access Log POS GPS. Machine Learning Recommendation Enterprise Search. Cloud. Google Apps Amazon EC2 Open Cloud. Don’na “Hang=Dan” Dar with Pandaneco Rojinkai. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/1.jpg)
A Brain-Friendly Guide
BigDataHead First
ORE’ILLY Don’na “Hang=Dan” Darwith Pandaneco Rojinkai
Cloud
Social
User Logging
Google AppsAmazon EC2Open Cloud
FacebookTwitterSocial GraphSocial Bookmark Access Log
POSGPS
Machine LearningRecommendationEnterprise Search
![Page 2: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/2.jpg)
こんにちは
ビッグデータ!
ここに、これまでは SQL で扱って来たデータがあるじゃろ?
( ^ ω ^ ) ⊃ 普通のデータ ⊂
![Page 3: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/3.jpg)
こんにちは
ビッグデータ!
これを NoSQL に入れ直して…
( ^ ω ^ ) ≡⊃⊂≡
![Page 4: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/4.jpg)
こんにちは
ビッグデータ!
出来上がりじゃ♪
( ^ ω ^ ) ⊃ ビッグデータ⊂
![Page 5: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/5.jpg)
![Page 6: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/6.jpg)
Big Data って ?
そもそもの話
![Page 9: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/9.jpg)
Big Data の Data Base
扱う全データ量が大きい
一度に扱うデータ量が大きい
分散ストレージ
分散処理系
サーバ一台に収まらないデータを扱う
![Page 10: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/10.jpg)
スケールアップは高価 / 頭打ち
Spec
Cost
RDBMS の高性能化限界
![Page 11: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/11.jpg)
の出現
歴史のお勉強: BigData 時代の始まり
![Page 12: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/12.jpg)
無限のスケールアウト性能
Spec
Cost
台数に比例した性能が得られる
![Page 13: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/13.jpg)
簡単につかえて
無限にスケールアウトする
分散処理系兼
分散ファイルシステム
![Page 14: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/14.jpg)
Hadoopやってます競争
の時代
![Page 15: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/15.jpg)
はたと気がつく
バッチ処理はできるけどクエリとかの応答性能は出せないんだよね… …
なんと RDBMS が おきあがりなかまに なりたそうに こちらをみている!
![Page 16: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/16.jpg)
No!SQL はい いいえ
![Page 17: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/17.jpg)
RDBMS ではできないことをやってるぞ!
まだ RDBMS 代替を主張しないといけない時代
![Page 21: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/21.jpg)
トランザクションとかビジネス要件とか言われると
辛いんだよね… …
さいど RDBMS が おきあがりなかまに なりたそうに こちらをみている!
基幹システムを張れると主張しないといけない時代
![Page 22: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/22.jpg)
Not only SQL
![Page 23: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/23.jpg)
DATABASERDBMS
SQL NoSQL
![Page 24: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/24.jpg)
RDBMS
NoSQLand more…
![Page 25: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/25.jpg)
まとめみんな Google が大好きなので、 Google のパチもんの Hadoop も最高に Coooool !!!!でした
RDBMS はしばしばデータ基盤として用いられていたので、うまく Hadoop で置き換えれば数十倍の処理性能が出ました。
例えば 大量に、全件を、まとめて処理するバッチそれはそうでしょう。それは RDBMS でやるべきものではなかったのですから。
RDBMS の数十倍! が初期のウリだったので、 RDBMS は意地でも使うわけにはいかなくなりました。そこで現れたのが NoSQL です。
今ではそうでもなくなりました。 RDBMS との融和の時代です。
![Page 26: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/26.jpg)
勧誘の時間
そもそもの疑問なぜ RDBMS では実現できないのか
データベースに求められる機能とは何なのか
そもそもどうやってデータベースを実現してきたのか
![Page 27: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/27.jpg)
データベースをきちんと知らないと答えられない疑問
勧誘の時間
![Page 28: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/28.jpg)
データベースをきちんと知らないと答えられない疑問
じゃあ
いつ学ぶのか
勧誘の時間
![Page 29: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/29.jpg)
![Page 30: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/30.jpg)
勧誘の時間
もう一度データベース (Not only SQL)
を学ぼう!
![Page 31: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/31.jpg)
![Page 32: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/32.jpg)
![Page 33: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/33.jpg)
![Page 34: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/34.jpg)
方針
• 7つのデータベース 7つの世界 から
• いくつかのソフトウェアを実際に触る• 環境はとりあえず太田が用意する• 足りなくなったら検討
• その後は個々気に入ったソフトウェアを集中的に
目標:データベース製品の特徴を理解し、用途に合わせて選んで採用できる
![Page 35: A Brain-Friendly Guide](https://reader036.vdocuments.pub/reader036/viewer/2022062315/56816580550346895dd81a7f/html5/thumbnails/35.jpg)
初期スケジュール
1. 7 つの DB 7 つの世界• リレーショナル代数について (東)• PostgreSQL (小林)• HBase (太田)• Neo4j (東)
2. 7 つの DB 7 つの世界• Riak (太田)• MongoDB ()• CouchDB ()• Redis (やまひろ)
3. 7 つの DB 7 つの世界 予備日• 7 つの DB 7 つの世界 残り部分• 各 DB 比較 - NoSQL プログラミング実践活用技法
4. その後• 各製品 Deep Dive