Google BigQuery導入編

@2016 LIG INC.

@2016 LIG INC.

自己紹介

・高遠和也(づや)・株式会社LIGでLIGブログの開発してます

・PHPer・AWSはけっこう使う

@2016 LIG INC.

超高速と言われている

Google BigQueryを試してみる

今日の内容

@2016 LIG INC.

・超高速

・安い(使い方次第だとは思うが)・セキュリティばっちり

Google BigQuery

@2016 LIG INC.

GCPの登録とかは

(たぶん)誰かが説明してるはずなので

割愛

初期設定

@2016 LIG INC.

Datasetの作成

入力項目は「?」を押すと英語の説明が読める

@2016 LIG INC.

Datasetの作成名前場所データの保持期限を選択する保持期限すぎると勝手に消えるらしくて削除し忘れがないのは便利

@2016 LIG INC.

Datasetの作成

あっさり完成

@2016 LIG INC.

Tableの作成CSVで初期データ入れれるJSONとかも選べる

Table名とスキーマ決めていく今回は３つ

@2016 LIG INC.

Tableの作成

あっさり完成(1回失敗したけど。 integerにstringがまじってた)

@2016 LIG INC.

Tableの作成

@2016 LIG INC.

Query試す

@2016 LIG INC.

Query試す

・SQLを触ったことあれば戸惑わず使えそう

リファレンス

　https://developers.google.com/bigquery/docs/query-reference

@2016 LIG INC.

サンプルデータでQuery試す

1.1秒！

3億1千万のレコード

@2016 LIG INC.

サンプルデータでQuery試す

早い！！　　　(気がする)

@2016 LIG INC.

サンプルデータでQuery試す

2.5秒！

3億1千万のレコードに対して正規表現で検索

@2016 LIG INC.

サンプルデータでQuery試す

これは早い！！　　　　　(感覚値)

@2016 LIG INC.

MySQLでも試してみる

・MySQL 5.6.20・なるたけ同じスキーマを用意

・innodb_buffer_pool_size 2GB

@2016 LIG INC.

MySQLでも試してみる

・CSVで1万件エクスポートしてコピー

・複製してとりあえず

6千万件くらいのデータをもつTable作成

@2016 LIG INC.

MySQLでも試してみる

6千万件で13.21秒！

@2016 LIG INC.

MySQLでも試してみる

6千万件からの検索で216.55秒！

@2016 LIG INC.

まとめ

Google BigQuery 早い！！

　　　　　(確信!!)

@2016 LIG INC.

ご静聴

ありがとうございました。