treasure data demo.0517

© SIOS Technology, Inc. All rights Reserved.

データの入力、確認、出力

Treasure Dataの利用方法の紹介

サイオステクノロジー株式会社

クラウドソリューション部

2013.05.17

大村　和子

サイオステクノロジー株式会社


自己紹介

名前 :大村和子

所属：サイオステクノロジー株式会社　　　クラウドソリューション部

ビッグデータ技術ブログ書いてます！！http://sstd-bigdata.blogspot.jp/


目次

全体図Treasure Dataへ td-agentでデータをインポート

Treasure Dataのデータの監視と確認Treasure Dataのデータを出力Treasure Dataと RESTTreasure Dataのその他の機能紹介Treasure Dataと BIツールの連携


全体図


Google Apps

　　全体図

Amazon Web Service

株価

Treasure Data

Database

GoogleSpreadshee

t

SiosWebSite

td-agent

Twitterデータ

Facebookデータ

HRForecast

PG

td-agent

MySQL

監視、確認


Treasure Dataへ td-agentでデータをインポート


Treasure Dataへデータをインポート

Treasure Data

Database

SiosWebSite

td-agent


td-agent.confの設定

#/etc/td-agent/td-agent.conf<source> type tail format apache path /var/log/httpd/access_log pos_file /var/log/td-agent/httpd-access.log.pos tag td.sios_web.www_access</source><match td.sios_web.www_access> type tdlog apikey XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX auto_create_table buffer_type file buffer_path /var/log/td-agent/buffer/td use_ssl true</match>

設定ファイルを記述し、td-agentを動作させる


Treasure Dataのデータの監視と確認


Treasure Dataの監視と確認

Treasure Data

Database

監視、確認


Treasure Dataコンソール

ダッシュボードデータベースクエリインポートジョブ出力先スケジュール


tdコマンドでも監視できます


Wikiデータの検索

wikimedia.orgのオープンデータの約 11億レコードが

Treasure Dataに入ってます！！

検索してみましょう！！


HiveQL（はいぶきゅーえる）

SQLに似ている Hiveの問い合わせ言語TreasureDataのデータもこれで検索できます。select TD_TIME_FORMAT(time, 'yyyy-MM-dd') as tm ,count(1) as cnt from wiki_tbl group by TD_TIME_FORMAT(time, 'yyyy-MM-dd')

↑日付別の件数を取得する HiveQL


HiveQL（はいぶきゅーえる）の実行１


HiveQL（はいぶきゅーえる）の実行２

実行中Job Id:2786765


HiveQL（はいぶきゅーえる）の実行３

終了


HiveQL（はいぶきゅーえる）の実行４

結果


Treasure Dataのデータを出力


Treasure Dataのデータを出力

Google Apps

Amazon Web Service

Treasure Data

DatabaseGoogle

Spreadsheet

HRForecast

PG

MySQL BIツール


Googleスプレッドシートに Push 1

Result（出力先 )の登録（現在は tdコマンドからのみ）

$ td result:create my_gspreadsheet ‘gspreadsheet://<user>:<password>@gmail.com/<ブック名>’



先ほどのwikiのクエリを指定し、 Resultに先ほど作った名前とシート名を設定

{Result名 }:{シート名 }

my_gspreadsheet:wiki_list



結果



定期的に出力することも可能


MySQLに出力

Googleスプレッドシートとほぼ同じです

$ td result:create my_db ‘mysql://<user>:<password>@<host>/<db>’


Treasure Dataと REST


現在、標準ライブラリが用意されている言語

•Ruby•Java•Node.js


こんなかんじです（ Ruby）

#Treasure Dataクライアント作成cln = TreasureData::Client.new(ENV['TREASURE_DATA_API_KEY'])#過去 3日分のデータを取得sql = "select close ,date_time,low,high from stocks where code=3744 and date_time >= '" 　　　+ str_startday + "'"#queryjob = cln.query("rps_db",sql)#waituntil job.finished? sleep 2 job.update_progress!end#get datajob.result_each{|row| #send data res = Net::HTTP.post_form(URI.parse('http://localhost:5127/api/stocks/sios/price'), {'number'=>row[0].to_i.to_s, 'datetime'=>row[1].to_s})}


HRForecastに書き込んでみました。


Treasure Dataのその他の機能紹介


Bulk Import

すでに大量の過去ログがあるんだけど。。

大丈夫です！Bulk Importで確実にインポートできます！


手動インポート

ちょっとだけ手動でデータをインポートしたいんだけど。。

大丈夫です！ちょっともできます。

コンソールからも可能です。


データの分析

Treasure Data中のデータを分析したいんだけど。。

大丈夫です！各種 BIツールと連携できま

す！！


Treasure Dataと BIツールの連携


どのようなツールが利用できるの？

Treasure Dataはデータベース内のデータをさまざまな BIツールから直接利用することができます。

• JDBC接続• ODBC接続（準備中）• Treasure Data専用の設定


Metric Insightsと Treasure Data


最後に宣伝です


ビッグデータに関する技術支援もしています

• アトリビューション分析支援• マイニング用リソース構築

(RDB,NoSQL)• 形態素解析支援（MeCab等）• データ分析支援（ R言語）• BIツール紹介

Treasure Dataの導入支援、サポート以外にもいろいろやってます！


ブログもやってます！

SIOSビッグデータ技術ブログhttp://sstd-bigdata.blogspot.jp/

「ビッグデータ　ブログ」で検索！

ご清聴ありがとうございました。