weave clouds together ～ マルチクラウドで織りなす、エンジニア魂！
TRANSCRIPT
Weave Clouds Togetherマルチクラウドで織りなす、エンジニア魂♡
What’s cloud?クラウドって？
クラウドは広がる
今や、クラウドベンダーは、様々なサービスを提供してくれている
自由に使えるサーバーインフラはもちろん
用途に特化したサービスも充実してきた
容量無制限のストレージサービス
デプロイするだけで運用できるPaaS (Platform as a Service)
ユーザー認証や管理を一元化できるサービス
動画を利用環境に合わせて変換、ストリーミング配信するサービス
ビッグデータの蓄積、解析の基盤となるデータウェアハウス
IoT (Internet of Things) を視野に入れたデータストリームや実行環境の提供
機械学習の複雑なアルゴリズムの設計や実施をもサービス化
クラウドで広がる？エンジニアの夢
何か作りたい
使ってもらいたい
私はプログラムが書ける
Webなら…！
Webなら、みんなに届くかも！
クラウドを織り合わせて
思い立ったが吉日、すぐ使えるインフラ
苦手や複雑な部分はいくらでもサービスで補える
作りたいところに専念できる！
リリース後のアップデートもWebなら可能
リリース後の運用でも活用できるサービスたくさん
Introduction自己紹介
大平かづみ
現職: アイレット株式会社 cloudpack事業部
クラウドエンジニア見習い中！
過去の経歴
SIer でガラケーやカーナビのミドルウェア開発 (C/C++)
Web系開発 (Ruby on Rails, Phalcon PHP Framework)
お世話になっているコミュニティ
Japan AWS User Group (JAWSUG)
Japan Azure User Group (JAZUG) や qpstudy 、DevLOVE 、PHP界隈 など、他多数
[JAWSUGでは恒例] 好きなAWSサービス
AWS Lambda もしくは Amazon Cognito と言えるようになりたい！（語感が好き）
Let’s construct! :)作ってみた！
クラウドとクラウドをつなげたい！
今日の主役はもちろん、 ！
そしていつもお世話になっている も使いたい
最近構築できるようになったロギングツール
2台の間でログを転送してみたり
突貫工事でどこまでできるか？
構成図 (1)
EC2 S3Virtual Servers
構成図 (2) セキュアに通信
EC2 S3Virtual Servers
IAM
Fluentd の secure_forward プラグインを利用してセキュアに
IAMロールを利用してセキュアに
構築環境
今日の主役:
Virtual Servers / 仮想サーバー
http://www.softlayer.com/jp/virtual-servers
いつも使ってる: (AWS)
Amazon EC2
http://aws.amazon.com/jp/ec2/
Amazon S3
http://aws.amazon.com/jp/s3/
作業環境
愛機:
http://www.microsoft.com/surface/ja-jp/products/surface-2
強力な助っ人:
Virtual Machines
http://azure.microsoft.com/ja-jp/services/virtual-machines/
使用アプリケーション
ロギングツール: (td-agent)
http://www.fluentd.org/
入力
in_secure_forwardプラグイン
in_tail プラグイン
出力
out_secure_forwardプラグイン
out_s3 プラグイン
仮想サーバー
SoftLayer の IaaS (Infrastructure as a Service)
SoftLayer といえばベア・メタル・サーバーですが、こちらの仮想サーバーはお値段もお安く、無料利用枠があるので今回利用しました！
ベア・メタル・サーバーのお値段: $0.47/時間
仮想サーバーのお値段: $0.04/時間 （ベアメタルの10分の1！）
今回使ったリージョン: 東京リージョン (TOK02 – Tokyo – Japan)
今回使ったOS: CentOS 6.x – Minimal Install (64 bit)
仮想サーバー 無料利用枠
月額 $27.60 が無料に！
リージョンとOSは選べます
スペック
CPU: 1 x 2.0 GHz Core
RAM: 1GB
ストレージ: 25GB (ローカル)
Public Bandwidth: 5000 GB Bandwidth
プライマリ IP アドレス: 1アドレス
Uplink Port Speeds: 100 Mbps Public & Private Network Uplinks
Amazon EC2
お馴染み、Amazon が提供する IaaS
4年前？私の初めてのクラウドはここからでした！
今回使ったリージョン: 東京リージョン
今回使ったOS: CentOS 6.5
CentOS.org が公開するコミュニティAMIを利用
Amazon S3
お馴染み、Amazon が提供するストレージサービス
AWS内のセキュリティコントロール機構である AWS IAMを利用して、EC2 からのアクセスをセキュアに実現
この方法を使うと、設定ファイルなどにクレデンシャルを記載しなくていいのでセキュア
作業記録はこちらCheck! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに
Virtual Machines
Microsoft が提供する IaaS
[余談] 経緯
愛機 は、Pro版と違い、軽量さとバッテリー容量と引き換えに、自由にソフトウェアをインストールできません
そこで、外部のWindowsインスタンスにリモートデスクトップで接続することで、あたかも自マシンで操作している感覚！
自宅は固定回線引いてないので、多少お金かかりますけどIaaSでインスタンス調達
でなくても でも でも、Windowsインスタンスは使えます♪
1年前くらいからこの方法で使ってますが、普通に便利です！
Treasure Data, Inc 製のロギングツール
たかがログ、されどログ
ログは、サービス運用を支える命綱（と改めて思いました）
多くの入出力に対応
プラグインとして実装されており、独自のプラグインの作成も可能
フィルタリングやバッファリングの機構も
日本人が開発してることもあり、日本での導入事例も多い
Let’s try! :)デモしてみます
実演の流れ
仮想サーバーで syslog にログを入力 (loggerコマンド)
が syslog の追記分を検知
が追記分のログを、 EC2の へ転送
EC2 の が S3 へログを転送
デモの様子 (1)
デモの様子 (2)
つまづいたところ
つまづき: から にログが届かない！
の secure_forward プラグインは、まずコネクションを確立するのですが、しない…
内での実験なら成功しているが…
側の Security Group は解放しているのに、Ping や DNS解決はできてるのに、telnet ポート指定では接続できない…
→ は届くのに！
きーーーー！
つまづいたところ: 答え
つまづき: SoftLayer から AWS にログが届かない！
同僚からのアドバイスにより、iptables を確認
答え: Amazon EC2 インスタンスの iptables がポートをさえぎっておりました… orz
さて、デモの様子は？
S3にちゃんと届いたかな？
Thank you! Enjoy Cloud! :)最後まで聞いてくださり、ありがとうございました！