Download - Seize The Cloud
クラウドを掴むような話
Amazon EC2, S3, Xen, Hadoopとか
目次
最近の話題Amazon Web Services Amazon Elastic Compute CloudAmazon Simple Storage ServiceXenHadoop
ほとんどリンク集です
最近の話題
2009/6/5からKDDIもサービス開始
http://www.kddi.com/corporate/news_release/2009/0324/index.html
Amazon Web Services
沢山種類がある
Amazon web services (1/2)
Infrastructure Services Amazon Elastic Compute Cloud (Amazon EC2)Amazon SimpleDBAmazon Simple Storage Service(Amazon S3)Amazon CloudFrontAmazon Simple Queue Service(Amazon SQS)AWS Premium Support
Payments & Billing ServicesAmazon Flexible Payments Sercie(Amazon FPS)Amazon DevPay
On-Demand WorkforceAmazon Mechanical Turk
Amzaon web services (2/2)
Web search & Information ServiceAlexa Web SearchAlexa Web Information ServiceAlexa Top SitesAlexa Site Thumbnail
http://aws.amazon.com/products/Amazon Web Services LLCが提供するサービス
Elastic Compute Cloud
クラウドコンピューティング
Amazon Elastic Computer Cloud(EC2)
ネイティブに近いサーバ環境を提供するサービスxenベースのディスクイメージ(AMI)ユーザがOSを自由に選択することができる
SLA提供Annual Uptime Percentage of at least 99.95% during the Service Year.http://aws.amazon.com/ec2-sla/
Windowsサーバ,ms sql serverサポート(βサービス)Amamzon Elastic Block Store for Amazon EC2(βサービス)
データを永続化データベースとしての利用が一般的
99.95%の信頼性ってどれぐらい?
99.95% 99.995%99.9995%99.99995%
年:4.38時間,停止可 2重障害だとアウト年:26.28分,停止可年:2.628分,停止可年:15.768秒,停止可 キャリアグレード
EC2 Instance Type
Standard InstancesSmall Instance (default)Large InstanceExtra Large Instance
High-CPU InstancesHigh-CPU Medium InstanceHigh-CPU Extra Large Instance
http://aws.amazon.com/ec2/instance-types/
Standard Instances (1/2)
Small Instance1.7GB mem1 EC2 Compute Unit
1 virtual core 10+150GB storage32bit platform$0.10/h$0.125/h (windows)
Large Instance7.5GB mem4 EC2 Compute Units
2 virtual cores x 22x420+10GB storage64bit platform$0.40/h$0.50/h(windows)
Standards Instances (2/2)
Extra Large Instance15GB mem8 EC2 Compute Units
4 virtual cores x 24x420+10GB storage 64bit platform$0.80/h$1.00/h (windows)
High-CPU Instances
High-CPU Medium Instance1.7GB mem5 EC2 Compute Unites
2 virtual cores x 2.5350GB storage 32bit platform$0.20/h$0.30/h(windows)
High-CPU Extra Large Instance
7GB mem20 EC2 Compute Unites
8 virtural cores x 2.51690GB storage$0.80/h $1.20/h(windows)
トラフィックも課金対象
詳細な料金はこちらで把握
http://calculator.s3.amazonaws.com/calc5.html
申込方法
面倒なのでここでは説明しません日本語での説明は以下が秀逸です
ってか,元々そこを読んでもらえばいいんだけどhttp://d.hatena.ne.jp/rx7/20080528/p1
制御方法
提供されたjavaベースのCUIで制御ブラウザのアドオンで制御AWSが提供するwebサービスで制御サードパーティのwebサービスで制御
提供されたコマンドラインツール
http://docs.amazonwebservices.com/AWSEC2/latest/DeveloperGuide/
ブラウザ addon EC2用
Elasticfox
AWSが提供するwebサービス
http://console.aws.amazon.com
サードパーティのwebサービス利用
Amazon Simple Storage Service
Amazon Simple Storage Service
1Bから5GBまでのデータの固まりを読み書き消去保存できるデータ群は無制限米国と欧州に保存可能Amazon S3 Service Level Agreementで保証
http://aws.amazon.com/s3-sla/
料金体系
ブラウザのaddon S3用
S3 Organizer
利用例:S3を利用したバックアップツールとか
http://jeremy.zawodny.com/blog/archives/007641.html
利用例:S3FS
http://code.google.com/p/s3fs/wiki/FuseOverAmazon
利用例:S3FS for Hadoop
http://wiki.apache.org/hadoop/AmazonS3
開発中はParkPlaceで (S3 Clone)
http://github.com/why/parkplace/tree/master
EC2/S3以外のサービス
ざっと紹介
Amazon SimpleDB
Amazon謹製 Dynamohttp://www.allthingsdistributed.com/2007/10/amazons_dynamo.htmlCTO Werner Vogels らが開発
key-valueストア(ハッシュテーブル)スケールアウト(数百台とか)障害に強い(マシン障害のみならずラック障害にも)
my %hash = ( key1 => "value1", key2 => "value2");
Amazon CloudFront
CDNサービス米国8箇所,ロンドン,ダブリン、アムステルダム,フランクフルト,香港,東京1000Mbps, 1000req/sのピーク負荷に耐える
Amazon Simple Queue Service
信頼性が高く,高度にスケーラブルなキュー環境分散アプリケーションのコンポーネント同士のメッセージバッファキューに関しては以下の説明を読んでください
http://japan.cnet.com/blog/kenn/2004/11/05/entry_amazon_simple_q/
Payments & Billing Services
Amazon Flexible Payments Service (Amazon FPS)PaypalとGoogle Checkoutに対抗する決裁サービスクレジット/デビットカード,Amazon PaymentsAmazonでつかっている情報を利用
Amazon DevPayEC2上で動かすサービスに対して開発者が課金Amazon EC2 Machine Image (AMI) 販売
On-Demand Workforce
Amazon Mechanical Turk沢山の人にタスクをこなしてもらうためのマーケットQ&Aだけではない例えば...
利用例:Help Find Jim Gray
http://www.allthingsdistributed.com/2007/02/help_find_jim_gray.html
利用例:Ten Thousand Cents
http://www.tenthousandcents.com/index.html
サービスが止まってないか?
簡単な死活監視
AWS Service Health Dashboard
http://status.aws.amazon.com/
何げにでかいこと書いてる日経BP
http://itpro.nikkeibp.co.jp/article/EVENTS/20090309/326164/
Xen
EC2はXenベース
最近の話題
Xenネタで
プライベートクラウド
普段はローカルな環境のXenでゲストを動かしておき,必要な時にはEC2にそのゲストを投げる OpenNebula
http://www.opennebula.org/doku.php
パブリッククラウド
Amazon EC2/S2互換インタフェース Eucalyptus
http://eucalyptus.cs.ucsb.edu/wiki/EucalyptusOverview
XenServer無料ダウンロード開始
http://deliver.citrix.com/go/citrix/wbFreeXenServer
概要
ドキュメントが実体においついてない
http://tinyurl.com/dbkul7
Xenのネットワーク周り
二つの仮想スイッチ
仮想ネットワーク(Xenbr)
仮想ネットワーク(Virbr)
こういうのもでてきた
http://www.linode.com/
Hadoop
試しにインストールはしてみたけどまだよくわかってない
使っているところ
A9.com(Amazon)AdknowledgeBaiduCornell University Web LabFacebookNeptuneNetSeerPowerset/MicrosoftSearch WikiaThe Lydia News Analysis ProjectVisible TechnologiesYahoo!
1-10050-20010-500100600200<1000<40012517+10315020,000
http://wiki.apache.org/hadoop/PoweredBy
年内に本が出る
http://oreilly.com/catalog/9780596521998/index.html#top
日本語解説
Hadoop, hBaseで構築する大規模分散データ処理システムhttp://codezine.jp/article/detail/2448
複数マシンへHadoopをインストールするhttp://codezine.jp/article/detail/2699
Hadoopのインストールとサンプルプログラムの実行http://codezine.jp/article/detail/2485
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術https://codezine.jp/article/detail/2841
mapreduceに対するnaoya氏の解説http://d.hatena.ne.jp/naoya/20080511/1210506301
Hadoop Streamingに対するnaoya氏の解説http://d.hatena.ne.jp/naoya/20080513/1210684438
おまけ
Googleファンの方向け
Google AppEngine クローン
http://code.google.com/p/appscale/