データセンター視点で比較したクラウドの内側

日経コンピュータ編集部

中田 敦

ITpro EXPO 2009 クラウドスペシャル 2009年10月30日

講演者

中田 敦（なかだ あつし）

「日経コンピュータ」編集部所属

1998年4月 日経BP社入社、「日経レストラン」編集部に配属

2000年9月 ITニュースサト「BizTech」編集部に異動

2002年10月 「日経Windowsプロ」編集部に異動

2006年1月 ITニュースサト「ITpro」編集部に異動

2008年4～6月 米国でクラウド・コンピューテゖング事情を取材

2008年10月 「日経コンピュータ」編集部に異動

2009年4月 「クラウド大全」刊行

日経コンピュータのクラウド担当

2009年7月8日号

2008年11月15日号

2009年4月29日号

日経コンピュータのクラウド担当

日経BP社発行

2520円Amazon

Google

Salesforce.com

Windows Azure

楽天、Yahoo!

全部入ってます

中田も

執筆しています

Googleは異形のメーカー

一番お伝えしたいこと

クラウド・コンピューテゖングの

「導入目的」は

コスト削減

一番お伝えしたいこと

クラウド・コンピューテゖングの

「導入目的」は

コスト削減

ではない

問題意識

デスクトップ検索 Web検索

Outlook 2007 Gmail

カーナビ Google Maps

RSSリーダー Googleリーダー

Windowsフォトギャラリー Picasa Webゕルバム

ユーザーはなぜクラウド・コンピューティングのサービスを使うのか？

（誤解） Webブラウザで使えるから（誤解） 安価だから

（正答） クラウドが提供するゕプリケーションの方が高速だから

「サーバーで動かすソフトウエゕ」のどこがいいのか？

例えば

Gmail

●巨大な容量無料版でも最低5Gバト

●高速な検索どんなに大量にメールがあっても1～2秒で検索

●どこからでも使えるWebブラウザ携帯電話機

「サーバーで動かすソフトウエゕ」のどこがいいのか？

例えば

Google Maps

●巨大な容量全世界の地図全世界の航空写真主要都市の街頭写真

●高速な検索全世界の地図を1～2秒で検索

●どこからでも使えるWebブラウザ携帯電話機

「サーバーで動かすソフトウエゕ」のどこがいいのか？

●2000年代後半

「パソコン」以外でも、ゕプリケーションが利用可能に

ご存じApple「iPhone」

タッチパネルでGoogle Mapsが利用可能

ソニーとJR東日本の共通点は？

VAIO X発売

ソニーとJR東日本の共通点は？

運行情報

ソニーとJR東日本の共通点は？

一番大事なときに

負荷に耐えきれなくなって

Webサトがダウンしたこと

一方「Animoto」の場合

●Animotoとは？

ユーザーが投稿した写真と音楽を組み合わせて、ミュージックビデオ風の動画を作成するゕプリケーション

2008年4月にFacebookにゕプリケーションを公開。

Amazon EC2のメリットは「スケール」

RightScale BlogAnimoto’s Facebook scale-uphttp://blog.rightscale.com/2008/04/23/animoto-facebook-scale-up/

Facebookにゕプリケーションを公開しただけで、ユーザー数が3日間で2万5000人から25万人に急増したが、サーバー台数を50台から4000台にまで拡張させたので、まったく事なきを得た

グーグルのPaaSGoogle App Engine

米国大統領府（ホワトハウス）が2009年3月に解説した「Open for Questions」

2日間で・10万件の質問・360万件の投票

が押し寄せた！

ピーク時は毎秒600クエリ以上を処理

Salesforce.comのPaaSForce.com

Webブラウザだけで「フォームゕプリケーション」が開発できる「Force.com Builder」

すごく賢いMicrosoft

Access！！

なぜクラウドの性能が高いのか？

クラウドには

大量のサーバーが

あり

大量のサーバーで

並列分散処理をしているから

Googleは異形のメーカー

サーバー生産台数・世界3位

New York Times 2006年7月3日「A Search Engine That's Becoming an Inventor」Google was the world's fourth-largest maker of computer servers, after Dell, Hewlett-Packard and I.B.M.

New York Times 2006年7月3日

Dell、Hewlett-Packard、IBMに続いて「台数ベースで世界4位」

日本の経営雑誌「FACTA」2009年9月号「スマートグリッド」でも出し抜かれる日本

－－傍聴し続けるグーグルは自社サーバーを内製化している。生産台数で見ればグーグルは世界3位のサーバーメーカーになる

Googleは異形のメーカー

英Financial TimesのRichard Waters記者が公開した3月6日のブログ

－－－－－－－－－－－－－－－－－－米Microsoft ResearchのトップであるRick Rashid氏によれば、全世界で出荷されるサーバーの20％を、ごく少数の企業が購入している。Microsoft、Google、Yahoo!、Amazon.comだ。－－－－－－－－－－－－－－－－－－

4社で150万台のサーバーを1年で購入？

世界のンターネットトラフゖックの6％はGoogle

NANOG（北米ネットワーク・オペレーターズ・グループ）での発表（米Arbor Networks調べ）

http://www.nanog.org/meetings/nanog47/abstracts.php?pt=MTQ1MyZuYW5vZzQ3&nm=nanog47

ネタ本はThe Datacenter as a Computer

GoogleのトップエンジニゕによるThe Datacenter as a Computer

Luiz André Barroso氏http://www.barroso.org/GoogleのDistinguished Engineer

Urs Hölzle氏Googleのデータセンター運営担当副社長「Google's First vice presidenf otengineering」

Googleは2005年11月からコンテナ型データセンターを運用

2005年時点からサーバーを自作

米CNET NEWS 2009年4月1日から引用「Google uncloaks once-secret server」

ノートPCのように「12V」のバッテリーを内蔵

Pentium 4世代のマザーボード？

↓

つまり2005年から、サーバーを自作している（今はどうなってるんだろう……）

Google曰く

コンピュータとはもはや

ピザボックス でも

冷蔵庫 でもない！

ピザボックス

冷蔵庫

The Datacenter as a Computer

分散処理ソフトウエゕもすべて自作

独自に建造したデータセンター

分散ロックシステム

Chubby

分散フゔルシステム

Google File System（GFS）

並列プログラミングモデル

MapReduceキー・バリュー型データストゕ

BigTable

プログラミング言語

Sawzall

グーグルプラットフォーム

Web検索 ログ解析 GmailGoogle Maps

ゕプリケーションサービス

論文：Interpreting the Data: Parallel Analysis with Sawzall（2005年）

論文：MapReduce: Simplified Data Processing on Large Clusters（2004年）

ホワトペーパー：The Datacenter as a Computer. An Introduction to the Design of Warehouse-Scale Machines（2009年）

論文：Bigtable: A Distributed Storage System for Structured Data（2006年）

論文：The Google File System（2003年）

論文：The Chubby lock service for loosely-coupled distributed systems（2006年）

論文：Failure Trends in a Large Disk Drive Population（2007年）

ソフトウエゕによる耐障害性対策しか使わない

ハードウエゕによる耐障害性対策

・プロセサの多重化・RAIDによるミラーリング、パリテゖ付きストラピング

▼ハードウエゕ投資の高騰▼ハードウエゕ利用率の低下▼消費電力効率の低下

ソフトウエゕによる耐障害性対策

・サーバーのクラスタリング・データのレプリケーション

△低価格ハードウエゕが利用可能△ハードウエゕ利用率の向上△運用の効率化

（故障したサーバーは交換するだけ）▼ソフトウエゕの複雑化

その結果

その結果

「いくらRAIDでデゖスクを冗長化しても、電源装置やストレージ装置のOSなどが『単一障害点』として残る」

「MTBF（平均故障間隔）が30年（30年に1年か故障しない）というサーバーがあったとしても、それが1万台あれば1日に1台は故障が起きる」

複雑化するソフトウエゕは自社開発でカバー

「The Datacenter as a Computer」におけるグーグルの主張

ソフトウエゕによる耐障害性対策

GFS

データ

Map処理

データA

Map処理

データA

Map処理

データA

Reduce処理

データB

Reduce処理

データC

抽出結果

抽出結果

抽出結果

コピー

集約

GFS

データ

計算結果

計算結果

Map処理ではデータ抽出を行う Reduce処理

では計算を行う

保存

「関数型言語のゕデゕ」を拝借して開発した「MapReduce」の仕組み

めざせサーバー1000万台データセンター1000カ所

めざせサーバー1000万台データセンター1000カ所

Google Spannerの目標

想定サーバー台数 100万～1000万台（106 to 107）

想定ストレージ容量 最大1エクサバト（1018バト）

想定データセンター数 世界中に100～1000カ所

想定クラゕント数 10億クラゕント（109台）

世界中に広がるデータセンターが実現するもの

「データはヨーロッパで2カ所、米国で2カ所、ゕジゕで1カ所保存」

→大規模自然災害に強い→大規模停電に強い→テロリストによる攻撃にも強い→世界中から利用可能

→誰もが世界中にサービスを提供可能（via Platform as a Service）

GoogleからAmazon、Microsoftへ

第一世代グーグル

第二世代ゕマゾン

第三世代マクロソフト

ソフトウエア名GFS、MapReduce、BigTable

データ分散方式マスター・スレブ方式

データの保存先ハードデゖスク中心

ソフトウエア名Amazon Dynamo

データ分散方式コンシステントハッシング

データの保存先メモリー中心ハードデゖスク併用

ソフトウエア名Windows Azure

データ分散方式分散ハッシュテーブル

データの保存先メモリー中心ハードデゖスク併用

開発時期：1998年～実用時期：2000年代初期～

開発時期：2000年代前半実用時期：2007年～

開発時期：2006年～実用時期：2009年末～

米Yahoo!本社のコンテナ型データセンター

海上輸送などに使用する国際規格の幅8フゖート（2メートル44センチ）、長さ40フゖート（12メートル20センチ）のコンテナ

米Yahoo!本社のコンテナ型データセンター

コンテナの壁に沿って、サーバーがギッシリと詰め込まれています

米Yahoo!本社のコンテナ型データセンター

ラックとラックの間にある銀色の箱は「ラジエター」。中に水が循環する細いパプが張り巡らされています。中にある大きなフゔンで風を起こして、サーバーが発する熱を流し込み、ラジエターの中を流れる水によって熱を冷やす仕組み

米Yahoo!本社のコンテナ型データセンター

コンテナには水を供給・排出するホースが合計2本接続されています。導入された水によってサーバーの熱を冷やし、温まった水がコンテナ外に排出される仕組み

コンテナ型データセンターの規模

米SGI「ICEcube」の仕様（コンテナ1台当たり）

サーバー台数 最大2400台

プロセッサ数 最大4800個

プロセッサコゕ数 最大2万2400個

ストレージ容量 最大11ペタバト

水の温度 セ氏18度

Microsoftの場合

シカゴの最新鋭データセンター

コンテナ

200台

サーバー台数

約50万台

Microsoftの場合

シカゴの最新鋭データセンター

コンテナ

200台

112台

サーバー台数

約50万台

22万4000台（コンテナのみ）

「Data Center Knowledge」より引用

データセンターの規模を測る単位とは？

データセンターの規模は………

データセンターの規模を測る単位とは？

データセンターの規模は………

分かってない人：サーバー設置台数を言う

分かってる人 ：データセンターの総消費電力を言う

シカゴデータセンターの規模感

•60Mワット（PUE = 1.2 → IT機器の消費電力は50Mワット）

シカゴDCの消費電力

•110億円（東京電力/家庭用電力の場合）、10～20億円（シカゴの場合）

50Mワットの年間電気料金

•30～40万台（コンテナ＝20万台、その他＝10～20万台？）

Microsoftのシカゴ・データセンター

•55万300台（ノークリサーチ調査）

日本のPCサーバー出荷台数（2007年度）

Microsoftの場合

「第4世代データセンター」構想

コンテナを全面採用もはや「建屋」すら無い

2008年12月に発表

業界の主導権はメーカーからサービス事業者へ

日経コンピュータ2009年7月8日号クラウドコンピューテゖング8つの新しい真実

その影響はSalesforce.comにも

•最近、ンフラストラクチャを全面刷新した。かつてはSun Microsystemsの「SunFire

E25K」という最大112プロセッサの非常に巨大なサーバーを使用していた。E25Kを8台

も所有し、とても高価だった。しかし現在はデルの「PowerEdge 1950」に移行した。

Intel Nehalemは大変なコスト削減になったし、それでいて高速だ。私はこれが、業界の

総合的なトレンドだと感じている。皆、よりコモデゖテゖなハードウエゕに移行している。

これはとても大きな変化だ。

Salesforce.com CTO パーカー・ハリス氏

その影響はSalesforce.comにも

• 我々は現在、ドキュメントはコモデゖテゖ・ハードウエゕ

に保存している。これはある意味、Googleにとても似て

いるやり方だ。我々は今、巨大なスケールのデータボ

リュームを検証中で、Oracle Databaseではない別の、ク

ラウドベースの並列処理技術を採用したストレージを活用

できないか考えている。「Hadoop」のようなものだ。

Salesforce.com CTO パーカー・ハリス氏

その影響はSalesforce.comにも

• もしかしたら将来、Oracleが（我々のデータセンター内

から）無くなるかもしれない。5年や10年後には、クラ

ウド・ベースのデータベースシステムの時代が到来する

だろう。クラウドベース・データベースは、今日のやり

方、OracleやIBMなどのやり方とは大きく異なる。今は、

革命的な変化が起きている。

Salesforce.com CTO パーカー・ハリス氏

その影響はSalesforce.comにも

• Salesforce.comのような巨大なクラウド事業者が、そ

の問題を解決するかもしれないし、データベース事業者

やその他の事業者が解決するかもしれない。

Salesforce.com CTO パーカー・ハリス氏

結論

• ネットワークでサービスが利用できれば「クラウド」ではない

• 分散処理、並列処理の時代がついにやってきた

• 安価なハードウエゕ、自前で作ったソフトウエゕがIT業界を支配する

以上、ありがとうございました