仮想計算機の複製に基づく規模適応性に優れた...

仮想計算機の複製に基づく規模適応性に優れたサーバ構築システムの設計と実装

九州産業大学　大学院　情報科学研究科

神屋　郁子九州産業大学　情報科学部

下川　俊彦

23/04/21仮想計算機の複製に基づく規模適応性に優れた

サーバ構築システムの設計と実装 2

Outline 背景研究目的・解決手法仮想計算機制御プロトコル VMCPの設計仮想計算機転送・実行システム PIYOの実装評価関連研究まとめ・今後の課題



背景

近年インターネットは広く普及サーバシステムの問題点

サーバの処理能力不足ネットワーク帯域不足



現状の解決方法

サーバの処理能力不足計算機を増やしたり処理性能の高い計算機を利用

コストがかかる時間がかかるので急な要求の増加に対応できない

ネットワーク帯域不足ネットワーク帯域を増やして対応

局所的に増やすと対外接続が溢れる予め広域分散配置

動的に広域分散配置するのは困難



研究目的

処理能力不足と帯域不足の解決処理能力不足の解決

動的にサーバの処理能力を向上帯域不足の解決

動的にサーバの帯域を増加動的にサーバを広域分散配置



解決手法：サーバ増殖

仮想計算機技術の利用仮想計算機の複製や転送は容易

処理能力とネットワーク帯域の動的な増加動的なサーバの増加及び広域分散配置

サーバ増殖



サーバ増殖の手法

仮想計算機モニタを導入した物理計算機を共有計算機として予め広域分散配置

仮想計算機上にサーバを構築処理能力が必要

仮想計算機を複製



仮想計算機の複製処理能力の増加とネットワーク帯域の増加

計算機の増加より処理能力が増える広域分散配置により帯域を増加・トラフィックの集中を防ぐ

ユーザを誘導することで負荷を分散

仮想計算機仮想計算機仮想計算機仮想計算機



仮想計算機制御プロトコルVMCP VMCP： Virtual Machine Control Protocol 機能

① 認証② 転送先の物理計算機に関する情報取得③ 転送先のネットワークに関する情報取得④ 仮想計算機の転送⑤ 仮想計算機の制御⑥ その他



VMCPの機能説明

①認証 VMCPクライアントを VMCPサーバが認証

②転送先の物理計算機に関する情報取得 CPUスペック、メモリサイズ、 HDD空き容量、ネットワーク帯域

③転送先のネットワークに関する情報取得IPアドレス、ネットマスク、デフォルトルータ、ネームサーバ



VMCPの機能説明

④仮想計算機の転送転送元から転送先へ仮想計算機を送信転送先から転送元へ仮想計算機を受信

⑤仮想計算機の制御仮想計算機の起動・停止・一時停止・一時停止の解除・強制終了・再起動

⑥その他起動中の仮想計算機の一覧表示 VMCPサーバと VMCPクライアントの接続の終了



仮想計算機転送・実行システム PIYO

PIYO： ProlIferate and Yield Objects サーバクライアント方式を採用

サーバ側： PIYOサーバ、クライアント側： PIYOクライアント

手順① 転送元で仮想計算機構成ファイルをコピー② VMCPを用いて転送先の情報を入手③ 必要な情報の書き換え④ 書き換えた仮想計算機を VMCPを用いて転送⑤ 転送先で仮想計算機の起動や終了の操作



仮想計算機の構成

仮想計算機構成ファイル仮想 HDDファイル仮想計算機構成情報ファイル

仮想計算機のハードウェア情報仮想 HDDファイルの PATH



仮想計算機転送・実行システム PIYO

PIYO： ProlIferate and Yield Objects サーバクライアント方式を採用

サーバ側： PIYOサーバ、クライアント側： PIYOクライアント

手順① 転送元で仮想計算機構成ファイルをコピー② VMCPを用いて転送先の情報を入手③ 仮想計算機の書き換え④ 書き換えた仮想計算機を VMCPを用いて転送⑤ 転送先で仮想計算機の起動や終了の操作



実装環境

実装言語： Ruby 仮想計算機モニタ： Xen3.0.3 Domain0： CentOS5 DomainU： CentOS5



PIYOサーバ

VMCPの処理と仮想計算機の制御サーバはクライアントからの接続を待ち受ける

クライアントがサーバに認証情報を送る認証終了後サーバ上でコマンドを実行



PIYOクライアント

VMCPの処理と仮想計算機の複製 MACアドレスの書き換え

計算機には固有のMACアドレスが必要→生成上位 24 ビットは Xen固有のコード、下

位 24 ビットは乱数を発生ネットワーク情報の書き換え

IPアドレス、ネットマスク、デフォルトルータ、ネームサーバ



実験と評価

広域での仮想計算機複製転送実験転送速度に関する評価



広域での仮想計算機複製転送実験

① 仮想計算機複製時間の計測② 仮想計算機転送時間の計測



①仮想計算機複製時間の計測

手順 PIYOクライアント側で仮想計算機構成ファイル（ 2GB ）のコピー時間を計測

コピーした仮想計算機 HDDファイルの中にあるゲスト OSの設定ファイルと仮想計算機構成情報の書き換え時間を計測

計測回数： 5 回



複製時間計測結果

　　　　　　　　

　　　　　　　　単位：秒

　コピー書き換え合計

1回目 237 1 238

2回目 189 6 195

3回目 210 3 213

4回目 208 4 212

5 回目 233 4 237

平均 215.4 3.6 219.0



結果と考察

複製にかかる時間は平均 219.0 秒その時間のほとんどが仮想計算機構成ファイルのコピー

コピーにかかる時間の短縮が必要



②仮想計算機転送時間の計測

手順九州産業大学下川研究室ノードと QGPOP九州産業大学ノード間の転送時間の計測

QGPOP九州産業大学ノードと QGPOP九州大学ノード間の転送時間の計測

転送する仮想計算機のサイズ： 2GB 計測回数：各 5 回



実験環境

Internet

133.69.154.4

133.17.160.216

133.69.128.7

QGPOP九州産業大学ノード

QGPOP九州大学ノード

QGPOP

1Gbps

1Gbps

1Gbps

九州産業大学下川研究室ノード

KSU



転送時間計測結果

　転送時間1 回目 59 秒

2 回目 57 秒

3 回目 59 秒

4 回目 58 秒

5 回目 57 秒

平均 58 秒

QGPOP九州大学ノードからQGPOP九州産業大学ノードへの

転送時間

　転送時間1回目1 時間 08分 18

秒2回目1 時間 13分 55



秒5 回目1 時間 16分 30

秒

平均 1 時間 13分 48秒

九州産業大学下川研究室ノードからQGPOP九州大学ノードへの

転送時間



結果と考察

QGPOP ノード間の転送時間は短いネットワーク的な距離が近いため

九州産業大学下川研究室ノードと QGPOP九州大学ノード間の転送時間は長いネットワーク的な距離が遠いため

転送する際にかかる時間は大きな問題仮想計算機の転送時間の改善が必要



転送時間に関する評価

PIYOでの仮想計算機転送には時間がかかる原因の究明 PIYOの転送時間と既存のシステムの転送時間の比較

既存のシステム SCP （ OpenSSH ） FTP

転送する仮想計算機のサイズ： 2GB 計測回数： 5 回実験環境：ローカル



転送時間比較実験

単位：秒

　 SCP FTP PIYO

1 回目

13656 59

2 回目 140 54 58

3 回目 146 56 60

4 回目 131 62 61

5 回目 132 56 60

平均 137.0 56.8 59.6



結果と考察

PIYOは SCPよりも転送時間が短く FTPと同等の転送時間

PIYOでのファイル転送時間は他のシステムと比べて遜色がない

PIYOの実装上の問題ではない



関連研究①： Live Migration・VMotion 仮想計算機をローカルで移動別の物理計算機上で仮想計算機の実行を継続

計算機の故障やメンテナンスの対応

本研究との相違点仮想計算機をローカルで複製、広域で移動・複製

共有ファイルシステムが不要



関連研究②： Quasar （東京大学大学院情報理工学系研究科　尾上浩一、大山恵弘、米澤明）実行中の状態を保持したままで仮想計算機を別の物理計算機へと移動仮想ネットワークの機能が備えられている

仮想計算機の移動を意識せず通信を継続

本研究との相違点仮想計算機の複製 CPU エミュレーションを行わないため処理が

速い



まとめ

処理能力不足と帯域不足を解決するためのサーバ構築システムの設計と実装仮想計算機を利用

動的にサーバの処理能力を向上動的にサーバを分散配置

仮想計算機制御プロトコル VMCPの設計 VMCPを実現させるための PIYOの実装 PIYOの評価



今後の課題

VMCPの機能全ての実装セキュリティ面での改善リクエスト誘導システムとの連携複製時間や転送時間の短縮



仮想計算機の移動

処理中あるいは接続中の利用者に対する処理能力の向上動的な処理能力の向上を実現 Mobile IPや SCTPの利用により通信の継続が可能

仮想計算機



仮想計算機の種類

ホスト OS 型仮想計算機モニタ型



ホストOS 型

物理計算機上でホストOSが動作アプリケーションとして仮想計算機が動作

VMware Workstation Virtual PC

アプリケーション

ゲスト OS


仮想計算機

ホスト OS

物理計算機



仮想計算機モニタ型

物理計算機上で仮想計算機モニタが動作仮想計算機モニタ上で仮想計算機が動作

Xen VMware ESX Server


OS

仮想計算機

仮想計算機モニタ

物理計算機


OS

仮想計算機



VMCPのコマンド一覧

USER SEND RECV START STOP PAUSE

UNPAUSE DESTROY REBOOT QUIT LIST



VMCPのコマンド説明

USER （認証）ユーザ名、パスワードを伝達し利用者を認証

SEND （仮想計算機の転送）仮想計算機の送信

RECV （仮想計算機の転送）仮想計算機の受信




START 仮想計算機の起動

STOP 仮想計算機の停止

PAUSE 仮想計算機を一時停止

UNPAUSE 仮想計算機の一時停止の解除

DESTROY 仮想計算機の強制終了

REBOOT 仮想計算機の再起動




QUIT （その他）サーバとクライアントの接続の終了

LIST （その他）起動中の仮想計算機の一覧を表示



実装環境

実装言語： Ruby 仮想計算機モニタ： Xen3.0.3 Domain0： CentOS5 DomainU： CentOS5



Xen

Domain0 管理用 OS 物理計算機上に一つ

DomainU ゲスト OS 物理計算機上に複数


Domain0仮想計算機

仮想計算機モニタ物理計算機


DomainU仮想計算機

仮想計算機の複製に基づく 規模適応性に優れた...

Documents

仮想計算機の複製に基づく規模適応性に優れた...