bitvisor summit 3 「bitvisorの現状と今後」

2014年11月21日（金）芝浦工業大学豊洲キャンパス 401教室

【主催】（社）情報処理学会

システムソフトウェアとオペレーティングシステム研究会（第26回コンピュータシステム・シンポジウム併設イベント）

2014/11/21 BitVisor Summit 3 「BitVisorの現状と今後」 1

開催趣旨

BitVisor Summit は、BitVisor に興味を持つ幅広い層の方々に交流や情報交換の場を提供することを目的としています。

BitVisor は純国産の仮想マシンモニタですが、BitVisor のように日本国内において研究開発されており、なおかつ高い完成度を持つ低レイヤのシステムソフトウェアはそれほど多くはないのではないかと思われます。

本 Summit では、BitVisor に関する最新の技術的な情報の交換の場を提供するほか，仮想化技術やOSカーネルなど、高度な基盤

システムソフトウェア全般に興味を持った研究者・開発者・ユーザが交流する稀少な機会として有益な場となることを期待しています．


プログラム

• BitVisorの現状と今後

• 一般セッションThe Current Status of BitVisor 1.5

OSb: OSv on BitVisor

BitVisor用のストレージスナップショット機能の実装

BitVisorによるライブマイグレーション機構のNIC対応

ブランチトレース機能を用いたゲストOS上のプロセス観測手法

BitVisor on KVM?

• パネルセッション

• デモセッション2014/11/21 BitVisor Summit 3 「BitVisorの現状と今後」 3

講演者内訳

• 一般講演×６件（昨年度６件）株式会社イーゲル×１件

筑波大学×３件

立命館大学×２件


参加登録者

0

10

20

30

40

企業36%

大学50%

その

他3%

SPAM

11%

0

10

20

30

40

登録者数の推移

企業50%大学

45%

SPAM

5%

今年度

昨年度


BitVisor の現状と今後

品川高廣（東京大学）

BitVisor の最近の動向

• BitVisor 1.5 に向けた開発榮樂さんの発表

• 総務省先進的通信アプリ開発推進事業広域分散ベアメタルクラウドへの応用

• JST A-STEP ハイリスク挑戦タイプでの開発クラウドへの応用：クライアントからサーバまで

• 東京大学への導入事例特殊なシステム管理への応用


BitVisor の歴史

• 2006年：研究開発開始• 2008年 3月：BitVisor 0.2公開• 2009年 3月：BitVisor 1.0公開

VMMコア、ディスク・ネットワーク暗号化、ICカードによる鍵管理

• 2010年 6月：BitVisor 1.1公開保護ドメイン機能、AHCI対応、Realtek NIC対応、...

• 2011年10月：BitVisor 1.2公開 Suspend/Resume対応、ATA Piggyback、TCB BIOS対応、...

• 2012年 9月：BitVisor 1.3公開バックグラウンド暗号化、EPT/NPT、ADvisor機能、...

• 2014年 5月：BitVisor 1.4 公開 UEFI（Mac）サポート

• 201x年 x月：BitVisor 1.5 coming soon


BitVisor を支えた競争的資金

• 平成18～20年度文部科学省科学技術振興調整費• 平成21～23年度総務省 SCOPE

• 平成22年度 JST A-STEP シーズ顕在化タイプ

• 平成25年11月〜平成26年3月総務省先進的通信アプリケーション開発推進事業「広域分散ベアメタル・クラウド環境のためのハイパーバイザの開発」研究代表者：品川高廣（東京大学）、開発分担者：松原克弥（イーゲル）

• 平成26年1月〜平成28年12月JST A-STEP ハイリスク挑戦タイプ『高セキュリティ・高信頼のクラウドコンピューティング環境実現に向けた基盤

システムソフトウェア「BitVisor」の研究開発』企業責任者：松原克弥（イーゲル）、研究責任者：品川高廣（東京大学）


広域分散ベアメタルクラウドへの応用〜総務省務省先進的通信アプリ開発推進事業〜


ベアメタルクラウドとは

• 物理マシンを貸出⇒専有利用が可能◯高性能計算・高セキュリティが必要な場面で有効

科学技術計算、データベース、高機密情報処理

☓仮想化技術による有用な性質の実現が困難拡張性（elasticity）, 俊敏性（agility）,透過性（transparency）

ハイパーバイザ

仮想マシン

仮想マシン

仮想マシン

物理マシン

従来型クラウド

ユーザ

ベアメタル・クラウド

ユーザ

物理マシン

物理マシン

物理マシン


提案手法の利点

OS

ハードウェア


OS

ハードウェア


OS

ハードウェア


OS

ハードウェア


OS

ハードウェア


OS

ハードウェア

ハイパーバイザ（BitVisor）

透過性（OSに変更不要）

拡張性（リニアな台数増加）

占有利用（ゼロ・オーバーヘッド）

（仮想化OFF後）

俊敏性（ニーズに素早く対応）

ベアメタル・クラウドの利点

従来型クラウドの利点

従来型の利点を併せ持つベアメタル・クラウド環境の実現


開発したハイパーバイザ

広域分散ベアメタル・クラウド

検証環境（JGN-X）データセンター

（東京大学）

IP仮想化ストレージ

IP仮想化ストレージ

ストレージ・サーバ

サーバソフトウェア

ベアメタル（物理）マシン

ゲストOS


その他のハードウェア

仲介

ディスクイメージ

パススルーATA over TCP/Ethernet

HDDディスクイメージ

OS起動等


広域分散環境でのブート時間

52.6 52.657.6

84.4

#N/A

101.6

#N/A

122.4

#N/A

204.5

ATA over Ethernet ATA over TCP

ベアメタルローカル東京大阪福岡


クラウドへの応用：クライアントからサーバまで〜JST A-STEP ハイリスク挑戦タイプ〜


課題概要

• 純国産のクライアント向け高セキュリティ仮想化ソフトウェアであるBitVisorを拡張して、高セキュリティ＆高信頼のクラウドコンピューティング環境の実現に向けた研究開発をおこなう。

• 動的仮想化レベル変動技術、ベアメタル・マイグレーション技術、ゼロ・オーバーヘッド仮想化技術などにより、高性能、高セキュリティ、高信頼性、導入容易性などを併せ持ったクラウド環境向け仮想マシンモニタを研究開発し、BitVisorの適用範囲をサーバ側にまで拡張する。

• これにより、最終的には情報システム全体のセキュリティと信頼性を向上させ、真に安心して使える情報インフラを提供し、豊かな生活環境の構築への貢献を目指す。


VMM

VM

動的仮想化レベル変動技術

ゲストOS層

仮想マシンモニタ層

ハードウェア層

デバイスドライバ


デバイスデバイス

監視・変換モジュール

1


2

VMM

VM





1

VMM

VM




仮想化のレベル（どのデバイスをどの程度仮想化するか）を実行時に動的に変動させる（脱仮想化＆再仮想化）技術

ゲストOSに気付かれずに実現するためには、デバイスの状態の綿密な把握や適切なタイミングでの着脱技術等が必要である

レベル２レベル１レベル０


VM

ベアメタル・マイグレーション技術

ゲストOS層






VM




物理マシン（ベアメタル・マシン）上で直接動作していたOSを別の物理マシンにマイグレーションさせる技術

ゲストOSに気付かれずに実現するためには、デバイスの状態を転送先のマシン上で適切に再現する技術が必要である

VMM監視・変換モジュール

1


2

マシン１マシン２

VM



VMM監視・変換モジュール

1


2

マイグレーション


VMM

VM

ゼロ・オーバーヘッド技術

ゲストOS層






VM




通常運用時には仮想マシンモニタのオーバーヘッドを限りなく０に近づける技術

ゲストOSからVMMに動作が移るVMExitを極力減らすためには、最新CPU技術の活用や極めて高度なVMMの実装が必要である

VMM

VM管理作業時（インストール／マイグレション）通常運用時

VM




1


2ゼロ・オーバーヘッド


特殊なシステム管理への応用〜東京大学への導入事例〜


教育用計算機システム(ECCS)

• 東京大学情報基盤センターで運用ECCS = Educational Campuswide Computing System

2012年度に導入⇒ ECCS 2012

• 1,321台の iMac が稼働Mac OS X と Windows 7 のデュアルブート

起動時に BootPicker で OS を選択する

• Faronics 社の Deep Freeze を導入稼働中のシステム変更は再起動時に復元される


スケジュール起動の必要性

• 夜間に一斉にメンテナンス作業を実施Deep Freeze を解除してシステムを更新する

• iMac は閉館時に一斉にシャットダウンメンテナンス時には一斉に起動する必要がある

• 1,321台の iMac が10箇所以上に分散配置人手による起動は非現実的である


iMacでのスケジュール起動

• Windows 対応に問題があるWake on Lan には非対応

任意のタイミングでの起動はできない

iMac のファームウェアにはスケジュール起動機能がないOSに依存しない方式でのスケジュール起動はできない

Windows はシャットダウン後にスケジュール起動できないこの挙動自体は ACPI という規格に沿った正しい挙動である

Windows はシャットダウン時にスケジュール起動設定を消去する

o デバイスドライバなどでスケジュール起動を設定することは困難である


ECCS2012での運用

• Windows からのシャットダウンを禁止メニューからシャットダウンの項目を削除

再起動して Mac OS からシャットダウンさせるよう強制

• ユーザに様々なデメリットがある通常と異なる操作で戸惑う

手間が多くて不便である

再起動に２分程度の時間がかかるユーザが強制的に電源をOFFにしてしまう可能性もある

⇒操作性、利便性、省電力の観点から対応が必要


軽量ハイパーバイザの活用

• ハイパーバイザでスケジュール起動を設定する電源をOFFにするイベントを監視する

電源が切れる直前にスケジュール起動の設定を行う

• 軽量ハイパーバイザにより導入を容易にする通常運用時のオーバーヘッドを削減する

ほとんどのハードウェアアクセスをパススルーにする

既存の環境を改変しない再インストールやOSに対する設定作業などが不要


スケジュール起動の仕組み

• Real-Time Clock (RTC) により実現通常の PC などと同等の時刻管理ハードウェア

I/Oポート 0x70/0x71 でアクセス

バッテリー動作で電源OFF時にも動作する日付や時刻の情報を随時更新している

アラーム機能を備えている指定時刻にスリープ、休止、電源OFF状態から復帰する

Mac OS X での設定方法システム環境設定の「スケジュール」 or pmset コマンド

Windows での設定方法「タスクスケジューラ」 or schtasks コマンド

電源OFF状態からの復帰は設定できない仕様


No 機能

0 秒

1 秒 (alarm)

2 分

3 分 (alarm)

4 時

5 時 (alarm)

6 曜日

7 日

8 月

9 年

… …

13 日 (alarm)

BitVisorによるスケジュール起動


ゲストOS （Windows）


ハードウェア

RTCアラーム消去 ⇒ 電源OFF開始 ⇒ RTCアラーム設定 ⇒ 電源OFF実施

シャットダウン開始

RTCアラーム





ハードウェア


RTCアラーム

RTCアラーム消去

RTCアラーム





ハードウェア

一時的にブロック


電源OFF開始

RTCアラーム電源





ハードウェア


電源OFF開始

RTCアラーム

RTCアラーム設定

電源RTCアラーム





ハードウェア


電源OFF開始

RTCアラーム電源電源

性能評価


BitVisorなしPCMARK8 スコア：4182

BitVisorありPCMARK8 スコア：3801

【ハードウェア】iMac (2012年製）CPU: Intel Core i5-2400Sメモリ: 4GB【OS】Windows 7 32bit

BitVisorの商用版vThriiの導入


学術的な成果


新規採択論文

• ASPLOS 2015Y. Omote, T. Shinagawa, K. Kato. Improving Agility and

Elasticity in Bare-metal Cloud. In Proc. 20th International

Conference on Architectural Support for Programming

Languages and Operating Systems (ASPLOS 2015), Mar 2015.

To appear.

BitVisor を bare-metal cloud の provisioning に応用した話

ASPLOS はOSやプログラミング言語とアーキテクチャの境界領域に関する著名な難関国際会議2015年で20回目になる歴史のある会議

日本の大学の学生が第一著者の論文が採択されるのは初


論文の参照数（2014）

EuroSys ‘10

IEEE S&P 2010

SOSP ‘11

EuroSys ‘10

SOSP ‘11

NDSS ‘11

IEEE S&P ‘12

62件(2012) ⇒ 87件(2013) ⇒ 108件(2014)


IEEE S&P ‘13

BitVisorの今後の課題

• 機能向上デバイス対応

USB 3.0（xHCI），NIC（Marvell, Broadcom），無線LAN, RAIDカード, ...

マシン・OS対応EFI（Mac対応）, Nested Virtualization, MMConfig, ...

開発者向け対応依存関係対応Config, API整理，ドキュメンテーション

オーバヘッド削減EPT, スレッド, Preemption Timer

• 商業化セキュアVM, ネットワークブート，…


まとめ

• BitVisor の最近の動向 BitVisor 1.5 に向けた開発

総務省先進的通信アプリ開発推進事業

JST A-STEPでの開発

東京大学への導入事例

• 学術的な成果 ASPLOS 2015 採択

VEE 2009 論文が108件参照

• 今後の課題デバイス対応，マシン対応，開発者向け対応，オーバーヘッド削減

商業化


BitVisor の宣伝

• BitVisor に関する情報ホームページ

http://www.bitvisor.org/

メーリングリスト[email protected], [email protected]

[email protected], [email protected]

ソースコードhttp://sourceforge.net/projects/bitvisor/

• 有償サービス（株）イーゲルが提供


http://www.bitvisor.org/

mailto:[email protected]




http://sourceforge.net/projects/bitvisor/

bitvisor summit 3 「bitvisorの現状と今後」

Software