オンデマンドクラウド構築サービス ·...

オンデマンドクラウド構築サービス

竹房あつ子

国立情報学研究所クラウド基盤研究開発センター

2018年6月21日

学術情報基盤オープンフォーラム2018

1National Institute of Informatics

NIIのクラウド導入・利用支援


調達導入検討

利用


2018年度予定

クラウドゲートウェイ提供中

SINETクラウド接続サービス

提供中提供中

個別相談セミナー

スタートアップガイド

チェックリスト

学認クラウド導入支援サービス

SINETクラウド接続サービス

大学等とクラウドのデータセンターをSINET5 L2VPNで接続


◎高速・安定・安全な通信環境

クラウド利用時の課題

クラウド接続時のネットワーク設定主要なクラウドではBGPルータが必要利用開始までに時間がかかる…

プロバイダ毎にサービスメニューやインタフェースが異なるので、複数のプロバイダの利用は大変ベンダロックインを回避したい調達の関係で途中でプロバイダが変更になる

アプリケーション実行環境を構築するのが大変基幹業務アプリ以外はコスト的にサポートに頼れないアプリのインストールやアップデート作業は複雑資源の最適化やクラウドならではの使い方をするには？



SINET L2VPNでのクラウド接続を支援クラウドの差異を吸収した制御インタフェースを提供アプリケーション構築手順書の共有で環境構築支援


（H30年10月サービス開始予定）

オンデマンド構築サービス

テンプレート

テンプレート

SINET5 L2VPN

マシン確保ソフトウェア配備

大学・研究所等

インタークラウド環境

マシン確保ソフトウェア配備

SINET5 L2VPN

クラウド環境

教員・研究者が、テンプレートを選択（または作成）することにより、クラウド環境を簡単に構築可能

オンデマンド構築サービス

テンプレート

テンプレート


構築・管理ソフトウェア：Virtual Cloud Provider (VCP) クラウド接続を支援する仮想ルータを提供プロバイダごとのAPIを抽象化し、制御・管理を容易に

• クラウドでのインスタンス配備、管理、ソフトウェアの配備• ２種類のインタフェースを提供

• VCP REST I/F: 詳細な構築・管理が可能な REST インタフェース• VCP SDK: 簡易な構築・管理可能な Python インタフェース

構築手順書＆実行環境：アプリケーションテンプレートクラウドでのアプリ環境構築・管理、ソフトウェア配備のための

Jupyter Notebook 形式の手順書（ワークフロー）を提供• 仮想クラウド基盤環境構築・管理テンプレート• 研究・教育用アプリケーションの実行環境構築・管理テンプレート


構築・管理ソフトウェアVirtual Cloud Provider (VCP)


構築・管理ソフトウェア VCP

仮想ルータによりクラウド接続時のネットワーク設定を支援Dockerコンテナによる高速なアプリケーション環境配備構築したアプリケーション環境のモニタリング機能提供


オンデマンドクラウド

構築サービス

仮想ルータ

仮想クラウドコントローラ

基盤環境やアプリケーション実行環境の構築・管理

アプリケーション実行環境

利用組織毎に独立した環境を提供

サービス利用者

大学・研究所等の利用組織

SINET SINET

Jupyter Notebook /Python / REST で制御

東京DC

Hardware / VM

OS (kernel)

Container

app

bins/libs

Container

VCP Base Container

app

bins/libs

商用クラウド

VCPのサービスインタフェース

クラウドごとの制御APIの差異を吸収各クラウドプロバイダに制御にはTerraformを使用独自Providerプラグインの実装も可能

VCP REST APIYAMLベースでクラウド構成を記述し送信

VCP SDKPythonベースの開発キット+Jupyter Notebook環境で制御を容易に


Jupyter Notebook

VCP SDK (Python)

VCP REST API

Terraform

..

各クラウドへ

構成ファイル

# 初期化

vc = VcpSDK(“vcp_accesskey”, “my_vc_name”)# 計算ノード性能指定

spec = vc.spec.find(“aws”, “small”) # spec = vc.spec.find(“azure”, “small”) # 計算ノード起動

nodes = vc.unit.create(“sample_server”, spec)

AWSに計算ノード起動するコード例

AWS AzureOpenStack

VCPの性能


240.7407.1 339.7 327 299.1

496.7

1436

2230 22702472

0

500

1000

1500

2000

2500

3000

1 10 100 1000

Thro

ughput[M

bps]

Transfer data size [Mbytes]

IPSec over Internet SINET

0

2000

4000

6000

8000

10000

r4.large

w/o EN

r4.large

w/ EN

r4.large

w/ VCP, EN

Th

rou

gh

pu

t [M

bp

s]

Better

クラウド間通信性能クラウド内通信性能

BetterSINET利用で高性能通信

本サービスで高性能環境が利用可能

最適化なし最適化ありAWS r4.large (10G NIC)使用

VCP IGW

in TokyoSINET5

IPSec over

Internet

SINET5

AWS TokyoNII Cloud in Chiba

Base container

on r4.large

Base container

on BM

構築手順書＆実行環境アプリケーションテンプレート


アプリケーションテンプレート=Jupyter Notebook 形式の手順書

12National Institute of Informatics12

Outline of HPC Template

Parameter settings

Resource Allocation

Network configuration of

application containers

Installation of HPC libraries

User account settings

Installation of optional packages

Execution of benchmark programs

アプリケーションテンプレート

HPCテンプレートOpenHPCで提供されているライブラリ＋バッチシステムの科学技術計算用クラスタ環境を構築

LMSテンプレートMoodleを用いた学習管理システムを構築

VDIテンプレートGuacamoleを用いた講義・演習用仮想デスクトップ環境構築

ゲノム解析テンプレートGalaxyワークフローツールによるゲノム解析環境の構築

コースウェアテンプレートJupyter Notebookを用いた講義演習環境の構築


アプリケーションのコミュニティと協力

事例: ゲノム解析環境 Galaxy

オンプレミスでの環境構築資源不足時にクラウドに環境拡張（スケールアウト）


2017/11 SC17展示発表

VCP system

VCP Manager

Galaxy Users

VC Controller

BM

BC

App

Unit: shared-storage

Unit: galaxy

BC

App:Galaxy

+Slurmctld

BM

Unit: galaxy-compute

BC

App:Slurmd

BM

node #1

BC

App:Slurmd

BM

node #2

misc (DNS, Logging, …)

SINET5

NFS server

NFS Client

Amazon:@ap-northeast-1

NII Cloud:@chiba

Unit: compute

BC

App:Slurmd

VM

Persistent DataØ Galaxy DBØ Tool ConfigØ WorkflowØ Reference Dataetc …

Scale-out

VCP User(VC Administrator)

GW

node #n

disk

Galaxy Template(Jupyter Notebook)

BC

App:Slurmd

VM

node #n+1

BC VCP Base Container

BM Bare-metal Machine

VM Virtual Machine

App Application Container

OpenStack AWS VPC

事例: ゲノム解析環境 Galaxy

動画


ハンズオン

VCP基礎編＋ゲノム解析構築2017年12月4日 Galaxy Meetup 2017-12

@遺伝研柏ラボ、参加者7名2018年1月18日 CREST研究グループミーティング＠九州大学、参加者15名

VCP基礎編＋Moodle構築本日！＠NII20階実習室基礎編：那須野淳様（株式会社アスケイド）

Moodle編：浜元信州先生（群馬大）

VCP管理者編＋Guacamole構築9月（予定）


まとめ

クラウド利用推進のため「オンデマンドクラウド構築サービス」をH30年度10月から提供開始構成：構築・管理ソフト、実行手順書＆実行環境対象：大学・研究機関等（6機関試験運用中）方針：重点アプリケーションのコミュニティと協力し、更なる有用化を図る

試用されたい方はご一報下さい: [email protected]

関連サイト、文献：学認クラウド: https://cloud.gakunin.jp/ NII OpenForum 2017:

http://www.nii.ac.jp/csi/openforum2017/track/day2_4.html NII Cloud Operation Team: https://github.com/NII-cloud-operation/ SINETを活用したインタークラウド環境構築システムの開発, 電子情報通信学会技術研究報告 CPSY2017-17, pp. 7-12, 2017年7月

Virtual Cloud Service System for Building Effective Inter-Cloud Applications, Proc. IEEE CloudCom 2017, pp. 296-303, 2017年12月


mailto:[email protected]

National Institute of Informatics 18

オンデマンドクラウド構築サービス ·...

Documents