CfnCluster を使って10 分で HPC 環境を構築す

る

目指せ！おれおれスパコン 略して「おれスパ ! 」

2016/01/22 (Fry) @AWSJ

自己紹介

• 長尾太介 (Daisuke Nagao)

• お仕事 (2015 年 12 月〜 )• GPU を作っている緑の会社で、 between sales and engineer のようなお仕事

• 前職は・・・• 製造業で粉体シミュレータを作って設計者に展開• またそれが動く計算環境も面倒見てました

• 好きな AWS サービス• EC2( 特に GPU インスタンス ), Lambda, Kinesis

StarCluster CfnCluster

AWS 用クラスタツールキット の オープンソース

StarCluster CfnCluster

AWS ( 中の人がつくっている )MIT

http://itpro.nikkeibp.co.jp/atcl/news/15/112703892/

IT Pro by 日経コンピュータに取り上げてもらいました。 8888888888!

本日伝えたいことはただ 1 つ

AWS でスパコンはあっと言う間につくれます

しかもオープンソースで !

AWS を使うと、スパコンは「あっ」と言う間につくれます

しかもオープンソースで！

「あっーーーーーーーーーーーーーーー」

10 min + α 」

「あっーーーーーーーーーーーーーーー」

(1) CfnCluster インストール , Config ファイルの生成(2) CfnCluster によるクラスタの構築(3) 計算実行(4) CfnCluster によるクラスタの削除

10 min + α 」

Let’s start hands-on!

http://qiita.com/daikumatan/items/23b36199fc6872c78dc0

(0) Amazon Linux の立ち上げ

Amazon Linux

(1) CfnCluster のインストール

CfnCluster

インストール

Amazon Linux

(2) config ファイルの生成

CfnCluster

インストール [aws]aws_region_name = ${REGION}aws_access_key_id = ${ACCESS_KEY}aws_secret_access_key = ${SECRET_KEY}

[cluster ${CLUSTER_NAME}]vpc_settings = publickey_name = ${EC2_KEY_NAME}master_instance_type = ${MASTER_INSTANCE_TYPE}compute_instance_type = ${WORKER_INSTANCE_TYPE}shared_dir = ${MOUNT_POINT}initial_queue_size = ${INIT_SIZE}max_queue_size = ${MAX_SIZE}ebs_settings = custom

[ebs custom]#ebs_snapshot_id = ${SNAPSHOT_ID}volume_size = ${VOLUME_SIZE}

[vpc public]master_subnet_id = ${SUBNET_ID}vpc_id = ${VPC_ID}

[global]update_check = truesanity_check = truecluster_template = ${CLUSTER_NAME}EOF

~/.cfncluster/config

Amazon Linux

Master compute

/share 16GB

(3) クラスタ名 “ jawscluster” の構築

$ cfncluster create jawscluster

jawscluster

CfnCluster

Master compute

/share 16GB

(4) 計算実行 その１

JOB1

JOB2

JOB3

JOB4

JOB を複数投入し “qw (queue wait)” にする

jawscluster

計算ノードはオイラしかいないよ〜「 Help!! 」

Master

compute

/share 16GB

(4) 計算実行 その 2

自動的にcompute ノードが増えるのを確認する

JOB1

JOB2

JOB3

JOB4

まってて！今たすけるよ！

(5) 後始末 1: クラスタ名 “ jawscluster” の削除

CfnCluster

$ cfncluster delete jawscluster

Master

compute

/share 16GB

CfnCluster

$ cfncluster delete jawscluster

バイバーイキーン

(5) 後始末 1: クラスタ名 “ jawscluster” の削除

(5) 後始末 2: 後始末 : Amazon Linux もターミネート

Amazon Linux

バイバーイキーン