rancherカタログ紹介 hadoop + yarn

32
LinAction.Lab Presents LinAction Theme Rancher カカカカカカ Hadoop + Yarn Date :2016.12.08 Location : Rancher Meetup Tokyo #2 1

Upload: linux-action

Post on 16-Apr-2017

805 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: Rancherカタログ紹介 Hadoop + Yarn

LinAction.Lab Presents

LinAction Theme

Rancher カタログ紹介 Hadoop + Yarn

Date :2016.12.08Location : Rancher Meetup Tokyo #2

1

Page 2: Rancherカタログ紹介 Hadoop + Yarn

自己紹介

Twitter : cyberblack28,linaction2014

2

仕事:

・インフラエンジニア

官公庁の基盤設計、構築、テスト、運用保守

趣味:

・音楽

ライブ、フェスに行くこと、たまにギターやベースを弾く

・写真

工場・ジャンクション夜景

・フロントエンドエンジニア

アジャイル開発で

HTML5 、 CSS 、 JavaScript 等

Page 3: Rancherカタログ紹介 Hadoop + Yarn

会社紹介

3

会社:フォーシーズンズ株式会社URL:www.0004s.com

システム部インフラ構築(サーバ、ネットワーク)ウェブ制作・開発

制作部広告の企画・制作

飲食事業部カフェ( BOOKSHELFCAFE )URL:www.bookshelfcafe.jp

割烹料理(とき彩)URL:www.tokiiro.tokyo

2015,2016 年夏にROCK IN JAPAN FES に初出店しました!!

Page 4: Rancherカタログ紹介 Hadoop + Yarn

LinAction.Lab について

LinAction  =  Linux + Action

「 Linux で行動を起こそう!」というスローガンを基に、ハンズオンを中心に Linux に関わるあらゆることを追求するコミュニティです。

難しいことはひとまず置いて、まずは試して、触って、行動優先から深めて行きましょう。

その、「まずは試して、触って」のお役に立てればと思います。

4

Page 5: Rancherカタログ紹介 Hadoop + Yarn

1. Rancher Meetup #1 Recap2. Rancher のカタログについて

3. Hadoop + Yarn の構築

5

アジェンダ

Page 6: Rancherカタログ紹介 Hadoop + Yarn

6

1.Rancher Meetup #1 Recap

Rancher の選択肢の一つとして、

コンテナサービスがないクラウド、オンプレミス環境で

はとても便利にコンテナ運用が可能で最適!

Page 7: Rancherカタログ紹介 Hadoop + Yarn

7

2.Rancher のカタログについて

One Click Deployment ! !カタログ一覧から選択して、起動ボタンをクリックするだけ

で、

アプリケーションをデプロイできます。

Creating Private Catalogs ! !個人で作成したカタログも登録できます。

Page 8: Rancherカタログ紹介 Hadoop + Yarn

8

2.Rancher のカタログについて

• ライブラリ: Rancher 認定のテンプレートカテゴリ一覧

• コミュニティ:コミュニティ( OSS )テンプレートカテゴリ一覧

• 全て:ライブラリとコミュニティを合わせたテンプレートカテゴリ一

覧Rancher 認定のテンプレートは Rancher Labs によって維持管理及びサポート

されますが、コミュニティ (OSS) テンプレートはオープンソースユーザコミュ

ニティによって維持管理されています。

上部メニュー「カタログ」を選択します。

Page 9: Rancherカタログ紹介 Hadoop + Yarn

環境テンプレート カタログ数(ライブラリ) カタログ数(コミュニティ)

10

79

23

12

139

2.Rancher のカタログについて

環境テンプレートによって選択できるカタログは異なります。

※v1.2.0(2016 年 12 月現在 )

Page 10: Rancherカタログ紹介 Hadoop + Yarn

10

2.Rancher のカタログについて

カタログ一覧: Library

Page 11: Rancherカタログ紹介 Hadoop + Yarn

11

2.Rancher のカタログについて

カタログ一覧: Community

Page 12: Rancherカタログ紹介 Hadoop + Yarn

12

2.Rancher のカタログについて

カタログ一覧: Community

Page 13: Rancherカタログ紹介 Hadoop + Yarn

13

2.Rancher のカタログについて

カタログ一覧: Community

Page 14: Rancherカタログ紹介 Hadoop + Yarn

14

2.Rancher のカタログについて

カタログ一覧: Community

Page 15: Rancherカタログ紹介 Hadoop + Yarn

15

2.Rancher のカタログについて

カタログ一覧: Community

Page 16: Rancherカタログ紹介 Hadoop + Yarn

16

2.Rancher のカタログについて

カタログ一覧: Community

Page 17: Rancherカタログ紹介 Hadoop + Yarn

17

2.Rancher のカタログについて

カタログ一覧: Community

Page 18: Rancherカタログ紹介 Hadoop + Yarn

18

2.Rancher のカタログについて

カタログ一覧: Community

Page 19: Rancherカタログ紹介 Hadoop + Yarn

19

2.Rancher のカタログについて

カタログ一覧: Community

Page 20: Rancherカタログ紹介 Hadoop + Yarn

20

< 注意 >Rancher は Apache Software

Foundationのプロジェクトとは無関係です。

Page 21: Rancherカタログ紹介 Hadoop + Yarn

21

3.Hadoop + Yarn の構築

Rancher Node Server 1,2  

Rancher Manager Server

a. サーバの構築

項目 設定内容

Data Center SJC01 - San JoseComputing Instance 2 x 2.0 GHz CoresRAM 4GB

Operating SystemUbuntu Linux 16.04 LTS Xenial Xerus Minimal Install (64 bit)

項目 設定内容

Data Center SJC01 - San JoseComputing Instance 2 x 2.0 GHz CoresRAM 8GB

Operating SystemUbuntu Linux 16.04 LTS Xenial Xerus Minimal Install (64 bit)

Page 22: Rancherカタログ紹介 Hadoop + Yarn

22

3.Hadoop + Yarn の構築

Rancher Manager Server

b.Rancher のインストール

# apt-get update

# apt-get install wget

# wget -qO- https://get.docker.com/ | sh

# docker run -d -p 8080:8080 rancher/server

Rancher Node Server 1,2  

# apt-get update

# apt-get install wget

# wget -qO- https://get.docker.com/ | sh# docker run -d --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v1.1.0 http://Rancher マネージャーホストの IPアドレス :8080/v1/scripts/7E0CA449959F4B634E4D:1480946400000:uLwKStkhQHBCuPz4j9eoqm0NDM

Page 23: Rancherカタログ紹介 Hadoop + Yarn

23

3.Hadoop + Yarn の構築

「コミュニティ」を選択します。

「詳細を見る」を選択します。

c. カタログから Hadoop + Yarn のデプロイ

Page 24: Rancherカタログ紹介 Hadoop + Yarn

24

3.Hadoop + Yarn の構築

c. カタログから Hadoop + Yarn のデプロイ

「起動」を選択します。

Page 25: Rancherカタログ紹介 Hadoop + Yarn

25

3.Hadoop + Yarn の構築

d. ブラウザから HDFS Manager の確認

http://Rancher Node Server 1 の IP アドレス :50070/

Page 26: Rancherカタログ紹介 Hadoop + Yarn

26

3.Hadoop + Yarn の構築

d. ブラウザから Yarn Resource Manager の確認http://Rancher Node Server 1 の IP アドレス :8088/

Page 27: Rancherカタログ紹介 Hadoop + Yarn

27

3.Hadoop + Yarn の構築

d. ブラウザから Node Manager の確認

http://Rancher Node Server 1 の IP アドレス :8042/

Page 28: Rancherカタログ紹介 Hadoop + Yarn

28

3.Hadoop + Yarn の構築

d. ブラウザから Job History の確認

http://Rancher Node Server 1 の IP アドレス :19888/

Page 29: Rancherカタログ紹介 Hadoop + Yarn

29

http://ur0.link/yAEU

詳細は Qiita をご利用ください!!

3.Hadoop + Yarn の構築

http://ur0.link/yAEt

Hadoop + Yarn

Spark + kubernetes

Page 30: Rancherカタログ紹介 Hadoop + Yarn

30

おまけ

Page 31: Rancherカタログ紹介 Hadoop + Yarn

31

さらなる BigData 環境を求めるあなたに!HDP(Hortonworks Data Platform) SANDBOX コンテナを Rancher で管理!!

https://goo.gl/swAWzw

Page 32: Rancherカタログ紹介 Hadoop + Yarn

32

ご清聴ありがとうございました!