nutanixを導入してみて思ったこと(仮)

© 2016 IIJ Global Solutions Inc. 1

株式会社 IIJ グローバルソリューションズ

フランちゃんウフフなシステムエンジニアおおかわ　かずひと

Nutanix を導入してみて思ったこと ( 仮 )Nutanix Community Meetup #10


本日の内容

1.自己紹介 / 会社紹介

2.はじめに

3.導入前に考えておくこと

4.導入作業をしてみて

5.導入その後

6.まとめ

7.会場限定笑い話


1. 自己紹介


おおかわ　かずひと　 0x21 歳

• @SatchanP ( 意識低い系 )

• IIJ グローバルソリューションズアカウント SE

• プリ & ポストセールス設計構築運用障害対応なんでも屋

• ウェブ系インフラエンジニア (Kauli 株式会社 ) から SE へ転向

• 得意言語 : C Perl Python

• 苦手言語 : Java Ruby

• 二次属性 : アイマス ( やよい真美 ) : 東方 ( フランちゃん咲夜さん ) : 艦これ (Верный 響 )

• 趣味 : 自動車ラリー参考画像 → : 自転車 : ダム巡りダムカード集め

• レイヤー 0 からどこまでも上までなんでもござれ

自己 ( 事故 ) 紹介


• 株式会社 IIJ グローバルソリューションズ

• インターネットイニシアティブ 100% 持ち株子会社

• もともと IBM の NW 部門

• 法人向けネットワークインテグレーションが強み

• 新たな事業の柱として基盤まるごとやることに

• 手を動かせるサーバ得意なエンジニアがまだ数名

• 現場では 2 年目新人とがんばってコンビで日々奮闘中

軽く会社紹介


2. はじめに


• 国内の Nutanix 導入事例だけは増えてきた

• みんな笑顔でロクロを回してる写真に絶賛するテキスト付き

• 現場の本音的にどうなの？って情報がない( 笑顔の人たちは自分らで設置、設定していない？ )

• 実際導入作業をしてみて、 Nutanix は楽だし早かった

• けども苦労したこともあったし、元々のスキルセットがあって助かったことも

• Nutanix は素晴らしい製品なのでミスマッチをなくしたい

• 現場の意見として今日は話します

Nutanix 流行ってますね


• 導入前各種検証

• キッティング、ラッキング、ケーブリング

• CVM 初期設定変更 ( 設定が間に合わなかった IP の変更 )

• VMware vCenter / ESXi 設定、クラスタ構築

• 仮想化基盤構築 (VDI)

• 各種テスト

• ドキュメント作成

担当した作業


• Foundation

• ESXi 初期設定

• CVM 初期設定

• 上記テスト

ベンダーさんにやってもらったこと


3. 導入前に考えておくこと


• Nutanix は Software 実装の分散仮想ストレージ

• OS は Linux で Cassandra と管理ツール群で構成されている

• 研修ちょっと行って Prism こねくり回せる程度では不十分

何かあったら vi が使えないとなにもできないマニュアルに書いてあるコマンドの挙動の予測、把握想定外の事態でのリカバリーの知識と経験

• 必ずリモートサポートが受けられる環境とは限らない

• Node交換等、高度な作業は Prism だけでは不可能

• UI や箱の見た目に騙されない、本体はあくまで Linux とDAS の IA サーバ

Linux をしっかり使える人がいたほうが断然有利


• 各社まだ扱い始めたばかり

• Nutanix に対するやる気、練度、ナレッジ、各社バラバラ

• 出荷前の動作テストもまちまち

• 製品として仕上げる品質はセットアップするベンダー次第

• 高くてもちゃんとしたエンジニアが社内にいるところから買いましょう

ベンダー選定は慎重に


• 「 VMware は高い」という要望から Hyper-V の検証を実施

結果 : CVM がちゃんと動かず残念な結果に

• Hyper-V の SCSI アダプタが CVM カーネルの SCSI コマンドを正常に解釈できないバグを踏んだっぽい(https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1445195)

-> 最近の Linux カーネルで対策済み検証当時の NOS ではバグ内臓バージョンのカーネルのみ

バックポート or パッチの捜索中にさくっと断念 (高いのに↑こんなことまでして使うものではない… ) ( あと Server Core しか正式サポートしてないとか… )

ハイパーバイザ選びも大事


• Nutanix は他社ストレージに比べると割安とはいっても割高…、しかし最低限検証環境は用意したい

-> 本番でいきなりクリティカルな作業をしたくない

-> サポート資料を作るのに実際に動く Prism が欲しい

-> Nutanix 人気の高まりですぐに検証機がでてこない

• Nutanix CE で検証環境を自宅に構築転がってたパソコンをかき集めて、 4台クラスタを構築

• IntelVT/AMD-V が乗ってればどんな環境でも大体動作でもメモリは多め、 SSD もあるといいです…-> メモリ 16G っすよね！ (@smzksts)

検証環境を用意する


• 運用面を考えると、不具合対応の手間など最新版は怖い

• ストレージだしパフォーマンスと機能より安定性を重視したい

• 遊ぶなら Nutanix CE で

• 高いストレージアプライアンスでもファームがバグだらけなんだから、余計にバクだらけや！　←多少偏見-> 一個前くらいのほうが安定してていいよ (@shmza)

• Cassandra で過去に苦い経験

NOS は最新より安定版で


4. 導入作業をしてみて


• 短納期だったため仮 IP で Nutanix のセットアップを依頼

• 現場で変更しようとしたところ、マニュアルにあったウェブツールでの変更手順が意図した通りに動作せず

• 設定ファイルを手で書き換える手動手順で変更してうまくいった

• ウェブツールの手順にこだわりハマること半日、手動で 30分で完了

-> 普通はそんなことしない (@shmza)

CVM の IP 変更に手間取った


• 2U4Node の高集積サーバ、 I/O ポートは非統合

• ケーブルの種類、本数が多い例 ) 10G-SR x2, 1GBase-T x2, IPMI, VGA, USB, 電源↑がノード分

• ケーブリングが多少手間

• 仮想基盤触っててここだけブレードが優秀だと思う

ケーブリングが面倒


• 作業中に隣でスイッチの再起動をいきなりされても問題なかった

• 「あっ」と思ってもそのあとふわっともどってくる

• Datastore が増えてくると Nutanix クラスタの再構成に30 分くらい必要-> RAID の再構築考えれば十分早い (@shmza)

Nutanix クラスターは割と頑丈


• 3 日で現地作業完了

キッティング、ラッキング、ケーブリング (1 日目 )CVM 、 IPMI 、 ESXi IP 変更、 ESXi 設定 (2 日目 )vCenter インストールと設定、簡易的な単体テスト (3 日目 )

• IP の変更がなければ Nutanix は電源入れるだけで使える状態

• 納期は手元に来るまで 3週間ちょっと-> 今はもうちょっとかかる (@shmza)

かかった日数


5. 導入その後


• 物理共有ストレージとは異なり、各ノードにデータが分散しているため、手軽に交換できない(vMotion -> 物理ホスト交換とか )

• ノードを交換した場合 MAC アドレスが変わるため、クラスタから削除、追加という手順に-> NIC が壊れないかぎりパーツごとの交換が可能(@shmza)

• オペレーションミスや正常に復旧しないリスクは物理共有ストレージより高め (慣れればなんくるない )

• 一部停止メンテナンスの際はデータ保護の耐障害性が下がるリスク-> 30 分通信できないとクラスタが死んだとみなされるよ(@shmza)

ノード、ブロック障害に備える


• いくら Nutanix の拡張性が高いからといって、なにも考えずに NW を水平拡張していくと必ず破綻する

• 仮想ネットワークや SDN を利用した効率的で柔軟性のある設計をはじめから考慮して作っておく

• -> 公式にネットワーク構築ガイドがあるよ (@shmza)

拡張性を考慮したネットワーク設計


6. まとめ


• ストレージを 1 から勉強するのに比べたら学習コストは激安

• リアルに届いて配線すればすぐ使える

• 手になじんだ Supermicro のサーバが中身

• ハードウェアでの冗長性はあまりアテにするものではない

• ちょっと値段が高い…

• コストは激減

• 拡張性、 HW リソースの選択肢の多さ

• 変なところに買収されないか心配

Nutanix大好き


7. 会場限定の話


ご清聴ありがとうございました

お問い合わせ先　株式会社 IIJ グローバルソリューションズTEL： 03-6777-5700 [email protected]://www.iijglobal.co.jp/

nutanixを導入してみて思ったこと(仮)

Engineering