sakura-baremetal_ssmjp

(C)Copyright 1996-2016 SAKURA Internet Inc.

さくらのベアメタルをつくってみた @ #ssmjpさくらインターネット株式会社

プラットフォーム事業部インフラ開発チーム伊東宏起

2016 年 1 月 29 日

自己紹介

• 伊東宏起– 2015 年 4 月新卒採用にて入社• プラットフォーム事業部インフラ開発チーム

–さくらの VPS 開発担当• 物理からミドルウェア辺りまでの検証・開発が主な業務• ベアメタルプランの開発担当

– JANOG37 プログラム委員

さくらの VPS ベアメタルプランリリース！

そもそもベアメタルって？

• ベアメタル – Bare Metal–直訳すると、むきだしの金属– OS などが導入されていない、まっさらなサーバー– vmware ESXi / Xen などを指す場合も

• 仮想化されていない物理サーバーを指すことが一般的には多い

VPS なのにベアメタルとは…

• Virtual Private Server とはなんだったのか–紛らわしいですが、さくらの VPS ベアメタルプラン

は生の物理マシンです– VPS のような感覚で、物理マシンを利用できる

というコンセプト

• VPS–ホストサーバー上に仮想化基盤 (KVM) を構築– KVM を利用して、 VM を用意– VM に OS をインストールして提供


• ベアメタル–ホストサーバー上に OS を直にインストール–生のハードウェアを提供



VPS ベアメタル

• ホストサーバー上に仮想化基盤を構築– 仮想化基盤上で VM を作成して提供

• ホストサーバーをそのまま利用– 仮想化基盤は挟まずに

OS をインストールして提供

VPS コントロールパネルからの操作

VPS とのローカル接続

L2 接続

L2 接続

どう使えばいいの？その１

• 物理マシンの特性を活かす！– VPS だと Disk I/O が遅い…• DB などをベアメタルに逃がして、

フロント部分は VPS をそのまま使う

どう使えばいいの？その１

L2 接続

L2 接続

どう使えばいいの？その２

• とりあえず物理マシンが今すぐ欲しい！– VPS のような感覚で、とりあえず使える• オンプレと違って、ハードウェア調達しなくて OK

– 電源・ネットワークも気にしなくて OK– いらなくなっても粗大ゴミ気にしなくて OK

• お試し期間で解約すれば、料金は無料！

結局のところ、さくらのベアメタルって？

• エンジニア目線での正式名称–さくらの VPS ( と同じコンパネで使えて、

ローカル接続もできる、さくらの）ベアメタル• まとめて、さくらの VPS ベアメタルプラン！

インストールVLAN

開発裏話 – OS のオートインストール + プロビジョニング

• OS のオートインストール– VLAN を切り替えてインストール用 NW へ隔離– PXE Server の config を動的に生成– IPMI で制御しながら PXE Boot• 任意の OS のインストーラーをブートする

コントロール &インストールサーバー

アクセススイッチベアメタルサーバー

開発裏話 – OS のオートインストール + プロビジョニング

• プロビジョニング– kickstart / preseed を動的に生成して実現• PXE Server の config とひも付け

–ユーザーの設定• 管理者パスワード

–最低限のパッケージのインストール–ネットワークの設定• NIC の Mac address の書き換え• OS のグローバル IP などなどの設定

開発裏話 – VLAN の制御

• ホストサーバーへの access VLAN の切り替え

アクセススイッチ


自作のコントロール用ライブラリ

任意のポートのVLAN 切り替え指示

実はホワイトボックススイッチ使ってます


• ホストサーバーへの access VLAN の切り替え



自作のコントロール用ライブラリ

任意のポートのVLAN 切り替え指示


• VPS とのローカル接続


集約スイッチ

VPS NW(QinQ)

BM NW(VLAN)

QinQ <--> VLAN相互変換サーバー

つくってみて

• 低レイヤー職人になりつつある–サーバーが可愛く見えてきた

• ホワイトボックススイッチ楽しい• VLAN と QinQ の変換サーバーは

技術屋泣かせ