【interop tokyo 2016】 リコーのサービス基盤を支えるジュニパー
TRANSCRIPT
リコーのサービス基盤を支えるジュニパー
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 1
株式会社 リコー
システムインフラグループ
和久利 智丈
2016年6月10日(金)
はじめに
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 2
本日の内容
1. リコーグループの紹介
2. 事業分野と主な商品・サービス
3. サービス基盤のあゆみ
4. サービス基盤の更新
5. 基本方針を決める
本資料は、リコーの共通基盤に関する担当者の意見であり、リコーおよびリコーグループの今後の方向性を約束するものではありません。
6. 構築後の姿(全体)
7. 構築後の姿(DC内)
8. 基本構成とサービス移行
9. 方針変更
10.現在のトラフィック
11.トラブル/要望
12.目指す姿
リコーグループの紹介
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 3
株式会社リコー– 設立:1936年2月6日
– 資本金:1,356億円
リコーグループ概要– グループ企業数:230社
– グループ従業員数:109,361名• (国内:35,779名、海外:73,582名)
– 連結売上高:22,090億円• (国内:34.5%、海外:65.5%)
*グループ企業数は(株)リコーを除く2016年3月31日現在(連結売上高は2016年3月期)
事業分野と主な商品・サービス
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 4
画像&ソリューション分野– オフィスイメージング– MFP(マルチファンクションプリンター)、複写機、プリンター、
印刷機、FAX、スキャナ等機器及び関連消耗品、サービス、サポート、ソフトウェア等
– プロダクションプリンティング– カットシートPPC(プロダクションプリンター)、連帳PP等– 機器及び関連消耗品、サービス、サポート、ソフトウェア等– ネットワークシステムソリューション– パソコン、サーバー、ネットワーク関連機器、関連サービス、サ
ポート、ソフトウェア等
産業分野– サーマルメディア、光学機器、電装ユニット、半導体、
インクジェットヘッド等
その他分野– デジタルカメラ等
複合機 プリンター
ユニファイドコミュニケーション
システム
プロジェクションシステム
MDS(マネージド・ドキュメント・サービス)
半導体IT サービス
サーマルメディア
プロダクションプリンター
デジタルカメラ
サービス基盤の歩み
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 5
2011/07 : サービス基盤の内製化の決定
2011/09~2011/12 : 構築、テスト
2012/01 : サービス開発用に一部リリース
2012/05 : 正式サービス開始
2012/12 : 拠点、リソース追加の決定
2013/02~2013/04:拠点、リソースの追加、構築
2014/11 :基盤再整備の決定
2014/12~2015/04 : 拠点、インフラ更新
2015/04~2015/09 : サービス移行
• 5年間、ずーっと、構築ばかり• いつになるとサーバ増加がおわるのか…
0
200
400
600
800
1000
1200
1400
1600
1800
2000
全体
日本(メイン)
アメリカ(メイン)
ヨーロッパ
仮想サーバの推移
サービス基盤の更新
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 6
1. 増え続ける要求に対応できない1. CPU、メモリ リソース枯渇
2. DISK IO性能、容量不足
3. ネットワークの拡張性、性能強化
2. データセンターセンターが手狭
3. セキュリティ面の強化も必要
• 2013年冬に大規模にサービス基盤を見直しが必要と現場は判断• 基盤更新の検討を開始
533Mbps
201Mbps
775Mbps
0Mbps
100Mbps
200Mbps
300Mbps
400Mbps
500Mbps
600Mbps
700Mbps
800Mbps
900Mbps
95th Percentile Avg Maximum Linear (95th Percentile) Linear (Avg)
基本方針を決める
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 7
1. システム全体をN+1以上の冗長構成とする。– ルータ、ファイアウォール、スイッチ等は冗長構成を基本
– ストレージ装置も複数台構成
2. コアネットワーク、仮想化部分は10G x Nを基本構成とする。– VMware vMotion / Storage vMotion がストレスなく動作する環境
– East-Westトラフィック対策➡ QFabricを導入
3. マルチテナント対応を目指す。– 会社毎、部署毎、製品(サービス)毎に異なるネットワーク(DMZ)を提供
– 関連部署、製品毎の不要な調整を削減
• ユーザに仕様を聞いても要望は分からないと判断し方針を自ら決定
構築後の姿(全体)
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 8
2015年に更新した基盤
2013年に構築したバックアップ用基盤
専用線 VPN
The Internet
WAN(JP)
TokyoOsaka CA VA
WAN(US) WAN(EU)
Global WAN
• 東京 , バージニア(アメリカ)の2拠点を更新• 全ての拠点をTier1 ISPと冗長接続• DC間を相互接続(専用線とIPsec VPNの2重化)• リコーグループWAN拠点と相互接続
構築後の姿(DC内)
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 9
1. 日米2拠点に仮想基盤を構築
2. ルータ– 1台のハードウェアレベルでルーティングエンジンを2重化
3. コアスイッチ– MC-LAG(Multichassis Link Aggregation)による2重化
4. ファイアウォール– chassis clusterによる冗長化
5. 仮想基盤ネットワーク– QFabricによる冗長化
– QFabricのノード間 40G@4(160G)
– QFabric⇔ストレージ間 10G@4/台
d
d
NFSFC-SAN
QFabric
d
MX
EX
SRXChassis Cluster
ADC
VirtualChassis
VMware
The Internet
基本構成とサービス移行
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 10
1. サービス毎に新旧の基本NWを構成
2. サービス単位に移行を実施
3. ストレージ機能、VMwareの機能を利用し移行
日本 アメリカ
VM数 1,200弱 500弱
データ量 約150TB 約100TB
期間 2015/04~08約5か月
2015/06~09約4ヶ月
10G
MirrorStorage
DC間
VirtualMachine
vMotionStorage vMotion
旧環境 新環境
DMZ1:WWW DMZ2:DATABASE
TheInternet
R-WAN
サービス毎の標準構成
運用/管理 利用者
1. 専用NWを提供
2. 2つのDMZ– Internetアクセス許可
– R-WANアクセス許可
方針変更
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 11
1. 社外向けサービス基盤から社内も含めた基盤へ– お客様向けのサービス以外の利用を開放
– システム数が急増する原因2015年は約30システム追加
2. プライベート空間の提供– R-WANアドレス以外の完全な閉領域空間を提供
– R-WANアドレス不足から解放
– ユーザが自由に採番できるアドレス空間
• サービスメニューを大幅に更新• Express、Standard、Professionalの3エディションを提供• 用途、性能、機能に応じた柔軟なサービスを提供
Internet
R-WAN DC間 専用線-C
NAT
専用線-D
専用線-A
NAT
専用線-B
現在のトラフィック
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 12
• エンタープライズ向けサービスはトラフィックが日中帯に集中• 社内向けサービスのトラフィックは勤務時間(09:00~12:00/13:00-17:30)と相似• VPNは速い
インターネット 国内DC向けVPN
WAN 海外DC向けVPN
8:00~10:00頃にかけ急激にトラフィック増加
8:00~10:00頃にかけ急激にトラフィック増加
深夜帯のトラフィックが少ない時間帯を利用してバックアップ400Mbps近いスループット
海外DCとの間で80Mbpsを越えるスループット
トラブル/要望
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 13
【トラブル系】1. ネットワークが遅い
インターネット側のことなので分かりません。ユーザ環境は分かりません。サーバが遅いようです。転送データが大きすぎます。帯域を占有しているユーザ/アプリがいます。
2. アプリケーションが止まる/切れるファイアウォールセッションがタイムアウトしただけです。経路切り替えが発生しています。サーバが再起動しています。
3. 通信ができないユーザ側環境の問題なので分かりません。IPアドレスを教えていました。ファイアウォール設定(申請)が間違っています。デフォルトルートが違います。
【要望系】1. 専用領域が欲しい、専用線、VPNが欲しい
IPアドレス空間が不足しています。VLANが足りません。それなりに時間がかかりますよ。誰が構築、運用するの?セキュリティはどうするの?
2. BCP/DR対策が必要どうやって切り替えるの?拠点がありません。
3. Publicクラウドを活用したい今の環境との接続はどうするの?WANとの連携はどうするの?
目指す姿
2016/6/10 14
【具体的な検討項目】1. インターネット接続環境の強化、高可用性、高信頼性の確保2. Public Cloudとの接続性3. 既存のWAN環境との共存、相互接続4. 拠点(DC)間の通信の柔軟性、広帯域、高信頼性の確立
【テクノロジー】1. VXLAN2. BGPによるルーティングの再整備3. 仮想化(Virtual Router)の活用
ネットワーク柔軟性のさらなる強化
Copyright 2016 © Ricoh Company Ltd. All Rights Reserved.
The Internet
DC間接続
Public Cloud
移動 移動
DC-A DC-B
広帯域