aws direct connect · · 2017-12-20amazon vpc 相互接続 ... vlan tag 101 bgp asn 10124 bgp...
TRANSCRIPT
AWS Direct Connect
AWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ）
アマゾンデータサービスジャパン株式会社
ソリューションアーキテクト 吉田英世
2015.01.28 (2017/01/27 Renewed)
AWS Black Belt Tech Webinar へようこそ！
• 参加者は、自動的にミュートになっています
• 質問を投げることができます！– GoToWebinarの仕組みを使って、書き込んでください
– ただし環境によっては、日本語の直接入力ができないので、お手数ですが、テキストエディタ等に打ち込んでから、コピペしてください
– 最後のＱ＆Ａの時間で、できるだけ回答させて頂きます
– 書き込んだ質問は、主催者にしか見えません
• Twitterのハッシュタグは#jawsugでどうぞ
Agenda
• Direct Connect 概要
• Direct Connectの接続構成
• Direct Connectのオペレーション
• 冗長構成
• 注意事項
• ハイブリッド構成事例
• まとめ
AWS Direct Connect 概要
AWS Direct Connectとは？
お客様
AWS CloudEC2, S3などのPublic サービス
Amazon VPC
相互接続ポイント専用線サービス
AWSとお客様設備（データセンター、オフィス、またはコロケーション）
の間に専用線を利用したプライベート接続を提供するサービス
接続イメージ：東京リージョンの例
AWS機器
東京リージョン
お客様機器もしくはキャリア様機器
お客様
お客様のダークファイバもしくは
キャリア様回線 エクイニクス様 TY2(東京)/OS1(大阪)
ポート接続を提供(1Gbps or 10Gbps)
相互接続ポイントがあるリージョンに接続
相互接続ポイントの主要なロケーションRegion Location
US East(Virginia) CoreSite NY1 & NY2
Equinix DC1 – DC6 & DC10
US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA
Equinix SV1 & SV5
US West (Oregon) Equinix SE2 & SE3
Switch SUPERNAP 8
EU (Frankfurt) Equinix FR5
EU (Ireland) Eircom Clonshaugh
TelecityGroup, London Docklands’
Asia Pacific (Singapore) Equinix SG2
China(北京) CIDS JIACHUANG IDC
SINNET JIUXIANQIAO IDC
Asia Pasific (Tokyo) Equinix TY2, TY6 & TY7Equinix OS1
South America (San Paulo) Terremark NAP do Brasil
TY6とTY7 が追加になりました！
https://aws.amazon.com/jp/directconnect/details/その他のロケーションはこちらを参照
東京リージョンにおけるDirect ConnectをサポートするAPNパートナー様
http://aws.amazon.com/jp/directconnect/partners/
・CFN Services・Equinix, Inc.・Hibernia Networks・KVH株式会社・Level3 Communications, Inc.・野村総合研究所(NRI)・NTTコミュニケーションズ株式会社・Pacnet・ソフトバンクテレコム株式会社・Tata Communications・Verizon
リストに掲載されていないパートナー様もいらっしゃるため、詳細は営業・SAにお問い合わせください。
ConnectionとVirtual Interface
VLAN200
VLAN100
VLAN300
Connection
Virtual Interface
Virtual Interface
Virtual Interface
Connectionは物理インタフェース、Virtual InterfaceはConnection中の論理インタフェースを表す。Virtual InterfaceはそれぞれユニークなVLAN IDをもつ。
クロスアカウント利用
Connection
Virtual Interface
Connectionを保持しているAWSアカウントから、他のAWSアカウントに対しVirtual Interfaceを提供することが可能。
情報システム部AWSID:123456789012
関連会社ZAWSID:999999999999
情報システム部AWSID:123456789012
開発部AWSID:000000000000
関連会社ネットワーク
開発ネットワーク
社内基幹ネットワーク
AWS Direct Connect導入のメリット
• 帯域スループット向上
• インターネットベースの接続よりも一貫性がある
• ネットワークコスト削減
$0.042 $0.042 $0.042 $0.042
$0.140 $0.135 $0.130 $0.120
$0.020
$0.040
$0.060
$0.080
$0.100
$0.120
$0.140
$0.160
First10TB
Next40TB
Next100TB
Next350TB
Direct Connect
Internet
東京リージョン、2015年1月28日現在
データ転送料金(Out)
インターネットVPN vs 専用線
インターネットVPN 専用線
コスト 安価なベストエフォート回線も利用可能
キャリアの専用線サービスの契約が必要
リードタイム 即時~ 数週間~
帯域 暗号化のオーバーヘッドにより制限あり
~10Gbps
品質 インターネットベースのため経路上のネットワーク状態の影響を受ける
キャリアにより高い品質が保証されている
障害時の切り分け インターネットベースのため自社で保持している範囲以外での切り分けが難しい
エンドツーエンドでどの経路を利用しているか把握できているため比較的容易
課金体系
AWS Direct Connectの月額利用料
① ポート使用料
＋② データ転送料
データ転送料金は・Virtual Interfaceを利用しているVPCのオーナーアカウントに課金・パブリック接続の場合、パブリック上のリソースを所有している
オーナーアカウントに課金
Direct Connectの接続構成
２種類の接続メニュー(Virtual Interfaceの種別)
お客様
AWS CloudEC2, S3などのPublic サービス
Amazon VPC
相互接続ポイント専用線サービス
プライベート接続
オフィス/データセンター
VPC subnet
VPC subnet
192.168.0.0/24
10.0.0.0/16
BGPによるルーティング
192.168.0.0/24宛の通信をVGWに設定
192.168.0.0/24を広告
10.0.0.0/16のVPC CIDRを広告
VirtualGateway
パブリック接続（自前のパブリックIPを利用）
オフィス/データセンター
203.0.113.0/28
BGPによるルーティング
パブリックIPである203.0.113.240/28を広告
接続先リージョンのAWSクラウドの
ネットワークアドレスを広告
192.168.0.0/24
AWSとの通信はパブリックIPでとなるため
NAT(NAPT)が必要
パブリック接続（AWSからパブリックIPをアサイン）
オフィス/データセンター
BGPによるルーティング
パブリックIPである203.0.113.100/31を広告
接続先リージョンのAWS Cloudの
ネットワークアドレスを広告
192.168.0.0/24
AWSとの通信はパブリックIPでとなるため
NAT(NAPT)が必要
論理接続VPC 1
Private Virtual Interface 1
VLAN Tag 101
BGP ASN 10124
BGP Announce 10.1.0.0/16
Interface IP 169.254.251.1/30
10.1.0.0/16
VGW 1
Customer
Switch + Router
Customer Interface 0/1.101
VLAN Tag 101
BGP ASN 65001
BGP Announce Customer Internal
Interface IP 169.254.251.2/30
VLAN 101
VLAN 102
VLAN 103
VGW 2
VGW 3
Route Table
Destination Target
10.1.0.0/16 PVI 1
10.2.0.0/16 PVI 2
10.3.0.0/16 PVI 3
AWS Cloud PVI 5
Customer Internal
Network
VPC 2
10.2.0.0/16
VPC 3
10.3.0.0/16
VLAN 501
Public AWS
Region
NAT / PAT
Security LayerConnection
Virtual Interface
物理接続
ルータ
Patch Panel
Patch Panel
Patch Panel
ルータ
Patch Panel
クロスコネクト
相互接続ポイント拠点
AWSラックパートナー様/お客様ラック
Meet-Me Room
お客様拠点
AWS
お客様/パートナー様
それぞれのリージョン
APNパートナーにより拡張されたDirect Connect
• 相互接続ポイントにおける接続装置等の設置場所– 専用線とのパッケージ提供する場合も
• 10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス
• お客様指定の場所から相互接続ポイントまでのアクセス
• 広域WANで複数拠点からAWSへの接続
パートナー様の提供サービス(占有型・共有型）
• Direct Connect(占有型)– Connectionをお客様へ提供
– Virtual Interfaceはお客様側で自由に設定可能
• Direct Connect(共有型)– Connectionはパートナー様のアカウントで持つ
– Virtual Interfaceはお客様のリクエストベースでパートナー様が設定
パートナー様のサービス提供形態例
キャリア様閉域網
パートナー様閉域網サイト間ポイントツーポイント
Sub-1G
• AWSがAPNパートナーに対して無償で物理ポートを提供
• シェーピングをしたVLANで分離された論理ポート
• エンドユーザが利用料をAWSに支払い
– 500M, 400M, 300M, 200M, 100M, 50M
• http://aws.amazon.com/directconnect/pricing/
パートナー様とのサービスとの組み合わせ
データセンター
本社
モバイル網
支社/店舗 モバイル端末
VPC
キャリア様閉域網
Direct Connectのオペレーション
Direct Connect利用開始手順フロー(Conncectionの作成）
利用ユーザ AWSAPNパートナー相互接続ポイントの事業者
①利用申請(マネージメントコンソールから)
②追加情報の確認(オプション)
③追加情報の返信(オプション)
④LOA-CFA取得(マネージメントコンソールから)
⑤LOA-CFA転送・物理配線依頼
⑥配線完了
AWS側配線作業
事業者側配線
Virtual Interfaceの作成
①Direct Connect利用申請
AWSマネージメントコンソールにログインし、”Tokyo”リージョンを選択。
[Services]-[Networking]-[Direct Connect]をクリック。
“Connections”の”Create Connection”をクリック。
①Direct Connect利用申請 (cont)
必要な項目を入力し、”Create”をクリック。
Connection Name コネクション名(任意の文字列)
Location Equinix TY2, TY6 & TY7, Tokyo / Equinix OS1, Osaka
Port Speed: 1Gbps / 10Gbps
①Direct Connect利用申請 (cont)
Connectionsのリストに作成したConnectionが表示される。Statusは”requested”
②追加情報の確認および③追加情報の返信(オプション)
追加の情報が必要な場合、AWSマネージメントコンソールのメールアドレス宛にAWSから確認メールが送信されます。
7日以内に必要情報返信してください。
(7日以内に返信が無い場合、前の手順で作成したDirect ConnectのConnectionは自動的に削除されます。)
④物理配線情報(LOA-CFA)送付、⑤LOA-CFA転送・物理配線依頼
AWS側の物理配線が完了し、72時間以内に相互接続ポイントの物理配線情報:LOA-CFA(Letter of Authorizationand Connecting Facility Assignment)がマネージメントコンソールからダウンロード可能になります。
LOA-CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者へ送付し、構内の物理配線を依頼してください。
注意：配線完了後のメール連絡はありませんので、ご自身でご確認ください。72時間以内にLOA-CFAができない場合、AWSサポートまでご連絡ください。
⑥配線完了
配線が完了すると、AWSマネージメントコンソールの[Direct Connect]-[Connections]から回線を確認することができます。
Virtual Interfaceの作成(プライベート接続)
Virtual Interfaceの作成(パブリック接続)
クロスアカウントでのVirtual Interface利用
Virtual Interfaceを作成
Virtual InterfaceのリクエストをAccept
“Connections”を保持しているアカウント
“Virtual Interface”を利用するアカウント
VPCのRouteTable設定
オンプレミスのネットワークを宛先、vgwをターゲットとしてルーティングのエントリを追加。
“Propagate”を設定することでvgwで受信したルートを自動的に反映。
オンプレミス拠点側ルータの要件
• BGP対応であること– MD5認証対応
• IEEE 802.1q VLANが利用できること– スイッチングハブでタグVLANを終端するなら必要なし
• RFC 3021 (/31サブネット)対応であること– パブリック接続でAWSからパブリックIPアドレスを利用する場合のみ
BGPとは？
BGP(Border Gateway Protocol)とは、インターネット上でプロバイダ同士の相互接続において、お互いの経路情報をやり取りするために使われるルーティングプロトコルの一つです。
ISP-A ISP-BネットワークP ネットワークQ
ネットワークPのアドレスを広告
ネットワークQのアドレスを広告
AS65000 AS65001
ルータ設定
interface GigabitEthernet0/1no ip addressspeed 1000full-duplex
interface GigabitEthernet0/1.VLAN_NUMBERdescription direct connect to awsencapsulation dot1Q VLAN_NUMBERip address IP_ADDRESS
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS remote-as 7224neighbor NEIGHBOR_IP_ADDRESS password "MD5_key"network 0.0.0.0 exit
edit interfaces ge-0/0/1set description " AWS Direct Connect "set flexible-vlan-taggingset mtu 1522edit unit 0set vlan-id VLAN_IDset family inet mtu 1500set family inet address IP_ADDRESSexitexit
edit protocols bgp group ebgpset type externalset authentication-key "MD5_KEY"set peer-as 7224set neighbor NEIGHBOR IP ADDRESS
Cisco
Juniper
サンプルコンフィグのダウンロード
作成したVirtual Interfaceの設定値を元にしたサンプルコンフィグがダウンロード可能。ただし、Connectionsを保持しているアカウントからのみ。[Direct Connect]-[Virtual Interfaces]を選択し、リストから該当のVirtualInterfaceを選択。
サンプルコンフィグ
冗長構成
冗長構成の考え方
eBGPeBGP
iBGP
iBGPにより同AS内の隣接ルータにBGPのパス属性値を伝達し、どちらの経路を選択するかAS内で総合的に判断
論理的には一つのオブジェクトに見えるが、実際には物理的に冗長化されている
VPC上のVGW(Virtual Private Gateway)に複数のDirect ConnectまたはVPN接続を終端可能。AWS上の設定ではなく、お客様ルータの設定により経路制御を行う。経路制御はBGPの一般的な考え方を適用。
オンプレミス
BGPパス属性
BGPで経路交換している複数の経路から、ベストな経路を選択するために評価する属性値。今回はLP(Local Preference)とAS-Path Prependを使った構成を利用。
LP:100Prepend:2つ
LP:200Prepend:1つ
LP:300Prepend:なし
ベストパス
オンプレミスルータ
送信ルートにAS-Path Prependを付与し、受信トラフィックを制御（隣接ルータに情報を与えている）
VGW
受信ルートにLPを付与し、送信トラフィックを制御
冗長構成(Direct Connect x2, Active/Active)
ActiveActive
トラフィックをロードバランス
Direct Connect２本の間でトラフィックをロードバランスし、Active/Activeとして利用。
障害時は片方の回線に迂回するため、回線の輻輳がおきないように帯域に注意が必要。
このとき、２つの経路のBGP属性値(LP, ASパス長)は等価である必要がある。
冗長構成(Direct Connect x2, Active/Standby)
StandbyActive
障害時にStandbyへ切り替え
Direct Connect２本のどちらかを通常利用とし、障害時は片方の回線へ自動切り替えを行う。
それぞれのルータのBGP属性値により、Active/Standbyを判断するように設定。
LP=200Prependなし LP=100
Prependあり
冗長構成(Direct Connect/VPN)
StandbyActive
Standby用にインターネットVPNを利用
Direct Connect障害時のバックアップ回線としてインターネットVPNを利用。
異なる回線種別のため、フェールオーバー時にはパフォーマンスに影響が出る場合があるため注意。
LP=200Prependなし LP=100
Prependあり
障害時のフェールオーバーに関する注意点
AS1 AS2
スイッチ
スイッチ
リンク断のタイミングで障害検知！
スイッチの向こうのリンク断は検知できない
すぐに切り替わるHold timerの間切り替わらない
切断発生〜フェールオーバーまでの時間に発生したトラフィックは到達できない。
障害時のフェールオーバーは、BGPピア上の障害を
いかに早く検知するかがカギ！
KeepaliveとHold Timer
隣接するルータはお互いにKeepaliveを予め決められたインターバルで定期的に送信。HoldDown Timer(待機時間)はKeepaliveの3倍が設定されており、Keepaliveを受信すると0にリセットされる。設定されたHold Timerを超過すると障害と認定。隣接ルータ間ではそれぞれの時間が短い方を利用する。反映にはBGPピアのsoftリセットが必要。
Keepalive
Hold Timer
Keepalive60秒
0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・ ・・・180
Keepaliveが到達するとHold Timerをリセット
Hold Timerのカウンタが超過するとBGPピアを切断
Keepaliveが到達しないのでHold Timerはカウントアップ
Keepalive=60Hold Timer=180の場合
Keepalive60秒
対策1: keepalive/Hold Timerのチューニング
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS timers 10 30
お客様ルータのKeepaliveとHold Timerを短く設定することで、フェールオーバーを検知する時間を短縮。以下の例はKeepaliveを10秒、Hold Timerを30秒に設定。
edit protocols bgp group ebgpset hold-time 30
Cisco Juniper
デフォルト値Keepalive 60秒Hold Timer 180秒
デフォルト値Keepalive 30秒Hold Timer 90秒
対策２: BFD(Bidirectional Forwarding Direction)
経路上の障害を高速に検知し、ルーティングプロトコル(今回はBGP)に通知する機能。隣接ルータ同士でパケットをミリ秒単位で送受信する。例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害とみなす。
bfd interval 50 min_rx 50 multiplier 3
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS fall-over bfd
edit interfaces ge-0/0/1edit bfd-liveness-detectionset minimum-inverval 50set multiplier 3
Cisco Juniper
オンプレミス内部のルーティング
Direct ConnectのBGP接続から受信したルートをOSPFに再配布
VRRP/HSRPなどでLAN上のゲートウェイを冗長
コアスイッチ コアスイッチ
OSPF
VRRPコアスイッチはOSPFによりAWSへの経路を選択
注意事項
VPC Peering利用時の注意
オンプレミスオンプレミスのネットワークを広告できない
VPC Peeringはオンプレミスのルートを広告できないため、VPCをまたいだ通信はできない。
経路集約の必要性
192.168.0.0/24
192.168.1.0/24
192.168.2.0/24
192.168.0.0/24+
192.168.1.0/24+
192.168.2.0/24
=192.168.0.0/16
お客様ルータから広告できるネットワーク数は100まで。
普段から経路集約を意識する設計を！デフォルトルートの広告も有効な場合もあり。
非対称ルーティング時の注意
非対称ルーティング自体は問題なく通信可能。
Active/Standbyの場合、StandbyがVPNを利用していると通信に影響が出る可能性あり。
ファイアウォール利用時には非対称ルーティングに対応していないクラスタを利用するとパケットが破棄されるので注意。
Direct Connectを利用したハイブリッド構成の事例
マルチVPC接続
営業支援
会計
BI
文書管理
利用者
保守業者
管理者
AD
監視ソフト
DNS
DirectConnect接続口
1 VPC
1 VPC
1 VPC
1 VPC
1 VPC
IGW
VGW
VGW
VGW
IGW
VGW
VGW
Router#1
Router#2
Router#1
Router#2
Router#1 Router#2
FWSSO
NTP
既存環境
OracleWIN
人事
WIN
WIN Oracle
BI DB
WIN Proxy
専用線
専用線またはVPN
３層構造 Webシステム
APPサーバ Webサーバデータベース
データベースアクセス
クローズドWorkSpaces
お客様拠点
プライベートネットワーク
WorksSpaces
接続エンドポイント
AWS Cloud
AS65000
AS10124
x.x.x.x/31 or 32
y.y.y.y/30
グローバルIPであること！お客様準備もしくは
AWS提供
S3
プライベートIPでOK
AS65001
インターネット
外部ネットワーク/DMZ
内部ネットワーク
AWS Cloudとの通信はルータで
NAT
プライベートAS
でもOK
オンプレミス環境のWebサーバオフロード
ロードバランサ
東京/大阪での高可用性Direct Connect接続
EquinixTY2
(東京)
EquinixOS1(大阪)
相互接続ポイント自体を冗長化することが可能ポート料金、トラフィック料金は東阪どちらも同じ
まとめ
まとめ
• AWS Direct Connectを利用することで、オンプレミスとAWS間のネットワークにおいて、帯域のスループット向上、一貫性のあるネットワーク接続、データ転送量コスト削減が実現できる
• APNパートナー様の各種サービスにより、多様なネットワークを構成することができる
• 要件に応じていろいろな冗長構成を選択することが可能
AWS専用線アクセス体験ラボ sponsored by Intel
http://aws.amazon.com/jp/dx_labo/
■事前に設定を確認したい■フェイルオーバー時の動作を確認したい■スループットがどれだけなのか実際に試してみたい■自前のルータがDirect Connectに接続できるか確認したい
・・・などなど
お問い合わせは営業・SAまで！
Q&A
Webinar資料の配置場所
• AWS クラウドサービス活用資料集– http://aws.amazon.com/jp/aws-jp-introduction/
公式Twitter/FacebookAWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを日々更新しています！
もしくはhttp://on.fb.me/1vR8yWm
次回のAWS Black Belt Tech Webinar は、
2月4日(水) 18:00〜
~ AWS Key Management Service(KMS)~
ご参加ありがとうございました。