20150114 janog35-bof-pub.ppt

2015.01.14 高知工科大学菊池豊 1

ネットワーク災害訓練もといネットワーク防災訓練？

BoF

JANOG35 @静岡県立大学

静岡・高知といえば…�


http://www.bousai.go.jp/jishin/nankai/model/15/pdf/kisya_3.pdf �

ᙉ㟈Ἴᙧィ⟬䛻䜘䜛㟈ᗘศᕸ 䛆᭱䜽䝷䝇䛾㟈ᗘศᕸ䛇

༡ᾏ䝖䝷䝣䛾ᕧᆅ㟈䛻䜘䜛᭱䜽䝷䝇䛾㟈ᗘศᕸ

ᮾഃ䜿䞊䝇

すഃ䜿䞊䝇㝣ഃ䜿䞊䝇

ᇶᮏ䜿䞊䝇

132.0 136.0 140.0

32

34

36

132.0 136.0 140.0

32

34

36

ᙉ㟈ື⏕ᡂᇦ䛾㓄⨨132.0 136.0 140.0

32

34

36

132.0 136.0 140.0

32

34

36

ᙉ㟈ື⏕ᡂᇦ䛾㓄⨨

132.0 136.0 140.0

32

34

36

132.0 136.0 140.0

32

34

36


132.0 136.0 140.0

32

34

36

132.0 136.0 140.0

32

34

36


䛆ཧ⪃䛇୰ኸ㜵⅏㆟䠄䠎䠌䠌䠏䠅䛾ᮾᾏ䞉ᮾ༡ᾏ䞉༡ᾏᆅ㟈䛾㟈ᗘศᕸᅗ

ᙉ㟈Ἴᙧ䠐䜿䞊䝇䛸⤒㦂ⓗᡭἲ䛾᭱㟈ᗘ㔜䛽ྜ䜟䛫

⤒㦂ⓗᡭἲ䛻䜘䜛㟈ᗘศᕸ

ヱᙜ㠃✚ ᅇ䛾㟈ᗘศᕸ୰ኸ㜵⅏㆟

䠄2003䠅

㟈ᗘ6ᙅ௨ୖ ⣙6.9km2 ⣙2.1km2

㟈ᗘ6ᙉ௨ୖ ⣙2.8km2 ⣙0.5km2

㟈ᗘ䠓 ⣙0.7km2 ⣙0.03km2

ということで�

•  ネットワーク防災訓練やってます

•  あなたのネットワーク、丈夫ですか？

•  あなたの組織、大丈夫ですか？�


ネットワーク防災訓練とは�

•  障害を意図的に入れてどうなるかを検証 – ネットワークの振る舞い – 管理者（教員、職員）の振る舞い – 業務委託先の振る舞い

•  丈夫さの確認と改善のヒント


ザックリ長期計画を言うと�

•  2013年度は差障りなく切ってみる – ハイハイって、当たり前の結果がでるような感じ

•  2014年度はちょっと真剣に切ってみる – こんなことが分かるんですよ、って言える様にな

るはずなので •  全国で切る様に勧めたい

– いまここ！ •  最終ゴールは法制度による義務化


2回やりました。�

•  第1回�2014.01.05 – 冬休み終了直前の日曜日

•  第2回 2014.09.22 – 夏休み終了直前の平日

•  学生は休み

•  どちらも休みに引っ掛けて… – 教員、職員、アルバイトの学生君たちを動員


背景となるネット環境�

•  高知学術情報ネットワーク�•  高知県内の高等学術機関のコミュニティ

– 高知大学 – 高知高専 – 高知県立大学 – 高知学園短期大学 – 高知工科大学


高知学術情報ネットワーク L2 （Ethernet / VPN レイヤ）�

9�

高知県情報ハイウェイ

高知IX�高知PoP

県内小中高

高知IX 松山PoP

高知IX 南国PoP

高知工科大学�

2015.01.14 高知工科大学菊池豊

高知学術情報ネットワーク�

高知学術情報ネットワーク L3 インターネットレイヤ�

10�

NII SINET4 AS2907�

高知高専 AS55909

103.12.158.0/24 2001:df0:2cc::/48

高知県立大学�高知短期大学�

AS55912 103.15.39.0/24

2001:df0:2f5::/48

高知大学 AS58652

133.97.0.0/16

高知工科大学 AS17521

222.229.64.0/20 2404:1b00::/32 �

グローバルインターネット�

グローバルインターネット�

グローバルインターネット

IXL 高知IX

AS24229�

2015.01.14 高知工科大学菊池豊

高知学園短期大学 AS59100

103.39.113.0/24 2001:df0:b400::/48

第1回スケジュール�•  2013年末までに入念な準備

– 実はここが一番大変 •  2014.01.05 当日

– 全組織で待機して状況を見続けている – 高知IXで障害を出す

•  障害 –  05:00〜ユーザ収容リンク障害 –  06:00〜 SINET4リンク障害 –  07:00〜コアSW障害、複合障害

•  ミーティング 10:00〜ホットなうちに

2015.01.14 高知工科大学菊池豊 11

第2回スケジュール�•  当日までに入念な準備

– なんども言いますが、実はここが一番大変 •  2014．09．22 当日

–  17:00〜21:00 各組織で障害を出してみる –  21:00〜23:00 高知IXで障害を出してみる

•  障害（一部） – エアコン止める、UPSの入りを落とす、L2ループ – 被災したという仮定で警備室に連絡を入れる – 仮想サーバをピンから作ってリストアする

•  ミーティング 23:00〜ホットなうちに

2015.01.14 高知工科大学菊池豊 12

第2回目でわかったこと�•  マニュアルを厳密に書くと、マニュアルミスると運

用もミスる •  守衛室に連絡したからといってネットワーク運用部

隊に連絡が来るとは限らない •  UPS を落としたからといって、穏やかにOSが落ち

るとは限らない •  NMSで全部の障害が把握できるとは限らない •  衛星携帯電話が機能するとは限らない •  IPv6 はやっぱり上手く動かない�

2015.01.14 高知工科大学菊池豊 13

IPv6 といえば�•  障害があってもあまり問題ない？

–  「なんかおかしーなー」ぐらい…か… – ネットワーク防災訓練で意図的にウォッチしている

と分かる •  訓練で色々と見つかった

– フィルタの設定がおかしい – やっぱり ICMP (PMTUD) が通らない – ルータにバグ

•  ipv6 トランジットパケットのみ MTU が小さくなる�

2015.01.14 高知工科大学菊池豊 14

まとめ�

2015.01.14 高知工科大学菊池豊 15

•  ネットワーク防災訓練の立案と実施 – 高知IXを用いた高知学術情報ネットワークで

•  平時ではわからなかった不具合の発見 – 想定通りに想定外のことが起こった

内緒の�その他�

2015.01.14 高知工科大学菊池豊 16

•  core SW の firmware が最新版に – 堂々と reload できるので

•  ファイバが整理整頓された – 後から後から足してスパゲッティ状態だった

•  運用者的には大きなインセンティブではないでしょうか！！�

さあ、みんなすぐに着手だ！�

•  きっとみんなはやらない… •  なぜか？�

2015.01.14 高知工科大学菊池豊 17

色々と聞いてみた…�•  どうやれば何がわかるのか…

– 自由度が高すぎる •  みんな協力してくれるのか…

– 総意が得られない •  本当にできるのかしら…

– 半信半疑？ •  営業中のネットワークを止められるか…

– お客様は神様です •  大変良いことだから是非やってください…

–  「こっちでもやります」「協力します」とは言ってくれない…

2015.01.14 高知工科大学菊池豊 18

大変な理由のひとつは…�

•  いかにも人工的な感じになってしまう… – 一箇所をリモートで落とす – DCに行って SFP から LC コネクタを外す…

•  自然な?障害を作りにくい…

2015.01.14 高知工科大学菊池豊 19

大変な理由のもう一つは�

•  障害の記録を取るのが大変 – CLI, SNMP, syslog – そもそも取れないかも

•  あとから解析するのが大変 – とにかく量が多い – 記録を並べて同時刻がどこかを探さないと�

2015.01.14 高知工科大学菊池豊 20

じゃあ、それを自動化すれば…�

•  次に続く…�

2015.01.14 高知工科大学菊池豊 21

予算を頂いております�•  本気で切るには公のプロジェクトにしないと…

– 総務省 SCOPE （通称：先進アプリ） •  分散システムの耐災害性・耐障害性の検証・評価・反

映を行うプラットフォームとビジネスモデルの開発 •  受付番号：140201003

– 総務省�SCOPE （地域型） •  災害時に事業継続性を発揮する情報通信インフラのた

めの運用計画改善手法および冗長化技術の研究開発 •  受付番号：132309010

2015.01.14 高知工科大学菊池豊 22

2015.01.14 高知工科大学菊池豊 23

お後がよろしいようで�

20150114 janog35-bof-pub.ppt

Engineering