インターネットの性能計測ＮＥＴＷＯＬＤ＋ＩＮＴＥＲＯＰ９９...

インターネットの性能計測ＮＥＴＷＯＬＤ＋ＩＮＴＥＲＯＰ９９ＴＯＫＹＯ

セッションＣ０２

平原正樹<[email protected]>

ＭｅｒｉｔＮｅｔｗｏｒｋ，Ｉｎｃ．

C02 　　　　　　　　　　 Internet　Performance　Measurement　and　Analysis

2

概要概要 : : インターネットの性能計測インターネットの性能計測インターネットの性能を計ることによって、利用側はプロバイダが提供する

実際の性能を知ることができる。また提供側は、顧客にどんな性能を提供できているかを監視することになる。現在のインターネットは経路が複雑であり、プロバイダの選択によって、インターネット性能に違いが生じる。

インターネットの性能計測は、単にトラフィック量を測ったり、バックボーンの帯域を知ることに留まらない。通過経路の変化などのインターネットの動的性質も考慮しながら、パケットの到達遅延や紛失率、さらに経路安定性などを測定する。

このセッションでは、米国主要 IX でのルーティング管理を行うメリット・ネットワークとミシガン大学 EECS 学科の共同プロジェクト IPMA から、ヨーロッパや米国（ IPMA を含む）の実際の計測ツールの紹介をする。

さらに計測された生データの提供とその視覚化を通じて客観的なインターネット性能の実像を得る努力、インターネットの中に計測装置を分散配置する大規模な協調活動、さらに爆発的な発展を続けるインターネットの性能的な危機状況についても報告する。


3

The DEATHDEATH of the Internet

“The Internet will experience a Gigalapse this year”-- Bob Metcalfe

“Is the Internet about to crash?” -- The Site

“The Internet hasn’t worked for the last week”-- An AOL user

“We have no packet loss or delay” -- ISP engineer

“We are not seeing any packet loss or delay” -- IXP Manager


4

内容内容 : : インターネットの性能計測インターネットの性能計測

インターネット性能とは何か既存の性能計測技術の実例新しい性能計測技術と研究課題と性能改善へのヒント

インターネット性能とは何か


6

インターネットの性能インターネットの性能

調査、統計、予測プロバイダの提供する性能のチェックプロバイダ自身の性能のチェック問題個所の検査ネットワーク　ＶＳ　インターネット


7

何が難しいか？何が難しいか？プロバイダ共通の計測技術の欠如プロバイダの秘密主義、誇張宣伝非科学的な利用者の要求計測対象（サーバ、ＴＣＰ、データリンク）ＩＸ間 vs エンドユーザ間客観的共通メトリック広域、複雑な経路、基準時間時間的変化（経路など）


8

混乱の例混乱の例最速ＸＸＸの秘密…国内１００Ｍｂ／ｓ、海外４５Ｍｂ／ｓの大容量回線…

…また、国内の自社ネットワークは全て、超高速ＡＴＭネットワークにて基幹網が作られているため、ネットワークの遅延は全くありません…

国内最速Ｗｅｂサーバ…Ｔ１回線８本… １回線あたりＸＸ人以下…


9

ＮＳＦＮｅｔ時代の計測ＮＳＦＮｅｔ時代の計測


10

今日の計測今日の計測

既存の性能計測技術の実例


12

既存計測技術既存計測技術 ::pingping＆＆ traceroutetraceroute

home.merit.edu% ping -s www.interop.co.jp

PING www.interop.co.jp: 56 data bytes

64 bytes from www.interop.co.jp (210.135.48.132): icmp_seq=0. time=174. ms










^C

----www.interop.co.jp PING Statistics----

10 packets transmitted, 10 packets received, 0% packet loss

round-trip (ms) min/avg/max = 170/172/175home.merit.edu

home.merit.edu% traceroute www.interop.co.jptraceroute to www.interop.co.jp (210.135.48.132), 30 hops max, 40 byte packets 1 fet0.arborlakes.mich.net (198.108.60.1) 1 ms 1 ms 2 ms 2 198.108.62.2 (198.108.62.2) 3 ms 7 ms 4 ms 3 * * * 4 198.108.3.1 (198.108.3.1) 3 ms 3 ms 3 ms 5 bordercore2-hssi0-1-0.WillowSprings.cw.net (166.48.23.253) 11 ms 11 ms 13 ms 6 bordercore2.Sacramento.cw.net (166.48.192.1) 57 ms 60 ms 57 ms 7 kdd-japan.Sacramento.cw.net (204.70.120.6) 163 ms 161 ms 168 ms 8 203.181.96.21 (203.181.96.21) 162 ms 162 ms 164 ms 9 203.181.96.42 (203.181.96.42) 164 ms 170 ms 161 ms10 210.132.92.226 (210.132.92.226) 174 ms 170 ms 172 ms11 galaxy-catb1.kcom.ne.jp (203.141.161.19) 162 ms 162 ms 164 ms12 203.141.163.74 (203.141.163.74) 176 ms 171 ms 170 ms13 www.interop.co.jp (210.135.48.132) 170 ms 174 ms 169 ms


13

既存計測技術：トラフィック既存計測技術：トラフィック


14

既存計測技術：トラフィック既存計測技術：トラフィック（２）（２）

ＪＰＩＸ


15

既存の計測技術例既存の計測技術例 : : 回線利用状回線利用状況況

ＢＩＧＬＯＢＥ


16

既存の計測技術例既存の計測技術例 : : PINGPING

行き帰りの経路の違いルータによりＰＩＮＧの処理優先度が異なる

ＩＣＭＰを通さないプロバイダ

スケーラビリティの欠如

MIDs Weather Report


17

既存の計測技術例既存の計測技術例 : : PINGPING （２）（２）


18

既存の計測技術例既存の計測技術例 : : SNMPSNMP

多くのネットワーク機器（ルータ、ハブ他）は MIB をサポート

多くの有料あるいは無料のクライアントソフトウェア

制約– 自社ドメイン内の機器のみ– 局所的情報、 MIB で提供される変数のみ–スケーラビリティ、セキュリティ


19

SNMPSNMP クライアントクライアント

MRTG

SunNet Manager


20

既存の計測技術例既存の計測技術例 : : RMONRMON

遠隔ネットワークモニタ– ネットワークのトラフィックを覗き見– パケットやフローの測定– 上位プロトコルのサーポート（ RMON2 　）– 高速データリンク（ OC3 ）サポート

（ OC3Mon -- vBNS/NLANR)

制約–スケーラビリティ、局所的


21

既存の計測技術既存の計測技術 : : NetFlowNetFlow

シスコ社 –ソース／デス

ティネーション

– プロトコル– ＡＳ／ＡＳ

Cflowd クライアント

CFlowd 出力


22

コマーシャルエンドユーザ計測コマーシャルエンドユーザ計測

Inverse (http://www.inverse.net) Keynote (http://www.keynote.com)

–ウェブサーバ他 NetMedic (http://www.vitalsigns.com)

–エンドユーザ


23

コマーシャルネットワーク統計コマーシャルネットワーク統計

NetMedic

Vital Signs Report

Inverse


24

コマーシャル：コマーシャル： KeyNoteKeyNote


25

既存技術の限界既存技術の限界

イントラネット内、ＡＳ内スケーラビリティ性能への断片的な視点ネットワーク性能計測？問題診断？


26

ルーティング問題？ＩＸの停電・故障？回線断？極端に多量なトラフィック？ルーティングポリシは正しいか？過去の問題を解析できるか？

問題診断問題診断

新しい性能計測技術と研究


28

新しい計測技術新しい計測技術

中身はブラックボックスアプリケーションレベル大規模な計測マシンの配置エンド・エンド間


29

IETF IPPM Working GroupIETF IPPM Working Group

広域ネットワークで使えるメトリックの策定

一方向（遅延、パケットロス）、正確な時計

ＵＤＰの利用、ポアソン分布の間隔受け取り側は、データリンク上を監視


30

Common Solutions GroupCommon Solutions Group

米国主要大学に計測マシンを設置 Advanced Network and Services (ANS) 時計の同期にＧＰＳを利用 PC UNIX で動くデータ収集ソフトウェア


31

Common Solutions GroupCommon Solutions Group


32

インターネット計測および視覚インターネット計測および視覚化化 : : CAIDACAIDA

(www.caida.org)

Cooperative Association for Internet Data Analysis Univ of California (SDSC) 政府（ NSF ）および民間資金 (Cisco, ANS) ネットワーク統計活動のデータ交換および協

調ツールの開発、視覚化


33

CAIDA ToolsCAIDA Tools

MAPNetAS Topology Visualization


34

CAIDACAIDA：：Ｓｋｉｔｔｅｒ（ＲＴＳｋｉｔｔｅｒ（ＲＴＴＰｌｏｔ）ＴＰｌｏｔ）


35

NIMINIMI

National Internet Measurement Infrastructure LBL, PSC (Paxson and Mathis) 計測（プルーブ）マシンのアーキテクチャエンド・エンド間、ホップバイホップ


36

IPMAIPMA

Internet　Performance　Measurement　and　Analysis　project

ミシガン大学ＥＥＣＳ学科とメリットネットワークの共同研究プロジェクト（ＮＳＦの資金）

目的– データの収集と配布– データの視覚化– データの評価と分析


37

IPMAIPMA ツールツール

バックエンド（データ収集）– NetNow: 遅延とパケットロス– RouteTracker: ルーティングの安定性– TPD: 経路の監視 (traceroute)– SNMPTrackers: SNMP MIB の監視– IPN: メンテナンス・停止情報の交換


38

インターネット計測のモデルインターネット計測のモデル

Probe

Probe

ProbeData 集積

AS1

ProbeProbe

Data 集積

Data 集積

AS2

一般

ルーティングイクスチェンジ


40

ネットワークアクセスポイント（ＮＡＰ）

ＮＡＰ

ＮＡＰ

ＮＡＰ

ＮＡＰ

ＩＳＰＡ

ＩＳＰＺ

ＢＣ

ＩＳＰＩＳＰ

ＩＳＰ

ＩＳＰＩＳＰ

ＲＡ

ＲＡ

ＲＡ

ＲＡ


41

メリットルートサーバパッケージメリットルートサーバパッケージ

ＩＳＰＩＳＰＩＳＰＩＳＰ

ルートサーバ

ルートサーバ

インターネットルーティングレジストリ

ルートサーバの自動設定（４時間毎）･

物理接続網

経路制御とフォワーデ･ィングの分離によるルータ性能の改善

簡単なルータの設定･ルータ性能の要求緩和･

自動化されたルートサーバの管理･統計情報の収集･運用支援･

ＲＳＲＳｎｇｎｇ

冗長な構成による高信頼性･


42

代表的なインターネット交換点（米国）

ＡＡＤＳＮＡＰＡＡＤＳＮＡＰ((Chicago)Chicago)３１３１ //５３５３

ＳｐｒｉｎｔＮＡＰＳｐｒｉｎｔＮＡＰ((New York)New York)

//３１３１

ＭＡＥ－ＥａｓｔＭＡＥ－Ｅａｓｔ((Washington DC)Washington DC)７１７１ //８３８３

ＭＡＥ－ＷｅｓｔＭＡＥ－Ｗｅｓｔ((San Jose)San Jose)６１６１ //１０９１０９

ＰＡＣＢｅｌｌＮＡＰＰＡＣＢｅｌｌＮＡＰ(( ＳａｎＦｒａｎｃｉｓｃｏ、ＳａｎＦｒａｎｃｉｓｃｏ、

Los Los ＡｎｇｅｌｅｓＡｎｇｅｌｅｓ ))２５２５ //３８３８

ＤｉｇｉｔａｌＩｎｔｅｒｎｅｔＤｉｇｉｔａｌＩｎｔｅｒｎｅｔＥｘｃｈａｎｇｅＥｘｃｈａｎｇｅ((Palo Alto) Palo Alto) １５１５ //３５３５

FIX-EastFIX-EastＭｅｒｉｔＭｅｒｉｔFIX-WestFIX-West


43

ＩＲＲ（ＩｎｔｅｒｎｅｔＲｏｕｔｉｎｇＲｅｇｉｓｔｒｙ）

ＲＡＷＨＯＩＳＲＡＷＨＯＩＳ

ＩｎｔｅｒｎｅｔＩｎｔｅｒｎｅｔＭＣＩＭＣＩ

ＲＩＰＥＮＣＣＲＩＰＥＮＣＣ

ＲＡＤＢＲＡＤＢ

カスタ

カスタ

ママ

カスタ

カスタ

ママ

カスタ

カスタ

ママ

ヨーロッパヨーロッパ

残りのＩＳＰ残りのＩＳＰ

BellBell ＣＡＣＡ

ＡＮＳＡＮＳ

ルートサーバルートサーバ（ＲＳｎｇ）（ＲＳｎｇ）

ＩＳＰＩＳＰ(( ルータ設定、ルータ設定、障害対策）障害対策）

統計・調査統計・調査（ＩＰＭＡ他）（ＩＰＭＡ他）

ＩＰＭＡ


45

ルーティング情報– ＢＧＰ–アナウンスとウィズドロウ– 不安定さ

パケットロスおよび遅延– ＵＤＰの使用– Ｏｎｅ－ＷａｙＤｅｌａｙ– 発生分布

ＩＰＭＡ（ツール群）ＩＰＭＡ（ツール群）

ＪａｖａＪａｖａｖｅｒｓｉｏｎｖｅｒｓｉｏｎａｖａｉｌａｂｌｅａｖａｉｌａｂｌｅ


46

IPMA: IPNIPMA: IPN


47

ＭＡＥ－ＥａｓｔＴｒｅｎｄＧｒａｐｈＴｒｅｎｄＧｒａｐｈ


48

2-1-98


49


50

MAE-East


51

2-1-98


52

2-1-98


53


54

データ収集・配布機構（Ｓａｌａｍａｎｄｅ

ｒ）データデータ収集収集

サーバサーバ

データデータ収集収集

サーバサーバ

サーバサーバ

クライアントクライアント

クライアントクライアント

新ルーティングソフトウェア（ＭＲＴ）


56

データ収集ＭＲＴの構成データ収集ＭＲＴの構成

ＢＧＰ４ +

ＢＧＰ４

ＲＩＰ１ / ２

ＲＩＰｎｇ

ＯＳＰＦ

ＶＩＥＷ

ＶＩＥＷ

ＲＴ

ＲＴ

ＲＴＲＩＢＲＩＢ

フォワーフォワーディングディングテーブルテーブル

ＳｉｍｕｌａｔｏｒＳｉｍｕｌａｔｏｒ

ＧｅｎｅｒａｔｏｒＧｅｎｅｒａｔｏｒ

ｌｉｓｔｅｎｅｒｌｉｓｔｅｎｅｒ

ツール群ツール群

ＥｖｅｎｔＥｖｅｎｔＤａｔａＤａｔａ

統計統計

V4

V6

課題と性能改善へのヒント

http://www.caida.org/PathChar


58

バンド幅の推測：バンド幅の推測： PathCharPathCharpathchar to www.interop.co.jp (210.135.48.132)

doing 16 probes at each of 64 to 1500 by 44

0 localhost

| 5.4 Mb/s, 603 us (3.43 ms)

1 198.108.0.1 (198.108.0.1)

| 44 Mb/s, 4.29 ms (12.3 ms)

2 bordercore2-hssi0-1-0.WillowSprings.cw.net (166.48.23.253)

| 45 Mb/s, 22.5 ms (57.6 ms)

3 bordercore2.Sacramento.cw.net (166.48.192.1)

| 45 Mb/s, 51.9 ms (162 ms), +q 1.17 ms (6.54 KB) *2

4 kdd-japan.Sacramento.cw.net (204.70.120.6)

| 210 Mb/s, 2 us (162 ms), +q 1.06 ms (27.7 KB)

5 203.181.96.21 (203.181.96.21)

| 37 Mb/s, 35 us (162 ms)

6 203.181.96.42 (203.181.96.42)

| 33 Mb/s, 132 us (163 ms), +q 1.01 ms (4.21 KB)

7 210.132.92.226 (210.132.92.226)

| 58 Mb/s, 322 us (164 ms), +q 1.28 ms (9.32 KB) *2

8 galaxy-cata1.kcom.ne.jp (203.141.161.3) -> 203.141.161.3 (1)

| 1.4 Mb/s, 3.78 ms (180 ms)

9?203.141.163.74 (203.141.163.74)

| 5.4 Mb/s, -31 us (182 ms)

10 www.interop.co.jp (210.135.48.132)

10 hops, rtt 167 ms (182 ms), bottleneck 1.4 Mb/s, pipe 30893 bytes


59

今日の問題今日の問題

ＴＣＰの実装の問題（ S. Dawson, V. Paxson, IETF TCP 　 Implementors BOF ）

ＷＥＢサーバの輻輳無視、ＨＴＴＰとＴＣＰの相性

ＩＸや国際回線でのパケットロス（１％で影響）

ルーティングの不安定、多数の代替経路


60

今後の計測ツールに求められるも今後の計測ツールに求められるものの

経験、知識を使った、より高度な判断で、ユーザを支援

ルーティングの危機ルーティングの危機 ((IPMA )IPMA )


62

AADS BGP Routing Updates (3/17/96 - 3/1798)

0

2,000,000

4,000,000

6,000,000

8,000,000

10,000,000

12,000,0003/17/96

5/17/96

7/17/96

9/17/96

11/17/96

1/17/97

3/17/97

5/17/97

7/17/97

9/17/97

11/17/97

1/17/98

3/17/98

Date

Num

ber

of U

pdat

es

with

ann


63

AADS Routing Updates (11/97 - 7/98)

0

200,000

400,000

600,000

800,000

1,000,000

1,200,000

1,400,000

9/11/97

9/25/97

10/9/97

10/23/97

11/6/97

11/20/97

12/4/97

12/18/97

1/1/98

1/15/98

1/29/98

2/12/98

2/26/98

3/12/98

3/26/98

4/9/98

4/23/98

5/7/98

Date

Num

ber

of U

pdat

es


64

Break Down of Repeat BGP Ann at Mae-East

0

20

40

60

80

100

120

140

160

180

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85

Day

Nor

mal

ized

Nu

mb

er o

f Eve

nts

Comm

Aggregator

NextHop

Origin

Med

ASPath


65

ネットワークの性能改善へのヒネットワークの性能改善へのヒントント

プロバイダのバンド幅のチェック（ pathchar) 最新のＴＣＰソフトの利用、適切な設備計画ネットワークやルータの負荷（ MRTG, SNMP) トラフィックの把握　 (NetFlow, RMON) ルーティング、トポロジの把握　 (IPMA/CAIDA ）計測（プルーブ）マシンの準備 (NIMI, CSG)


66

参考になるＵＲＬ参考になるＵＲＬ

Research and Standards

http://www.ietf.org/html.charters/ippm-charter.htmlhttp://www.caida.orghttp://www.merit.edu/~ipma

Commercial Vendorshttp://www.inverse.nethttp://www.keynote.comhttp://www.vitalsigns.com

インターネットの性能計測 ＮＥＴＷＯＬＤ＋ＩＮＴＥＲＯＰ ９９...

Documents

インターネットの性能計測ＮＥＴＷＯＬＤ＋ＩＮＴＥＲＯＰ９９...