ネットワークの安全性・信頼性・公平性に関する諸...

1

ネットワークの安全性・信頼性・公平性に関する諸問題と今後の展開

《機械学習・情報理論・統計数理からのアプローチ》

千葉工業大学

工学部情報通信システム工学科

内田真人

http://www.uchida-lab.jp

2

自己紹介• 氏名内田真人（うちだまさと）• 学位平成17年6月博士（工学），北海道大学

Information Based Modeling of Data Learning Algorithms

（邦題：データ学習アルゴリズムの情報論的モデル化）

• 学歴平成11年3月北海道大学工学部情報工学科卒業平成13年3月北海道大学大学院工学研究科

システム情報工学専攻修士課程修了• 職歴平成13年4月日本電信電話株式会社（NTT）入社

情報流通基盤総合研究所サービスインテグレーション基盤研究所配属

平成17年7月同上退職平成17年8月九州工業大学ネットワークデザイン研究センター助教授平成19年4月同上准教授（職制変更）平成24年3月同上退職平成24年4月千葉工業大学工学部電気電子情報工学科准教授平成27年4月同上教授平成28年4月同上情報通信システム工学科教授（組織改編）

• その他総務省・IPネットワーク設備委員会，同・電話網移行円滑化委員会，同・電気通信事故検証会議等の委員，JPNICの評議委員等

講演内容①：これまでの研究

3

機械学習情報理論統計数理

ネットワークの安全性・信頼性・公平性

安全性

信頼性

公平性

異常検知

障害解析

資源割当問題

講演内容②：今後の研究

4

ネットワークの安全性・信頼性・公平性に関する諸問題とその解決

《機械学習・情報理論・統計数理からのアプローチ》


安全性信頼性公平性

情報通信と情報処理に関する複合的な研究（ネットワーク技術とデータ分析技術の連携）

ネットワーク品質／性能の測定と管理

大量 and/or 不完全なデータからの予測と発見

これまでの研究

5



安全性

信頼性

公平性

異常検知

障害解析

資源割当問題

背景

• 異常トラヒック

– 正常時のトラヒックパターンとは異なる不審な挙動を示すトラヒック（ワーム，ポートスキャン，DoS等）．

– ネットワーク資源の浪費やセキュリティ上の問題を引き起こす原因．

6

異常トラヒック検知技術はネットワークの適切な管理運用に不可欠

異常トラヒック検知技術の分類

• シグネチャ型– 「異常な」トラヒックパターンを検知

• 既知の異常トラヒック検知には非常に有効

• 未知の異常トラヒック検知には無力

• 異常トラヒックデータの収集が必要

• 異常トラヒックパターンのデータベース更新が必要

• アノマリ型– 「正常な」トラヒックとされないトラヒックパターンを検知

• 未知の異常トラヒックも検知可能

• ある程度の誤検知は不可避

• 正常トラヒックデータの収集が必要

• 正常トラヒックパターン（基準モデル）の学習が必要

7

アノマリ型異常トラヒック検知の流れ

8

監視対象ネットワーク

正常トラヒック

基準モデル

実態トラヒック

オフライン計測

オンライン計測

比較

制御管理本研究の対象

正常トラヒックデータの収集

9


基準モデル作成用


専門家によるラべリング

時間周期的パケット

サンプリング

• 専門知識を反映可能• 高精度

• 機械的に実行不可• 高コスト• ヒューマンエラー有

• 機械的に実行可能• 低コスト• ヒューマンエラー無

• 専門知識は反映不可• 低精度

① ①

② ②

①

②

Y. Gu, A. McCallum,and D. Towsley, “Deteting Anomalies in Network Traffic Using Maximum

Entropy Estimation” Proc. of IMC 2005, Oct. 2005, pp.345-350.

M. Uchida, S. Nawata, Y. Gu, M. Tsuru, Y. Oie, “Unsupervised Ensemble Anomaly Detection Using

Time-Periodic Packet Sampling” IEICE Trans. Commun., Vol.E95-B, No.7, Jul. 2012.

パケットサンプリング

• メリット

– スケーラビリティの向上

• ルータ／コレクタの負荷軽減

• デメリット

– サンプル結果の偏り

• 本来のトラヒック特性に関する情報損失

10

正常トラヒックに偏ったトラヒックを抽出可能？

Heavy-Hitterフローの効率的な検知に有用

†)

†) T. Mori, T. Takine, J. Pan, R. Kawahara, M. Uchida,

and S. Goto, "Identifying Heavy-Hitter Flows From

Sampled Flow Statistics" IEICE Trans. on Commun.,

Vol.E90-B, No.11, pp.3061-3072, November 2007.

基本的なアイデア

• 検知対象

– バースト性を伴う異常トラヒック例：TCP SYN Flooding Attack

11

計数周期的サンプリング

時間周期的サンプリング

①時間周期的パケットサンプリングにより異常トラヒックの混在率が低いデータを抽出②抽出したデータを用いて正常トラヒックパターン（基準モデル）を学習し，それとの比較によって異常トラヒックを検知

人間とコンピュータの協同による異常トラヒック検知

12


専門家によるラべリング

時間周期的パケット

サンプリング

• 専門知識を反映可能• 高精度

• 機械的に実行不可• 高コスト• ヒューマンエラー有

• 機械的に実行可能• 低コスト• ヒューマンエラー無

• 専門知識は反映不可• 低精度

ls（labeling-and-sampling）法 sl（sampling-and-labeling）法

基準モデル作成用


Masato Uchida, "Human Error Tolerant Anomaly Detection Based on Time-Periodic Packet Sampling,"

Knowledge-Based Systems, Volume 106, pp.242-250, August 2016.

理論解析

• 時間周期的パケットサンプリング

– レートτのポアソン過程に従いトリガーが生起

– トリガーの直後に到着したパケットのみをサンプル

13

平均1/τの指数分布

sampled packets non-sampled packets

Tn Tn+1 Tn+2Tn-2 Tn-1

tn-1 tn tn+1 tn+2

理論解析

• 2本のフローが多重されたトラヒック

– フロー1（正常トラヒック）

• レートλ1のポアソン過程に従いパケット生成

– フロー2（異常トラヒック）

• レートΛ2のポアソン過程に従いパケット生成．ただし，Λ2は(0,2λ2)上の一様分布に従う確率変数．期待値はE[Λ2]=λ2．

• パケット単位でのランダムなヒューマンエラー

– 異常トラヒックを見逃す確率＝ラベル付けを誤る確率（反転率）：ε

14

理論解析

• 定理

– 平均周期を長くすると異常トラヒックはサンプルされにくい．

• 定理

– 異常パケット／抽出パケットは，ls法よりもsl法の方が小さい．

15

抽出されたトラヒックデータを用いて基準モデル（正常トラヒックパターン）を学習

異常トラヒック検知性能が基準モデル毎に変動

16

アンサンブル異常トラヒック検知

基準モデル1

トラヒック計測

検出結果1

検出結果2

検出結果3

最終的な検出結果

検出結果の統合

監視対象ネットワークで計測されたトラヒックデータ

異常

正常

異常

異常

基準モデル2

基準モデル3


・性能変動の軽減・検知感度の調整

集合知～三人寄れば文殊の知恵？～

• 様々な事例– 潜水艦スコーピオンの沈没位置

– チャレンジャー事故直後の株式市場の動き

– クイズ$ミリオネアにおける”オーディエンス”

• 集合知が有効となる条件– 多様性

• 個々人が独自の私的情報を多少なりとも持つ

– 独立性• 他者の考えに左右されない

– 集約性• 個々人の判断を集約するメカニズムが存在する

17

18

アンサンブル学習

• システム混合（集合知）に関する数理モデル

– 複数の予測器の混合による予測性能の向上

重みパラメータ

混合予測器入力データ

要素予測器

・・・

・・・

• 混合予測器⇒要素予測器の線形混合

• 評価関数⇒２乗誤差関数

19

アンサンブル学習の基本モデル

重みパラメータ

混合予測器入力データ

教師データ

要素予測器

・・・

・・・

20

アンサンブル学習の統計モデル

• 混合予測器⇒指数型混合分布：

• 評価関数⇒Kullbackダイバージェンス:重みパラメータ

要素予測器

混合予測器教師分布（真の分布）

入力分布

・・・

・・・

M. Uchida, "Information-Based Modeling of Data Learning Algorithms （邦題：データ学習アルゴリズムの情報論的モデル化）", Doctoral Thesis (Hokkaido University), Jun. 2005.

平均予測誤差の上限，下限の評価

• 定理

21

，のとき，が十分大きければ，適当な正則条件の下で

が成り立つ．

学習サンプルを分割して複数の要素予測器を学習して混合予測器を構成するよりも，学習サンプルを分割せずに単一の予測器を学習する方が効果的である．

学習済みの複数の要素予測器が与えられている場合，アンサンブル学習は効果的である．

平均予測誤差

最尤推定量

要素予測器 iの学習に用いたサンプル数

要素予測器 iのパラメータ次元

アンサンブル学習の有効性

• 定理

22

次が成り立つ．

ただし，

である．

学習サンプルを分割せずにそれぞれ異なる方法で要素予測器を学習する場合，アンサンブル学習は効果的である．

ピタゴラスの定理

混合予測器の表現可能領域

：教師分布

：混合予測器

混合予測器の近似精度

要素予測器の近似精度

近似精度の改善量

重み付けに関する特徴

• 定理

23

性能の低い要素予測器を用いて混合予測器を構成した場合，その重みは負の値を取る．また，この逆も成り立つ．

が成り立つための必要十分条件は

である．ただし，一般性を失うことなく

と仮定した．

最適な重みについて，

三角不等式：教師分布

ディープラーニングとの関係

• 今後の展開

– アンサンブル学習に関する研究

• 大規模モデルへの対応– 無限次元モデルの解析

– ディープラーニング（ドロップアウト等）の解析

» ランダムに隠れ素子を削除して学習

» アンサンブル学習と同様の効果

⇒様々な研究分野との連携が可能

• 不完全データへの対応– 半教師あり学習に関する検討（教師あり／教師なし学習に関するこれまでの検討が土台）

⇒IoT環境への対応が可能

24

ドロップアウト（Srivastava et al., 2014）

アンサンブル学習


25



安全性

信頼性

公平性

異常検知

障害解析

資源割当問題

26

ネットワークを巡る環境変化

①スマホの普及スマホの契約数は、４,３３７万件（２０１３年３月）。１年で約１.７倍増。移動通信の通信量も１年で約２倍増。

②ＬＴＥ開始高速・大容量のデータ通信サービスが開始（ＮＴＴドコモ：２０１０年１２月、ＫＤＤＩ、ＳＢＭ：２０１２年９月）。

③制御信号の増加

スマホは、従来の端末に比べ、３倍（無線アクセス区間）の制御信号を送出。これは、アプリ等の増加で加速。

⑧ＩＰ網とレガシー網の並存ＩＰ化が進展する中で、固定網・移動網ともに、ＩＰ網と回線交換網（レガシー網）が並存。

④ソフトウェア依存の拡大ＩＰ化の進展により、設備の運用・保守・更改等をソフトウェアに依存する割合が拡大。

⑤設備の集約化・複雑化設備の高機能化・大容量化により、一つの設備に収容する利用者数や機能数が増加。

⑥設備のマルチベンダー化大手海外ベンダー製品の低価格化等により、ネットワーク設備のマルチベンダー化が進展。

⑦設備更改サイクルの短期化競争激化により、新サービスの提供・改善の短期化傾向。これに伴い、設備更改サイクルも短期化

総務省「多様化・複雑化する電気通信事故の防止の在り方に関する検討会（第1回）」資料より

電気通信事故の発生

国内の動向

27

事故報告制度の概要（平成26年度まで）

28

電気通信事故の発生

提供の停止または品質の低下

3万人以上または

2時間以上

3万人以上かつ

2時間以上

重大な事故（速やかに状況報告）

（３０日以内に事故原因等の詳細報告）

四半期報告事故（四半期ごとにサービス別件数等を報告）

• 分析データ

– 平成20年度～平成24年度に発生した重大な通信事故（88件）に関する公表データ（総務省）

• 分析方法

– サービス分類

• サービス全体

• 固定サービス

• 移動サービス

• 上位レイヤーサービス（注）

– 評価項目

• 発生間隔

• 継続時間

• 影響利用者数

• 継続時間×影響利用者数

本研究の内容

29

注：上位レイヤーサービスとは「コンテンツ・アプリケーションレイヤー」と「プラットフォームレイヤー」を合わせたレイヤーを指す．前者は，情報通信サービス，コンテンツ，アプリケーション，ソフトウェアに関するレイヤーであり，後者は，各種認証機能，サービス品質管理機能等に関するレイヤーである．

既存研究

• 公衆ネットワークにおける通信事故の分析– 日本

• 総務省

• 簡易分析結果の公表／個別データの（一部）公表

– アメリカ• Network Reliability Steering Committee（NRSC）

• 簡易分析結果の公表／個別データは非公表

– イギリス• Office of Communication（Ofcom）

• 簡易分析結果の公表／個別データは非公表

30

公衆ネットワークにおける通信事故の詳細な統計分析は存在しない

発生間隔 Δの分析

31

発生間隔はポアソン過程に従う

累積補分布の片対数グラフが直線的

⇒発生間隔は無相関（連検定のp値：0.91）

⇒指数分布

による最尤推定で近似可能（）（1標本KS検定のp値：0.81）

ペリオドグラム

の形状が全周波数に渡り平坦

継続時間 Dの分析（１）

32

累積補分布の両対数グラフが直線的

1標本KS検定のp値：0.67




α：尺度パラメータβ：形状パラメータ

パレート分布に従う

継続時間 Dの分析（２）

• αの設定値（＝報告基準値）とβの最尤推定値

• 重大事故は長時間化しやすい

– 継続時間の裾野分布は非常に重い

– 1次モーメントが存在しない（β<1）か，それに匹敵（β≒1）

– 例）1年以上継続する通信事故は41年に1回発生

• 固定，移動，上位レイヤーの順に事故が長時間化

– 固定，移動，上位レイヤーの順に裾野が肥大化（βが減少）

33

全体固定移動上位レイヤー

α 2 2 2 2

β 0.781 1.005 0.793 0.483α：尺度パラメータβ：形状パラメータ

まとめ

• 発生間隔 Δ⇒ポアソン過程• 継続時間 D⇒パレート分布

– 固定，移動，上位レイヤーサービスの順に深刻化

• 影響利用者数 N⇒区分的パレート分布– 固定，上位レイヤー，移動サービスの順に深刻化

• 継続時間×影響利用者数⇒理論分布を導出

34

M. Uchida, "Statistical Characteristics of Serious Network Failures in Japan," Reliability Engineering &

System Safety, Volume 131, pp.126-134, Nov. 2014.

その他の研究

• 確率論的な信頼性評価手法の適用– 閾値超過分布（極値理論）⇒ピークトラヒック分布の推定

⇒ネットワークトポロジ生成モデルの解析

– 寿命分布（生存時間解析）⇒フロー持続時間分布の推定

35

A. Fujihara, M. Uchida, and H. Miwa, "Universal Power Laws in the

Threshold Network Model: A Theoretical Analysis Based on Extreme

Value Theory," Physica A, Volume 389, Issue 5, pp. 1124-1130, Mar. 2010.

M. Uchida, "Traffic Data Analysis Based on Extreme Value Theory and

Its Application to Predicting Unknown Serious Deterioration," IEICE

Trans. on Info. & Sys., Vol.E87-D, No.12, pp.2654-2664, Dec. 2004.

Y. Sakai, M. Uchida, M. Tsuru, and Y. Oie, "Impact of Censoring

on Estimation of Flow Duration Distribution and Its Mitigation

using Kaplan-Meier-based Method," IEICE Trans. on Info.&

Sys., Vol.E92-D, No.10, pp.1949-1952, Oct. 2009.

計測開始計測終了

計測期間

閾値ネットワークの生成方法

• ステップ１）– 各ノードに重みを割り振る

• ステップ２）– 重みの和が閾値θを超えるノード間をリンクで結ぶ

• ［例］– ノード＝企業，重み＝資本金⇒業務提携のモデル

36

ノード間をリンクで結ぶ条件：4.02.2

1.5

1.9 3.1

3.4

の場合

5.5

37

閾値ネットワークにおける普遍的なスケールフリー性

次数分布

クラスタ係数分布

重み分布測度変換

極値理論ある確率的な変量が十分大きな閾値を超過する幅は一般化パレート分布により表される（Pickands-Balkena-de Haanの定理）

⇒閾値ネットワークモデルの生成方法と類似

次数分布，クラスタ係数分布多くの重み分布（デルタ分布等の特異な分布は除く）について普遍的にベキ乗則が成立．

Wikipediaネットワークの分析

• Wikipedia NWは閾値NWモデルで説明可能か？

– 例）重み＝ページ内の文字数

38

Restaurant, Hospital, University

をキーワードにもつページからなる部分Wikipedia NW

Book, Publisher, Writer

をキーワードにもつページからなる部分Wikipedia NW


39



安全性

信頼性

公平性

異常検知

障害解析

資源割当問題

ネットワーク資源割り当て問題

• ユーザの効用関数に関する最適化問題

– 問題

40

ユーザ i の効用関数（ユーザ i に割り当てられた資源に関する関数）

資源割り当ての実行可能領域

資源割り当てベクトル

資源割り当ての結果に直接影響する効用関数の性質の理解は重要

ネットワーク資源とは・・・通信資源（帯域，経路），記憶資源，計算資源，電力資源等

公平性を考慮した効用関数

• α-Proportional Fairness

– 問題

41

αは公平性の「解釈」を制御するパラメータ

• α → 0– Maximum throughput

– 勝者総取り

• α = 1– Proportional fairness

– 機会の均等化

• α → ∞– Max-min fairness

– 最小満足度の最大化

42

α-Proportional Fairness

• 効用関数の特徴

– αの値が大きくなるほど，不幸なユーザを優遇

43

本研究の目的と結果

α-Proportional Fairnessにおける“公平性”の共通的な解釈を与える．

M. Uchida and J. Kurose, "An Information-Theoretic Characterization of Weighted α-Proportional Fairness in

Network Resource Allocation," Information Sciences, Volume 181, Issue 18, pp.4009-4023, Sep. 2011.

• ユーザの満足度– ユーザからの要求資源量と，実際に割り当てられた実行資源量の間の差異• で特徴付けられる一般化情報量により定義される"距離"

• ネットワークの満足度– 資源割り当ての効率性

• ユーザに割り当てられた資源の総量

：ユーザの満足度とネットワークの満足度の均衡点

44

基本的なアイデア

• ユーザ満足度：

• ネットワーク満足度：

• トレードオフ：

–

• ユーザ満足度とネットワーク満足度のトレードオフの調整パラメータ

–

• との，に関する漸近変動のオーダーの調整パラメータ

ユーザに割り当てられた資源の総量

のとき，α-Proportional Fairnessの効用関数と一致

要求資源量

実行資源量で特徴付けられる正値有限測度上の一般化情報量

M. Uchida, Doctoral Thesis, Jun. 2005.

45

一般化情報量

• α-ダイバージェンス

– α → 0：Kullbackダイバージェンス

– α = 1/2：Hellingerダイバージェンス

– α → 1：双対Kullbackダイバージェンス

46

イメージ図

ネットワークの満足度

ユーザの満足度

アンサンブル学習とNW資源割当の関連

• 情報量による特徴付け

47

アンサンブル学習におけるアルゴリズム構造

NW資源割当における公平性概念（α-Proportional Fairness）

ネットワークの満足度

：教師分布

：予測分布（指数型混合分布）

効用関数で特徴付けられる一般化情報量

ユーザの満足度

：割当資源量

：要求資源量

まとめ

48

情報理論


機械学習統計数理

安全性異常検知

信頼性障害解析

公平性資源割当問題

アンサンブル学習一般化情報量（α-ダイバージェンス）極値理論，生存時間解析

・アノマリ型異常トラヒック検知（時間周期的パケットサンプリング＋アンサンブル検知）

・重大な電気通信事故（発生間隔，継続時間，影響利用者数等）の統計分析・ピークトラヒック分布／フロー持続時間分布の推定，NWトポロジ生成モデルの解析

・α-Proportional Fairnessの一般化情報量による特徴付け・妥協可能制約付き資源割当問題の不動点最適化法による求解

ネットワークの安全性・信頼性・公平性 に関する諸...

Documents

ネットワークの安全性・信頼性・公平性に関する諸...