フロー技術を活用したネットワークセキュリティの

研究

後藤滋樹，下田晃弘グローバル COE プログラム

アンビエント SoC 教育研究の国際拠点

（早稲田大学　理工学術院）

本資料の構成

背景（パケットとフロー）

１ . 測定 サンプリングによる測定

2. セキュリティ

2.1 　仮想センサ

2.2 　仮想ハニーポット

2

3

概要　インターネットのパケットを個別に観測するのではなく、フローの単位で分析することは従来から広く行なわれてきた。ところで意味のある観測をしようとすれば多量のデータを対象とする必要がある。ネットワークが広帯域になると観測するべきデータが膨大になり分析が難しくなる。これまでにパケットのサンプリング方法が提案されているが、どの程度まで比率を下げることができるか、定量的な評価をするのが難しかった。ここで紹介する研究では、トラフィックの傾向を把握するためのサンプリングの方法を検討する。これが第一の話題である。

次にセキュリティの話題に移る。ネットワークの観測をすると、不思議なことに「使用されていない筈のアドレス」を宛先とするパケットが見つかる。この原因の多くはマルウェアつまりウィルスの拡散、 DoS アタックの影響、ボットの活動などである。このような宛先の不明なパケットを捕捉して分析することはセキュリティの面で有意義である。ここでは仮想的なセンサー ( マシン ) を実現して多量の「宛先の不明なパケット」を分析する方法を紹介する。さらに「宛先の不明なパケット」を受動的に受信して分析するだけではなく、パケットに意図的に応答する技術を紹介する。これは仮想的なハニーポットを実現するものである。応答を返すことにより、セキュリティの分析をさらに進めることができる。

OpenFlow (GENI)

Press Releases

National LambdaRail (NLR) Deploys New, Wide-Area Backbone Network for National Science Foundation-Funded GENI "Future Internets" Project

August 17, 2010

http://www.nlr.net/

4

Open Flow Demo at SC 08

http://jpnoc.net/OpenFlow-DEMO.m4v 5movie by Jin Tanaka

NetFPGA-1G Hardware

Xilinx Virtex-2 Pro FPGA PCI Host Interface SRAM DRAM 4 * Gigabit Ethernet ports

7

Anagran FR-1000

NetFPGACaspian NetworksNEC

8

IP パケットは datagram ( バラバラ )

• Analyze packet by packet

• Limitation of simple packet analysisMalicious activities in normal packets

• DoS (Denial of Service) attack• Port Scan

9

フローにまとめる Protocol Machine• Flow — a sequence of packets

• Source and destination IP address (or AS#)• Port numbers (application)

• Valid flow and Invalid flow– A flow is classified by the protocol machine.

10

フローにまとめる Protocol Machine• The original protocol machine for TCP

– Defined in RFC 793 – Deterministic automaton

• Our new extended protocol machine– Non-deterministic automaton– It covers packet losses and duplicated packets.

CLOSED

LISTEN

ESTABLISHED

CLOSING

TIME_WAIT

SYN_RCVD SYN_SENT

FIN_WAIT_1 CLOSE_WAIT

FIN_WAIT_2 LAST_ACK

CLOSED_2

passive OPEN/create TCB

CLOSE/delete TCB

CLOSE/delete TCB

active OPEN/snd SYN

rcv SYN/snd SYN ACK

SEND/snd SYN

rcv SYN/snd ACK of SYN

rcv SYN/snd ACK of SYN

rcv ACK of SYN/xCLOSE/

snd FIN

CLOSE/snd FIN

rcv FIN/snd ACK of SYN

rcv ACK of FIN/x

rcv FIN/snd ACK of FIN

rcv FIN/snd ACK of FIN

rcv ACK of FIN/x

CLOSE/snd FIN

rcv ACK of FIN/x

2MSLtimer

CLOSED

LISTEN

SYN_RCVD_0_1

SYN_RCVD SYN_RCVD_0_2 SYN_SENT

ESTABLISHED_0

ESTABLISHED

FIN_WAIT_1

CLOSE_WAIT_0

CLOSE_WAIT

CLOSED_2

FIN_WAIT_2

CLOSING

TIME_WAIT

TIME_WAIT_0

CLOSING_0

RESETTING

LAST_ACK

εH1_snd_SYN

ε

ε

H2_snd_SYN

H1_snd_SYN_ACK

H1_snd_SYN

H2_snd_SYNH1_snd_ACK_of_SYN

H2_snd_SYN_ACK

H1_snd_ACK_of_SYN

H2_snd_ACK_of_SYN

H1_snd_FIN

H1_snd_FIN H2_snd_FIN

H2_snd_FIN

H2_snd_ACK_of_FIN H1_snd_ACK_of_FIN

H1_snd_FIN

H2_snd_ACK_of_FINH1_snd_RST

H1_snd_ACK_of_FIN

H2_snd_ACK_of_FINH2_snd_FIN

H1_snd_ACK_of_FIN

ε

広帯域ネットワークの利用増　　→　測定が難しくなる

• 対象とするデータ量が膨大になる例：早稲田大学の SINET 対外接続は 10Gbps もし使用量１ . ６ Gbps ＝０ . ２ＧＢ /sec としても １時間のデータ（６０秒 × ６０分）　７２０ＧＢ

• 個々のパケットではなくフローとして把握• サンプリング（ 1 ） , フィルタリング（ 2 ）• できるだけ即時に処理（ 2 ）• 多地点のデータを分散管理（ 2 ）

11

1.

サンプリングによる測定• T. Mori, T. Takine, J. Pan, R. Kawahara.

M. Uchida, and S. Goto, Identifying Heavy-Hitter Flows From Sampled Flow Statistics,IEICE Transactions on Communications, Vol. E90-B, No.11, pp. 3061--3072, Nov. 2007.

• 電子情報通信学会　論文賞２００９年５月２９日　授賞式

• 電気通信普及財団　テレコムシステム技術賞２０１０年３月１５日　授賞式

12

電気通信普及財団賞

ネットワーク内を流れるトラフィックをチェックして、長時間大量のパケットを流すフローを識別することは重要な問題である。この研究は、すべてのパケットではなく、サンプリングにより高精度且つスケーラブルにそのようなフローを特定する理論的手法を確立し、実トラフィックデータを用いて実証したもので、実社会で求められている優れた仕事である。

13

14

1. サンプリングによる エレファントフローの特定

• エレファントフロー とは「巨大なフロー 」– P2P によって発生したフロー – 今日では巨大フローは一般ユーザーが発生する

• CATV,DSL, FTTH 加入者

– 帯域の消費が著しい– ネットワークによらない普遍的な現象 (2:8 の法則 )

• エレファントフローを検出・制御すると– 制御対象とするフロー数が少なくて済む– 制御する効果が大きい

15

分析の対象とするデータ　• OC48c パケットトレース (PMA project, NLANR)• N=10,000,000 (約2分の片道トラフィック )• 総フロー数 : 737,800• エレファントフロー数 (Xj >= 10,000) : 167• エレファントフローのトラフィック量占有率 :

59.3%

Pr[Xj = x]

16

パケットサンプリングとフロー計測

• パケットサンプリング– N パケットに 1パケットをサンプルする

– フロー計測のコストを削減することが目的•メモリ消費量、アクセススピード

– 超高速ネットワークに対するスケーラビリティを提供

– 標準化、実装が進んでいる技術

– サンプリングにより、フロー統計情報の一部は失われる

17

課題とアプローチ :

•課題– サンプルしたパケットからエレファント

フローを特定する エレファントフローを特定するためには

パケットカウントの閾値をどのように定めれば良いか？

• 本研究のアプローチ ベイズの定理を用いる

18

ベイズの定理

フロー j: 　母集団におけるパケット数が Xj=x である条件のもとでサンプルしたパケット数が Yj=y である確率

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ( 超幾何分布 )

フロー j: サンプルしたパケット数が Yj≧y である条件のもとで母集団におけるパケット数が Xj≧x である確率（ i.e., フローｊがエレファントフローである確率）

(A)

(B)

19

False probabilities:

• False positive ratio:

= Pr [特定したフローがエレファントでない ]

= 　

• False negative ratio: = Pr [ エレファントフローが特定されない ]=

= 　

フロー jについてサンプルしたパケット数が　　　　　　　を満たしたらエレファントフローであると特定する

誤って検出

見逃し

20

False 率のトレードオフ （事前分布はIPCL)

f=1/1,000 f=1/10,000

サンプリングレートが低いほど、トレードオフが顕著

誤検出

見逃し

21

応用例 : 　誤検出（ＮＰＲ）を小さくする (≦ 0.05)

False positive 小 特定したフローは高確率でエレファントただし、未検出のエレファントフローが増える

f=1/1,000 f=1/10,000

22

事前分布と閾値• 閾値　　の算出には，事前分布の情報が必要• 事前分布の情報をどのように得るか？

1. 同一ネットワークの近い時間帯でのデータを使う- 予め，測定しておく

2. サンプルしたフローの分布から、元の分布を推定- Yj の分布から Xj の分布を推定 [Duffield,SIGCOMM’03]

3. 分布の普遍的な性質を利用する– 多くの場合， Xj の分布は形状母数≒ 1.0 のパレート分布

で近似可能

– 算出された閾値は、広い範囲の分布に対して同じ値

23

様々な事前分布：

• 経験分布 ( 計測データ )– OC48c link [PMA, NLANR]– GbE link [PMA, NLANR]

• 理論分布 ( パレート分布 )

x

Pr[Xj > x]

beta=0.5

beta=0.75

beta=1.0

beta=1.25

beta=1.5

IPCL: PMA Project, NLANRIPKS: Indianapolis—Kansas CityCESCA: RedIRIS,

24

f=1/10,000

f=1/1,000

評価結果 : false 率

false-positive false-negative false-positive false-negative

経験分布 パレート分布

25

評価結果 : 閾値min s.t. FPR< 0.05

経験分布

パレート分布

26

エレファントフロー特定の応用例• PD (Priority discarding), WFQ (Waited Fair

Queueing) 等のキュースケジューリングアルゴリズムと併用– ネットワーク輻輳時に、帯域を支配しているエレファントフロ

ーに属するパケットを優先的に廃棄/低優先キューに割り当て

• CSFQ (Core Stateless Fair Queueing)等のスケーラブルなネットワーク制御アーキテクチャに適合– エッジノードはエレファントフローマーキング。コアノードは

マークを元に diffserv 的な制御を実施。

• 極端なエレファントフローの発生を検出したら、迅速にオペレータに通知する (anomaly detection)

27

• サンプルしたパケットからエレファントフローを特定する方法を提案し、実データにより評価した

• アイディアの要点： フロー毎にサンプルされるパケットカウントと、そのフローがエレファントフローである確率の関係を事前に算出　– ベイズの定理を利用。事前分布の情報が必要。

• 実データおよび理論分布を用い、提案手法の有効性を示した– 本手法で計算した閾値　　は、他のネットワークに

対しても有効 ( 非一様性の普遍性より )

1. のまとめ

2.1 仮想センサ（ Dark IP ）

28

Sensor Box (Dark IP)

Firewall

Pass through all incomming packets

Block all incoming packets

PC

Anomaly packets

No responseAttacker

logging

実センサ

仮想センサ

Normal Normal ServersServers

No service No service offeredoffered

Unused IP spaceUnused IP space

Normal HostsNormal HostsMutual AccessMutual Access

One-way AccessOne-way Access

Virtual SensorsVirtual Sensors

AttackersAttackers

Netflow packets

Netflow

30

Start Time

2006/3/10 12:31:15 SrcIP X.X.X.X DstIP

Y.Y.Y.Y

End Time

2006/3/10 12:31:18

SrcMask /24

DstMask /24

Protocol 6 SrcPort 23221 DstPort 20

TOS 80 SrcAS 1000 DstAS 2000

Flags 10 SrcIF Fa 1/0 DstIFFa 0/0

Packets 1200 　 　 　 　

KBytes 6400 　 　 　 　

ＩＰ X.X.X.X /24port 23221

ＩＰ Y.Y.Y.Y /24port 20

Fa 1/0 Fa 0/0

AS 1000 AS 2000

Netflow v5 recordexport

Host A Host B

フローから仮想センサを抽出

Flow-tools

Virtual Sensor Detection Algorithm

Flow Attributes

virtual sensors

Netflow Database

virtual sensorscandidates

Anomaly Packets Collector

Results Output

Netflow Router

ヒューリスティックなアルゴリズム

Virtual SensorCandidates

Virtual Sensors Senders List(cache)

Not seen or

Not communicating 3

2

1

6

4

7

58

状態遷移の詳細な説明は割愛

実証実験

An malicious hostIntermediate Router

(Target of flow-observation)

Wide area network

A worm infected host

Anomaly packets

Scanning packets

Autonomous System

実センサと仮想センサPort 135/tcp

２．１　まとめ

• 仮想センサ（ Virtual Dark IP ）はフロー情報から仮想センサを抽出する提案–物理的な実センサの代りに使える

• 仮想センサは、多数のセンサを実現することができる

２．２　仮想ハニーポット

36

• Passive: 　実センサ、仮想センサ

– Stealth observation to detect indiscriminative attacks– Network telescopes (CAIDA, 2004)

• Active: Honeypots

– Honeypots: definitions and value of honeypots (2002)

X?

PurposeDetect anomaly packet DDoS, scanning…

PurposeInspect detail of attacks - targeted vulnerability - malware/worm species

logging server

honeypot

仮想ハニーポット（ DarkPots）

37

• Vacancy Checker

• Forwarder• Analyzer

Gateway Router(ACLs deployed)

Enterprise / Campus NetworkThe Internet

Vacancy checkerForwarder

Analyzers

emulatedresponse list of unused-IPs

mirroring

DarkPots System

構成要素１： Vacancy Checker

38

• Locate unused IP address space– Packet capturing

• Heuristic method described in our earlier study. – inactive for certain period marked as unused– detect any activity marked as used– Possibly false positive

– Firewall configuration of the gateway (ACLs)• Monitoring both inside and outside gateway,

– Estimate which packet is blocked or passed the gateway.

• A blocked IP address is used for monitoring – apparently unused from the Internet side

Vacancy checker

構成要素２： Forwarder

39

• Function– Monitors outside of the gateway traffic

– Allocation of unused IP addresses list • Each lists corresponds to one of the analyzers.

• Flexible allocation patterns (e.g. continuous or random patterns)

– Forward a packet to an analyzer• overwrite destination MAC address

Gateway Router Enterprise / Campus Network

Vacancy checker

Forwarder

to analyzers

unused-IPs list

List A for analyzer AList A for

analyzer A

List B for analyzer BList B for

analyzer B

List C for analyzer CList C for

analyzer C

Unused IPs

Unused IPs

構成要素３： Analyzer

40

• Analyzers for various roles.– sensor / responder / honeypot– any service is capable

• Easy to implement– A service should have a configuration for binding to any

Interface (e.g. 0.0.0.0)– Setup sub-interfaces : eth0:1, eth0:2, ..... eth0:n

• Assign allocated unused IP addresses• Response packets : directly routed to the Internet

Gateway RouterThe Internet

Forwarder

Analyzers

response

処理の手順：　 DarkPots

41

Gateway

Enterprise / Campus Network

The Internet

Forwarder

#3 filter with unused-IP address list

#1 attacks

#2 mirroring

# 5 responding

× ×blocked by firewall destination is inactive

#4 forwarding to analyzer

３種類の Analyzer

42

Passive Sensor

Reflector

Honeypot

honeypotservice

iptables

iptables

syn/ackreflector

logging

iptableshoneypot response

syn/ack response

no response

A: Passive Sensorreceive only for logging

B: Reflectorrespond to SYN flagged packet but other packets will not be sent.creates TCP half connection C: HoneypotInstalled Npenthes software as one of the case-study of honeypots.

syn

syn

syn

Unused-IP address allocation• Assign unused-IP address to each analyzer.

– Random selection without duplication.– 2560 IPs assigned for each analyzers.

A: Passive SensorsB: ReflectorC: Honeypots

x-axis :3rd octets of IPv4 y-axis :4th octets of IPv4

campus network : A.B.C.D/16

passive reflector honeypot

3 つの Analyser で観測された IP アドレス

44

• The number of source IP address (unique hosts) on passive sensors is slightly larger than others.

passive reflector honeypot

ほぼ同数

C.D.F analysis on# of received packets per attacker

45

• 60% of attackers sent less than 3 packets in passive mode (A)• 90% of attackers sent out more than 4–8 packets in the active (B)

and interactive modes (C).

PassiveReflectorHoneyPot

TCP フラグの分析B における FIN/PSH/ACK が特徴的

46

passive reflector honeypot

too many duplicated packetstoo many duplicated packets

Mode C における観測top 7 heavy-hitters

47

• ある時間帯に活動、多くの国に分布している

The second experiment: ランダムアドレスと連続アドレスの比較

48

• Two honeypot analyzers in parallel– random address block– continuous address block

• Assign 2,560 IP addresses each• Purpose : inspecting the effect of allocation patterns

x-axis :4th octets of IPv4 y-axis :3rd octets of IPv4

random continuous

連続アドレスは攻撃されやすい分散アドレスは観測に適している

49

Continuous

Random

Random

Continuous

attack count

マルウェアの名前は Avast による

２．２　まとめ

50

• 稼働しているネットワークに影響が少ない– ミラーポートを利用してデータを収集

• 未使用の IP アドレスを活用して測定に用いる– パケット収集とファイアウオール情報の照合

• 大規模なネットワークに適用可能– 数種類の分析手法を同時に走行可能– 既存手法と新手法との比較が容易– 観測対象とするＩＰアドレスを自由に選択

Akihiro Shimoda, BEST student paper award, SAINT 2010.