발표자 ㈜에프아이시스 김종오 e-mail: [email protected] 2016. …b1%e8%c1%be%bf%c0.pdf2....

멀티코어 프로세서 기반 40G급 네트워크 패킷 수집,

저장, 분석 적용 사례

2016. 06. 21.

발표자: ㈜에프아이시스 김종오

E-mail: [email protected]

KRnet2016

2. 40G급 멀티코어 네트워크 Accelerator

- Tile-36 멀티코어 Accelerator

- Tile-72 멀티코어 Accelerator

1. 멀티코어프로세서 소개

- ARM 64비트 MP

- IBM Power 계열

- Intel Xeon

- 멀티코어프로세서 비교

3. 40G Accelerator 적용 네트워크 수집, 저장, 분석 사례

- 네트워크 패킷 무손실 수집 및 부하분산 가속

- 실시간 모니터링 및 트래픽 Analysis

- XaPCA(Advanced Packet Capture Appliance)

KRnet2016


3

기술트랜드

OpenSource Project가 기술 주도 Hybrid Cloud 환경 구축요구 증가

가상화를 통한 통합

전용 Multicore(Manycore) Processor의 활용 증가 차세대 네트워크 보안기술의 성능 극대화 구성

KRnet2016


4

ARM계열 Multi-core Processor

• ARM 기반 Processor의 진화 - ARM32에서 ARM64로 진화하면서 64비트 구조의 ARM출현: ARM Cortex A57/53 MPcore for ARMv8 Architecture 인텔이 독점하고 있던 서버 시장(80%이상 점유)에 대한 도전 • Cavium: ThunderX(48-cores), Applied Micro: X-Gene3(32-cores), Mellanox: Mx-100

THUNDER

X

THUNDER

X

CCPI

Dual Socket

KRnet2016


5

IBM Power Processor

• IBM Power8 Processor - CPU Cores: 12-cores, 96-thread - PCI-express Gen3 32Lanes by 3x controllers - TDP: 190W/247W(Turbo)

IBM Power9(2017)

KRnet2016

1. 멀티코어프로세서의 소개

6

Intel Xeon 계열

• 일반서버 뿐만 아니라 클라우드 시장이 확산되면서 네트워크 서버, 스토리지 서버, 컴퓨팅 서버에 가장 널리 사용되고 있음

• 2016년 1분기에 E5 v4 시리즈가 출시되면서 최대 22-core, 44-thread 지원

• 성능(E5-2699 v4) - 코어수 : 22개, 44-Thread - 최대 터보 주파수 : 3.6GHz - TDP가 145W • 최대 지원 메모리: 1536GB, DDR4 2400 • PCI I/O - PCI express Gen3 x4, x8, x16 - 최대 Express 레인 수 : 40-lanes • Dual Socket • 인텔 하이퍼 스레딩 • 인텔 가상화 지원 • 직접 I/O를 위한 인텔 가상화

KRnet2016


7

서버급 멀티코어 프로세서의 비교

Cavium

ThenderX CP

Intel Xeon

E5-2699 v4

AppliedMicro

X-Gene 3

Power 8

CPU Cores 48 cores 22 cores 32 cores 12 cores

CPU Thread 48 44(Core당 2T) 32 96(Core당 8T)

CPU Freq. 2.5GHz 3.6GHz 3.0GHz 3.6GHz

Cache 16MB 55MB 32MB 96MB

DRAM B/W 76.8GB(크기) 76.8GB/s 1,024GB(크기) 230GB/s

PCI Express(G3) 40 Lanes 42 Lanes 32 Lanes

Ethernet I/F 2x100GbE +

10x10GbE

None None None

SPECInt 350 550 670

Power(TDP) 95W 145W 110-125W 247W

List Price $600~$800 $4115 - -

Production 4Q15 1Q16 2H17 2014

KRnet2016


8

Real-time Analysis를 위한 서버급 시스템 구조

Accelerator

CPU

(E5)

CPU

(E5)

PCIe Bus

10G

Gen2/Gen3-8lane

40Gbps

10G 10G

HDD/SSD RAM

System

Accelerator

Intel Xeon Series가 장착된 Dual-Socket 서버

PCIexpress기반의 20/40Gbps 데이터 전달 기술 보유 1. 64byte기준 2. Core별/Thread별 분산 전

달 3. Hash(Session)/RR 4. Under 5% CPU-load

10G/1G-port n개를 장착한 NIC형태의 Accelerator 1. Full Packet Pumping 2. Packet Handling/Monitoring 3. L2/L3 Packet Processing(QoS, Virtual Switching) 4. IDS/IPS & Crypto Accelerator 5. 고속 연산(GPU)

Intel Xeon IBM Power ARM MP

Storage 1. RAID방식의 storage 2. Flow기반의 데이타저장

KRnet2016


9

Accelerator 용 멀티코어 프로세서: Mellanox-Tile Gx-series

[특징]

- Mellanox 고성능 멀티코어 ( 36 & 72 Core) 프로세서 탑재

- 다양한 응용 프로그래밍이 가능한 매니코어 프로세서

- C/C++ 및 JAVA 지원

- Linux OS

• 36Core: Mellanox

- 32KB L1, 256KB L2, 9MB L3

- Memory: 72-bit DDR3 (512GB)

- PCIe : G2x12lanes (60G SerDes)

- 20 Gbps peak performance per

4-lane port

- Four 10 Gbps XAUI ports,

including double-XAUI support

- Up to sixteen 10/100/1000

SGMII ports (multiplexed with

XAUI ports)

- USB2.0, I2C, SPI, UART

- Frequency : 1.0~1.2GHz

• 72Core: Mellanox

- 32KB L1, 256KB L2, 18MB L3

- Memory: 72-bit DDR3 (1TB)

- PCIe : G2 - 96 Gbps of PCIe

throughput

Six integrated Gen2 PCIe

controllers (5G SerDes) with

24 lanes

- Eight 10 Gbps XAUI ports,

including double-XAUI support

- Up to thirty-two 10/100/1000

SGMII ports (multiplexed with

XAUI ports)

- Egress QoS queuing and traffic

shaping support

- USB2.0, I2C, SPI, UART

KRnet2016


10

구분

제품명 MDS-4036GET MDS-4036GEBT MDS-4072GEBT MDS-8072GEBT

Network Processor Tile-Gx36 Tile-Gx36 Tile-Gx72

Interface 1/10Gbps 4-port SFP/SFP+ x4

1/10Gbps 4-port SFP/SFP+ or Optical Bypass

1/10Gbps 4/8-port SFP/SFP+ or Optical Bypass

Crypto I/F Crypto Enable Crypto Enable Crypto Enable

Time Stamp Yes Yes Yes

Data Pumping (PCIe)

64Byte, 20Gbps 28-core distribution

CPU load < 5% Hash/Round-robin


CPU Load < 5% Hash/Round-robin


CPU load < 5% Hash/Round-robin

TS resolution 5ns 5ns 5ns

HW Time Synchronization

- GPS GPS

MDS : Multi-service Data proceSsing, 40(40Gbps)36(36core)G(Gbps) E(CryptoInstalled)B(BypassModule)T(Timestamp)

The MDS-4036 network interface adapter

provides full packet capture of 20Gbps

without packet loss for all frame sizes.

It allows real-time packet by packet

distribution to up to 28 CPU cores with

extremely low CPU load.

- To get 64byte 20Gbps packet transfer,

host machine should support PCIe Gen2 x 8

for the MDS-4036 adapter

The MDS-40(80)72 adapter provides 40Gbps

packet capture and transfers to up to 48 CPU

core with zero packet loss for all frame sizes.

Line-rate Packet Capture

Applications

Enables Customers to build any network

appliances as they needed based on

standard servers.

- SDN Controller and OVS

- IDS/IPS/UTM/Firewall

- IPSEC/SSL

- Flow based Functions

- Network Packet Monitoring and filtering

- QoS and SLA

PCIe NIC-type Accelerator

KRnet2016


11

네트워크 패킷 무손실 수집 및 부하분산 가속

10G

10G

10G

10G

Hash/R

R

(Flo

w)

Pack

et stre

am

4x1

0Gbps

Th1

Th2

Th3

Th12

Th1

Th2

Th3

Th48

Th4 PC

Ie B

us

PC

Ie D

rive

r

1

2

3

48

4

C1

C2

C3

C4

C48

Queue#1

Queue#48

Intel Xeon Multicore Host-side Tile Gx Multicore Accelerator-side

Core별 thread별 Session based Analysis IDS/IPS Firewall DDoS Session Monitoring Packet Analysis

CPU core Channel

Passthrough

• 수신 네트워크 패킷을 5-tuple에 따라 분류한 후 Session기반으로 CPU-core에 전달 • Packet-queue방식으로 Thread별 queue를 할당하여 CPU core에 직접 전달 – latency 최소화 • Core별 응용을 수행할 수 있도록 CPU 점유율을 최소화 < 5% • Hash 또는 Round-Robin 방식으로 분류

Max 48-core distrubution

• 최대 48 CPU core Session 지원

- 40Gbps 무손실 패킷 Capture &

Transmit 지원

- Host CPU 부하율 < 5%이하

- 64byte 기준 40Gbps packet transfer

- Kernel bypass

PCIe

T(4

8co

res)

PPT(1

2co

res)

DDR Memory

KRnet2016


12

네트워크 패킷 무손실 수집 및 부하분산 가속

SXR(Secure Accelerator)

Mobile

FW+IDS+IPS+VPN + Anti-SPAM + Anti-DDoS

KRnet2016


13

실시간 모니터링 및 Real-time 트래픽 Analysis – K-ICT NET 챌린지 시즌 캠프2(NIA)

• Flow 및 Session 정보는 방대한 Packet 데이터를 간략하게 추상화시켜 보여줌으로써 행위 및 패턴 분

석 등에 활용되며, 네트워크 통신의 가시성을 제공하는 핵심 Meta-data임.

• 네트워크 분석 기술들은 저장된 Packet 정보로부터 Flow 및 Session 정보를 생성하는 데 많은 시간을

소요하며, 만일 저장된 Packet 정보가 클 경우 엄청난 Overhead를 발생

플로우(Flow) 및 세션(Session) 정보는 Network Abstraction을 통한 대표 Meta-Data

• Flow : 동일한 5-tuple(Source IP, Source Port, Destination IP, Destination Port, Protocol) 정보를 가진 Packet들의 집합으로 Active timeout, Inactive timeout에 의해 생성

• Session : 특정 응용의 통신 시작과 끝에 사이에 포함되는 동일한 5-tuple(Source IP, Source Port, Destination IP, Destination Port, Protocol) 정보를 가진 Packet들의 집합

KRnet2016


14

실시간 모니터링 및 트래픽 Analysis – K-ICT NET 챌린지 시즌 캠프2(NIA)

• 트래픽 임계치 설정 : 이상 상황 발생 시에 자동으로 경보 및 분석을 수행하고, 리포트 생성

• 입력 & 저장 모니터링 : First-N 설정에 따른 입력 데이터와 저장 데이터를 동시에 실시간으로 모니터링

패킷 / 플로우 / 세션에 대한 정확한 실시간 정보 모니터링

• 일괄 관제 : 주 화면 상에 타임 라인 모니터링과 이벤트 발생 상황, 시스템 자원 현황, 그리고 트래픽 분석 결과를 한번에 표시

• 이벤트 설정 및 자동 감시 : 트래픽 임계치 설정을 통하여 이상 트래픽 발생을 실시간 감시하며, 이벤트 발생 시 자동으로 트래픽 분석과 보안 검사를 자동으로 수행하여 리포트 생성

• 동시 입력과 저장 감시 : 입력 데이터와 저장 데이터의 현 상황을 동시에 표시

• 일괄 데이터 감시 : 입력 데이터(패킷)과 생성 데이터(플로우, 세션)을 동시에 감시함으로써 이상 현황에 대한 빠른 파악이 가능

KRnet2016


15

실시간 모니터링 및 트래픽 Analysis - K-ICT NET 챌린지 시즌 캠프2(NIA)

• 긴급 검사[이벤트 검사] : 이상 트래픽 발생 시에 트래픽을 자동으로 분석하여 리포트 생성 및 저장

• 정기 검사[스마트 검사] : 지정된 주기마다 저장된 트래픽을 분석하여 리포트 생성 및 저장

• 사용자 검사 : 지정한 시간 간격에 해당하는 트래픽의 정기 분석 결과를 정리하여 리포트 생성 및 저장

사용자 및 응용에 대한 DPI 분석을 통해 네트워크 트래픽에 대한 분석 정보를 제공

• 트래픽 분석 설정 : 긴급 및 정기 검사에 필요한 정보를 설정할 수 있도록 함으로써 운용자의 자율성 증대

• 결과 보고 : 이벤트 리스트에 분석 실행에 대한 결과를 등록하고, 세부 정보들을 데이터베이스 및 리포트로 생성하여 저장

• Top N 정보 : 주 화면에 Top N 정보를 제공하여 문제 발생 시에 정보 분석이 용이

• 사용자 중심 분석 : 등록된 사용자 IP 정보를 중심으로 트래픽 사용량과 개별 프로토콜 사용량 정보를 제공

• 응용 중심 분석 : DPI 엔진을 사용하여 응용들을 검출하고 이에 대한 트래픽 양을 계산하여 정보로 제공

KRnet2016


16

실시간 모니터링 및 Real-time 트래픽 Analysis – K-ICT NET 챌린지 시즌 캠프2(NIA)

KOREN 설치/연동/시험/검증

KRnet2016


17

XaPCA(Advanced Packet Capture Appliance)

• Network Recorder : 네트워크의 정보를 실시간으로 저장하는 장비

• Analysis : 네트워크 정보의 저장 후 분석을 지원하기 위한 기반 장비

Packet Capture Appliance

감시

수집

분석

검증

검출

네트워크 문제 해결 및 최적화

네트워크 성능 측정, 병목 구간, 활동 분석

네트워크 포렌식

네트워크 공격/위협 감지 및 조직 내부의 네트워크 감사, 부정 방지

네트워크 정보 확인

각종 프로토콜 및 행위 추적

과거 미탐지 위험 재분석

재귀적 네트워크 보안 분석

네트워크의 등장 시부터 존재 : 네트워크가 존재하는 한 존재할 수 밖에 없는 장비

근래의 네트워크 보안의 이슈화로 인해 필요성이 점점 부각 : 실시간 검출 및 차단의 한계성

40G Accelerator를 사용하여 ㈜엑사비스에서 제품화

KRnet2016


18

XaPCA - 필요성

• 10Giga 네트워크(1일 30TB 저장 공간 필요) 및 3개월

에서 1년 이상의 장기간 저장 시 이에 따른 저장 공간

최적화 기술 필요

• 저장된 네트워크 패킷을 분석하기 위해서는 세션/플로

우 정보와 같은 분석을 위한 메타데이터가 필요함. 플

로우/세션 실시간 생성/저장 기술 필요(메타데이터 생

성에 저장 기간의 1/3시간이 소요됨) 필요 시 저장

된 정보에 대한 즉시 분석 가능

• 회귀보안분석: 신규 룰 업데이트 시 이를 적용한 과거

위협 검사. 보안 정책 수립 시 과거에 대한 보안 전체

룰 검사를 통한 취약점 검출로 맞춤형 보안 정책 수립

KRnet2016


19

XaPCA(Advanced Packet Capture Appliance) – 패킷저장의 최소화

기존 Full-Packet 저장 방식 가변길이 세션 초기 N Packet 저장 방식

Giga Network의 획일적인 Long-time Full Packet Capture에서 발생하는 저장 공간의 부족을 해소

적용 환경에 따라 N 개의 패킷 또는 N 크기의 저장량을 제어함으로써 최적의 저장 환경 제공

XaPCA는 고속/대용량의 네트워크 환경에서 Packet 정보의 장기간 저장을 위한 장비

KRnet2016


20

XaPCA(Advanced Packet Capture Appliance) - 저장방식

획일화된 Full-Packet 저장 방식에서 탈피하여 저장 목적에 맞도록 네트워크 데이터를 추출하여 저장

저장 공간 및 기간의 효율성, 분석 능력의 극대화

Packet 저장 목적에 최적화된 다양한 저장방식을 제공 : 5-Category

KRnet2016


21

XaPCA(Advanced Packet Capture Appliance) - 고속검색

• No Indexing : 패킷 정보의 인덱싱은 활용성에 비해 저장 공간 효율성이 너무 떨어짐.

• Drill-down Search : 세션 플로우 패킷 순의 검색으로 인덱싱 없이 목표 패킷들을 고속 검색

패킷 정보 인덱싱의 효율성 VS 저장 공간 효율성 : No Indexing Drill-down Search

Session

Packet Packet Packet Packet Packet

추상화된 정보의 실시간 생성 및 저장

Flow Flow

추상화된 정보를 중심으로 하위 정보를 검색

Session Files

Flow Files

Packet Files

플로우 리스트 정보 추출

패킷 저장 시간 정보 추출 소용량 정보 검색

패킷 파일 병렬 검색

KRnet2016


22

XaPCA(Advanced Packet Capture Appliance)– 회귀보안분석

• 신규 탐지 룰의 적용은 신규 보안 위협의 생성 시와 현재까지의 보안 공백이 있었다는 것을 의미

• 침입 여부 / 침입 대상 / 행위 분석 / 피해 예측 등의 후속 조치가 반드시 필요

회귀보안 분석은 네트워크 보안 탐지 영역을 현재에서 과거 + 현재로 확대

KRnet2016


23

XaPCA(Advanced Packet Capture Appliance) - 트래픽 Analysis

• 긴급 검사[이벤트 검사] : 이상 트래픽 발생 시에 트래픽을 자동으로 분석하여 리포트 생성 및 저장

• 정기 검사[스마트 검사] : 지정된 주기마다 저장된 트래픽을 분석하여 리포트 생성 및 저장

• 사용자 검사 : 지정한 시간 간격에 해당하는 트래픽의 정기 분석 결과를 정리하여 리포트 생성 및 저장

사용자 및 응용에 대한 DPI 분석을 통해 네트워크 트래픽에 대한 분석 정보를 제공

• 트래픽 분석 설정 : 긴급 및 정기 검사에 필요한 정보를 설정할 수 있도록 함으로써 운용자의 자율성 증대

• 결과 보고 : 이벤트 리스트에 분석 실행에 대한 결과를 등록하고, 세부 정보들을 데이터베이스 및 리포트로 생성하여 저장

• Top N 정보 : 주 화면에 Top N 정보를 제공하여 문제 발생 시에 정보 분석이 용이

• 사용자 중심 분석 : 등록된 사용자 IP 정보를 중심으로 트래픽 사용량과 개별 프로토콜 사용량 정보를 제공

• 응용 중심 분석 : DPI 엔진을 사용하여 응용들을 검출하고 이에 대한 트래픽 양을 계산하여 정보로 제공

KRnet2016


24

XaPCA(Advanced Packet Capture Appliance) - 사이버표적공격 역추적 시스템

10G 백본 링크에 TAP을 연결하여 트래픽을 복제 XaPCA 로 전송

XaPCA의 패킷 저장 방법 중 Type A(세션/플로우 + No Packet)를 이용하여 2년 이상 장기간 저장

역추적 명령 수령 시 저장된 세션/플로우 정보를 기반으로 추적 정보를 생성하여 전달

단일 타겟에 대한 다중 소스 데이터(다중 경로 등) 역추적 시스템

• KT 기업 서비스망에서 사용자 네트워크까지 연결되는 네트워크 구간의 10G 백본 구간에서 세션/플로우 정보를 실시간으로 생성하고 저장

• 세션/플로우 정보만 생성하여 저장하기 때문에 다중 라우터 구간이라고 해도 2년 이상의 장기간 네트워크 정보 저장을 보장

KRnet2016 25

Contact Information

(주)에프아이시스 대전광역시 서구 둔산대로 117번길 44, 303호 (만년동, 엑스포오피스텔)

TEL +82-42-935-5409

FAX +82-42-936-5409 http://www.fisys.co.kr

발표자 ㈜에프아이시스 김종오 e-mail: [email protected] 2016. …b1%e8%c1%be%bf%c0.pdf2....

Documents