보안과 빅데이터의 올바른 접목

60

Upload: -

Post on 27-Jun-2015

930 views

Category:

Documents


1 download

DESCRIPTION

다소 불친절한 종합편..

TRANSCRIPT

Page 1: 보안과 빅데이터의 올바른 접목
Page 2: 보안과 빅데이터의 올바른 접목

‘빅데이터 분석으로 살펴본 IDS와 보안관제의 완성’ 저자 [email protected]

강명훈

Page 3: 보안과 빅데이터의 올바른 접목

목차

1. 보안이란?

Page 4: 보안과 빅데이터의 올바른 접목

[4]

세상 모든 사람들이 착해졌으면 좋겠어요…

1. 보안이란?

Page 5: 보안과 빅데이터의 올바른 접목

[5]

세상 사람들이 모두 착해지면 이 세상은 전쟁도, 범죄도, 해킹도 없는 천국…

1. 보안이란?

하지만 그런 세상은 오지 않음… 모든 시스템, 애플리케이션의 보안이 완벽해지는 날 역시 오지 않음

결국 해킹은 (기술이 아무리 발전해도) 근절할 수 없는 사회병리현상…

Page 6: 보안과 빅데이터의 올바른 접목

[6]

1. 보안이란?

소중한 무언가를 지키는 행위

알 수 없는 누군가로부터

Page 7: 보안과 빅데이터의 올바른 접목

[7]

국경이 없는 사이버보안…

1. 보안이란?

적을 정의할 수 없는 사이버보안…

Page 8: 보안과 빅데이터의 올바른 접목

[8]

• 클리포드 스톨 (Clifford stoll, 1951~)

• 천문학자

• ‘뻐꾸기의 알’ 저자

1. 보안이란?

Page 9: 보안과 빅데이터의 올바른 접목

[9]

1980년대 초창기 사이버보안…

1. 보안이란?

해커를 잡기위해 1년 동안 시스템 로그를 뒤진 클리포트 스톨…

왜 1년이나 걸렸을까?

Page 10: 보안과 빅데이터의 올바른 접목

[10]

Mobile Networks

Private Networks

Public Networks

대량 발생

보안측면에서 낮은 정확도

상태/동작 로그, 트래픽 등

1. 보안이란?

Page 11: 보안과 빅데이터의 올바른 접목

[11]

정확도가 낮은, 대량의 로그를 뒤져야 하는 어려움..

1. 보안이란?

그리고 효과적인 로그 분석법을 연구한 사람들…

Page 12: 보안과 빅데이터의 올바른 접목

[12]

1. 보안이란?

• 도로시 데닝 (Dorothy Denning, 1945~)

• IDS 동작 모델 정립(1986)

→ 오용 행위

→ 비정상 행위

Page 13: 보안과 빅데이터의 올바른 접목

[13]

• 마틴 로시 (Martin Roesch, 1951~)

• Snort 개발(1998)

• IDS 대중화

1. 보안이란?

Page 14: 보안과 빅데이터의 올바른 접목

[14]

IDS(Intrusion Detection System)

1. 보안이란?

왜 하필 패턴검사인가?

Page 15: 보안과 빅데이터의 올바른 접목

[15]

1. 보안이란?

너무해!

아니 배추할래ㅋㅋ

Page 16: 보안과 빅데이터의 올바른 접목

[16]

1. 보안이란?

HTTP/1.1 200OK (옛다!)

GET /index.html HTTP/1.1 (index.html 좀 보여주세요)

Page 17: 보안과 빅데이터의 올바른 접목

[17]

패턴을 주고 받으면서 이루어지는 인간의 의사소통…

1. 보안이란?

인간을 대신해서 이루어지는 컴퓨터의 의사소통…

주고 받는 패턴에 따라 의사소통의 성격을 파악할 수 있다…

Page 18: 보안과 빅데이터의 올바른 접목

[18]

일반로그보다 그나마 소량 발생

일반로그보다 그나마 높은 정확도

보안 솔루션

일반로그

패턴 필터링

보안로그

1. 보안이란?

Page 19: 보안과 빅데이터의 올바른 접목

[19]

IDS • 전역 패턴 검사 • 탐지

IPS • 전역 패턴 검사 • 탐지/차단

웹방화벽 • 웹서비스 패턴 검사 • 탐지/차단

1. 보안이란?

Page 20: 보안과 빅데이터의 올바른 접목

[20]

IDS 이후 저마다의 차별성을 주장하며 등장한 보안솔루션들…

1. 보안이란?

그러나 기본 동작 방식은 IDS의 패턴검사…

그리고 네트워크 기반에서 동작한다는 또 하나의 공통점…

Page 21: 보안과 빅데이터의 올바른 접목

[21]

1. 보안이란?

네트워크에 연결되지 않은 컴퓨터를 해킹하느라 고생중인 톰

Page 22: 보안과 빅데이터의 올바른 접목

[22]

hacked by Anonymous

hack 패턴 필터링

hack 이벤트 발생

1. 보안이란?

우리가 원하는 패턴검사

Page 23: 보안과 빅데이터의 올바른 접목

[23]

친구가방으로 갔다

가방 패턴 필터링

가방 공격?

1. 보안이란?

우리가 원하지 않는 패턴검사

Page 24: 보안과 빅데이터의 올바른 접목

[24]

같은 악보! 다른 노래?

1. 보안이란?

Page 25: 보안과 빅데이터의 올바른 접목

[25]

7음계의 표현 한계때문에 표절 시비가 끊이지 않는 음악계…

1. 보안이란?

정보 표현의 한계… 필연적인 공격 표절 발생…

Page 26: 보안과 빅데이터의 올바른 접목

[26]

1. 보안이란?

Page 27: 보안과 빅데이터의 올바른 접목

[27]

1. 보안이란?

Page 28: 보안과 빅데이터의 올바른 접목

[28]

해킹이 발생했고, 로그도 있지만 홈페이지가 바뀌어야만 확인할 수 있다…

1. 보안이란?

손을 흔들어줘야만 수많은 사람들속에서 월리를 찾을 수 있다…

해법은?

Page 29: 보안과 빅데이터의 올바른 접목

[29]

1. 보안이란?

애들 푼다?

인력을 늘리거나

Page 30: 보안과 빅데이터의 올바른 접목

[30]

1. 보안이란?

9개만 막으면 퇴근~♪

로그를 줄이거나

Page 31: 보안과 빅데이터의 올바른 접목

목차

1. 보안이란?

Page 32: 보안과 빅데이터의 올바른 접목

[32]

2. 빅데이터?

DATA

표본검사

1차원 결과

BIG DATA

전수검사

다차원 결과

Page 33: 보안과 빅데이터의 올바른 접목

[33]

2. 빅데이터?

존재 자체로 의미 있는 데이터!

검색어는 검색어 통계 분석에 적합한,

Page 34: 보안과 빅데이터의 올바른 접목

[34]

매출 분석에 적합한, 정확한 상품 판매 데이터

2. 빅데이터?

Page 35: 보안과 빅데이터의 올바른 접목

[35]

성공한 빅데이터의 공통점…

1. 보안이란?

목적에 맞는, 정확한 데이터를 분석했다…

보안로그는?

Page 36: 보안과 빅데이터의 올바른 접목

[36]

누구 찍었어요?

투표 안했는데?

여친 이뻐요?

여친이 뭔가요?

보안 위협이 궁금하다면 보안 위협이 맞는지부터 확인해야...

2. 빅데이터?

Page 37: 보안과 빅데이터의 올바른 접목

[37]

http://www.zdnet.co.kr/news/news_view.asp?artice_id=20130514083136

“빅데이터 처리 기술이 발달하면서 수많은 솔루션, 장비들이 만들어 내는 로그를 하나로 통합해 관리할 수 있게 됐다.”

“앞으로 관건은 어떤 내용을 탐지하고 경고를 알릴지에 대한 정교한 패턴을 짜는 것이다. 이는 도입하는 회사의 몫으로 남아 있다.”

2. 빅데이터?

Page 38: 보안과 빅데이터의 올바른 접목

[38]

숙취엔 해장술?

2. 빅데이터?

패턴을 검사하는 패턴?

Page 39: 보안과 빅데이터의 올바른 접목

[39]

패턴 필터링

패턴 필터링

빅데이터 보안로그?

보안로그

2. 빅데이터?

일반로그

일반로그

Page 40: 보안과 빅데이터의 올바른 접목

[40]

시나리오

연관 분석

? 수 많은 솔루션, 장비들 로그를 조합

정교한 패턴

2. 빅데이터?

Page 41: 보안과 빅데이터의 올바른 접목

[41]

국내외 많은 벤더들이 강조한 연관분석…

1. 보안이란?

몇 년 전부터 시나리오란 용어를 사용하기 시작…

다른 말? 같은 말!

Page 42: 보안과 빅데이터의 올바른 접목

[42]

부정확한 보안로그

일반로그 + 시나리오 ?

정확한 보안로그 정확한 보안로그

일반로그 + 시나리오 =

2. 빅데이터?

=

Page 43: 보안과 빅데이터의 올바른 접목

[43]

시나리오의 기준은 일반로그보다 정확한 보안로그…

1. 보안이란?

보안로그가 부정확하면?

일반로그를 기준으로 사용할 수 있을까?

Page 44: 보안과 빅데이터의 올바른 접목

[44]

GET /index.php?id=5677

HTTP/1.1 200 OK

GET /index.php?id=5677%20and%201=1

HTTP/1.1 200 OK

2. 빅데이터?

Page 45: 보안과 빅데이터의 올바른 접목

[45]

공격에 대한 응답로그를 보면 정확한 판단이 가능할까?

1. 보안이란?

공격으로 발생한 에러 로그?

에러 로그는 공격이 아닐 때도 발생 가능…

Page 46: 보안과 빅데이터의 올바른 접목

[46]

수년째 강조되고 있지만 성공사례가 없는 시나리오…

1. 보안이란?

이유는?

기준이 되어야 할 보안로그가 부정확해서…

정확한 보안로그, 시나리오…우선순위는?

Page 47: 보안과 빅데이터의 올바른 접목

[47]

빅데이터의 시작은 스몰 데이터에서

2. 빅데이터?

잘 뛰고 싶다면 걸음마부터

수신제가치국평천하(修身齊家治國 平天下)

Page 48: 보안과 빅데이터의 올바른 접목

목차

1. 보안이란?

Page 49: 보안과 빅데이터의 올바른 접목

[49]

tcp syn flooding

udp port scan

slammer worm

2011년 보안로그

하루 발생량 70GB

(이글루시큐리티)

2001년 3GB

언제 다 분석하노?

3. 보안로그 분석

Page 50: 보안과 빅데이터의 올바른 접목

[50]

http://dailysecu.com/news_view.php?article_id=4754

엄청난 보안로그 쌓아만 두면 뭐하나… 분석 안하면 쓰레기!

맥아피는…기업은 평균 1주일에 11~15TB의 시큐리티 데이터를 보관하고 있어 빅 시큐리티 데이터를 보존하는 것으로 인한 이득이 없는 것으로 조사됐다.

1TB는 약 1조 개의 알파벳 저장

3. 보안로그 분석

Page 51: 보안과 빅데이터의 올바른 접목

[51]

저 많다는 보안로그…다 공격일까?

1. 보안이란?

1조개의 알파벳에서 공격 패턴을 찾아야 하는 현실…해법은?

Page 52: 보안과 빅데이터의 올바른 접목

[52]

3. 보안로그 분석

Page 53: 보안과 빅데이터의 올바른 접목

[53]

3. 보안로그 분석

로그 하나하나의 패턴을 분석해야 한다…

Page 54: 보안과 빅데이터의 올바른 접목

[54]

탐지패턴 전 탐지패턴 탐지패턴 후

3. 보안로그 분석

패턴을 일괄적으로 분석?

Page 55: 보안과 빅데이터의 올바른 접목

[55]

시간 공격명 출발지 출발지포트 목적지 목적지포트

00:00:01 sql injection and 10.0.0.1 8357 192.168.0.1 80

00:00:02 sql injection or 10.0.0.2 54479 192.168.0.2 8080

00:00:03 udp floding 10.0.0.3 5444 192.168.0.3 544

00:00:04 http RFI 10.0.0.4 4789 192.168.0.4 80

00:00:05 sql injection and 10.0.0.5 10658 192.168.0.5 80

00:00:06 tcp syn flooding 10.0.0.6 8523 192.168.0.6 80

00:00:07 icmp scan 10.0.0.7 0 192.168.0.7 0

00:00:08 sql injection or 10.0.0.8 26503 192.168.0.8 9701

00:00:09 sql injection and 10.0.0.9 3170 192.168.0.9 80

페이로드

?

3. 보안로그 분석

Page 56: 보안과 빅데이터의 올바른 접목

[56]

3. 보안로그 분석

비정형데이터를 정형데이터로 바꾸면…

월리와 월리가 아닌 사람들이 정량적으로 파악된다…

Page 57: 보안과 빅데이터의 올바른 접목

[57]

정량적으로 측정된 공격과 오탐 패턴은…

1. 보안이란?

룰패턴 정확도 개선의 근거…

결국 보안로그는 정확해진다…

Page 58: 보안과 빅데이터의 올바른 접목

[58]

출력된 로그를 분석하면

입력된 룰의 문제점을 찾을 수 있다

입력한 만큼 출력된다

3. 보안로그 분석

콩 심은 데 콩 나고, 팥 심은 데 팥 난다

Page 59: 보안과 빅데이터의 올바른 접목

[59]

로그 전수검사

룰 정확도 향상

로그 발생량 감소

신속한 방어 체계

전수검사

정확도 향상

발생량 감소

신속한 방어

3. 보안로그 분석

Page 60: 보안과 빅데이터의 올바른 접목