· 침체기에 빠져있었으나 2000년대 중반이후 딥러닝 등의 학습 알고리즘...

1861호2018.8.29.

「주간기술동향」은 과학기술정보통신부「ICT 동향분석 및 정책지원」

과제의 일환으로 정보통신기술진흥센터(IITP)에서 발간하고 있습니다.

「주간기술동향」은 인터넷(http://www.itfind.or.kr)을 통해 서비스를 이

용할 수 있으며, 본 고의 내용은 필자의 주관적인 의견으로 IITP의 공식

적인 입장이 아님을 밝힙니다.

정보통신기술진흥센터의「주간기술동향」저작물은 공공누리 “출처표시-

상업적 이용금지” 조건에 따라 이용할 수 있습니다.

※ 공공누리의 제2유형에 따라 상업적 이용은 금지하나, “별도의 이용 허락”

을 받을 경우에는 가능하오니 이용하실 때 공공누리 출처표시 지침을

참조하시기 바랍니다.(http://www.kogl.or.kr/info/license.do 참고)

예시) “본 저작물은 ‘OOO(기관명)’에서 ‘OO년’ 작성하여 공공누리 제O유형

으로 개방한 ‘저작물명(작성자:OOO)’을 이용하였으며, 해당 저작물은

‘OOO(기관명), OOO(홈페이지 주소)’에서 무료로 다운받으실 수 있습

니다.”

ICT 신기술 최신 ICT 이슈

1861호

기획시리즈 2

인공지능 기술 동향

[박승규/남서울대학교]

Ⅰ. 서론

Ⅱ. 인공지능 기술 개요

Ⅲ. 인공지능 4대 주요 기술요소 동향

IV. 향후 전망

ICT 신기술 14

데이터 레이크 기술 동향과 도입 원칙

[백 현/성균관대학교 기술경영 전문대학원 ]

Ⅰ. 서론

Ⅱ. 데이터 레이크 동향 변화

Ⅲ. 성공적인 데이터 레이크 프로젝트를 위한 원칙

Ⅳ. 결론 및 시사점

최신 ICT 이슈 25

Ⅰ. 전세계 디지털 혁신 공급망을 꿈꾸는 캐나다의 AI 수퍼클러스터

Ⅱ. 에어버스, 태양광 무인항공기 26일 연속 비행 신기록

Ⅲ. 미국 기업의 81%, 2025년까지 사용 전력의 25%를 자가 발전

2 www.iitp.kr

주간기술동향 2018. 8. 29.

*

박승규

남서울대학교 교수

1950년대 중반 AI(Artificial Intelligence)란 용어가 등장한 이후 시작된 인공지능은 한동안

침체기에 빠져있었으나 2000년대 중반이후 딥러닝 등의 학습 알고리즘 개선과 하드웨어

인프라 환경 개선에 힘입어 비약적인 발전을 이루고 있다. 2016년 알파고의 등장은 드디어

인간을 능가하는 인공지능이 머지않아 출현하겠구나 하는 우려를 낳을 만큼 사회전반에

큰 충격을 준바 있다. 본 고에서는 이와 같이 하루가 다르게 발전하고 있는 인공지능

분야에 관한 전반적인 기술 동향을 다룬다. 이를 위해 인공지능 주요 기술요소를 학습지능,

추론/행동/표현지능, 음성인식/이해지능, 시각지능 등 4개 부문으로 나누고, 각 부문별

기술개발 현황과 산업 활용 사례를 살펴본다.

I. 서론

인공지능이란 용어가 1956년 처음 등장한 이래로 광범위한 분야에서 사람처럼 외부의 정보

를 인식하고, 학습하고, 추론하고, 행동하는 기술에 관한 연구가 진행되어 왔으며 일부 영역에

서는 사람의 능력을 넘어서는 수준으로 구현되고 있다. 1970년대 인공지능을 연구하던 초기에

는 주로 인간의 지식을 IF, THEN의 규칙 형태로 표현하여 룰베이스로 구축하는 전문가시스템

이 주를 이루었으며, 기계학습이라는 개념은 매우 미약했다. 1980년대 중반에 신경회로망이

등장하면서 기계학습 분야의 연구가 활발히 일어났으나 당시의 컴퓨팅 인프라의 한계 등으로

인해 한동안 정체기를 맞기도 했다. 그러나 2000년대 중반 이후 딥러닝 등의 학습 알고리즘

개선과 하드웨어 인프라 환경 개선 등에 힘입어 비약적인 발전을 이루었으며, 2016년 알파고

의 등장으로 이제는 인간을 능가하는 인공지능의 출현을 우려할 정도의 수준에까지 이르렀다.

* 본 내용은 박승규 교수(☎ 041-580-3558, [email protected])에게 문의하시기 바랍니다.

** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

인공지능 기술 동향

기획시리즈 – 인공지능

정보통신기술진흥센터 3

본 고에서는 이와 같이 하루가 다르게 발전하고 있는 인공지능 기술에 관한 전반적 동향을

다룬다. 이를 위해 II장에서 인공지능과 주요 기술요소들(학습지능, 추론/행동/표현지능, 음성

인식/이해지능, 시각지능)에 관한 정의를 기술하고, III장에서 기술요소별 개발 현황과 산업

활용 사례를 살펴본다. 마지막으로 IV장에서 향후 전망을 제시한다.

II. 인공지능 기술 개요

1. 인공지능은 무엇인가

[표 1]에는 인공지능에 관한 8가지의 흥미로운 정의가 기술되어 있다. 이 정의들은 2개 차원

으로 분류해 볼 수 있는데, 표의 위쪽에 있는 것은 사고(thought) 과정과 추론에 중점을 둔

것이고, 아래에 있는 것은 행동(behavior)에 중점을 둔 것이다. 왼쪽에 있는 것은 인간(human)

을 중심에 두고 있는 반면, 오른쪽은 합리성(rationality)을 중심에 두고 있다는 것을 알 수 있으

며, 두 차원에 의해 구분된 4개의 사분면 각각은 인공지능을 구현하는 나름의 접근 방식으로

이해할 수 있다[1].

<자료> 소프트웨어정책연구소, 2016.

[그림 1] 인공지능의 역사

4 www.iitp.kr

주간기술동향 2018. 8. 29.

[표 1] 인공지능에 관한 정의

인공지능 초기의 연구는 대부분 오른쪽(1, 4사분면)의 접근방식이 많았다면 신경회로망과

특히, 딥러닝의 등장 이후는 왼쪽(2, 3사분면)의 접근방식이 주류를 이루고 있는 추세이다.

2. 인공지능 주요 기술 요소

인공지능을 구성하는 주요 기술을 분류하는 방식은 연구자에 따라 다양하다[2]-[5]. 본 고에

서는 기존 사례를 참고하는 한편, 보고(시각지능), 듣고(음성인식/이해지능), 생각하며 표현하

고(추론/표현지능), 배우는(학습지능) 즉, “인간처럼 생각/행동, 합리적으로 생각/행동”하는 인

공지능의 구현을 위해 필요한 가장 기본적인 요인들(물론 이것은 전적으로 저자의 주관임)로

4개의 인공지능 주요 기술 요소를 정리([표 2])하고 다음 장에서 각 기술 요소별 세부 동향과

사례를 기술한다.

[표 2] 인공지능 주요 기술 요소

인간처럼 생각하는 시스템 합리적으로 생각하는 시스템

- 컴퓨터를 생각하게 만들기 위한 재미있는 새로운 노

력... 말 그대로 “마음을 가진 기계”(Haugeland 1985)- 의사결정, 문제해결과 같은 활동, 즉 인간의 사고

(thinking)와 관련된 활동의 자동화(Bellman 1978)

- 계산적 모델(computational models)의 사용을 통한 정

신적 능력(mental faculties)에 대한 연구(Charniak and

McDermott 1985)

- 지각, 추론 행동을 가능하게 하는 계산들(computations)

에 대한 연구(Winston 1992)

인간처럼 행동하는 시스템 합리적으로 행동하는 시스템

- 인간처럼 지능을 필요로 하는 그러한 기능(function)을

수행하는 기계를 창조하는 기술(Kurzweil 1990)

- 인간이 더 잘하는 것을(things) 어떻게 하면 컴퓨터가

하게 만들지를 연구하는 것(Rich and Knight 1991)

- 계산 지능(Computational Intelligence)은 지능적 에이

전트를 설계하는 것에 대한 연구이다.(Pool et al

1998)

- AI는.....인공물에서의 지능적 행동(behavior)과 관련된

다.(Nilsson 1998)

<자료> Artificial Intelligence: A Modern Approach, 2009.

인공지능 구현방식 기술 요소

1. 합리적으로 생각하기

2. 인간처럼 생각하기

3. 인간처럼 행동하기

4. 합리적으로 행동하기

① 학습지능: 기계가 새로운 환경에 적응하고 패턴들을 감지하고 추정한다.

② 추론/표현지능: 기계가 아는 것, 들은 것을 저장한다. 질문에 답하거나 새로운

결론을 유도하기 위해서 저장된 정보를 사용한다.

③ 음성인식/이해지능: 기계가 대화하는 것을 가능하게 한다.

④ 시각지능: 기계가 물체를 지각한다.



III. 인공지능 4대 주요 기술요소 동향

1. 학습지능 구현기술 주요 동향 및 사례

기계학습 분야에서는 오랫동안 데이터로부터 특정 업무를 수행하기 위한 정보를 학습시키

려는 연구들이 진행되어 왔으며 그 결과, 다양한 학습 모델과 알고리즘들이 개발되었다. 그런

데, 2000년대 후반부터 딥러닝 기술이 발전하며 다양한 벤치마크 테스트에서 다른 방법들을

압도하는 높은 성능을 보이면서 응용영역을 넓혀 가고 있다. 딥러닝은 인간 뇌의 정보처리

과정을 수학적인 모델링을 통해 모사한 모형이다. 주로 깊은 신경망을 이용해 구현하는데,

복잡하고 변화가 많은 응용 분야에 탁월한 성능을 보인다. 2016년 초까지 딥러닝의 깊이 경쟁,

성능 경쟁이 진행되었으나 알파고의 출현 이후 이제 학습의 경쟁으로 전환하고 있다[6].

강화학습의 등장이 그것인데 강화학습의 학습 방식은 기존 방식과 많이 다르다. 기존 기계

학습(지도 또는 비지도 학습)의 경우에는 사람(전문가)에 의해 학습할 데이터가 정해져 주어지

는 정적인 것이라면, 강화학습은 인공지능 자체가 현재의 환경에서 보상을 극대화하기 위해

필요한 데이터를 수집해 가며 학습을 진행하는 동적인 것이라 할 수 있다. 딥마인드의 DQN

(Deep Q-network)이 강화학습을 구현한 대표적 예인데, 이미 잘 알려진 검증 영상에서 보는

<자료> LG경제연구원, 2017. 10.

[그림 2] 딥러닝의 경쟁 핵심 변화

6 www.iitp.kr

주간기술동향 2018. 8. 29.

바와 같이 DQN은 처음에는 게임을 전혀 진행하지 못하다가 일정 기간의 시행착오를 거친

후에는 능숙하게 게임을 진행하게 된다[7]. 이와 같은 강화학습의 잠재력은 알파고의 등장으

로 거의 충격적일 정도로 일반 대중에 각인되었는데, 바둑이라는 제한된 분야이지만 인간이

쌓아온 수십 년간의 노하우를 단 1년 만에 눌렀기 때문이다.

강화학습 기반의 인공지능이 빠르게 발전해 왔지만 이 또한 분명한 한계를 가지고 있다.

앞서 “보상을 극대화”한다고 표현했으나, 실은 이 보상 함수를 설계하는 것이 매우 어려운

일이기 때문이다. 이에 따라 최근 강화학습의 주요 연구들은 Multi Agent, Meta Learning, Continuous

action, Imitation learning 등 한계를 극복하기 위한 다양한 방면으로 추진되고 있다.

학습기능의 산업화 사례로써, 대규모 데이터센터를 운영하면서 성능과 에너지 최적화를

위해서 기계학습을 활용한 구글의 사례가 있다. 데이터센터의 서버와 장비들의 사용 시간 및

에너지 사용량을 측정한 후 이 데이터들의 기계학습을 통해 장비들과 냉각 시스템을 운영하

였다. 그 결과 높은 정확도(99.6%의 PUE(Power Usage Effectiveness) 예측), 에너지 절감 등

데이터센터 운영 효율을 크게 개선하였다[8].

<자료> Google, 2014. 10.

[그림 4] 구글 기계학습 기반 데이터센터 운영 사례

<자료> LG경제연구원, 2017. 10.

[그림 3] 강화학습 기반의 인공지능: 벽돌깨기 게임 상황



2. 추론/표현지능 구현기술 주요 동향 및 사례

이 분야는 어떤 사실이나 정보를 기계와 인간이 모두 이해할 수 있는 형태로 나타내고,

기지의 정보들을 바탕으로 새로운 정보를 유도해 내는 것과 관련된 기술을 다룬다. 지식표현

분야에서는 규칙, 프레임, 의미망 등의 기존 개념들을

모두 통합한 온톨로지(Ontology)라는 체계가 대표적으

로 활용되고 있다.

추론은 인공지능과 일반 소프트웨어를 구분하는 핵

심이라 할 수 있으며, 딥러닝의 등장과 함께 최근 가

장 빠르게 발전하고 있는 분야라 할 수 있다. 2016년

에 발표된 “Ask me Anything”이라는 논문을 보면 인공

지능은 주어진 정보들을 바탕으로 질문과 관련된 새로운 정보를 조합하여 답을 제시한다[9].

사람에게는 매우 간단한 문제이지만 기존의 인공지능 기법으로 기계에게 추론 문제 해결능력

을 갖게 하는 것은 매우 어려운 것이었다.

기존의 인공지능 추론 엔진들은 대부분 인간의 개입을 상당 수준 필요로 하며, 성능 면에서

도 한계가 있었다. 구글의 지식 그래프, 애플 Siri의 기반인 울프람 알파 등이 그 예이다. 그러

나 최근 딥러닝 기반의 추론 엔진들은 문제 해결에 필요한 정보를 자체적으로 조합하여 추론

에 활용하므로 인간의 개입 필요성이 최소화 되었다.

2017년 발표된 “A simple neural network module for relational reasoning”이라는 논문을 보면,

이제는 문자 정보뿐만 아니라 다양한 주변 사물들을 인식하고 서로 간의 상대적인 관계까지

를 추론하고 있으며, 더 나아가 다음에 올 상황을 예측하는 인공지능이 제안되어 있다[10].

인공지능이 매 순간의 행동이 미래에 미칠 영향을 예측하여 최적의 행동을 선택하고, 현재

시점에서 다소 손해가 되더라도 장기적으로 최종 목적 달성을 위해 필요하다고 판단되면 행

동하는 것이다. 이는 인간처럼 미래를 예측하며 장기적 관점에서 계획하고 행동하는 인공지능

을 의미하며, 인간의 행동 패턴을 닮은 인공지능 구현의 시작이라는 점에서 큰 의미가 있다.

또한, 생물학적 기능 모방 기술, Brain Imaging 기술 등의 최근 예에서 보는 바와 같이 인간의

뇌와 같은 컴퓨팅 시스템을 개발하는 연구가 가속화될 것으로 보인다. 이 분야는 특히, ‘인지

컴퓨팅’이라 하여 심리학, 생물학, 물리학, 수학, 통계, 정보이론 등 인문학으로부터 공학에

걸친 다양한 학제가 아우러진 연구가 진행되고 있으며, 멀지않은 장래에 사람처럼 “생각하고

행동”하는 인공지능을 구현할 수 있을 것으로 기대된다.

<자료> A Kumar(FaceBook bAbI Project), 2016.

[그림 5] 추론 문제

8 www.iitp.kr

주간기술동향 2018. 8. 29.

‘챗봇(ChatBot)’은 이 분야의 산업화 사례로써 대표적인 것이라 할 수 있다. 챗봇은 사람과의

문자 대화를 통해 질문에 알맞은 답이나 각종 연관 정보를 제공하는 인공지능 기반의 커뮤니

케이션 소프트웨어를 지칭한다[11]. [그림 6]은 다양한 민원상담 질문에도 관련 정보를 제공할

수 있도록 자연어처리, 질의의도 분석, 답변생성 부분에 최신 인공지능 대화로봇 기술을 적용

한 지능형 상담시스템이다. 기존에 운영 중인 자동 민원 상담 서비스의 경우 대부분 사전에

정해진 문답 세트 기반으로 서비스를 구축해 한정된 질문 외에는 답변할 수 없는 문제가 있었

으나 인공지능 챗봇 도입을 통해 문제를 해결함과 동시에 주민 밀착형 서비스가 가능할 것으

로 기대하고 있다[12].

3. 음성인식/이해지능 구현기술 주요 동향 및 사례

음성인식 분야의 연구는 매우 오래전부터 진행되어 왔지만 현재까지도 완전히 자유로운

대화가 가능한 수준까지는 구현되지 못하고 있다. 언어 인식 분야의 인공지능 발전이 빠르지

못했던 것은 기존의 기법인 온톨로지 언어 모델은 사람(전문가) 중심의 방법론이고 언어의

확장성 또한 낮다는 큰 단점을 갖고 있었기 때문이다. 하지만 최근 딥러닝이 적용되면서 과거

와 달리 사람에 의존하지 않고 인공지능이 데이터에 기반한 학습을 통해 스스로 언어를 이해

하는 방식으로 전환하여 좋은 성능을 보이고 있다[6].

<자료> 행정안전부 보도자료, 2017. 9.

[그림 6] 지능형 상담시스템



인간이 일상적으로 사용하는 언어

를 기계적으로 분석하여 컴퓨터가

이해할 수 있는 형태로 만들거나 혹

은 그러한 형태를 다시 인간이 이해

할 수 있는 언어로 표현하는 기술을

자연어처리 기술이라 한다. 1950년대

음성인식 기술 연구와 동시에 자연

어처리 기술의 연구가 시작되어 현

재는 상용화 단계에 거의 도달한 것

으로 평가되고 있다.

구글(구글 어시스턴스), 애플(Siri)

등 글로벌 기업들이 개발한 프로그

램들은 이미 자연어 처리를 능숙하게 구사하는 단계에 있다. 우리나라도 한국전자통신연구원

이 개발한 엑소브레인이 2016년 EBS장학퀴즈에서 인간 퀴즈왕 4명과 대결을 펼쳐 우승하면서

자연어처리 분야에서 세계적 수준의 독자적 인공지능 기술을 확보할 수 있는 가능성을 보여

주었다[13].

기계번역은 자연어처리 분야에서 또 하나의 중요한 기술 분야이다. 인공신경망 기반의 기

계번역을 NMT(Neural Machine Translation)라 부르는데 기존의 통계 기반의 기계 번역 SMT

<자료> LG경제연구원, 2017. 10.

[그림 7] 언어인식 지능의 발전 과정

<자료> 구글, 2016.

[그림 8] 인공 신경망 기계 번역

10 www.iitp.kr

주간기술동향 2018. 8. 29.

(Statistical Machine Translation)와는 전혀 다른 방식으로 번역을 수행한다. SMT는 마치 퍼즐

조각을 맞추는 작업에 비유된다. 단어나 구 단위로 번역이 수행되기 때문에 번역과정이 이산

적이고 국소적 결정에 기반을 둔 선택을 한다. 반면, NMT는 그림을 그리는 과정에 비유된다.

문장 전체 정보를 문장 벡터로 변환하고 번역하기 때문에 연속적이고 전체적 결정에 기반한

선택을 할 수 있다.

인공신경망 방식의 기계 번역 기술은 2016년 후반기에 구글, 바이두, 네이버 등 몇 개의

기업에서 소수의 언어 쌍에 대해서만 서비스를 시작했고, 2017년에는 번역언어 쌍이 점점

늘어났다. 전 세계의 연구원들이 NMT의 품질 개선을 위해 어텐션 모델, 새로운 번역 프레임워

크, 인공신경망 기본 구조 등 다양한 연구 분야에서 노력하고 있으며 빠른 속도로 기술이

발전하고 있다. NMT는 번역결과가 틀렸을 때 원인을 파악하기 어려운 문제가 있다. 그래서

번역과정을 이해하는데 도움을 주는 시각화 도구에 대한 연구의 중요성이 높아지고 있다.

주요 산업화 사례로써 자동 통역 기술을 들 수 있으며,

특히 최근에는 통역 기술을 헤드셋이나 이어폰과 결합하

여 대화를 나누려는 사람들이 헤드셋을 착용한 후에 한

사람이 한국어로 말하면 상대방의 헤드셋에는 번역된 말

이 들리도록 하는 제품까지 소개되고 있다([그림 9] 참

조). 스마트폰을 꺼내지 않아도 되고 상대방 귀에 번역된

음성이 또렷이 들리는 것이 장점이다.

4. 시각지능 구현기술 주요 동향 및 사례

시각지능이란 사물을 인지하고 시공간적으로 상황을 파악할 수 있는 능력을 의미하며, 직

관적으로 사물을 인식하는 능력과 심층적 사고에 의한 인지 능력으로 나뉜다. 직관적으로 사

물을 인식하는 능력은 학습(경험)에 의해 사물의 특징과 내용을 정확히 이해하는 것이며, 심층

적 사고는 낯선 장면이나 감춰진 사물을 인식하기 위해 주변 상황으로 유추하는 능력을 의미한

다[14].

인간의 눈에 해당하는 사물 인식 분야에서는 이미 인간 수준을 넘어서는 인공지능이 구현

되고 있다[14]. 사물 인식 정확도를 경쟁하며 매년 열리고 있는 ImageNet 경진대회에서 이미

2015년 마이크로소프트가 96.43%의 정확도를 달성하여 인간의 인식률(94.90%)를 추월하였고,

2017년에 정확도가 97.85%에 이르고 있다.

<자료> 한국전자통신연구원, 2017.

[그림 9] 헤드셋 기반 자동 통역 기술



한편, 딥러닝 등장 이후 행동 인식 연구가 활발히 진행되고 있는데 특히, 영상 인식을 위해

제안된 알고리즘인 CNN(Convolutional Neural Network)은 행동 인식에서도 대표적으로 활용되

고 있다. 이외에 CNN의 약점(과거의 정보를 기반으로 현재의 상태를 판단하는 데 적합하지

않음)을 보완하기 위해 RNN(Recurrent Neural Network), LSTM(Long Short Term Memory) 등의

새로운 알고리즘들이 제안되는 등 행동 인식 지능을 개선하고 있다[15],[16].

우리나라의 경우 인공지능 국가전략 프로젝트 ‘딥뷰’를 2014년에 시작하여 5년차를 맞이하

<자료> LG경제연구원, 2017. 10.

[그림 10] 시각 인식 지능의 발전, ImageNet 경진대회 결과

<자료> 인공지능 국가전략프로젝트 사업단, 2017. 11.

[그림 11] 딥뷰 사업추진계획 및 목표 시스템

12 www.iitp.kr

주간기술동향 2018. 8. 29.

고 있다. 딥뷰는 전체 3단계로 진행되고 있으며, 1단계에서 다중객체·행동을 동시에 분석하

는 시각지능 SW를 개발하고, 2단계에서는 영상 내용을 이해하는 기술을 통해 도시 규모의

영상을 이해하는 시각지능 SW 개발을 목표로 하고 있다. 마지막 3단계에서는 복합 상황 이해

및 예측 기술을 갖춘 시각지능 SW를 개발하여 글로벌 시장에 진출하는 것을 목표로 한다[17].

이러한 시각지능 기술은 품질검사, 질병 진단, 범죄/사고 감시 등 산업 전반에 걸쳐 활용이

가능하다.

IV. 향후 전망

인공지능 기술의 현 추세로 볼 때 향후 인간의 개입을 최소화하려는 연구가 갈수록 활발해

질 것으로 생각된다. 딥러닝 등장 이후 필요성이 감소하긴 했으나, 제대로 된 인공지능 구현을

위해서는 최적화된 학습 데이터와 알고리즘을 판단하는 인간 전문가의 역할이 아직도 중요한

데, 이러한 전문가를 확보하는 것이 매우 어렵기 때문이다. 비슷한 맥락으로 한 분야에서 학습

한 지식을 다른 분야에 적용하는 전이학습(트랜스퍼 러닝) 분야 연구도 더욱 활발해 질 것으로

전망된다.

최근 인간과 인공지능 간의 상호작용을 보다 효율적이고 편리하게 하는 기법에 대한 관심

이 증가하고 있고, 그 일환으로 딥러닝을 통해 제시된 결과를 인간이 이해할 수 있게 설명할

수 있는 인공지능의 연구가 더욱 활성화 될 것으로 보인다. 그 동안 딥러닝 방식과 같이 인공

신경망을 이용한 인공 지능의 가장 큰 문제는 학습 결과가 신경망의 연결 강도로 표현되어

사람이 결과를 직관적으로 이해할 수 없다는 것이었기 때문이다.

마지막으로 상기와 같은 기술적인 문제 외에도 인공지능이 사회에 가져올 변화와 효과에

대한 논의가 증가할 것으로 보인다. 인공지능 기술이 기존 사회의 윤리나 가치체계와 상충되

지 않고, 사회에 긍정적인 역할을 할 것인가 즉, “이로운 인공지능”을 위한 논의가 활발히

이루어질 것으로 전망된다.

[ 참고문헌 ]

[1] Stuart Russell and Peter Norvig, “Artificial Intelligence: A Modern Approach,” 2009. 12. 7, pp.1–5.[2] David, L. W., “Evolution, sociobiology, and the future of artificial intelligence,” IEEE Intelligent

Systems, 21(3), 2006, pp.66–69.[3] Tseng, C.Y. and P.H, Ting, “Patent analysis for technology development of artificial intelligence: A



country-level comparative study,” Innovation: Management, policy & practice, 15(4), 2013, pp.463

–475.[4] Tractica, “Artificial Intelligence for Enterprise Applications: Deep Learning, Predictive Computing,

Image Recognition, Speech Recognition, and Other AI Technologies for Enterprise Markets-Global

Market Analysis and Forecasts,” 2015.[5] 한국정보화진흥원, “우리나라 A.I. 기업 현황 조사 보고서 Ver 1.0,” 2017. 4, pp.10–11.[6] LG경제연구원, “최근 인공지능 개발 트랜드와 미래의 진화 방향,” 2017. 10, pp.8–13.[7] Volodymyr Mnih et el., “Human-level control through deep reinforcement learning,” 2015. 2. 26,

pp.39.

[8] Jim Gao, “Machine Learning Application for Data Center Optimization,” 2014, pp.1–5.[9] Kumar et el., “Ask Me Anything: Dynamic Memory Networks for Natural Language Processing,”

2015. 6, pp.1–8.[10] Adam Santoro et el., “A simple neural network module for relational reasoning,” 2017. 6, pp.1–9.[11] 서병락, “챗봇(ChatBot) 기술과 서비스 사례 소개,” 2017. 10. 27, pp.18.[12] 행정안전부 보도자료, “상담원 수준의 인공지능 상담로봇, 첫발을 내딛다,” 2017. 9. 19.[13] 중앙일보, “토종 AI 엑소브레인 장학퀴즈 압승…IBM 왓슨보다 똑똑,” 2016. 11. 21.[14] 컴퓨터월드, “인공지능 기술 개발 어디까지 왔나?,” 2015. 11. 28.[15] Jiang Wang, “CNN-RNN: A Unified Framework for Multi-label Image Classification,” 2016. 12. 12,

pp.1–8.[16] Jiang Wang, “Dimensional Sentiment Analysis Using a Regional CNN-LSTM Model,” Proceedings of

the 54th Annual Meeting of the Association for Computational Linguistics, 2016. 9. 7, pp.225–229.[17] 빅데이터뉴스, “[AI 프로젝트] 국민을 보호하는 눈, 딥뷰,” 2017. 12. 5.

14 www.iitp.kr

주간기술동향 2018. 8. 29.

백 현

성균관대학교 기술경영 전문대학원

I. 서론

2013년 한 글로벌 IT 서비스 업체의 CEO는 데이터는 21세기의 천연자원이라고 언급하였는

데[1] 이는 조직 활동의 경쟁력 확보를 위한 데이터의 중요성을 단적으로 강조한 말이다. 이를

20세기 후반과 21세기 초반의 가장 영향력 있는 비즈니스 전략가인 마이클 포터(Michael

Eugene Porter) 교수의 3가지 경쟁우위 전략[2](원가 우위 전략, 차별화 전략, 집중화 전략)의

관점으로 해석하면, 현재의 시대는 데이터를 기반으로 조직의 차별화된 경쟁 우위를 창출할

수 있고 이렇게 창출한 경쟁 우위는 다양한 전략을 수행할 수 있게 함으로써 지속적으로 경쟁

력을 획득하고 유지할 수 있다. 뿐만 아니라 클레이튼 크리스텐슨(Clayton M. Christensen) 교수

의 파괴적 혁신[3] 아이디어의 관점으로도 해석이 가능한데, 어느 날 갑자기 등장한 파괴적

혁신으로 무장한 기업들은 우리에게 익숙한 시장의 주류를 형성하고 있는 기업들을 대상으로

데이터에 기반을 둔 새로운 서비스나 제품으로 산업의 지형을 바꾸는 시장 파괴적인 변화를

만들어내고 있다.

2017년부터 부쩍 많은 국내의 기업들과 조직들이 데이터의 중요성에 부응하는 기업의 데이터

전략과 현존하는 데이터 웨어하우스의 한계점을 극복하기 위한 대안으로 데이터 레이크의 도입을

적극 검토하거나 실제 구축을 시작하고 있다. 따라서 2010년 펜타호(Pentaho, 빅데이터 분석 툴

제작사로 2015년 Hitachi Data Systems에 인수)의 CTO인 제임스 딕슨(James Dixon)이 처음 데이터

레이크를 언급한 이후부터 지금까지 개념적으로는 어떤 변화가 있었는지 그리고 기술적으로는

어떻게 진화하였는지를 지금 시점에서 정리를 해보는 것이 의미가 있을 것이다.

2010년 당시 제임스 딕슨(James Dixon)은 본인의 블로그에 데이터 레이크를 다음과 같이

정의하였다[4]. “데이터를 물에 비유한다면, 우선 데이터 마트는 물병에 들어있는 물이라고

데이터 레이크 기술 동향과 도입 원칙

* 본 내용은 백현 저자([email protected])에게 문의하시기 바랍니다.


ICT신기술


생각할 수 있다. 물병의 물은 필요에 따라 쉽게 소비할 수 있도록 정제되고 포장된 형태라고

볼 수 있다. 반면, 데이터 레이크는 물병에 담긴 생수 이전에 존재하는 호수로써 훨씬 자연의

상태이며 방대한 양의 물을 의미한다.”

이러한 제임스 딕슨의 데이터 레이크에 대한 정의는 지금까지도 유효하게 많이 인용되는

정의인데, 그는 한 가지 덧붙여서 데이터 레이크의 용도에 대해 다음과 같이 언급하였다[4].

“데이터 레이크의 콘텐츠는 다양한 원천 출처로부터 유입되며, 다양한 사용자들이 콘텐츠를

조사하거나, 깊이 연구하거나 또는 샘플을 가져다가 활용하는 등의 다방면의 목적으로 활용

되게 된다.” 즉, 데이터 레이크를 채우는 데이터들은 다양한 원천 출처들로부터 수집된 것이

며, 이 수집된 데이터들은 기업 내 다양한 사용자들에 의해서 실험되고 연구되거나 비즈니스

에 활용하기 위해서 가공되어 현재 기업에서 활용하는 데이터 마트처럼 작은 물병에 담겨서

각각의 목적에 맞게 활용되게 된다.

지금부터 초기 데이터 레이크에서 개념 대비 3가지 관점에서 데이터 레이크 동향이 어떻게

변화하였는지를 “II. 데이터 레이크 동향 변화”에서 설명하고, 데이터 레이크 프로젝트를 성공

적으로 수행하기 위해서 필요한 3가지 원칙을 “III. 성공적인 데이터 레이크 프로젝트를 위한

원칙”에서 소개한 후 맺음말로 마무리를 할 것이다.

II. 데이터 레이크 동향 변화

데이터 레이크에 관한 정의는 시간이 흐르면서 어느 정도 다음과 같은 문장으로 수렴되었

다. “데이터 레이크는 원천 형태의 데이터 저장소이며 조직 내 외부 수집 데이터의 단일 저장

소이다.” 또한, 위키피디아에서는 데이터 레이크를 활용하는 목적을 다음과 같이 “보고, 시각

화, 분석 그리고 기계학습(Reporting, Visualization, Analytics and Machine Learning) 등”이라고

표현하였다[5]. 하지만 이는 일반적인 활용 목적에 대한 언급일 뿐이고 데이터 레이크의 활용

은 조직에 따라 매우 상이할 수 있으며 데이터에서 발견한 숨은 가치의 활용처에 따라 큰

차이가 있을 수 있다. 실례로 구글을 검색해 보면 데이터 레이크의 주요 활용 목적에 기계학습

이 포함된 것도 그리 오래전 일이 아님을 알 수 있는데, 이는 호수라는 곳이 오랜 세월 동안

물이 모이고 저장되는 공간은 맞지만 호수에 저장된 물을 어떻게 가져다가 활용할지는 시간

이 흐름에 따라 기술이 발전하고 사용자의 요구가 변화하면서 지속적으로 진화한 것과 동일

한 원리이다.

16 www.iitp.kr

주간기술동향 2018. 8. 29.

2010년 제임스 딕슨의 데이터 레이크에 관한 정의 이후부터 약 5년간 데이터 레이크를 구축

하기 위한 핵심 기술은 하둡이라는 공식이 암묵적으로 통용되어 왔다. 하지만 이는 현재 보유

하고 있는 데이터 웨어하우스의 확장성과 비용 효율성 사이의 한계를 대체하기 위한 성급한

연장선의 일환이었을 뿐이었으며, 다음과 같이 저장성과 활용성 관점의 두 가지 이유로 하둡

이 데이터 레이크의 구축을 대표하는 핵심 기술이 되기에는 부족했다.

첫 번째는 규모에 따라 다르겠지만 단일 하둡 클러스터에 데이터 레이크를 구축한다는 것

은 데이터 레이크의 피크 사용 시의 용량을 계산하고 이에 따른 하둡 클러스터의 CPU,

Memory, Storage 크기가 함께 증가해야 하는 비용을 고려한다면 데이터 웨어하우스와 마찬가

지의 제약에 도달하게 된다. 더구나 데이터 레이크 구축을 위해서 사일로 방식과 같이 다수의

서로 다른 하둡 클러스터를 구축해야 한다면, 우리가 생각하는 단일 저장소라는 데이터 레이

크의 정의를 만족시키기에도 한계가 있다. 두 번째는 하둡으로 구축된 데이터 레이크를 활용

하기 위한 하둡 전문 분석가가 조직에 많지 않기 때문에 다양한 활용에 제약이 따르기 때문이

다. 실례로 2016년 BARC(Business Application Research Center)는 “Hadoop and Data Lakes”라는

보고서에서, 기업이 하둡을 적용할 때 가장 큰 도전과제는 새로운 기술에 대한 약한 수용력이

라는 연구 결과를 발표한 것을 보면 알 수 있으며[6], 이러한 현상은 국내의 전문가 조직에서

도 마찬가지로 나타나고 있다.

이와 같이 데이터 레이크의 핵심 기술로 통용되었던 하둡이 차지하는 위치의 변화뿐만 아

니라 몇 가지 데이터 레이크 관련 동향의 변화를 정리하면 크게 세 가지로 분류가 가능한데,

첫째는 저장과 분석이 분리된 아키텍처, 둘째는 데이터 과학자를 위한 샌드박스의 제공, 셋째

<자료> Hadoop and Data Lakes, 2016 BARC

[그림 1] 조직이 하둡을 구축할 때의 도전 과제

ICT신기술


는 현업 사용자를 위한 셀프 서비스 환경 구축이며, 지금부터 이 세 가지 동향의 변화를 하나

씩 확인해 본다.

1. 저장과 분석이 분리된 아키텍처

저장과 분석이 분리된 아키텍처는 데이터 레이크의 데이터를 저장하는 영역과 데이터를

분석하는 영역을 분리한 아키텍처로 2010년 데이터 레이크라는 정의가 처음 사용된 이후 가

장 크게 변화한 것이 바로 개념 및 기술 아키텍처 영역이다. 이 아키텍처는 최근 클라우드

기반의 오브젝트 스토리지를 활용할 때 주로 논의되는 데이터 레이크의 아키텍처로서 “데이

터 레이크는 원천 형태의 데이터 저장소이며 조직 내 외부 수집 데이터의 단일 저장소이다.”

라는 “원천 형태의 단일 저장소”의 정의에 가장 충실하도록 구현이 가능한 아키텍처이며, 최

신 데이터 레이크 아키텍처의 핵심이라고 할 수 있다.

시장조사기관인 가트너 역시 2016년에 “Best Practices for Designing Your Data Lake”라는

보고서에서 저장과 분석이 분리된 데이터 레이크 아키텍처를 설명하였다[7]. 이러한 아키텍처

의 핵심은, 데이터는 무한에 가까운 저장 전용 영역에 저장되고 R이나 Apache Spark 또는

기타 툴을 이용한 분석을 수행하는 시점에 각 분석 툴이 있는 곳으로 [그림 2 a]와 같이 데이터

를 이동한다는 점이 중요한 특징이다. 분석에 가장 적합한 가상 혹은 논리적인 데이터 분석

환경을 적시에 만들어서 저장 영역으로부터 데이터를 이동 후 분석이 끝나면 바로 삭제가

가능한 효율적인 시스템을 만들 수 있는 것이 저장과 분석이 분리된 아키텍처의 장점이다.

[a] 저장과 분석이 분리 [b] 저장과 분석이 통합

<자료> est Practices for Designing Your Data Lake, 2016.

[그림 2] 데이터 레이크 아키텍처

18 www.iitp.kr

주간기술동향 2018. 8. 29.

이와 반대로 전통적인 데이터 웨어하우스나 하둡 기반의 분석 플랫폼은 저장과 분석이 [그

림 2 b]와 같이 동일한 곳에서 이루어지므로 데이터 저장 용량이 증가하거나, 분석 CPU가

증가할 때 다른 리소스도 함께 증가해야만 하며 최대 사용량을 감안해서 시스템의 용량을

사전에 준비해야 한다. 그러나 저장과 분석이 분리된 아키텍처는 저장 영역은 다양한 소스로

부터 데이터를 받아서 체계적이며 안정적으로 무한 저장하는 플랫폼에 집중되어 있고, 분석

영역은 다양한 분석 솔루션을 온 디멘드로 제공하는 플랫폼의 역할에 집중되어 있으므로 무

한하게 증가하는 데이터 레이크의 아키텍처로서 매우 적합하다고 할 수가 있다.

이렇게 저장과 분석이 분리된 아키텍처를 백분 활용할 수 있는 또 다른 아키텍처적인 개념

이 스키마 온 리드(Schema on Read)이다. 스키마 온 리드는 일반적인 데이터 웨어하우스처럼

데이터를 저장하는 시점에 데이터의 스키마를 정의하고 ETL(Extract Transformation and Load)

을 수행해서 저장하는 스키마 온 라이트와 반대되는 아키텍처로, 데이터를 원천 형태 그대로

빠르게 저장하고 스키마의 변경은 데이터를 분석하기 위해 읽어서 이동할 때 수행하는 아키

텍처이다. 즉, 데이터의 저장과 분석이 분리된 아키텍처는 무한 확장성과 비용 효율성 차원의

장점뿐만 아니라 데이터의 원천을 변형하지 않고 그대로 빠르게 저장하고 관리하는 데이터

레이크의 본연의 역할에 충실할 수 있는 아키텍처라고 할 수 있다.

2. 데이터 과학자를 위한 분석 샌드박스

빅데이터와 데이터 레이크의 개념이 확산되면서 중요성이 많이 강조된 역할 중에 하나가

데이터 과학자일 것이다. 데이터 과학자는 수학적인 방법과 프로세스, 알고리즘을 활용해서

데이터에서 지식과 인사이트를 추출하는 데이터 과학[8]의 역할을 수행하는데 데이터 웨어하

우스 중심의 분석 환경에서는 활성화되기가 어려웠던 역할이다. 왜냐하면 첫째는 기업의 데이

터 웨어하우스는 엄격한 정제를 거쳐서 저장하고 있는 데이터가 매우 한정적이고 부분적인

데다가 보유한 저장 공간이 한정적이어서 별도의 샌드박스를 만들어 데이터 과학의 업무를

수행하기가 적절하지 않은 경우가 많으며, 둘째는 보고서 생성이나 정형화된 분석 그리고

ETL 배치 등과 같이 예정된 업무를 위해 24시간이 스케줄링되어 있기 때문에 추가적인 데이터

과학의 업무를 할 수 있는 자원의 여지조차 없기 때문이다.

이러한 환경에서 데이터 과학자를 위한 분석 샌드박스는 데이터 레이크를 통해 얻을 수

있는 기능 중에서도 핵심 기능이라고 할 수 있다. 조직이 데이터 레이크를 구축해서 조직

내외에서 발생하는 대량의 데이터를 수집하는 이유는 바로 지금까지 수행하지 못했던 실험적

ICT신기술


분석들을 자유롭게 할 수 있는 분석 샌드박스를 통해 인사이트를 수집하고, 이를 조직의 경쟁

우위를 확보하는데 활용해야만 경쟁에서 살아남을 수 있기 때문이다. 원래 샌드박스는 어린이

들이 다치지 않고 마음껏 놀 수 있도록 현실의 세계와는 격리된 모래로 이루어진 안전한 공간

을 제공해 주는 것을 말하는데 컴퓨터 산업에서도 유사한 의미로 외부로부터 들어온 프로그

램이 보호된 영역에서 동작하도록 해서 오동작 혹은 악성코드를 검증하고 막는 보안 개념으

로 활용되었다[9]. 그러나 이후에는 실험적 의미의 격리된 프로그램 테스트 공간 등과 같이

확장된 의미로 활용되고 있다. 지금 여기서 언급하는 분석 샌드박스도 연관된 의미로써 데이

터의 분석 과정에서 발생하는 다양한 형태의 데이터 가공이나 변형 등을 대비해서 격리된

데이터 분석 공간을 제공해 주는 것을 말하므로 데이터 과학자를 위한 분석 샌드박스의 제공

은 데이터 레이크 구축의 핵심이라고 말하는 것이 당연하다.

유명한 온라인 퍼블리싱 플랫폼 중 하나인 medium(www.medium.com)에 GE(General Electric)

의 CDO(Chief Data Officer)인 프래딥 메논(Pradeep Menon)이 2017년 기고한 “Demystifying Data

Lake Architecture”에는 데이터 과학자를 위한 분석 샌드박스의 제공이 데이터 레이크 프로젝

트에서 얼마나 중요한지를 잘 얘기해 주고 있다. 그는 기고문에서 “분석 샌드박스는 데이터

과학자들이 새로운 가설을 개발하고, 테스트하고, 메쉬업해서 새로운 활용 케이스(Use case)

를 만드는 곳이며, 이렇게 만들어진 활용 케이스를 빠른 프로토타입 구축을 통해서 가치를

검증하고 실제 실현 가능성을 검토하는 곳”[10]이라고 표현하였다([그림 3] 참조).

여기에서 더 한발 앞으로 나아가 데이터 레이크를 구축할 때 분석 샌드박스를 [그림 3]의

<자료> Demystifying Data Lake Architecture, 2017.

[그림 3] 데이터 레이크에서의 분석 샌드박스

20 www.iitp.kr

주간기술동향 2018. 8. 29.

“필요에 의해 동적으로 생성 및 삭제”와 같이 데이터 과학자들이 각각 선호하고 분석하는

대상 데이터의 속성에 맞는 분석 엔진을 버전별로 간단한 클릭으로 생성하고 삭제할 수 있도

록 하고, 데이터 과학자들이 지정한 분석 대상 데이터를 원천 저장소로부터 자동으로 이동하

면서 반복적인 데이터의 기초 가공을 수행해서 분석 샌드박스에 저장해 줄 수 있도록 데이터

레이크 프로세스를 디자인한다면 데이터 과학자를 위한 최적의 분석 샌드박스 환경을 구축할

수 있을 것이다.

3. 현업 사용자를 위한 데이터 셀프 서비스

지금까지는 관심이 없던 시장이나 낮은 가격을 무기로 전통적인 시장을 민첩하게 침투해서

기득권이 있는 시장을 교란시키는 것을 클레이튼 크리스텐슨(Clayton M. Christensen) 교수는

파괴적 혁신이라고 하였다. 전통적인 조직이 최근에 많이 회자되고 있는 디지털 트랜스포메이

션(Digital Transformation)을 해야 하는 이유 중에 하나는 바로 이 파괴적 혁신을 무기로 하는

디지털 기술 중심의 민첩한 기업을 전통적인 기업이 빠르게 알아차리고 적절하게 대응하기

위한 체질 개선의 과정이라고 할 수 있다. 이러한 디지털 트랜스포메이션의 과정에서 가장

중요하게 인식되는 것 중 하나가 고객의 변화를 빠르게 인지할 수 있는 접점에서 의사 결정을

해야 하는 직원들이 얼마나 쉽고 빠르게 데이터에 접근해서 데이터에 기반을 둔 명확한 의사

결정을 내릴 수 있는가이다.

데이터 레이크가 갖추어야 할 중요한 요소 중 하나가 바로 앞서 말한 현업 사용자를 위한

데이터 셀프 서비스 환경을 제공할 수 있는가의 여부이다. TDWI Research의 필립 러썸(Philip

Russom)은 “최근 기업의 사용자(비즈니스 및 기술 분야 모두)는 데이터 레이크에 대한 셀프

서비스 접근(Self-Service Access)을 기대하며, 데이터 레이크의 구축에 셀프 서비스 접근이

빠져 있다면 실패한 프로젝트로 간주한다.”[11]라고 표현하였을 정도로 데이터 레이크 프로젝

트에서 현업사용자를 위한 셀프 서비스 환경을 구축하는 것은 필수적인 요소로 인식되고 있

다. 독일의 재보험 기업인 뮌헨 리(Munich Re)는 데이터 셀프 서비스를 적극적으로 도입하였

다. 뮌헨 리는 2017년 모든 직원이 데이터 레이크에 접근 가능하도록 함으로써 데이터에 기반

한 새로운 비즈니스 모델의 창출을 장려하였다. 뭔헨 리의 데이터 엔지니어링 책임자 안드레

아스 콜마이어(Andreas Kohlmaier)는 “비즈니스 판도가 지난 몇 년 동안 크게 변화했다. 이제

기업 내 일부 전문가가 지식을 독점하고 있지 않다. 데이터 소스에 대한 접근 권한을 가진

직원과 해당 데이터를 분석하고 처리하는 데 적합한 기술을 보유한 직원을 위한 정보가 늘어

ICT신기술


나고 있다”라고 말했다[12].

셀프 서비스란, 데이터를 스스로 준비하고, 준비된 데이터를 스스로 탐색하며 원하는 결과

를 시각화하고 다른 사람들과 활용하는 것까지를 광의의 셀프 서비스라고 말한다. 이를 다시

말하면 데이터의 준비, 탐색, 시각화, 활용 모두를 사용자 스스로 직접 할 수 있어야 셀프

서비스라고 말할 수 있는 것이다. 결국 데이터 레이크를 구축하면서 가장 기본적으로 갖추어

야 할 현업 사용자를 위한 데이터 셀프 서비스는 첫째, 데이터를 자유자재로 시각화하고 인사

이트를 추출해 낼 수 있는 BI(Business Intelligence) 셀프 서비스, 둘째, 전사 데이터 레이크에

존재하는 전체 데이터를 쉽게 탐색하고 조회할 수 있는 데이터 탐색 셀프 서비스, 셋째, 탐색

한 데이터를 목적에 맞게 스스로 가공하고 정제할 수 있는 데이터 가공 셀프 서비스, 넷째,

통계분석 알고리즘, 머신러닝 알고리즘 등을 스스로 적용할 수 있는 AI 셀프 서비스 등과 같이

다양한 영역이 존재할 수 있다([그림 4] 참조). 그러나 이렇게 제공된 환경의 활용에 대해서

사용자들이 어려움을 느끼고 별도의 과다한 추가 노력이 투입되어야 한다고 생각한다면 사용

자들은 데이터를 이해하고 활용하는 기쁨이 중노동으로 느껴지게 되므로 활용도는 자연스럽

게 감소하게 될 것이다. 그러므로 쉽고 간단하며 필수적인 요소들부터 하나씩 단계적으로 구

현할 필요가 있다. 산업과 조직의 특성에 따라 다르겠지만 예를 들어서 어떤 데이터가 어디에

어떻게 존재하는지 쉽게 탐색할 수 있는 탐색 셀프 서비스, 데이터를 자유롭게 시각화할 수

있는 BI 셀프 서비스와 같은 것들이 필수적인 셀프 서비스가 될 수 있을 것이다.

그리고 IT나 기술에 익숙하지 않은 현업 사용자들을 감안한 앞선 뮌헨 리의 데이터 사냥꾼

이라는 역할이 있는데, 이는 직원이 좋은 아이디어를 갖고 있는 경우, 데이터 사냥꾼들이 가서

그 데이터를 찾아서 정제하고 가공해서 현업이 쉽고 활용할 수 있도록 도와주는 흥미로운

[그림 4] 데이터 레이크에서의 셀프 서비스

22 www.iitp.kr

주간기술동향 2018. 8. 29.

방식을 도입한 좋은 사례이다. 또 한 가지 흥미로운 사례 중 하나는, 어느 한 미국 최대의

전자상거래 회사에서는 직원들이 데이터 레이크의 카탈로그를 통해서 필요한 데이터를 탐색

하고 원하는 데이터의 구독(Subscription)을 신청할 수 있으며, 이렇게 구독 신청된 데이터는

주기적으로 신청자가 사용할 수 있는 형태로 가공되어 배달된다고 하니 셀프 서비스의 개념

을 뛰어넘어 전 직원들이 최대한 데이터를 적극적으로 활용하도록 배려하는 좋은 예라고 생

각된다.

III. 성공적인 데이터 레이크 프로젝트를 위한 원칙

지금까지는 데이터 레이크가 처음 세상에 소개된 이후 최근까지 어떤 동향의 변화가 있었

는지 살펴보았다. 이 장에서는 데이터 레이크를 실제로 구축하기 위한 프로젝트를 수행할 때

참조하면 좋을 원칙들을 정리해 보았다. 데이터 레이크를 구축한 해외의 경험이나 솔루션 제

공사의 엔지니어들이 성공적인 데이터 레이크를 구축하기 위해 정리한 원칙이나 고려사항들

이 많이 있지만, 본 고에서는 피라미드 애널리틱스(Pyramid Analytics)의 CTO 애비 페레즈(Avi

Perez), GE의 CDO 프레딥 메논(Pradeep Menon), 뮌헨 리(Munich Re)의 데이터 엔지니어링 책임

자 안드레아스 콜마이어와 같은 경험 있는 전문가들의 의견을 바탕으로 다음과 같이 정리하

였다.

1. Think Big but Start Small

데이터 레이크는 조직의 방대하고 복잡한 현존하는 데이터를 아우르는 더 큰 개념의 데이터

허브이다. 그러므로 당연히 장기적으로는 현재 데이터가 발생하는 원천 시스템(Transactional

System)의 이후에 존재하는 모든 데이터와 관련한 시스템의 상위 집합이 되어야 하므로 처음

디자인 시에 고려해야 할 사항이 매우 많다. 특히, 현재 운영 중인 ODS(Operational Data Store),

DW(Data Warehouse) 등과 같은 기존 시스템과 데이터 레이크와의 R&R(Role & Responsibility),

향후 단계적 로드맵 등을 정확하게 정의하지 않으면 프로젝트 시작과 수행하는 내내 경영진

과 다양한 부서의 도전을 받게 될 것이다.

많은 전문가들이 데이터 레이크가 현존하는 DW를 대체하지는 않는다고 말하고 있다. DW와

데이터 레이크는 서로 보완적인 존재이다. 특히, 데이터 레이크는 장기적으로는 조직의 모든

데이터의 원천을 저장하는 단일 저장소로 확장될 것이며 DW는 지금과 같이 의사결정을 위해

ICT신기술


데이터 레이크로부터 공급받은 정제된 데이터의 집합이 될 것이다.

하지만 처음부터 당장 사용하지도 않을 다양한 전사 데이터를 수집하는 것과 같은 커다란

프로젝트를 디자인하는 것은 지양해야 한다. 바로 수집해서 분석하면 기존에는 도출할 수 없

었던 작은 인사이트를 얻을 수 있는 가장 작은 단위의 의미 있는 프로그램(Most Viable Program:

MVP)을 Quick-Win 과제로 정의해서 먼저 수행함으로써 조직이 준비하고 체화하며 공감할 수

있는 과정이 필요하다.

2. 문제의 해결에 초점

Quick-Win 과제는 성과를 쉽게 확인 가능하도록 독립적이며 명확하고 간단할수록 좋다. 특

히, 현재의 사일로 구조의 데이터 시스템의 한계로 인해서 제공해 주지 못했던 현업에게 필요

한 인사이트가 있다면 가장 좋은 주제가 될 것이다. 이때 중요한 점은 현재의 문제점을 명확하

게 정의하고 이 문제점을 해결하기 위한 방법에 초점을 맞춰야 한다. 데이터 레이크 Quick-Win

프로젝트에서 중요한 것은 기술적 해결책을 찾는 것이 아니라 바로 문제의 해결책을 찾는

것이다.

3. 기술이 아닌 사용자 중심의 시스템

많은 전문가들이 강조하는 것 중 하나는, 복잡하고 어려운 시스템으로 인해 사용자들로부

터 외면 받는 것을 주의해야 한다는 점이다. 독일의 재보험 회사 뮌헨 리(Munich Re)는 모든

직원에게 데이터 레이크를 개방하는 것을 목표로 하고 있다. 당연히 시스템과 사용자 사이에

는 기술적인 갭이 있는데 이를 최소화하도록 설계하는 것이 제일 중요하고, 그 다음은 필요한

교육을 제공하는 것이다. 제공받는 다양한 데이터를 분석하고 이해하기 위해서는 다양한 데이

터 엔지니어링 교육과 데이터 사이언스 교육이 필요한데 적합한 프로그램을 제공해서 직원들

이 데이터에 한층 친숙해질 수 있는 계기를 제공해 준다면 데이터 레이크 프로젝트는 당연히

좋은 결과를 보여 줄 것이다. 끝으로 앞서 뮌헨 리(Munich Re)에서 언급한 것처럼 데이터 레이

크의 새로운 사용자층이 데이터를 탐색, 수집, 가공하고 분석하는 것을 지원하기 위해 만든

데이터 사냥꾼 팀(Data Hunting Unit)을 구성해서 사용자를 지원하는 것도 프로젝트의 성공을

위해서 중요한 역할을 할 수 있을 것이다.

24 www.iitp.kr

주간기술동향 2018. 8. 29.

IV. 결론 및 시사점

지금 데이터 레이크는 비즈니스 분석부터 데이터 마이닝, 머신 러닝 등 모든 부분에 활용

가능한 정보의 단일 저장소로서, 지금까지의 데이터 사일로를 무너뜨릴 수 있는 대안으로

기대를 받고 있다. 이러한 데이터 레이크의 유행 현상은 과거 한때 모든 조직이 DW(Data

Warehouse)의 구축에 관심을 갖고 프로젝트를 수행했던 것처럼 지금 시대의 필수적인 ‘Must

Have’ 기술이 되었다고 생각한다. 이 기술은 잠깐의 트렌드가 아닌 조직의 향후 10년 이상을

위한 장기적인 핵심 기술로 자리잡게 될 것이므로 변화하는 주요 트렌드를 파악하고 성공적

인 구축을 위한 다양한 사례의 수집과 연구는 조직의 데이터 전략의 수립과 이행을 위해 좋은

결과를 가져다 줄 것으로 생각한다.

[ 참고문헌 ]

[1] Robert Lenzner, “IBM CEO Ginni Rometty Crowns Data As The Globe’s Next Natural

ResourceForbes,” Mar 7, 2013.[2] 마이클 포터(Michael Eugene Porter), 한글판 “마이클 포터의 경쟁우위 - 탁월한 성과를 지속적

으로 창출하는 법”, 21세기북스, 2008, 영문판 “Competitive Advantage – Creating and sustaining superior performance,” 1985.

[3] 클레이튼 크리스텐슨(Clayton M. Christensen), “Disruptive Technologies: Catching the Wave,” Harvard Business Review, January-February 1995.

[4] 제임스 딕슨(James Dixon), James Dixon’s Blog, https://jamesdixon.wordpress.com/2010/10/14/,

2010.

[5] 위키피디아, Data Lake from Wikipedia, Data_lake, last edited on 16 July 2018.

[6] Timm Grosser, Jacqueline Bloemen, Melanie Mack & Jevgeni Vitsenko, BARC Research Study,

“Hadoop and Data Lakes - Use cases, Benefits and Limitations,” Graph “Challenges when

implementing Hadoop,” Nov. 2016, p.30.[7] 닉 휴데커(Nick Heudecker), “Best Practices for Designing Your Data Lake,” Gartner, 2016.[8] 위키피디아, Data Science from Wikipedia, Data_science, last edited on, 6 August 2018.

[9] 위키피디아, Sandbox from Wikipedia, Sandbox, last edited on, 29 July 2018,

[10] 프레딥 메논(Pradeep Menon), “Demystifying Data Lake Architecture,” medium.com of a medium

corporation, July 5 2017.

[11] 필립 러썸(Philip Russom), “The Data Lake Manifesto: 10 Best Practices,” twdi articles of

twdi.org, Oct. 2017, p.2.

[12] 안드레아스 퀼마이어(Andreas Kohlmaier), “모든 직원에게 데이터 레이크를 개방··· 독일 재

보험 기업의 도전,” CIO Korea magazine, April 2018.

최신ICT이슈


I. 전세계 디지털 혁신 공급망을 꿈꾸는 캐나다의 AI 수퍼클러스터

AI(인공지능)의 침체기에도 연구개발 투자를 지속하여 세계 최고 수준의 AI 연구자들을 배출

해온 캐나다는 AI가 모든 산업의 디지털 혁신을 촉진하는 기반이 된다는 비전 아래, 산·

학·관이 협력하여 AI 인재 육성과 AI 스타트업 지원, AI 연구 기반 조성에 주력하고 있음.

토론토, 몬트리올, 애드먼튼을 비롯한 여러 도시에 세계 최고의 AI 수퍼클러스터를 구축한

캐나다는 글로벌 ICT 기업들의 AI 연구거점은 물론 글로벌 AI 인재들도 끌어 모으고 있음

◾ AI(인공지능) 연구개발의 겨울 시기로 불렸던 1990년대부터 AI에 대한 투자를 지속해 온

캐나다에는 이미 세계 유수의 AI 스타트업들이 몰려들고 있음

▸ 캐나다는 AI를 생명과학과 항공우주

산업을 비롯하여 모든 제조업에 엄

청난 충격을 가져다 줄 새로운 산업

플랫폼으로 보고, 토론토, 몬트리올,

에드먼튼 등 3개 도시에 세계적인 AI

수퍼클러스터를 구축하여 전세계의

우수한 인재를 유치하고 있음

▸ 몬트리올 소재 AI 연구소인 “엘리먼

트 AI(Element AI)”가 2018년 5월에

발표한 “캐나다 인공지능 생태계

(Canadian AI Ecosystem) 2018” 보고

서에 따르면, 캐나다에는 650개의 AI

스타트업이 있으며, 이는 2017년에

비해 28% 증가한 것임

* 본 내용과 관련된 사항은 산업분석팀(☎ 042-612-8296)과 최신ICT동향 컬럼리스트 박종훈 집필위원([email protected] ☎ 02-576-2600)에게 문의하시기 바랍니다.


최신 ICT 이슈*

<자료> Element AI

[그림 1] 2018 캐나다의 인공지능 생태계

26 www.iitp.kr

주간기술동향 2018. 8. 29.

▸ 캐나다의 강점은 “AI의 겨울”로 불렸던 1990~2000년대에도 쉬지 않고 AI에 투자를 해온

것으로, 토론토, 몬트리올, 에드먼튼에는 딥러닝과 강화학습을 발전시켜 온 대학 및 연

구기관과 우수한 AI 연구자가 다수 존재함

◾ 캐나다의 AI 3대 도시 중 토론토와 몬트리올은 심층학습 연구의 세계적인 중심지이며, 에드

먼튼은 2000년대부터 강화학습의 연구에 주력해 오고 있음

▸ 현재 딥러닝 기술의 융성은 토론토 대학의 제프리 힌튼(Geoffrey Hinton) 교수와 몬트리올

대학의 요슈아 벤지오(Yoshua Bengio) 교수, 그리고 힌튼의 제자인 얀 르쿤(Yann LeCun)

박사 등 3명에서 비롯되었음

▸ 이들은 2004년 캐나다 첨단연구기구(Canadian Institute for Advanced Research: CIFAR)에

서 신경망 연구 프로젝트인 “Neural Computation & Adaptive Perception(NCAP, 신경 컴퓨

팅과 적응형 지각)”을 시작하였음

▸ 딥러닝이라는 개념도 힌튼이 2006년 발표한 논문에서 비롯되었는데, 이후 토론토와 몬

트리올은 딥러닝 연구의 세계적인 중심지가 되었음

▸ 에드먼튼에는 2000년대부터 강화학습의 연구에 주력해 온 앨버타 대학이 있는데, 심층

강화학습으로 알파고를 개발한 딥마인드(DeepMind)에는 창업 초기부터 앨버타 대학에

서 강화학습을 배운 연구원 12명이 참가하기도 하였음

◾ 캐나다의 전략은 토론토, 몬트리올, 에드먼튼의 대학이나 연구기관에 전세계로부터 인재를

모으고 이들이 계속 캐나다에 남아 활동하도록 전폭적인 지원을 하는 것임

▸ 캐나다가 3대 도시에 AI 인재의 수퍼클러스터를 형성시킨 것은 전세계에서 모여든 우수

한 인력을 AI 인재로 육성한 후 이들이 자국으로 돌아가거나 미국으로 가는 것이 아니라

캐나다에 계속 머물도록 하기 위해서임

▸ 캐나다는 AI 인재를 잡아두기 위해 AI 스타트업 지원을 강화하는 외에 AI 인재들이 활약

할 수 있는 장을 마련하기 위해 국내외 유력 기업의 AI 연구개발(R&D) 거점 및 비즈니스

거점을 유치하는 데 총력을 기울이고 있음

▸ 3대 도시의 AI 수퍼클러스터는 캐나다 기업들에게 AI 기술과 AI 인재를 제공하는 원천,

즉 AI의 공급망(supply chain)이 되며, AI 공급망은 캐나다 기업들이 디지털 혁신을 추진

하는 데 매우 강력한 무기가 됨

▸ 캐나다 정부가 AI 진흥을 추진하는 목적은 단순히 AI 스타트업의 육성에 있는 것이 아니

최신ICT이슈


며, 캐나다 기업의 디지털 혁신을 촉진하여 국가 산업 전체를 레벨업하기 위한 것임

◾ 토론토, 몬트리올, 에드먼튼의 AI 수퍼클러스터는 “유력 대학, 산·학협력 연구소, 스타트

업 지원기관”의 3개 기둥이 받치고 있으며 캐나다 정부와 지자체의 지원 하에 정비되어

있음

▸ 수퍼클러스터를 떠받치는 3대 요소는 ➀ AI 연구를 실행하는 유력 대학, ➁ 유력 대학과

산업계가 연계하여 AI 인재를 육성하는 NPO(비영리단체) AI 연구소, ➂ 대학 및 AI 연구

소가 배출한 AI 인재의 창업을 지원하는 스타트업 액셀러레이터임

▸ 가령, 토론토의 경우 토론토 대학 외에 토론토에서 100 킬로미터 거리에 있는 워털루

대학, 요크 대학 등이 AI 연구 및 AI 인재 육성에 힘을 쏟고 있으며, 산·학 연계의 AI

연구기관으로는 2017년에 발족한 벡터연구소(Vector Institute)가 있음

▸ 토론토 대학의 힌튼이 수석 과학고문을 맡고 있는 벡터연구소는 온타리오 정부가 5,000

만 캐나다 달러를 지원하고, 구글, 액센츄어, 우버 등 민간기업 30개 사가 8,000만 달러

를 투자하여 설립되었음

▸ 벡터연구소는 AI 연구를 수행할 뿐만 아니라 이미 대학을 졸업한 엔지니어와 연구자에

대한 AI 교육도 실시하는데, 벡터연구소가 2018년 여름에 개최하는 섬머 스쿨에는 270명

이 참가하여 AI에 대한 교육을 이수하였음

▸ AI 스타트업을 육성하는 기관으로는 토론토 대학에 인접한 MaRS 디스커버리·디스트릭트

(MaRS Discovery District)와 토론토 인근의 마크햄에 있는 벤처랩(ventureLAB) 등이 있음

▸ 이처럼 AI 연구, AI 인재 육성, AI 스타트업 육성기관 등이 모두 토론토 주변에 몰려 있는

환경을 구축함으로써 “토론토 AI 클러스터”를 지탱하고 있는 것이며, 이는 몬트리올과

에드먼튼의 클러스터도 마찬가지

[표 1] 캐나다 3개 도시의 AI 수퍼클러스터 및 주요 참여기관

참여 기관 토론토 몬트리올 에드먼튼

➀ AI 연구를 수행하는 유명 대학토론토 대학, 워털루 대학, 요크 대학

몬트리올 대학,맥길 대학

앨버타 대학

➁ AI 인재 육성 산·학협력 연구소 벡터연구소 MILA AMII

➂ AI 스타트업 액셀러레이터MaRS

디스커버리·디스트릭트, 벤처랩

엘리먼트 AI,탠덤론치

스타트업 에드먼튼

<자료> ITPro, July 2018.

28 www.iitp.kr

주간기술동향 2018. 8. 29.

◾ 캐나다 정부는 클러스터의 3대 기둥 중에서도 특히 AI 연구소에 대한 국가 차원의 지원

전략을 수립하고 대규모 자금 지원을 하고 있음

▸ 토론토의 벡터연구소, 몬트리올의 몬트리올 학습 알고리즘 연구소(Montreal Institute for

Learning Algorithms: MILA), 에드먼튼의 앨버타 기계지능연구소(Alberta Machine Intelligence

Institute: AMII) 등 3개 연구소는 캐나다 정부로부터 두둑한 지원도 받고 있음

▸ 캐나다 정부는 2017년 3월, “범 캐나다 인공지능 전략(Pan-Canadian Artificial Intelligence

Strategy)”을 수립하고 CIFAR을 통해 벡터연구소, MILA, AMII 등 3개 연구소에 1억 2,500

만 달러의 자금을 투자한다고 발표한 바 있음

▸ 이어 캐나다 정부는 2018년 2월 “혁신 수퍼클러스터 전략(Innovation Superclusters

Initiative)”을 발표하고, AI 스타트업을 지원하는 ‘SCALE.AI’ 조직을 설립하여 소매, 제조,

통신, 운수 등 모든 산업의 기업과 AI 스타트업을 연계하는 사업을 시작하였음

▸ 한편, 캐나다 정부는 AI 수퍼클러스터 전략과 함께 해양 연구를 위한 “오션 수퍼클러스

터” 등 5개의 수퍼클러스터를 육성한다는 목표 하에 총 9억 5,000만 캐나다 달러를 투자

할 계획임을 함께 발표하였음

▸ 대학뿐만 아니라 비영리 연구소와 AI 스타트업 액셀러레이터에 대한 지원에도 주력한다

는 점과 AI 인재를 자국에서뿐 아니라 전세계에서 끌어들이려는 점이 캐나다 정부가

추진 중인 AI 국가 전략의 가장 큰 특징임

▸ 이렇게 된 데에는 미국의 상황도 영향을 미쳤는데, 이민 정책에 대해 소극적 또는 반대

입장인 트럼프 행정부가 출범한 2017년에 인도에서 캐나다로 온 유학생은 14만 명이었

으며, 이는 2016년의 7만 명에 비해 두 배로 늘어난 것임

▸ 이런 유학생 AI 인재들이 캐나다에서 창업하고 혁신을 촉진하게 하는 것이 캐나다 정부

의 목표인데, 캐나다의 인구는 3,600만 명에 불과하기 때문에 글로벌 경쟁력을 확보하기

위해서는 전세계에서 인재를 유치할 수밖에 없다는 것이 캐나다 정부의 판단임

◾ 한편, 수퍼클러스터들의 구성이 기본적으로 비슷하긴 하나 도시별로 특색과 강점이 보이

기도 하는데, 캐나다 최대의 AI 클러스터인 토론토는 AI 인재 파워가 가장 눈길을 끔

▸ 토론토 대학은 딥러닝의 대부로 불리는 제프리 힌튼 교수의 존재가 절대적인데, 힌튼

교수 문하에서 선도 기술기업의 AI 연구소를 이끄는 연구자가 여럿 배출되고 있음

▸ 페이스북의 AI 연구소를 이끄는 얀 르쿤, 애플의 AI 연구를 총괄하는 루슬란 살라쿠트디

노프(Ruslan Salakhutdinov), 오픈AI(OpenAI)의 공동 설립자인 일리아 수츠케버(Ilya Sutskever)

등이 모두 힌튼 교수의 문하생임

최신ICT이슈


▸ 힌튼 교수가 문하생들과 창업한 스타트업 DNN리서치(DNNresearch)는 2013년에 구글에

인수되었으며, 구글의 AI 연구 부문인 구글 브레인과 딥마인드에는 지금도 힌튼 교수의

문하생과 토론토 대학 출신들 다수가 수석연구원으로 재직하고 있음

▸ 수많은 주요 기술 기업들이 토론토에 AI 연구 개발의 거점을 마련하고 있는 배경도 바로

토론토 대학과 협업하고 이 대학이 배출하는 AI 인재를 확보하기 위해서임

▸ 구글, 우버, 톰슨 로이터(Thomson Reuters) 등이 2016~2017년에 AI 연구 거점을 토론토에

설치했으며, 2018년 5월에는 삼성전자와 미국 3대 인터넷 쇼핑몰 중 하나인 엣시(Etsy)

가, 6월에는 엔비디아가 토론토에 AI 연구 거점을 개설하겠다는 계획을 밝힌 바 있음

◾ 이런 특성을 살려 토론토가 속해 있는 온타리오 주정부는 AI 인재 육성을 가속화하는 정책

을 지속적으로 설계하여 실행해 오고 있음

▸ 2017년에 주정부는 온타리오의 대학에서 AI 관련 석사 학위를 취득하는 학생 수를 2023

년까지 연간 1,000명으로 늘리겠다는 계획을 발표하였음

▸ 이를 위해 토론토에 설립한 것이 바로 온타리오의 9개 대학과 40여 개 민간 기업이 협력

하여 만든 AI 연구기관 ‘벡터연구소(Vector Institute)’임

▸ 2억 300만 달러의 예산을 확보하고 있는 벡터연구소는 20명의 상근 연구원과 100명의

박사 연구원을 보유 중인데, AI 응용 연구 수행뿐 아니라 학부 졸업생을 위한 AI 교육을

제공하거나 제휴를 맺은 타 대학을 위한 AI 인재 육성 프로그램을 개발하고 있음

▸ 2018년 여름에는 사회인을 대상으로 약 1개월 코스의 “딥러닝·강화학습 섬머 스쿨”도

개강했는데, 전세계 60개국에서 온 270명이 수강을 하였음

▸ 벡터연구소의 수석 과학 고문으로는 힌튼 교수가 취임했으며, 연구 이사는 힌튼 교수의

문하인 리차드 제멜(Richard Zemel)이 맡고 있음

◾ AI 인재 육성과 더불어 온타리오 주정부가 전력을 쏟고 있는 것은 토론토에 글로벌 기업의

AI 연구소를 유치함과 동시에 AI 스타트업을 적극 육성하는 것임

▸ 많은 AI 연구자를 배출하고 있고 앞으로 더욱 가속화시켜 나가려는 토론토의 가장 큰

고민거리는 이렇게 육성한 AI 연구자의 대부분이 토론토를 떠나 구글, 페이스북 등 실리

콘밸리 기업으로 가버리는 것임

▸ 현재 빅데이터는 대부분 실리콘밸리의 거대 기업들만 보유하고 있으며, 이는 AI 연구자

를 끌어 모으는 강력한 구심력으로 작용하고 있기 때문

30 www.iitp.kr

주간기술동향 2018. 8. 29.

▸ 온타리오 주정부는 인력 유출을 최소화하기 위해 토론토에서 배운 AI 연구자들이 토론토

에서 창업해 연구를 지속할 수 있는 환경을 조성하는 정책을 펴고 있음

▸ 토론토에서 AI 스타트업 육성의 중심이 되고 있는 곳은 토론토 대학에 인접한 “MaRS

디스커버리 디스트릭트(MaRS Discovery District)”인데, 원래 의료 스타트업 육성 시설이

었으나 지금은 수많은 AI 스타트업들이 입주해 있는 시설이 되었음

▸ 벡터연구소도 MaRS 디스커버리 디스트릭트에 입주해 있는데, 사실 이것 역시 AI 스타트

업 지원사업의 일환으로, AI 연구자가 스타트업에 계속 근무하면서도 벡터연구소에 다

니며 AI 연구를 지속할 수 있도록 하기 위한 것임

▸ 딥러닝 연구는 발전 속도가 빠르기 때문에 기업에서 비즈니스 용도의 AI를 개발하더라도

최신의 AI 연구 흐름을 접해 둘 필요가 있으며, 비즈니스와 연구라는 두 마리 토끼를

한 번에 쉽게 잡게 하려는 것이 목적임

◾ 실제 힌튼 교수의 문하생들은 토론토 대학 및 벡터연구소에 적을 유지하면서 AI 스타트업

을 창업하여 AI의 비즈니스 응용이라는 목표를 실현해 나가고 있음

▸ 가령, 벡터연구소의 공동 설립자인 조던 제이콥스가 창업한 ‘레이어 6(Layer 6)’는 고도

의 ‘추천시스템’을 산업에 적용할 것을 목표로 2016년에 설립되었는데, 2017년에 추천

시스템의 콘테스트인 ‘ACM RecSys Challenge 2017’에서 1위를 차지하였음

▸ 레이어 6가 흥미로운 것은 2018년 1월 캐나다의 유력 금융기관인 TD(Toronto-Dominion)

뱅크 그룹에 인수된 후에도 논문 발표 등 연구 활동을 지속하고 있다는 점

▸ TD 뱅크 인수 이후 레이어 6의 주요 사업은 은행을 위한 추천 시스템의 개발이었지만,

동시에 구글이 개최하는 이미지 인식 기술 콘테스트인 ‘Google Landmark Recognition

Challenge 2018’에 참가하는 등 기업활동 이외의 연구 활동도 계속하고 있음

▸ 힌튼 문하이자 벡터연구소 공동 설립자 중 한명인 브렌단 프레이(Brendan Frey) 역시

토론토 대학의 교수로 계속 재직하면서 2015년에 창업한 딥러닝 기반 신약 개발 스타트

업인 ‘딥 제노믹스(Deep Genomics)’를 이끌고 있음

▸ 딥 제노믹스는 유전자 치료에 딥러닝 적용을 시도하고 있으며, 환자의 유전자에서 암의

원인이 되는 결함을 찾아내는 AI와 그러한 유전자의 결함을 겨냥한 화합물을 찾아내는

AI 등을 모두 딥러닝 기반으로 개발하고 있음

▸ 토론토와 인근 지역은 사실 유명 기술기업을 많이 배출해 온 곳인데, 토론토 북쪽 마크햄

에서는 GPU 메이커인 ATI 테크놀로지스(현재 AMD 산하)가, 토론토 서쪽 워털루에서는

블랙베리를 만든 RIM과 콘텐츠 관리 솔루션 기업 오픈텍스트(OpenText)가 태어났음

최신ICT이슈


▸ 마크햄이나 워털루에서는 제 2의 ATI나 블랙베리를 만들기 위해 2000년대부터 스타트업

육성 시설을 마련했으며, 지금은 AI 스타트업 육성에 주력하고 있는데, AI 인재를 실리콘

밸리에 빼앗기지 않겠다는 토론토의 의지가 아주 강렬함을 잘 보여주는 사례임

◾ 토론토에 이어 캐나다 제2의 도시인 몬트리올의 수퍼클러스터도 AI 연구소가 인재를 육성

하고, 이들을 찾아 대기업의 연구소가 들어서는 등 토론토와 비슷한 양상을 보이고 있음

▸ 몬트리올은 딥러닝 연구 전문가로 제프리 힌튼과 쌍벽을 이루는 요수아 벤지오 교수를

중심으로 학계와 스타트업이 대기업과 적극적으로 협력하고 있음

▸ 몬트리올에서는 벤지오 교수가 재직 중인 몬트리올 대학, 벤지오의 출신학교인 맥길

대학, 벤지오가 연구 책임자로 있는 몬트리올 학습 알고리즘 연구소(Montreal Institute

for Learning Algorithms: MILA) 등 3개 기관이 AI 연구 및 AI 인재 육성의 중심임

▸ 몬트리올 도시 지역의 상업 진흥 단체인 ‘몬트리올 인터내셔널’에 따르면, 몬트리올에는

250명의 AI 연구자가 거주하고 있으며, 9,000명의 대학생이 AI 관련 수업을 대학에서

수강하고 있다고 함

▸ 몬트리올에는 대기업의 AI 연구 거점 개설도 한창이어서, 2016년에는 구글 브레인 팀이,

2017년에는 딥마인드가 각각 AI 연구소를 개설했으며, 특히 딥마인드는 앨버타에 이어

몬트리올에 두 번째 캐나다 내 AI 연구 거점을 마련한 것임

▸ 마이크로소프트는 2017년에 몬트리올의 스타트업인 ‘말루바(Maluuba)’를 인수하고, 이

기업을 캐나다 내 MS의 AI 연구 조직으로 개편한 바 있음

▸ 이 밖에도 IBM, 페이스북, 삼성전자, 프랑스의 전자 대기업인 탈레스 그룹(Thales Group)

등이 모두 2017년에 몬트리올에 AI 연구 거점을 개설하였음

◾ AI에 기반을 둔 디지털 변혁을 추진하기 위해 캐나다 정부가 AI 공급망 구축을 목표로 설립

한 조직인 ‘SCALE.AI(Supply Chains and Logistics Excellence AI)’의 본부도 몬트리올에 있음

▸ AI 공급망은 AI 인력 및 AI 기술을 일반 기업에 공급하는 구조를 구축하려는 것으로, AI

스타트업의 육성뿐 아니라 AI에 의한 디지털 변혁(Digital Transformation)이 모든 산업

분야에서 촉진되도록 하려는 캐나다 정부의 목표가 반영된 것임

▸ 벤지오 교수가 공동 창업자로 있는 스타트업이 AI 공급망 구축에 앞장서고 있는데, 2016

년에 설립된 “엘리먼트 AI(Element AI)”는 2017년 6월에 시리즈 A 펀딩으로 1억 3,750만

달러를 조달, AI 스타트업의 시리즈 A 자금으로는 사상 최대 규모를 확보한 바 있음

32 www.iitp.kr

주간기술동향 2018. 8. 29.

▸ 엘리먼트 AI는 대기업에 AI 솔루션을 제공하고 AI 연구자들의 창업을 지원하는 스타트업

으로, 직원은 300명이며, 몬트리올, 토론토, 런던, 서울, 싱가포르에 거점을 두고 있음

▸ 현재 주요 고객은 금융업과 제조업으로, 엘리먼트 AI 소속 AI 연구자가 중심이 된 팀이

6개월에 걸쳐 고객 기업의 업무 흐름을 분석하고 어떤 AI를 도입하면 업무를 근본적으로

혁신할 수 있는지 로드맵을 수립한 후, 여기서 개발한 기계학습 앱을 도입한다고 함

▸ 엘리먼트 AI의 목적은 디지털 마케팅 및 보안과 같은 포인트 솔루션의 제공이 아니며,

기업이 자신들의 데이터를 제공하면 기계가 데이터를 기반으로 기업의 업무 프로세스

전반을 최적화하는 모든 용도에 사용할 수 있는 AI 플랫폼을 제공하는 것임

▸ 엘리먼트 AI가 솔루션을 제공하는 곳은 주로 전통 산업에 속해 있는 대기업, 즉 거대하고

변화가 느린 기업인데, 왜냐하면 거기에 큰 기회가 있다고 보기 때문임

▸ 이에 대해 벤지오 교수는 뛰어난 AI 인재들일수록 큰 성장이 기대되는 스타트업이나

실리콘밸리를 지향하는 경향이 있어 대기업의 AI 인재 채용이 어렵기 때문이라 설명

▸ 그러나 대기업은 거대한 시장을 확보하고 있고 자금도 이미 풍부하며 또한 그들 밖에

가지고 있지 않은 빅데이터가 있기 때문에, 벤지오 교수는 엘리먼트 AI가 스타트업에

눈을 돌리기 쉬운 AI 인력과 대기업을 중개하는 역할을 하게 되기를 희망하고 있음

◾ 벤지오 교수는 AI 기술이 특정 국가에 독점되지 않고 사회 전반적으로 활용되도록 하는데

관심이 많은데, 그의 이런 생각은 엘리먼트 AI와 캐나다 정부의 정책에 영향을 미치고 있음

▸ 엘리먼트 AI의 직원들은 입사 후에도 몬트리올의 MILA와 토론토의 벡터연구소 등 산·학

협력 기반의 AI 연구소와 연계한 AI 기초 연구를 지속하고 있는데, 이는 AI 인재들이

학계에 상주하는 것이 필요하다는 벤지오

교수의 생각이 반영된 것임

▸ 벤지오의 행보는 종종 토론토 대학의 힌튼

과 비교되는데, 힌튼은 문하생들과 창업한

DNN리서치(DNNresearch)를 구글에 매각하

였고, DNN리서치는 구글의 AI 연구 부문이

되었으며 힌튼은 토론토 대학 교수직과 구

글의 연구자 역할을 겸임하고 있음

▸ 이에 대해 벤지오 교수는 구글이나 페이스

북에 가지 않고 학계에 상주하는 것이 아

주 중요하다며, 자신이 창업한 엘리먼트 AI

<자료> ITPro

[그림 2] 몬트리올 대학의 요수아 벤지오 교수

최신ICT이슈


를 실리콘밸리 거대 IT 기업에 매각할 의향이 절대 없음을 밝히고 있음

▸ 그 이유는 AI 사용의 중립성 때문인데, 사람들에게 좋은 일과 사회에 좋은 일만 계속

생각하고 싶다며, 구글이나 페이스북에도 AI 연구소가 있지만 과연 그들의 연구가 중립

적이고 지속 가능한 것인가에 대해 의문을 표시하고 있음

▸ 벤지오가 가장 우려하는 것은 AI의 독점인데, AI에 의한 비즈니스 자동화는 기업 간 격차

를 확대할 뿐 아니라 나아가 AI의 독점에 의해 국가 간 격차를 조장할 수 있기 때문

▸ 특정 국가에 AI의 힘이 독점되지 않도록 벤지오 교수는 캐나다 연구진과 유럽 등의 연계

를 중시하고 있는데, 여기서 ‘특정 국가’는 물론 미국을 의미함

▸ AI 공급망을 통해 모든 기업에 AI를 보급시켜 나간다는 캐나다 정부와 엘리먼트 AI의

목표는 실리콘밸리의 미국 기업들이 AI를 독점하지 못하게 하겠다는 벤치오 교수의 철

학에 기인한 바가 큼

[표 2] 몬트리올과 토론토에 AI 연구 거점을 마련한 주요 글로벌 기업

◾ 캐다나의 AI 연구 인프라가 미국 이외 유럽 지역과 연계를 강화하는 대표적 사례는 프랑스

전자 대기업 탈레스 그룹이 몬트리올에 AI 연구소 ‘cortAIx’를 설립한 것임

▸ 몬트리올은 프랑스어가 공용어인 퀘벡 주에 있어 프랑스와 유대가 강한데, 프랑스 전자

대기업인 탈레스 그룹은 2017년 10월에 AI 연구소 ‘cortAIx(Centre of Research and

Technology in Artificial Intelligence eXpertise)’를 몬트리올에 설치하였음

▸ cortAIx는 MILA 등 몬트리올의 AI 에코시스템과 연계하여 교통시스템 등 탈레스 그룹의

비즈니스 영역에서 딥러닝 적용을 추진하는 것을 목적으로 하며, cortAIx는 몬트리올에

서 50명의 AI 연구자를 채용한다는 계획을 갖고 있음

▸ 탈레스는 방위사업도 하고 있지만 cortAIx는 군사 분야 연구는 제외하고 있는데, 이는

벤지오 교수를 비롯하여 AI 연구자 대부분이 AI가 군사 및 첩보 분야에서 활용될 것을

우려한다고 지적한 것을 수용했기 때문

▸ 제너럴 일렉트릭(GE)과 포드자동차 등 미국의 전통적 대기업이 실리콘밸리에 AI 연구

구분 몬트리올 토론토

AI 연구 거점

설립 기업

(미국) 구글, 마이크로소프트, 페이스북

(한국) 삼성전자

(영국) 딥마인드

(프랑스) 탈레스 그룹

(미국) IBM, 구글, 우버 테크놀로지,

톰슨로이터, 엣시, 엔비디아

(한국) 삼성전자, LG전자

<자료> ITPro, July 2018.

34 www.iitp.kr

주간기술동향 2018. 8. 29.

거점을 마련하는 움직임을 보이고 있지만, 탈레스 그룹의 사례를 기점으로 유럽의 전통

기업들은 몬트리올을 AI 연구 거점의 1순위 후보로 검토할 가능성이 높아지고 있음

◾ 캐다나 주요 도시의 AI 수퍼클러스터들은 교육과 인재 양성에 대한 장기적 안목의 투자와

함께 산업 응용과 학문적 연구 사이의 건강한 긴장관계가 핵심 성공요소임을 재확인

▸ 다양한 산업에서 성공을 거두고 있는 클러스터들의 공통점은 대부분 장기간에 걸친 교

육의 혁신과 이를 통해 인재들이 지속적으로 양성되는 시스템을 갖추고 있다는 것인데,

캐나다의 AI 수퍼클러스터들 역시 동일한 특성을 보여주고 있음

▸ 이는 AI에 대한 초기 관심이 잦아들고 기술발전 속도도 답보하며 소위 AI의 겨울이라

불렸던 1990년대 이후 약 20년 동안에도 연구개발 투자를 아끼지 않았던 캐나다 정부의

뚝심에 기인한 것으로 캐나다가 AI 산업을 선도할 수 있는 강력한 토대가 되고 있음

▸ 교육에 대한 장기적 투자는 뒤늦게 AI 연구와 클러스터 구축을 시작해 자칫 단기적 성과

에 집착하기 쉬운 후발주자들이 귀감으로 삼아야 할 포인트임

▸ AI 기술연구를 토대로 스타트업 창업을 지원하되 창업 이후에도 지속적으로 연구활동을

병행할 수 있는 환경을 조성하는 것도 캐나다 AI 생태계의 강점인데, 기업과 학문 간의

건강한 교류는 AI 기술과 경제를 폭넓은 관점에서 조망하게 하는 힘이 되고 있음

▸ 캐나다의 AI 생태계는 개별 기업이 아닌 사회 전체, 나아가 전세계적 관점에서 AI 기술의

고른 보급과 활용을 지향하고 있으며, 이는 전세계가 캐나다의 AI 생태계를 찾고 캐나다

가 글로벌 AI 연구와 산업을 선도할 수 있는 강력한 원동력이 되고 있음

[ 참고문헌 ]

[1] The Sociable, “R&D In Canada Is Heating Up: Here’s What’s Making The Country So Attractive For Deep Technology,” 2018. 8. 10.

[2] Toronto Life, “A sneak peek inside the artificial intelligence labs at MaRS,” 2018. 8. 2. [3] Nikkei Business Publications, “IT大手がAI拠点を相次いで開設、モントリオールとトロントを比較'

Project,” 2018. 6. 21.[4] ComputerWeekly, “Canada’s tech sector is targeting Europe – does it have what it takes to

compete?,” 2018. 6. 6.

최신ICT이슈


II. 에어버스, 태양광 무인항공기 26일 연속 비행 신기록

◾ 에어버스(Airbus)는 8월 초 자사의 태양광 무인 항공기 ‘제퍼S(Zephyr S’)’의 양산 1호기가

첫 시험 비행에 성공했다고 발표

▸ 이 무인항공기는 7월 11일 미국 애리조나주를 이륙해 25일 23시간 57분 동안 비행했는

데, 이는 지금까지 항공기의 비행시간으로는 세계 신기록임

▸ 에어버스에 따르면 이전 세계 최장 비행시간 기록은 제퍼의 프로토타입이 달성한 약

14일간 연속 비행인데, 이번 제퍼S의 기록은 약 두 배 가량 더 긴 것

▸ 제퍼S는 날개폭 25m, 무게 75kg으로 일반 항

공기의 운항 고도나 구름보다 높은 70,000

피트(약 21.3km) 상공의 성층권을 비행하며

태양광으로만 비행을 하였음

▸ 이 고도에서 비행 가능한 항공기는 거의 없

는데, 민간 항공기로는 2003년에 마지막 비

행을 마친 초음속 여객기 콩코드가 유일하

며, 군용기 중에는 록히드마틴이 개발한 고

도 정찰기 ‘U-2’와 ‘SR-71 블랙버드’만 비행

이 가능

▸ 제퍼S는 통신, 정찰, 감시 등 다양한 분야에 활용할 수 있는 소위 “고고도 유사 위성(High

Altitude Pseudo-Satellite: HAPS)”으로 인공위성과 유인 항공기 사이에 위치함

◾ 고고도 유사 위성인 태양광 무인항공기는 제작 및 발사 비용이 엄청난 인공위성의 기능을

일부 대신할 수 있어, 각국 우주항공연구기관과 민간 기업들이 일찍부터 개발해 왔음

▸ 에어버스의 이번 태양광 드론 비행 역시 영국 국방부가 지원했는데, 영국 국방부는 무인

태양광 항공기의 혁신성과 다양한 창조적 파괴를 가져올 수 있는 잠재력을 높이 평가하

고 있으며, 이런 잠재력이 이번 비행기록으로 드러났다고 논평하였음

▸ 영국 국방부는 이미 제퍼S의 상용 모델 3대를 주문했다고 하며, 에어버스는 보다 오래

비행하고 다양한 기능을 제공하는 상위 모델 ‘제퍼 T’의 개발에 돌입했다고 함

▸ 제퍼S는 관측, 감시, 통신 등의 목적으로 민수와 군수 모두에 이용되며, 산불이나 기름

유출 등 재해의 확산을 감시하고 관리하는 데도 탁월한 능력을 발휘할 것으로 기대됨

<자료> New Atlas

[그림 1] 태양광 무인항공기 제퍼S

36 www.iitp.kr

주간기술동향 2018. 8. 29.

▸ 또한, 전세계적으로 급변하는 환경 지형을 지속적으로 모니터링하고, 통신 인프라가 제

대로 갖춰지지 못한 지역에 통신 수단을 제공하는 용도로도 이용이 예상됨

▸ 태양광만을 동력으로 하는 항공기 개발 프

로젝트로는, 태양광만으로 세계 일주를

하겠다는 목표 하에 23일 간의 유인 비행

에 달성한 스위스 기업 ABB의 “솔라 임펄

스(Solar Impulse: Si) 2”가 널리 알려져 있

음

▸ 한편, 스위스의 에코 탐험가인 라파엘 돔

얀은 태양광만을 에너지원으로 성층권에

도달하는 최초의 유인 비행기 프로젝트 “솔라 스트라토스(Solar Stratos)”를 진행 중임

▸ 태양광 무인항공기 개발 프로젝트는 구글과 페이스북도 진행 중인데, 페이스북은 2016

년 7월에 90분가량의 시험 비행을 성공시킨 바 있으며, 구글과 페이스북 등은 모두 저개

발 국가의 새로운 통신망으로 무인 항공기를 이용한다는 계획을 세우고 있음

◾ 에어버스의 이번 성과에도 불구, 무인 태양광 비행기의 개발은 쉽지 않은 측면이 있는데,

특히 태양광 집진에 필요한 수많은 전지판이 야기하는 안전문제가 최대 과제라고 함

▸ 비행에 성공한 유인 태양광 비행기 솔라 임펄스2의 경우 날개길이가 72m인데, 이는 보잉

이나 에어버스의 대형 항공기와 비슷한 수준의 날개 크기임

▸ 하지만 솔라 임펄스2의 무게는 2,000kg대로 아주 가벼운 편인데, 그럼에도 비정상적으로

넓은 날개가 필요한 것은 약 1만 7,000개 이상의 태양전지를 부착할 공간이 필요하기

때문

▸ 즉, 거대한 날개와 에너지 소비 최소화를 위한 경량화가 태양광 무인항공기의 특징인데,

경량화를 추진할 경우 내구성에 문제가 생겨 안전문제가 발생하게 되는 것임

▸ 실제로 NASA는 무인 태양광 비행기 ‘헬리오스(Helios)’ 프로젝트를 추진했으나, 경량화에

따른 내구성 문제로 헬리오스가 추락했고, 고고도에서 추락이 마치 운석과 같은 파괴력

으로 피해를 입힐 우려가 있음이 드러나자 개발을 포기한 바 있음

[ 참고문헌 ]

[1] Quartz, 8. 11, https://bit.ly/2PrhDYk

[2] Tech Xplore, 8. 12, https://bit.ly/2OZDDJ9

<자료> Solar Stratos

[그림 2] 솔라 스트라토스 개념도

최신ICT이슈


III. 미국 기업의 81%, 2025년까지 사용 전력의 25%를 자가 발전

◾ 시장조사기관 센트리카 비즈니스 솔루션에 따르면, 미국 기업의 81%가 2025년까지 사용

전력의 25%를 자가 발전으로 충당할 계획인 것으로 조사되었음

▸ 센트리카 비즈니스 솔루션은 1,000개 이상의 기업을 대상으로 고정설치형 축전지나 자

가 발전, 수요 대응 등 에너지 기술을 새로 도입하는 데 도움 또는 장벽이 되는 주요

요인 파악을 위해 조사한 결과를 보고서로 발간하였음

▸ “에너지 어드밴티지 리포트(The Energy Advantage Report)”의 내용에 따르면, 조사 대상

기업의 약 25%가 이미 태양광 발전이나 열병합 발전 시스템에 의한 자가 발전 설비에

투자하고 있으며, 약 3분의 1은 현재 설비 투자를 검토 중임

◾ 한편, 미국 기업의 35%가 에너지 전략을 수립하고 있다고 밝혔지만, 정책을 뒷받침할 정량

적 목표와 예산까지 확보하고 있는 경우는 많지 않은 것으로 밝혀졌음

▸ 예를 들어, 응답 기업의 3분의 2는 정전 시

제공되는 백업 전원을 “아주 중요하다”고

생각하지만, 이를 해결하기 위한 구체적 목

표를 세운 기업은 20%에 불과함

▸ 또한, 절반 이상이 지속 가능한 에너지의 이

용과 브랜드 이미지의 관계가 중요하다고

인식하면서도, 이와 관련된 목표를 수립하

고 있는 기업은 10%에 지나지 않음

▸ 이번 조사는 에너지를 효율적으로 이용하는

전략을 도입한 기업, 즉 “에너지 리더”들의

경쟁력도 조사하였는데, 여느 기업들보다

경쟁력이 2배 이상 높게 나타남

[ 참고문헌 ]

[1] PR Newswire, 8. 15, https://prn.to/2PoVCK1

[2] CPA Practice Advisor, 8. 17, https://bit.ly/2N8nBfi

<자료> Centrica Business Solutions

[그림 1] 에너지 리더 기업들의 경쟁력 평가

정보통신기술진흥센터는 주간기술동향의 ICT기획시리즈에 게재할 “인공지능(AI)” 분야

원고를 모집하고 있습니다.

관심 있는 산·학·연 전문가 여러분들의 많은 참여를 바랍니다.

원고 주제 : 인공지능(AI) 관련 기술·시장·정책 동향(제목 및 목차는 저자 자율 결정)

제출 자격 : 대학, 연구기관, 산업체의 정보통신분야 재직자(5년 이상)

접수 기간 : 수시접수 (2018년 7월 1일~9월 30일까지)

제 출 처 : 주간기술동향 원고접수메일([email protected])로 제출

원고 양식: 파일참조(원고양식)

원고 분량: 13페이지 내외

기타

- 게재 원고에 대하여 소정의 원고료 지급(200자 원고지 7,000원/1매, 최고 20만 원~40만 원,

지급대상별 상한액 적용)

- 기획시리즈 칼럼은 매주 1편씩 발간

- 원고제출 시 반드시 원고심의의뢰서(첨부파일참조)를 함께 제출하여 주시기 바랍니다.

- 게재된 원고로 인해 지적재산권 침해문제가 발생할 경우, 원고저자는 원고료 반환, 게시물

삭제와 정보통신기술진흥센터가 입게 될 손실·비용에 대한 배상 등의 불이익을 받을 수

있습니다.

제출 및 문의처

- (34054) 대전광역시 유성구 화암동 58-4번지 정보통신기술진흥센터

기술정책단 산업분석팀 주간기술동향 담당

- Tel : 042-612-8296, 8214 / Fax : 042-612-8209 / E-mail : [email protected]

주간기술동향 원고 공모

사업책임자: 최 령 (기술정책단장)

과제책임자: 이성용(산업분석팀장)

참여연구원: 변화성, 이재환, 이효은, 이상길, 안기찬, 김용균, 박혜영, 김우진, 전영미(위촉)

통권 1861(2018-33)

발 행 년 월 일 : 2018년 8월 29일발 행 소 : 편집인겸 발행인 : 석제범등 록 번 호 : 대전 다-01003등 록 년 월 일 : 1985년 11월 4일인 쇄 인 : ㈜승일미디어그룹

(34054) 대전광역시 유성구 유성대로 1548(화암동 58-4번지)전화 : (042) 612-8296, 8214 팩스 : (042) 612-8209

· 침체기에 빠져있었으나 2000년대 중반이후 딥러닝 등의 학습 알고리즘...

Documents