호 정보통신·방송 연구개발 사업계획서 - seoul national universitykdb.snu.ac.kr ›...

- 1 -

1) 2017-0027호 2) (접수/과제)번호 / 5

정보통신·방송 연구개발 사업계획서3) 보안 등급 보안과제( ), 일반과제( )

4) 과제 성격 기초( ), 응용( ), 개발( ○ )

5) 총괄과제명 자율지능 디지털 동반자 (Autonomous Digital Companion) 기술 연구

6) 과제명 국 문 (지능정보-총괄/1세부) 자율지능 디지털 동반자 프레임워크 및 응용 연구개발

영 문

7) 주관기관서울대학교 산학협력단

사업자등록번호 119-82-03684

주 소 서울특별시 관악구 관악로 1(신림동, 서울대학교 60동 5층 (151-742)

8) 총괄책임자

성 명 차상균 직위/직급 원장

전화번호 02-880-4163 부서 빅데이터연구원

휴대전화번호 010-9997-7319 팩스번호 0303-0799-1965

과학기술인등록번호 10076572 전자우편 [email protected]

9) 총수행기간 2017. 4. 1 ~ 2020. 12. 31 ( 45개월 )

10) 협약기간 2017. 4. 1 ~ 2017. 12. 31 ( 9개월 )

11)사업비현황(천원)

연도 정부 출연금민간부담금

합 계현금 현물 소계

해당여부 1차년도(2017년) 5,000,000 - 237,210 237,210 5,237,210

2차년도(2018년) 5,000,000 - 237,210 237,210 5,237,210

3차년도(2019년) 5,000,000 - 237,210 237,210 5,237,210방발기금

4차년도(2020년) 5,000,000 - 237,210 237,210 5,237,210

일반회계 합 계 20,000,000 - 948,840 948,840 20,948,840

12) 참여기관

책임자성명 직위/직급 휴대전화 전자우편 과학기술인등록번호 유형

㈜ 파수닷컴 김용길 상무 010-8346-1020 [email protected] 10880947

분당서울대학교병원 김광일 교수 010-2922-7032 [email protected] 10158438

㈜ 써로마인드로보틱스 장하영 이사 010-5626-0014 [email protected] 11436032

사단법인 지능정보산업협회 신지웅 팀장 010-9423-6713 [email protected] 11440428

13) 참여기업 주관기관과 참여기관 중 중소기업( 2)개, 중견기업( )개, 대기업( )개

14)주관기관 실무담당자

성 명 박한규 부서/직위 PIDL연구실 / 박사과정

전화번호 02-880-6745 전자우편 [email protected]

휴대전화번호 010-2385-1701 팩스번호

15) 과제특성( 모두체크)

○기술사업화

활동기간 적용표준연계 경쟁과제 SW자산뱅크 ○

공개SW ○ 정책지정 일반형 ○ 혁신도약형

병렬형 총괄 /세부

16) TRL등급 ( 4 ) ∼ ( 7 ) 17) 성격구분 창의( ), 전략( ○ ), 혁신( )

관련법령과 규정을 준수하고, 동 기술개발사업을 성실히 수행하고자 사업계획서를 제출합니다.아울러, 동 사업계획서상의 기재 내용이 사실임을 확약하며, 만약, 사실이 아닐 경우 선정취소, 협약해약 등의 어떠한 불이익도 감수하겠습니다.

2017 년 3 월 2 일

총괄책임자 : 차 상 균 (서명)

주관기관장 : 김 성 철 (인감)/(직인)미래창조과학부 장관 귀하

<연구분야 및 분류>

구분

ICT 연구개발

기술분류

세부사업 대분류 중분류 소분류

ICT융합산업원천 기타융합서비스 기타

중심분야 관련 분야 1 관련 분야 2 관련 분야 3 관련 분야 4

소분류코드

비중소분류코드




비중

국가과학기술

표준분류

EE0108

(인공지

능)30%

EE0104

(프로그

래밍

언어/자

연어

처리)

25%

EE0203

(System

Integra

tion)

25%EE202(S

/W

솔루션)20% %

1. 과 제 명(지능정보-총괄/1세부) 자율지능 디지털 동반자 프레임워크 및 응용 연구개발

2. 총수행기간2017.4.1. - 2020.12.31.

(45개월)3. 총 투입인원 총 130 명

4. 사업비총연구비: 20,000,000 천원

정부출연금: 20,000,000 천원, 민간부담금: 948,840 천원

5. 연구개발 목표

- 다양한 멀티모달 정보를 활용하여 사용자와 교류하고, 사용자의 감정 및 개인

특성을 예측하여 대응하며, 지속적으로 사용자의 정보를 학습해 초기 모델의

성능을 개선하는 자가 학습형 자율지능 디지털 동반자 기술 연구 총괄

- 2,3,4 세부 과제의 연구 성과를 융합하는 디지털 동반자 AI 라이브러리 구현 및

응용 서비스 지원

- 자율지능 디지털 동반자 응용 서비스 플랫폼 개발, 사업화를 위한 기술 공개

및 공유체계 확립

- 디지털 동반자의 AI 라이브러리와 플랫폼을 활용한 시범 응용 서비스 구현6. 연구개발 내용

- 자율지능 디지털 동반자 서비스와 AI 라이브러리 및 클라우드 플랫폼 ⚪ 자율지능 디지털 동반자 서비스

Ÿ (웰니스 케어) 라이프스타일.식이섭취 평가 및 모니터링.관리

Ÿ (스마트 모빌리티) 개인 통행이력.취향.환경 고려 경로정보 추천

Ÿ (스마트 코디) 개인 일정.취향.환경 고려 의상조합 추천

⚪ 사용자 상황.감정.환경인지 및 개인 최적화 디지털 동반자 AI 라이브러리

Ÿ (멀티모달 인터페이스) 영상 인식, 음성 인식 및 합성, 주변 소리 인지

Ÿ (AI 라이브러리) 자연어처리, 지식베이스, 감성엔진, 플래닝, UX/UI

⚪ 자율지능 클라우드 기반 디지털 동반자 플랫폼

Ÿ (동반자 서비스 지원) 동반자 관리 및 모니터링, 디바이스 경량화 기술

Ÿ (데이터.AI모델 지원) 데이터 통합‧관리, 서비스 개발 API 및 보안 기술7. 과제수행방법

- 컨소시엄 구성 ⚪ 디지털 동반자 개발을 위한 핵심 선도 기술을 지닌 다양한 대학 전문 연구

인력들이 협력함

⚪ 알고리즘, 클라우드 가상화 기술, H/W, QA Reoport까지 서비스 개발에서부

< 요 약 서 >

- 4 -

이를 지원하기 위한 알고리즘 개발 및 플랫폼 구현 관련 세계 최고 기술 연구, 기

술수준을 보유한 NVIDIA, Docker, Zeppelin, Stanford NLP 그룹과 협업 관계

를 가져 과제 수행에 반영할 수 있는 체계 구성

- Quality Control ⚪ 연구 개발과정 중 코드, 데이터, AI 모델에 대하여 변동 시마다 버전을 생성, 관리하고

실시간 및 주기적 테스트를 통하여 유기적인 품질 관리 환경 구축

⚪ 코드, 데이터, AI 모델의 검증은 단위 테스트, 통합 테스트, 서비스 테스트 등 여러 단

계의 테스트를 통하여 완전성을 유지

⚪ 생성된 버전들에 대한 프로파일링 및 모니터링을 통해 Quality Control 과정 전반에 대

한 통계 표시, 품질 평가 및 문제 정의를 지원

- 데이터 수집 및 관리 방안 ⚪ 사전 데이터 수집, 신규 데이터셋 구축으로 기술개발에 필요한 데이터 조달

⚪ 시범 서비스 진행 중 발생하는 분석 데이터를 수집해 성능 개선에 활용

⚪ 각 연구팀에서 수집·구축한 데이터는 표준 포맷으로 변환해 세부 과제 간

데이터 공유 촉진

8. 연구개발 성과

- 자율지능 디지털 동반자 서비스 ⚪ 주요기능

Ÿ 웰니스케어 프로그램(SW)

Ÿ 사용자의 선호도와 상황을 고려한 맞춤형 모빌리티 서비스 (SW)

Ÿ 의상 추천 및 가상착용 디스플레이 시스템 (SW)

⚪ 주요 성능치

Ÿ 리커트척도 3.5 이상 서비스 만족도

- 사용자 상황.감정.환경인지 및 개인 최적화 디지털 동반자 AI 라이브러리 ⚪ 주요기능

Ÿ 사용자 음성, 영상, 환경, 감정 인식 라이브러리(SW)

Ÿ 환경음향내 이벤트 및 상황 감지, 분류 기술 연구 및 모듈제작 (SW)

Ÿ 오디오기반 사용자 상황 추론 및 자연어 생성 모듈제작 (SW)

Ÿ 사용자 적응형 음성, 영상, 자연어처리 및 플래닝 라이브러리 (SW)


Ÿ 리커트척도 3.5 이상의 환경음향묘사, 영상인식, 감성인식, 플래닝, 사용자 인터페이스

Ÿ 90% 이상의 환경음향 클래스 예측 정확도, 47% 이상의 오디오 이벤트 예측

F1-score

Ÿ 92.5/95이상 F1-score 한국어 의존구문‧분석개체인식/의도인식

Ÿ METEOR 30% 이상 영상묘사 지능 정도

- 5 -

Ÿ WER 9.5 이하의 음성 문장 인식, MOS 4.2 이상의 음성 합성

Ÿ 정답 Diversity Distinct-2 0.4 이상의 자연어 다양성

Ÿ 구어체 코퍼스에 대한 Perplexity 30 이하 언어모델 정확도

Ÿ MRR 0.85 이상 대화상태 예측 정확도

Ÿ 128이하 Reward Returned의 대화관리를 위한 POMDP 학습상태

Ÿ 85% 이상 지식 그래프 기반 응답요소 추론 성능

Ÿ 65%이상 정서대화 튜링 테스트

- 자율지능 클라우드 기반 디지털 동반자 플랫폼 ⚪ 주요기능

Ÿ QoS보장 빅데이터 클라우드 플랫폼 (HW + SW)


Ÿ QoS 99%이상 보장된 디지털 동반자 요청 처리

<예상되는 연구개발성과 유형>

구분 논문 특허 보고서 원문연구시설ㆍ장비

기술요약 정보

소프트웨어

예상성과(N/Y)

Y Y N Y N Y

9. 활용계획 및 기대효과

- 본 과제는 오픈소스 과제이므로 소스코드를 공개함- 프로토타입을 통한 세가지 대국민 시범서비스(웰니스, 스마트 모빌리티, 스마트 패션) 기능 시연

- 대국민 시범서비스를 통한 기술활용 활성화 및 피드백 반영- SKT NUGU, kt 기가지니 등 기개발기기에 오픈소스 기술 컨설팅 수요가 있음- 공개된 디지털 동반자프레임워크 API를 활용하여 추가적인 개인화 기능을 제공하는 서비스, 스타트업 출현 등 관련 분야 창업 및 고용 효과 기대

- ICT 기술 전반에 자연어 이해를 통한 지능형 상호작용 기술을 적용할 수 있어 기존 기술과 서비스의 혁신을 통해 신규 시장이 활성화

- 개인 맞춤화된 웰니스, 모빌리티, 패션 등 디지털 동반자를 사용하는 대표 서비스 시장이 창출되고, 이후 다른 여러 분야의 서비스로 확대될 것으로 기대

- 1 -

[그림] 자율지능 디지털 동반자 기술연구 과제 개념도

1 기술개발의 필요성

1-1. 기술개발의 개요

(1) 자율지능 디지털 동반자 기술 · 연구의 특징 및 차별성

- 사용자를 이해하여 적절한 도움을 주고, 다양한 입력을 수집하여 학습하는

적응형 기계학습 기반 디지털 동반자 기술의 통합 프레임워크 (1세부)

- 초기에 학습된 상태를 기반으로 지속적으로 수집되는 사용자의 정보를 학

습하여 자가 성장하는 적응형 기계학습 (2세부)

- 다양한 멀티모달 상황정보 (예: 시각, 청각, 환경, 움직임, 메타 정보 등)를

동시에 활용하여 사용자와 교류하는 지능형 인터랙션 (3세부)

- 사용자의 감정 및 상황을 (예: 문체, 말투, 습관, 관심사, 심리 등)을 추론

하여 정서적인 공감대를 형성할 수 있는 개인 맞춤형 상호작용 (4세부)

- 기존에 국내외 제공되는 지능형 동반자 기술/제품은 수동적 미션 중심의

에이전트, 본 과제의 목표는 스스로 상황판단을 하고 대응방법을 결정하는

능동적 자율지능 에이전트

- 자율지능 디지털 동반자는 다양한 개인화 서비스를 가능하게 할 것이며,

사용자의 만족도를 향상시키는 높은 수준의 편의성 제공

(2) 디지털 동반자 AI 라이브러리 기술·연구의 개요

- 병렬로 진행되는 2,3,4 세부 별 인공지능 기술을 융합 할 수 있는 디지털

동반자 통합 라이브러리를 구축할 필요가 있음

⚪ 1세부에서 각 세부에 대응하는 인공지능 기술에 대하여 세계 유수의 연

구 기관(Stanford NLP)과 선행 연구를 실시, 총괄 과제의 방향성 제시

- 2 -

[그림] 자율지능 디지털 동반자 플랫폼 개요도

⚪ 주요 연구 협업 내용

• 학습 가능한 대화 시스템

• 자연어 의존 구문 분석 및 의미 분석

• 강화학습 기반 자연어 생성

• 감정/정신상태 분석

• 2차년도 이후는 기술 발전에 따라, 본 과제를 진행하며 세부주제 조정

- 선행연구의 목적은 자율지능 디지털 동반자의 프로토타입 AI 라이브러리

를 선제적으로 구축하기 위함

⚪ 자율지능 디지털 동반자 핵심 기술 구현을 위한 데이터를 수집, 핵심

기술들을 정량적으로 평가하는 방안 마련

- 최종목표는 타 세부와의 연계를 통해 연구 성과를 결합하는 자율지능 디

지털 동반자 통합 라이브러리 구현 및 라이브러리를 활용하는 서비스 지원

(3) 디지털 동반자 플랫폼 기술 · 연구의 개요

- 3 -

- 오픈소스를 활용하여 클라우드 환경에서 사용자 정보 관리, 데이터 수집,

기계학습 어플리케이션 등의 작업을 처리하며, 컨테이너1)를 이용하여 분산

환경에서 자율지능 디지털 동반자 사용자들의 질의를 효과적으로 처리하는

경량 보급형 통합 관리 플랫폼 기술을 개발

- 자율지능 디지털 동반자의 생성, 실행, 갱신, 소멸 등의 프로세스를 추적할

수 있는 동반자 모니터링 기술을 통해 사용자의 실생활 패턴과 특성을 파악

하는 기술 및 클라우드 서버에서의 컴퓨터 자원 사용량을 실시간 확인하여

효율적인 업무 분배 및 Offloading2), Near data processing3) 등을 이용한

‘클라우드 - 디지털 동반자‘간 경량화 기술을 개발

(4) 자율지능 디지털 동반자 시범 응용 서비스 개요

- 자율지능 디지털 동반자 AI 라이브러리 및 플랫폼을 활용하여 사용자의 성

향을 학습, 헬스 케어(웰니스 케어), 패션(스마트 코디), 모빌리티(스마트 모

빌리티) 분야에서 일상생활을 개인별 맞춤 보조하는 응용 서비스 개발 (총칭

Smart Urban Life Style 서비스)

⚪ 웰니스 케어: 사용자의 진료 기록과 생활 습관을 학습하여 식습관, 운

동습관, 약 복용, 병원 내원 등의 활동에 대해 조언

⚪ 스마트 코디: 사용자의 선호 스타일을 학습하고 하루 일정, 날씨 등을

고려하여 적절한 의상을 조언함. 추후 한류 패션 관광객 (화장품, 옷 쇼핑

이 주 목적인 관광객)에게 의상 추천 알고리즘을 통해 특정 한류 스타와

비슷한 스타일의 의상을 코디해주는 등의 활용 가능

⚪ 스마트 모빌리티: 사용자의 상태, 선호 교통수단을 학습하고, 일정을 고

려하여 적절한 교통수단 혹은 경로를 추천

- Smart Urban Life Style는 사용자의 동적인 변화, 다양한 학습 상호작용 및

복잡한 여러 도메인 지식 체계를 융합하는 매우 도전적인 서비스

(5) 사업단의 기술성 및 연구개발 수행능력

- 디지털 동반자의 특성 및 다양한 응용 분야를 고려했을 때 문제 도메인의

특징을 잘 이해하고 이를 잘 활용하는 것이 매우 중요

- 국내외 기계학습과 인공지능 분야 최고 전문가들이 한 연구팀으로 모여 자

율지능 디지털 동반자에 대한 핵심 원천 기술 확보를 위해 함께 연구

- 삼성 펠로우, 삼성전자 반도체 사업부 글로벌 기술 협력 담당 전무, 삼성

1) 게스트 OS없이 패키징하여 배포하는 방법으로 가상화 환경을 경량화하기 위한 기술

2) 코드 연산 속도를 가속시키기 위해 연산을 디바이스에서 클라우드로 옮겨 수행하는 기술

3) 데이터 전송 오버헤드를 줄이기 위해 연산을 data source device로 옮겨 수행하는 기술

- 4 -

전기 CTO 경력의 김창현 박사를 영입하여 총괄책임자 바로 밑의 Project

Manager역할을 맡김. 이를 필두로, 전임 연구팀을 꾸려 2,3,4 세부 과제와의

통합 및 지속적인 Quality Control을 진행해갈 예정

- Stanford NLP: 자연어처리 분야 글로벌 초일류 연구기관으로, Dan Jurafsky

교수는 Stanford NLP 분야 논문 피인용 횟수가 26,000을 넘어가는 석학. 스

탠포드 그룹에서 공개하는 룰-베이스/머신러닝/딥러닝 기반 CoreNLP는 영어

뿐 아니라, 아랍어, 중국어 등 다양한 언어를 지원함으로써 세계적으로 산업

계/학계/정부 등 다양한 곳에서 사용되고 있음

- NVidia: Nvidia는 GPU 칩 분야의 선도적인 위치를 가진 회사로, AI 시장의

모든 지식이 모이는 회사. 특히, 본 컨소시엄에 참여하고있는 서울대학교의

안정호 교수의 지도 교수인 William Dally 가 CTO로 있으며, 미국의 변경석

박사, 아시아의 Simon See 등 본 컨소시엄과의 인적 커넥션이 매우 두꺼움.

- Docker: Docker는 가상머신, 클라우드 기반 빅데이터 어플리케이션 분야에

강점을 가진 글로벌 초일류 회사. 본 과제를 위해 “가상 클라우드 아키텍쳐

의 End-to-End 최적화”와 관련하여 협력 관계 구축

- Zeppelin: 한국에서 시작한 open SW 회사로 현재 실리콘밸리를 통해 세계

적으로 퍼지고 있는 유망한 회사. 1) spark, tensorflow 등의 오픈소스 AI 프

레임워크위에서의 데이터 분석, 머신 러닝 등과 관련한 시각화기술 지원 2)

open SW 개발 및 커뮤니티 운영 경험 등의 노하우 전수 등의 방법으로 협

력

- KT/SKT: 국내에서 가장 큰 유/무선통신 가입자 및 빅데이터를 보유한 통신

사. 인공지능 동반자 서비스중임. KT는 기가지니 서비스를, SKT는 누구 서비

스를 런칭하였으며, 오픈소스 개발이후 기술 컨설팅의 잠재적 고객

- 파수: 클라우드 보안, 모바일 보안 DRM 등 보안 서비스를 전문으로 하는

글로벌 소프트웨어 기업. 2015년 지메일, 구글캘린더 등 개인 생산성 서비스

와 연동되는 라이프로그 서비스 "DigitalPage"를 성공적으로 런칭하였음. 이

런 경험 등을 강점으로, 대국민 서비스를 책임지고 이끌어가는 데 적격

- 지능정보산업협회: 창립된지 1년이 안된 젊은 협회로, 프레임워크의 객관적

인 성능을 평가할 수 있도록 도움을 주고, 2,3,4 세부를 총괄이 잘 이끌어갈

수 있도록 organize 하는 데 긴밀한 협력

- AIBrain, AIZen: AIBrain 의 CEO인 신홍식 박사는 인공지능 분야로 박사를

따고, AI 관련 회사를 운영하는 등 인공지능 관련 경험이 풍부, AIZen의 경

우 3차년도 이후 금융쪽 서비스로의 확장 고려

(6) 기술개발 추진 전략 · 방법 개요

- 5 -

- 국내 시장을 위주로 개발을 할 경우 공개 SW의 성공에 한계가 있기 때문

에 첨단 기술을 기반으로 처음부터 글로벌 수준의 기술 및 시장을 공략하는

Go Global 전략을 지향

- 개발 초기부터 시스템의 완전성을 유지하기 위하여 응용 서비스의 요구사

항을 포함한 기술과 이를 활용한 응용 서비스를 병렬 개발

⚪ 응용 서비스에서의 요구사항 반영이 시스템의 기술적 발전을 가져오고,

재차 응용 서비스의 성능 향상과 기능 확장으로 이어지는 선순환 구조

- 본 사업단은 협력기관간의 원활한 소통, 중간 결과의 공유 및 통합, 타 세

부과제와의 연계, 고속 컴퓨팅 장비의 공동 활용 등의 조정 및 중재 역할을

수행하여 체계적인 연구 진행이 될 수 있도록 운영 가능

- 대학교 중심의 사업단에서 과제를 수행함으로서 4차 산업혁명을 이끌 지능

정보사회의 핵심 인프라인 지능정보기술의 학제적 연구 토양 조성

- 본 사업단에서에서 시범 서비스를 직접 운영하고 해당 기술을 공개·지원

함으로서, 자율지능 디지털 동반자 기술을 활용한 사업 확산, 창업 및 고용

창출로 이어지는 장기적 선순환 구조 구축

1-2. 기술개발 대상의 국내외 현황

1-2-1. 국내․외 기술 현황

(1) 국내 기술 동향 및 수준(신청 기관 포함)

인공지능

- 본 컨소시엄의 참여기관인 써로마인드 로보틱스는 인공지능 가사도우미

로봇을 개발 상용화 준비 중

- 서울대학교 김건희 교수의 SNUVL팀은 디즈니 연구소에서 후원하는 인

공지능대회 LSMDC 2016에서 1등상을 수상하는 등 자율지능 관련 세계적

연구 능력 보유

- 본 컨소시엄의 협력 업체인 SKT, KT는 최근‘누구’,‘지니’를 출시하

여 가정용 자율지능 서비스 제공

- 삼성과 LG는 공동으로 가정용 로봇 개발 벤처회사인 지보(JIBO)에 200억 가량 투

자하였으며 포털사이트인 다음카카오와 네이버는 추천 서비스, 검색 서비스 등에

딥러닝 기술을 적용

- 미래창조과학부는 엑소브레인 SW개발 과제를 통해 자연어 처리, 텍스

트 마이닝 같은 기술을 확보하기 위하여 2013년부터 1천 700 억원 규모의

과제를 2023년까지 진행중

② 자연어처리

- 6 -

- 서울대학교 정교민 교수팀은 RNN 모델을 한국어 뉴스와 성경 데이터에

적용하여 비교적 자연스러운 문장을 생성하는 결과를 냄

- 한글 감성 분석 툴로 서울대학교의 KOSAC, 아주대학교의 K-LIWC 등이

존재하나 사용자 특성별 감성을 분석하기에는 제한점을 가짐

음성분석

- SK Telecom, 삼성전자에서 외부의 배경 잡음 및 반향 등에 강인한 딥러

닝 기반 음성 인식 기반 어플리케이션 개발

④ 클라우드

- ETRI를 중심으로 클라우드 시스템과 관련된 표준화 개발 작업등이 활

발하게 진행되고 있지만 국외 기술 대비 초기 수준에 머물러 있음

- 본 컨소시엄과 협업 관계인 산자부 과제 [PF급 이종 초고성능컴퓨터 개

발, HPC] 팀은 초고성능 컴퓨터 클러스터 구성 및 이를 활용한 응용서비

스 연구 개발 착수

(2) 국외 기술 동향 및 수준

① 인공지능

- Google DeepMind에서 메모리를 이용하여 논리적 추론이 가능한 신경망

기술을 기술한 차등 신경 컴퓨팅 (DNC) 논문을 발표

- 학습 과정에서 규칙과 데이터가 동시에 활용되는 논리적 규칙을 적용한

심층 신경망 기술이 존재함 (Teacher-Student Net)

② 자연어처리

- 본 컨소시엄의 협업 기관인 Standfor NLP 팀은 자연어처리 관련 세계

최고의 연구기관으로써, 이 그룹에서 공개하는 룰베이스/머신러닝/딥러닝

기반 CoreNLP는 영어뿐 아니라, 아랍어 중국어 등 다양한 언어를 지원함

으로써 세계적으로 산업계/학계/정부 등 다양한 곳에서 사용

- 사용자 맞춤 및 장기간 대화를 위한 기술 현황

⚪ 사용자 맞춤형 자연어 생성에 대한 연구는 비교적 진척이 더딘 편

⚪ 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)을 활용한 대화 상태 관

리 기술에 대한 연구를 제외하고 장기 지속적 대화 상태에 특화된 기술 연구는

존재하지 않음

- IBM, Statsoft, SAS Repustate 등 다수 업체가 감성 분석을 포함하여 온

라인 소셜미디어 데이터를 다각적으로 분석하는 솔루션을 제공하나 컨설

팅 개념으로서 작동하는 경우가 대부분임

③ 음성분석

- LSTM이나 attention-based model을 활용하여 Google, Amazon 등에서

음성인식 비서 디바이스 (e.g., Alexa, Google Home)를 출시

- 데이터셋 레이블링의 어려움을 극복하기 위해 DCASE (Detection and

- 7 -

[그림] 디지털 음성인식 비서 기기 글로벌 판매량 (SA2016)

Classification of Audio Scenes and Events) challenge 등을 만들어 정기적

인 기술 평가 및 공유 모임 형성에 적극 나서고 있음

클라우드

- 클라우드 환경을 위한 분산 시스템용 커널인 Apache-mesos와 네트워크

로 분산된 클러스터에 다수의 어플리케이션들을 배치, 관리하는 오픈 소

스 시스템인 Kubernetes, Docker swarm이 있음

- MAUI, CloudCloud를 필두로 DSM기반 멀티 쓰레딩 어플리케이션의 지

원, 모바일 기기에서 다른 I/O 자원을 원격으로 사용하는 기술과 자율학습

어플리케이션을 오프로딩에 적용시키는 연구 등이 있음

1-2-2. 국내․외 시장 현황

(1) 국내․외 시장 규모 및 수출․입 현황

① 인공지능

- 시장조사 전문기관 Tractica에 의하면 전세계 AI 수입이 2016년 6억 4370만 달러

에서 2025년 368억 달러로 증가할 것으로 전망됨 4)

- 지멘스(Simens)는 2024년 기준 전 세계 스마트 머신 시장의 총 규모가

412억 1500만 달러에 이르며 특히 인간의 업무를 보조하는 디지털 비서

시스템 시장 규모는 80억 달러에 이를 것으로 예상

② 음성분석

- 스트래티지애널리틱스(SA)는 음성인식 비서 기기 시장이 2016년 180만

에서 2020년 1510만으로 출하량이 증가할 것이라고 예측5)

4) https://www.tractica.com/research/artificial-intelligence-market-forecasts/5) Strategy Analytics: Amazon, Google to Ship Nearly 3 Million Digital Voice Assistant Devices in 2017

- 8 -

기업/기관 내용

삼성전자

MS의 코타나를 사용한 AI 홈비서 서비스 출시 예정

AI 플랫폼 개발업체 비브랩스 인수

AI 플랫폼이 스마트폰과 세탁기, 냉장고, RV 등 다양한 전자기

기를 연결하는 사용자의 개인비서 역할

네이버 AI 음성인식 비서 아미카(AMICA)의 API 공개

삼성전자의 사물인터넷 개발 플랫폼 아틱(ARTIK)과 제휴

미래창조과학

부

자연어 처리, 텍스트 마이닝, 질의응답 같은 기술을 확보하는 것

을 목표로 하는 엑소브레인(EXOBRAIN) 프로젝트 진행 중

과거 IBM의 ‘왓슨’과 비슷한 방식으로 확인됨

기업/기관 내용

구글

- 구글핏(Google Fit)에 인공지능 기술을 접목, 실시간 건강관리 서

비스로 확대 예정

- 음성 기반 지능형 디바이스 Google Home 개발

애플 - AI 대화모델 시스템을 탑재한 인공지능 비서 시스템 시리 개발

Microsoft - Windows 플랫폼의 음성 비서 서비스 개발

아마존

- 인공지능 비서 시스템 에코 출시 반년까지 약 300만대가 팔림

- 계속 발달되는 IoT 홈서비스와 연계해서 홈 비서 시스템 시장

역시 더욱 커질 것으로 예상

1-2-3. 국내․외 경쟁기관 현황

(1) 본 기술/제품과 직접적 경쟁관계에 있는 국내․외 기관․기업 현황

국내

② 국외

1-2-4. 국내․외 지식재산권 현황

(1) 관련 기술/제품의 국내 지식재산권(특허 등) 현황

① 인공지능

- 9 -

- ETRI 자동통번역과 자연어처리 기술을 중심으로 306건, 삼성전자는 행동 인식,

음성처리 및 감정이해 기술을 중심으로 185건의 특허출원을 수행하였음

② 음성분석

- 음성합성 기술과 관련된 국내 등록 특허 중 LG전자가 2,575건, 삼성전

자가 680건으로 가장 많은 비중을 차지하고 있음

- 이 외에 국내 대학의 경우 서울대 245건, 연세대 173건, 고려대 140건

등, 연구소 및 기업의 경우 ETRI 114건, SK텔레콤 137건, KT 65건 등의

음성합성 관련 특허를 보유하고 있음

④ 클라우드

- ETRI를 중심으로 클라우드 시스템과 관련된 표준화 개발 작업등이 활

발하게 진행되고 있지만 국외 기술 대비 초기 수준에 머물러 있음

(2) 관련 기술/제품의 국외 지식재산권(특허 등) 현황

① 인공지능

- 지난 10년간 등록된 인공지능 관련 특허 중 미국이 24,054건, 일본이 4,208건을

출원하였고 이는 국내 출원의 각기 9.1배, 1.6배 수준

- 미국 기업 중 IBM은 학습 및 추론 기술, MICROSOFT는 시각이해 기술

에 집중적인 연구개발을 진행하고 있음

② 자연어처리

- 언어이해 기술 및 자동통·번역 분야의 경우, 일본에서 가장 많은 특허

출원이 이루어지며 그 다음으로 미국에서 특허출원을 많이 함

- 일본 기업 TOSHIBA와 MATSUSHITA가 271건, 미국 기업 IBM과

MICROSOFT가 각각 537건, 514건의 특허출원을 수행하였음

③ 음성분석

- 음성합성과 관련된 국외 등록 특허로는 해외 기업 중 퀄컴 266건, 파나

소닉 176건 등이 조사되었음

- 음성인식과 관련된 국외 등록 특허로는 마이크로소프트와 퀄컴이 특히

대화처리와 관련된 특허를 각각 200건, 100여건 정도를 보유하고 있음

1-2-5. 국내 ․ 외 표준화 현황

(1) 본 기술/제품과 직접적으로 관련 있는 국내 표준화 현황

① 음성분석

- TV 서비스를 위한 음성인터페이스, 스마트폰 음성인식 긴급전화 서비스 등에 대

한 표준화가 TTA를 통해 진행되었음

- 미국 기업 중 IBM은 학습 및 추론 기술, MICROSOFT는 시각이해 기술

에 집중적인 연구개발을 진행하고 있음

② 클라우드

- 10 -

- 주요 표준화 항목인 클라우드 인프라 서버, 클라우드 컴퓨팅 데이터 플

로우, 클라우드 컴퓨팅 자원 관리 등을 중심으로 TTA를 통한 활발한 표

준화 작업이 진행 중임

(2) 본 기술/제품과 직접적으로 관련 있는 국외 표준화 현황

클라우드

- 클라우드 에코시스템, 보안, 인프라/관리 등에 대한 표준화가 ISO,

ITU-T 등 공적표준화 기구들과 DMTF, SNIA 등 사실화 표준기구들을 중

심으로 활발히 진행중

- 11 -

구분 내용

최종목표

자율지능 디지털 동반자 서비스와 이를 지원하기 위한 AI 라이브러리

및 클라우드 플랫폼

- 자율지능 디지털 동반자 서비스

⚪ (웰니스 케어)건강증진, 질병예방 및 질병관리로 활기찬 삶을 유지

하기 위한 웰니스 프로그램 개발 및 임상적용

⚪ (스마트 모빌리티)사용자 맞춤형 모빌리티 서비스

⚪ (스마트 코디)의상조합 및 신규 패션아이템 추천 시스템, 의상 가

상 착용 디스플레이 시스템 개발

- 사용자 상황‧감정‧환경인지 및 사용자 최적화 자율지능 라이브러리

⚪ (멀티모달 이해)영상인식, 음성합성·인식, 음향환경 이해를 통한

사용자 상황‧이벤트‧모션 인식 기술 개발 및 자연어 묘사기능

⚪ (자연어 생성)사용자 맞춤형 자연어 이해‧생성기술 및 장기 지속적

대화관리 기술 개발

⚪ (지식베이스)사용자 적응형 지식 기반 컨셉 그래프 생성 및 질의응

답 요소 추론 기술 개발

⚪ (플래닝) 사용자 상황‧감정반영 대응형 플래닝 기술 개발

⚪ (UX/UI) 인간친화적 인터페이스 개발

⚪ (감성엔진) 사용자별 언어사용 패턴분석 및 어감인식 기술 개발

- 디지털 동반자 플랫폼

⚪ 오픈소스기반 클라우드 플랫폼 구축 및 동반자 프로세스 관리, 동

반자 디바이스 경량화 기술 개발

⚪ 데이터 수집‧통합, 동반자 서비스 개발 API 제공 및 인증‧암호화기

술‧접근제어 등 기술적 클라우드 보안 적용 API 보안 기술 개발

- End Product

⚪ 웰니스 케어 프로그램(SW)

⚪ 사용자의 선호도와 상황을 고려한 맞춤형 모빌리티 서비스 (SW)

⚪ 의상 추천 및 가상착용 디스플레이 시스템(SW)

⚪ 사용자 음성‧음향‧영상‧환경‧감정 인식 라이브러리(SW)

⚪ 사용자 적응형 음성‧영상‧자연어처리 및 플래닝 라이브러리(SW)

⚪ 자율지능 동반자 서비스‧데이터 API 및 공개 플랫폼(HW+SW)

2 기술개발의 목표 및 내용

2-1. 목표 및 내용

(1) 최종목표 및 세부목표

- 12 -

구분 내용

세부목표

- 주요 기능(또는 규격)

⚪ 자율지능 디지털 동반자 서비스

•(웰니스): 라이프스타일 모니터링, 건강정보 추천, 약물복용교육

•(스마트 모빌리티): 개인 통행이력‧취향‧환경고려 경로정보 추천

•(스마트 코디): 개인 일정‧취향‧환경고려 의상조합 추천

⚪ 사용자 상황‧감정‧환경인지 및 개인 최적화 자율지능 라이브러리

•이전 대화기록 참고, 사용자가 선호하는 형태의 자연어 추천

•장기간 지속적 대화가 가능한 대화 관리

•디바이스와 사용자간 음성을 통한 상호 작용

•영상‧음향으로 이벤트‧장소‧상황 등 인지, 자연어 형태로 전달

•외부환경, 사용자 특성 반영 플래닝

•사용자에 대한 이해와 시각적 상황판단 보조

•자연어처리, 영상‧음성인식, 플래닝 등 타 모듈로부터 입력을 받아

그래프 형태의 지식 베이스 생성 및 응답요소 추론

⚪ 디지털 동반자 플랫폼

•동반자 서비스 지원 위한 자율지능 모델 추론

•사용자에 따른 개별적인 동반자 에이전트 생성 및 관리

•외부 데이터 수집 및 동반자 서비스 히스토리 데이터 통합

•동반자 서비스 개발 및 데이터 공개 API 제공

•인증관리, 데이터 암호화, 접근제어, API 보호 등 보안기술 적용

- 주요 성능치

⚪ 자율지능 데이터 동반자 서비스

•리커트척도 3.5 이상 서비스 만족도


•리커트척도 3.5 이상의 환경음향묘사‧영상인식‧감성인식‧플래닝‧사용

자 인터페이스

•90% 이상의 환경음향 클래스 예측 정확도, 47% 이상의 오디오 이

벤트 예측 F1-score

•92.5/95이상 F1-score 한국어 의존구문‧분석개체인식/의도인식

•METEOR 30% 이상 영상묘사 지능 정도

•WER 9.5 이하의 음성 문장 인식, MOS 4.2 이상의 음성 합성

•정답 Diversity Distinct-2 0.4 이상의 자연어 다양성

•구어체 코퍼스에 대한 Perplexity 30 이하 언어모델 정확도

•MRR 0.85 이상 대화상태 예측 정확도

•128이하 Reward Returned의 대화관리를 위한 POMDP 학습상태

•85% 이상 지식 그래프 기반 응답요소 추론 성능

•65%이상 정서대화 튜링 테스트

- 자율지능 빅데이터 클라우드

- 13 -

구분 내용

•QoS 99%이상 보장된 디지털 동반자 요청 처리

•미래부 클라우드컴퓨팅서비스 정보보호기준 기술적보호수준 충족

- 기술의 성능 증명 방안

⚪ 각 요소기술별 현존하는 벤치마크 테스트 및 경진대회 참가

(Kaggle, TreeBank, One Billion Word, DSTC, SQnAdD 등)

⚪ 경진대회 및 공개된 벤치마크가 없는 경우 과제를 진행하며 수집

한 데이터를 통하여 사용자 만족도 평가

- 핵심 기술

⚪ 자율지능 데이터 동반자 서비스

•QA기반 건강정보(음성‧이미지‧텍스트) 정보 수집 기술

•인공지능 기반 경로, 의상정보 자동추천 기술


•연어 생성 용 ConvNet 및 RNN 기반 언어 모델링 기법

•단일 모델로 다수의 어투가 생성 가능한 Neural Style 기술

•환경음향 내 이벤트 검출을 위한 짧은 분석 시간을 대상으로 하는

ConvNet 기반 분류모델 형성

•환경음향 상황 인식에 적합한 딥러닝 기반 모델링 기법

•환경음향 분류모델 이용, 딥러닝 기반 자연어 생성모델 형성

•일반적 지식, 전문 지식 등 다양한 지식베이스 기반 대화 관리를

위한 Memory Network 기반 기술

•자가학습(Reinforcement Learning) 기반 POMDP 기술

•영상의 고차원적 분석위한 ConvNet 및 RNN기반 언어생성 모델

•I강화학습 및 모사학습 도입 플래닝 모델링 기술

•멀티모달 영상인식 및 시각적 질의응답 기술

•인공신경망 기방 음성 특징 보상 기술 및 batch normalization,

drop connect 기법을 활용한 불일치 환경 적응 기술

•부재데이터 예측기술 개발 및 다차원 감성집단 분류 기술

•GGNN(Gated Graph Neural Network)를 이용한 사용자 관련 지식

기반 컨셉 그래프 생성 기술

•CLS(Complementary Learning System)기반 지식-추론 학습 기술

⚪ 자율지능 빅데이터 클라우드

•경량 컨테이너 가상화를 사용한 클라우드 플랫폼 구축기술

•모니터링 기반 클라우드 자원할당 및 자원관리 기술

•Task-offloading, near-data(I/O), 클라우드 load balancing을 활용한

동반자 디바이스 경량화 기술

•접근통제 및 사용자 인증 기술

•인증 암호화 모듈에 기반한 운영 데이터 보호 기술

- 14 -

구분 내용

- 적용범위(또는 서비스)

⚪ (웰니스 케어) 건강증진, 질병예방 및 관리로 활기찬 삶을 유지하

기 위한 디지털 동반자 서비스 제공

⚪ (웰니스 케어) 서비스 주요 대상은 건강한 성인 및 노인으로 하며

기본 서비스와 함께 노인특화 케어 프로그램을 포함

⚪ (스마트 모빌리티) 사용자의 과거 서비스 이력, 취향, 환경을 고려

한 개인 맞춤형 경로 추천 서비스 제공

⚪ (스마트 코디) 사용자 일상 패션생활 보조를 위한 의상조합‧구매

대상 추천, 의상착용 시각화 서비스 제공

⚪ 웰니스 케어, 스마트 모빌리티, 스마트 코디 외에 개인가상비서,

자동화 고객서비스 등 외부 서비스에서 활용할 수 있는 영상‧음성‧감성인식 및 자연어 처리, 플래닝, QA 라이브러리 제공

⚪ 자율지능 관련 서비스 지원을 위한 클라우드 플랫폼 및 라이브러

리 API 제공

⚪ 마이크 입력을 통해서 사용자의 세부적 상황 및 종합적 상황을

인식하여 사용자가 필요로 하는 서비스를 제공하기 위한 기반 기술

⚪ 시청각 멀리 모달리티를 사용하여 사람과 유사한 인식 시스템을

형성하기 위한 기반 기술

사용자

만족도

(리커트척도)

대상 및 목표치- 웰니스, 스마트 모빌맅, 스마트코디 (3.5 이상)

- 영상인식, 감성인식, 플래닝, 인터페이스 (3.5 이상)

성능지표 정의 - 사용자 만족도를 다양한 카테고리에서 1~5점으로 평가

성능목표치 근거- 컨텐츠 추천 알고리즘 중 성공적이라 평가받는

넷플릭스의 영화 추천 만족도: 80%

F1-Score

대상 및 목표치

- 환경음향 클래스 예측(90% 이상)

- 오디오 이벤트 예측(47% 이상)

- 한국어 의존구문 분석, 개체명 인식 (92.5% 이상)

- 한국어 의도분석 (95% 이상)

성능지표 정의

- 대상 문장과 기준 문장의 유사도 측정

- 정밀도(Precision), 재현율(Recall)을 통하여 계산

성능목표치 근거- Dcase2016 challenge의 최고성능 결과

- DSTC(Dialogue State Tracking Challenge) 2015 최고 점수

※ 주요 성능 지표 정의 및 목표치 근거

- 15 -

METEOR

대상 및 목표치 - 영상 묘사 (30% 이상)

성능지표 정의

- F1-score에 두 문장 사이의 단어 배열 차이를 고려한

fragmentation penalty 적용

- (m: 대응단어 개수, ch: 대응 chunk 개수)

,

성능목표치 근거 - 현재 학계 최고수준 성능: 26.3% (미국, Google)

WER

대상 및 목표치 - 음성 문장 인식 (9% 이하)

성능지표 정의- 단어를 입력 신호로 주었을 때 입력 단어를 다른 단어로

인식하였을 경우의 비율

성능목표치 근거 - 현재 세계 최고 수준: 10%

MOS

대상 및 목표치 - 음성 합성 (4.2 이상)

성능지표 정의 - 합성음의 품질을 전문가들을 대상으로 평가

성능목표치 근거 - 세계 최고 수준: 3.8

Diversity

Distict-2

대상 및 목표치 - 자연어 다양성 (0.4 이상)

성능지표 정의

- 생성된 문장을 구성하는 bigram이 얼마나 다양한지를

나타내는 지표로, 전체 생성된 단어 개수 대비 unique

단어 개수의 비율로 정의


Perplexity

대상 및 목표치 - 언어모델 정확도 (30 이하)

성능지표 정의

- 학습된 모델이 얼마나 실제 언어에 부합하는 문장을

생성하는지 측정

성능목표치 근거 - 세계 최고 수준: 30

MRR

(Mean

Reciprocal

Rank)

대상 및 목표치 - 대화상태 예측 정확도 (0.85 이상)

성능지표 정의

- 학습된 모델의 예측 결과 중 실제 정답순위 역수의 평균


Reward

Returned

대상 및 목표치 - 대화 관리를 위한 POMDP 학습상태 (128 이하)

성능지표 정의 - 모델이 예측한 다음 행동의 평균 reward 값

성능목표치 근거 - 세계 최고수준: 136

QoS

대상 및 목표치 - 디지털 동반자 플랫폼 (99%)

성능지표 정의 - 동반자 디바이스의 요청에 대한 최대 반응 지연시간

성능목표치 근거- Google cloud 서비스의 경우 99.95%부터 환급 기준이

있으며, 95% 이하부터는 가장 큰 환급(50%) 책정

- 16 -

주요 개발 목표

1차

년도

서비스 서비스 정의, 기존 기술을 활용한 서비스 개발

AI 모듈 자율지능 알고리즘의 데이터수집 기초 모듈 프로토타입

플랫폼 클라우드 구성 및 데이터수집 인터페이스 개발

결과물 기본 QA 수준의 동반자 서비스 데모 시연

2차

년도

서비스 이전 사용기록들을 고려한 동반자 서비스 개발

AI 모듈 딥러닝기반 심화 자율지능 알고리즘 기발

플랫폼 자율지능 모델 학습 지원, 모니터링 및 디바이스 경량화

결과물 이전 기록들이 고려된 동반자 서비스 데모 시연

3차

년도

서비스 사용자 상황을 고려한 동반자 서비스

AI 모듈 사용자 적응형 자율지능 기술 개발

플랫폼 사용자 특화 동반자 서비스 지원, 공개 API 구축

결과물 사용자 적응형 자율지능 서비스 데모 시연

4차

년도

서비스 부가 서비스 개발 및 서비스 보완

AI 모듈 실제 서비스 환경 기준 알고리즘 최적화

플랫폼 시스템 안정화 및 클라우드 보안성 강화

결과물 대국민 자율지능 서비스 시연

(2) 개발 목표 및 내용

[그림] 디지털 동반자 플랫폼 구성

- 17 -

[ ] 주요 자율지능 라이브러리 관계도

<1차년도>

① 개발 목표

- 주관기관( 산학협력단) :

　　 ⚪ (웰니스 케어) e-Health 관련 기존 연구사례 조사 및 데이터 수집

　　 ⚪ (스마트 모빌리티) 디지털 동반자 관련 기존 연구사례 조사 및 데이터 수집

　　 ⚪ (스마트 코디) 의상데이터 수집 및 날씨에 따른 의상조합 추천시스템 개발

　　 ⚪ (멀티모달 이해) 모듈별 데이터 수집 및 멀티모달 기반 기초 입출력 프로토타입

　　 ⚪ (자연어 생성) 자연어 생성 및 대화 관리를 위한 데이터 수집 및 프로토타입

　 ⚪ (플래닝) 멀티모달 사용자 데이터 수집 및 플래닝 모듈 프로토타입

　　 ⚪ (UX/UI) 인간 친화적 인터페이스 개발을 위한 기반 구축

　　 ⚪ (디지털 동반자 플랫폼) 오픈소스 활용 클라우드 구성, 서비스 에이전트 및 데이

터 수집 인터페이스 개발

- 참여기관 1(분당서울대병원) :

　　 ⚪ (웰니스 케어) 건강 스크리닝 서비스 설계

- 참여기관 2(파수닷컴) :

⚪ 클라우드 서비스 구성에 따른 보안요구사항 분석 및 정의

⚪ 사용자 인증, 데이터 암호화 보호, 보안증적관리 방안 등 서비스 보안구조 설계

및 프로토타입

- 18 -

- 3( 로보틱스) :

⚪ (지식베이스) 지식 기반 질의-응답 데이터 수집 및 질의 응답 프로토타입

- 위탁기관 1(한국과학기술원) :

　　 ⚪ (감성엔진) 감성 추출 및 문맥정보 활용기술 개발을 위한 기반 구축

- 위탁기관 2(강원대학교) :

⚪ (자연어 이해) 자연어 이해를 위한 데이터 수집 및 프로토타입

② 개발 내용 및 범위

- 주관기관(서울대학교 산학협력단) :

　　 ⚪ (웰니스 케어) e-Health 건강행태에 관한 기존연구 사례 조사, 맞춤형 건강관리 서

비스 구축을 위한 정보 수집 및 웰니스 케어 서비스 수집 정보 정의

　　 ⚪ (스마트 모빌리티) 서비스 요소 정의 및 인공지능 학습을 위한 정보 수집

　　 ⚪ (스마트 코디) 의상‧환경관련 데이터(색상‧종류‧재질‧이미지‧계절 등)수집, 날씨에 따

른 단순 의상 조합 추천, 사용자 수락 여부 결과 데이터 수집

　　 ⚪ (멀티모달 이해) 음성 합성‧인식 데이터 수집 및 프로토타입

Ÿ 기존의 음성 DB, 무향실, 시청각실, 시뮬레이션 툴킷을 활용한 음성 데이터 수집

　　 ⚪ (멀티모달 이해) 영상의 요소 (인물‧장소‧시간‧소품‧사건)를 자연어로 표현하기 위한

영상인식 데이터 수집 및 프로토타입

Ÿ 영상 내 요소와 움직임을 파악하기 위해 첼린지에서 사용된 모든 데이터 셋을

수집하여 디지털 동반자 프로토타입에 적용할 수 있게 재구성

　　 ⚪ (멀티모달 이해) 이벤트‧장소‧장면 분류/감지를 위한 데이터 수집 및 프로토타입

Ÿ 기존 구축된 데이터세과 그 외 각종 Video Captioning Challenge 데이터셋 들을

취합 및 ‘장면’ 분류/감지 기술개발을 위한 데이터 수집

Ÿ 기개발된 알고리즘으로 이벤트, 장소를 분류/감지하는 요소 기술 개발

　　 ⚪ (자연어 생성) 자연어 생성 모듈 학습, 대화 관리 모듈 학습을 위한 데이터 수집

Ÿ 세종 코퍼스, ETRI 코퍼스, DSTC 데이터셋 등 공개되었거나 기술이전을 통해 취

득할 수 있는 데이터 수집

⚪ (자연어 생성) 템플릿 기반 자연어 생성 모듈 및 slot-filling 위주의 상태 기반 대

화 관리 모듈 프로토타입

Ÿ 미리 정의된 자연어 템플릿을 통해 문장을 생성하는 자연어 생성 모듈 및 대화

문맥에서 대화의 상태를 관리하는 모듈의 프로토타입

　　 ⚪ (플래닝) 멀티모달 입력 프레임워크를 활용, 시나리오 별 개인화 데이터 수집

Ÿ 시나리오 별 사용자–디지털 동반자의 질의응답 로그, 사용자의 특성 및 상황에

따른 감정 변화 등 사용자 적응형 모델 구축을 위한 데이터 수집

⚪ (플래닝) 프로토타이핑을 위한 Rule-based 플래닝 모듈 개발

Ÿ 개인화 데이터 축적 이전, 다양한 시나리오에 따른 대응 rule 사전 설정

- 19 -

⚪ (UX/UI) 자율지능 동반자 인터페이스 평가체제 및 설계 프로세스 수립

Ÿ 유사 도메인 상에서의 UI/UX 평가 기법에 관한 체계적 문헌조사 수행 및 자율지

능 동반자 인터페이스에 적용 가능한 평가체계 수립

　　 ⚪ (디지털 동반자 플랫폼) 오픈소스 활용 클라우드 구성, 경량 컨터이너 기반 가상

화 기술 활용한 동반자 서비스 에이전트 개발

　　 ⚪ (빅데이터클라우드) 데이터베이스 스키마 정의 및 사용자 정보‧AI 모델‧데이터(음

성, 영상, 텍스트 등) 저장 관리 방법 설계, 외부 데이터 수집 API 구축

- 참여기관 1( ):

　　 ⚪ 자문회의를 통한 평가 설문 및 운동‧영양‧정서‧질환별 약물복용 등 중재안 확립

　　 ⚪ 기존 평가 설문, 임상시나리오, 중재방안을 활용하여 디지털 동반자에서 활용할

수 있는 레퍼런스 구축

　　 ⚪ 서비스 시나리오 검증을 위한 파일럿 스터디 수행

- 참여기관 2(파수닷컴):

　　 ⚪ 클라우드서비스 수행에 따른 법적요구사항을 충족시키고, 보안취약점 등을 고려

한 목표 클라우드 서비스의 보안요구사항의 분석과 정의

　　 ⚪ 사용자 인증 및 접근제어 방안, 운영데이터 암호화를 통한 보호 방안과 운영에

따른 주요 보안 로그를 추적할 수 있는 감사증적 확보 방안 검토 및 확보

　　 ⚪ 본 클라우드서비스의 보안요구사항을 적용한 보안 기술별 프로토타이핑 구현

- 참여기관 3(써로마인드 로보틱스):

　　 ⚪ 이미지, 텍스트, 메타데이터 등 멀티 모달 지식 데이터 및 질의 응답 데이터 수집

Ÿ wikiHow 등 공개 지식 데이터에 대한 질의 응답 데이터 수집

　　 ⚪ 멀티모달 지식 데이터 관련 질의에 대한 응답요소 출력 프로토타입 개발

Ÿ 타 모듈로부터 질의를 입력받고 응답 요소를 출력해줄 수 있는 프로토타입 개발

- 위탁기관 1(한국과학기술원):

　　 ⚪ 감성 정보 및 문맥 임베딩 저장‧활용 연구를 위한 데이터 수집

Ÿ 기존 연구(LIWC, VADER)에서 제시된 긍부정 양일 감정을 넘어서 복합 감성 모

델 개발을 위한 언어‧비언어적 표현의 감성 대화의 반자동 태깅 기술 개발

- 위탁기관 2(강원대학교):

⚪ 기존 형태소 분석 및 구문 분석, 개체명 인식 모듈을 이용하여 자연어 이해의 자

질 추출기 개발

Ÿ 세종 코퍼스, ETRI 코퍼스와 같이 공개되었거나 기술이전을 통해 취득할 수 있는

데이터를 활용하여 자연어 이해의 자질 추출기 개발

⚪ 자연어 이해(dialog act 및 의도 분류, slot-filing)기술 개발

Ÿ 기존 외국어 데이터와 연구를 바탕으로 Structural-SVM을 이용한 자연어 이해

(dialog act 및 의도 분류, slot-filing) 기술 개발

- 20 -

<2 >

① 개발 목표

- 주관기관( 산학협력단) :

　　 ⚪ (웰니스 케어) 맞춤형 건강관리를 위한 웰니스 케어 서비스 개념 정의

　　 ⚪ (스마트 모빌리티) 스마트 어반 모빌리티 서비스 개념 정의

　　 ⚪ (스마트 코디) 의상 착용 모습 시각화 및 주변환경 기반 의상추천

　　 ⚪ (멀티모달 이해) 멀티모달 인지 시스템 핵심 요소 기술 개발

　　 ⚪ (자연어 생성) 대화 코퍼스 구축 및 딥러닝 기반 자연어 처리 기법 연구

　　 ⚪ (플래닝) 사용자 적응형 모델 구현을 위한 강화학습 알고리즘 및 시스템 상호작용

모듈 개발

　　 ⚪ (UX/UI) 인터페이스 프로토타입 설계 및 평가

　　 ⚪ (디지털 동반자 플랫폼) 디바이스 경량화 기술, 실시간 모니터링 및 비동기적 자

율지능 모델 학습 지원 기술 개발

- 참여기관 1(분당서울대병원) :

　　 ⚪ (웰니스 케어) 건강 스크리닝 서비스 프로토타입 개발

⚪ 클라우드 서비스가 지원하는 Open API 분석 및 보안 방안 검토 및 확보

⚪ 각 지원 서비스와 연계되는 Public 클라우드 서비스 구조 설계 및 프로토타이핑


⚪ 클라우드 서비스가 지원하는 Open API 분석 및 보안 방안 검토 및 확보

⚪ 각 지원 서비스와 연계되는 Public 클라우드 서비스 구조 설계 및 프로토타이핑

- 참여기관 3(써로마인드 로보틱스) :

⚪ (지식베이스) 지식 데이터 기반 컨셉 그래프 생성 및 응답 요소 추론 기술 연구


　　 ⚪ (감성엔진) 감정 유추 알고리즘의 부재 데이터의 처리 기술 개발

- 위탁기관 2 (강원대학교) :

⚪ (자연어이해) 학습 코퍼스 구축 및 딥러닝 기반 자연어 이해 기법 연구 개발


- 주관기관 :

　　 ⚪ (웰니스 케어) 맞춤형 건강관리 서비스 범위 결정, 서비스를 통해 수집된 정보를

바탕으로 한 인공지능 학습 구현 계획 수립

　　 ⚪ (스마트 모빌리티) 서비스 정의 및 구성, 요소정보를 통한 인공지능 학습

　　 ⚪ (스마트 코디) 날씨‧일정 및 트렌드 등 종합적 환경을 고려한 의상추천 시스템

　　 ⚪ (멀티모달 이해) 딥러닝기반 고품질 음성 합성 및 강인한 음성인식 연구

- 최신 딥러닝 알고리즘을 활용한 음성 합성 알고리즘 개발

- 21 -

Ÿ 신호를 원본에 최대한 가깝게 복원하는 딥러닝기반 음성특징 보상기법

개발

　　 ⚪ (멀티모달 이해) 딥러닝기반 고품질 물체인식, 자연어표현 및 의미추론 기법 연구

Ÿ 영상을 독립적인 요소 단위로 분해하여 해석하기 위한 attention based dense

captioning 기술 개발

Ÿ 영상 내 상황과 의미를 자연어로 전달하기 위한 딥러닝 알고리즘 개발

　　 ⚪ (멀티모달 이해) 단순 오디오 발생 장소 외 세부적인 환경 상황 추론(‘장면 감지/

분류’ 로 정의)이 가능한 분류기 개발

Ÿ 오디오 발생 장소뿐만 아니라 오디오 내에서 유추 가능한 세부적 상황(‘장면’)

을 분류할 수 있는 알고리즘 개발

　　 ⚪ (멀티모달 이해) 환경음향 내 이벤트, 장소 감지‧분류기 알고리즘의 고도화

Ÿ 알고리즘이 분류할 수 있는 레이블의 종류를 늘려서 보다 다양한 이벤트를 검출

할 수 있도록 알고리즘의 고도화 수행

　　 ⚪ (자연어 생성) 한국어 대화 코퍼스 구축 및 딥러닝 기반의 대화 관리 기법 연구

Ÿ DSTC 등 외국어 대상의 대화 코퍼스를 참조하여 한국어 대화 코퍼스를 구축하

고, 강화학습 기반 POMDP를 통한 대화 관리 기법 연구

⚪ (자연어 생성) 자연스러운 인터랙션을 위한 딥러닝 기반 자연어 생성 기법 연구

Ÿ 주변상황‧이벤트‧모션 등을 설명할 수 있는 RNN 기반의 자연어 생성 기법 연구

　　 ⚪ (플래닝) 수집된 멀티모달 데이터를 학습하는 learnable 플래닝 모듈 개발

Ÿ SARSA, Q-learning과 같은 강화학습 알고리즘 활용, Rule-based의 한계 극복

　　 ⚪ (플래닝) 타 AI 모듈과의 연동 API 설계 및 개발

Ÿ 자연어 처리‧이해, QA, 감정 등의 다른 AI 모듈과의 API 명세 설계 및 개발

　　 ⚪ (UX/UI) 디자인 아이디에이션, low-fidelty 프토토타이핑 및 형성평가

Ÿ 아이디에이션, Click-through 프로토타입, Wizard of Oz 프로토타입 등을 활용한

UI 요소를 설계 및 평가

　　 ⚪ (디지털 동반자 플랫폼) 클라우드 실시간 자원 활용 및 작업 모니터링 기술 개발

　　 ⚪ (디지털 동반자 플랫폼) 비동기적 자율지능 학습 및 모델 개선 에이전트 개발

　　 ⚪ (디지털 동반자 플랫폼) 디바이스 경량화를 위한 task offloading 기술 개발

　　 ⚪ (디지털 동반자 플랫폼) Network cost 감소를 위한 Near-Data(or I/O) processing

기술 개발

- 참여기관 1( ) :

　　 ⚪ 레퍼런스 확립, 서비스 프로토타입 개발

　　 ⚪ 프로토타입의 만족도, 순응도 평가

　　 ⚪ 지원 Open API 분석 및 안전한 API 구현 방안 설계 및 프로토타입

　　 ⚪ 웰니스/스마트모빌리티 등의 서비스를 제공할 클라우드 서비스 설계

　　 ⚪ 보안기술이 적용된 서비스 제공 클라우드 서비스 프로토타입 개발

- 22 -

- 2( ):

　　 ⚪ 지원 Open API 분석 및 안전한 API 구현 방안 설계 및 프로토타이핑

　　 ⚪ 웰니스 케어/스마트모빌리티 등의 서비스를 제공할 클라우드 서비스 설계

　　 ⚪ 보안기술이 적용된 서비스 제공 클라우드 서비스 프로토타이핑 개발


　　 ⚪ 지식 데이터로부터 지식 기반 컨셉 그래프를 생성하는 하이브리드 뉴럴·심볼릭

기법 연구

Ÿ 처리된 이미지·텍스트 등 멀티모달 지식을 결합한 고차 GGNN(Gated Graph

Neural Network) 기반 뉴럴·심볼릭 컨셉 그래프 생성 기술 연구

⚪ 지식 기반 컨셉 그래프에서 질의에 대한 적절한 응답 요소를 추론할 수 있는 학

습 기법 연구

Ÿ 학습된 멀티모달 지식 기반 컨셉 그래프에서 관련 질의에 대해 적절한 응답을

할 수 있는 residual learning 알고리즘 연구


　　 ⚪ 감성 모델링에 있어 부재 데이터의 처리

Ÿ 사용자는 감성 정보를 지속적으로 제공하지 않으므로 이 경우 사용자의 이동 데

이터와 같이 주변 지역의 감성 관련 실생활 데이터 수집 및 활용 기술 개발


ㅇ 자연어 이해(dialog act 및 의도 분류, slot-filling)를 위한 신규 학습 말뭉치 구축

Ÿ ATIS3 데이터 등 외국어 대상의 코퍼스를 참조하여 dialog act 및 의도 분류,

slot-filing에 필요한 한국어 학습 코퍼스 구축

ㅇ 딥러닝으로 자연어 이해(dialog act 및 의도 분류, slot-filling) 기법 연구 및 개발

Ÿ 주변 문맥 정보를 활용할 수 있는 RNN 기반의 자연어 이해 기법 연구

<3차년도>

① 개발 목표


　　 ⚪ (웰니스 케어) 맞춤형 건강관리를 위한 웰니스 케어 서비스 제공

　　 ⚪ (스마트 모빌리티) 통행 이력을 활용한 사용자 맞춤형 모빌리티 서비스 정보 제공

　　 ⚪ (스마트 코디) 사용자 취향 고려한 의상 추천 시스템

　　 ⚪ (멀티모달 이해) 유닛간 인터랙션에 기반한 멀티모달 시스템 고도화

　　 ⚪ (자연어 생성) 지속적인 인터랙션을 위한 자연어 생성 및 대화관리 기법 고도화

　　 ⚪ (플래닝) 사용자 적응형 맞춤 모델 개발 및 고도화

　　 ⚪ (UX/UI) 인터페이스 프로토타입 개발 및 평가(II)

　　 ⚪ (디지털 동반자 플랫폼) 클라우드 규모 확장, 개인 최적화 동반자 에이전트 지원

및 데이터 공개·외부서비스 연동 API 구축

- 23 -

- 1( 서울대병원) :

　　 ⚪ (웰니스 케어) 서비스 시나리오 검증을 위한 서비스(임상연구) 수행


　　 ⚪ 웰니스 케어/스마트모빌리티 등 서비스를 제공하는 Public Cloud 서비스 구현

　　 ⚪ 클라우드서비스 내 Open API 보호, 암호화 기반 데이터 보호, 인증 관리 적용


　　 ⚪ (지식베이스) 지식 기반 컨셉 그래프의 점진적 적응 학습 기법 연구


　　 ⚪ (감성엔진) 기계학습 기반 감성 집단 분류 기법의 고도화


⚪ (자연어이해) 자연어 이해 기법의 고도화


- 주관기관 :

　　 ⚪ (웰니스 케어) 2차년도 서비스 개념 정의를 반영한 맞춤형 건강관리 서비스 알고

리즘 개발, 사용자 만족도 및 순응도 조사

　　 ⚪ (스마트 모빌리티) 맞춤형 모빌리티 서비스 제공을 위한 경로추천 알고리즘 개발,

사용자를 대상으로 한 만족도 조사 및 개선사항 도출

　　 ⚪ (스마트 코디) 학습 데이터를 바탕으로 개인선호도 기반 의상추천 알고리즘 개발

　　 ⚪ (멀티모달 이해): 보조 특징 인지 학습을 활용, 음성 합성 및 인식 시스템 고도화

Ÿ 이미지 처리 모듈로 얻어지는 환경 및 컨텍스트 정보를 활용한 음성특징보상기

법 및 음성 합성 알고리즘 고도화

　　 ⚪ (멀티모달 이해) : 환경에 적응하는 시각인식 알고리즘

Ÿ 시각 처리 모듈로 얻어지는 환경 및 컨텍스트 정보를 활용하여 환경에 지속적으

로 적응하는 딥러닝 알고리즘의 고도화

　　 ⚪ (멀티모달 이해) : 환경음향 내 이벤트 분류모델과 장면 분류모델을 통합하여 주

변 환경의 소리를 인지하고 그 상황을 자연어로 묘사할 수 있는 모델 형성

Ÿ 병렬적으로 사용되는 이벤트, 장면 분류모델을 통합한 모델을 형성, 최종적으로

주변 상황을 자연어 형태로 묘사할 수 있도록 알고리즘 확장

　　 ⚪ (자연어 생성) Style-flexible 자연어 생성 및 지속적인 대화 관리 기술 연구

Ÿ 사용자와의 인터랙션 패턴에 따라 표현 스타일을 변화할 수 있는 적응형 자연어

생성 기술 연구 및 외부 지식을 활용하고 지속적인 대화를 관리하는 기술 연구

　　 ⚪ (플래닝) 사용자 적응형 강화학습 플래닝 모델 개발

Ÿ Online 방식의 강화학습을 통해 사용자 개인화된 누적 학습 모듈 개발

Ÿ Inverse reinforcement learning, Imitation learning 등을 활용한 모델로의 고도화

　　 ⚪ (UX/UI) High-fidelity 프로토타이핑, 총괄평가 및 최종 디자인 대안 선택

- 24 -

- 레이아웃을 포함하는 UI 구성요소 세트 확보, 팀 간에 디자인 구성요소 합

의, 사용자평가 후 프로토타입 개선 및 디자인 대안 선택

　　 ⚪ (디지털 동반자 플랫폼) 클라우드규모 확장을 위한 성능테스트 및 scale-out 요소

분석

　　 ⚪ (디지털 동반자 플랫폼) 컨테이너 간 QoS-aware load balancing 기술 개발

　　 ⚪ (디지털 동반자 플랫폼) 개인 최적화 서비스를 위한 맞춤형 에이전트 기술 개발

　　 ⚪ (디지털 동반자 플랫폼) 데이터 공개·외부 서비스 연동 API 정의 및 개발

- 참여기관 1( ) :

　　 ⚪ (웰니스) 서비스 사용후 건강 및 질환 지표변화 평가, 피드백 데이터 수집

- 참여기관 2(파수닷컴):

　　 ⚪ 실제 Public 대상의 클라우드 서비스 설계 및 구현, 데모

　　 ⚪ 웰니스/스마트 모빌리티 등의 서비스의 일반 대상 서비스 인터페이스 구현

　　 ⚪ 1/2차년도에서 확보한 보안 기술의 적용


　　 ⚪ 사용자의 입력에 대해 점진적으로 지식 기반 컨셉 그래프를 적응해 나가는 dual

memory 기반 adaptive learning 기법 연구

Ÿ 새롭게 들어오는 지식에 대한 적응형 학습을 위한 얕은 모델 기반 순차적

short-term memory 처리 기법 연구


　　 ⚪ 다차원 감성 분류를 통해 사용자의 클러스터 확보

Ÿ 다양한 상황에 따른 사용자의 감성 반응을 기계학습으로 인지하여 유사한 감성

집단을 분류하는 고도화 기술 개발


⚪ 딥러닝 기반 자연어 이해 기법 고도화

Ÿ Generative Adversarial Network(GAN) 모델을 이용한 Semi-supervised learning

기법 도입

<4차년도>

① 개발 목표


　　 ⚪ (웰니스 케어) 맞춤형 건강관리를 위한 웰니스 케어 서비스 보완

　　 ⚪ (스마트 모빌리티) 스마트 어반 모빌리티 서비스 보완

　　 ⚪ (스마트 코디) 새로운 패션 아이템의 능동적 검색 시스템 개발

　　 ⚪ (멀티모달 이해) 연속성·상관성을 고려한 멀티모달 시스템 최적화

　　 ⚪ (자연어 생성) 통합 자연어 생성 및 대화관리 모듈 구축 및 검증

- 25 -

⚪ (플래닝) 최종 응용 시나리오를 겨냥한 모델 최적화

　　 ⚪ (UX/UI) 최종 프로토타입 개발 및 최적화

　　 ⚪ (디지털 동반자 플랫폼) 디지털 동반자 플랫폼 안정화

- 참여기관 1( 서울대병원) :

　　 ⚪ (웰니스) 서비스 시나리오 검증을 위한 서비스(임상연구) 수행 고도화


　　 ⚪ 관리적/물리적 보호조치를 포함한 클라우드 서비스 보안성 강화

　　 ⚪ 대국민 클라우드 서비스 규모 확대 지원

- 참여기관 3(써로마인드) :

　　 ⚪ (지식베이스) 지식 기반 컨셉 그래프의 점진적 적응 학습 기법 연구

　　 ⚪ (지식베이스) 실제 환경 기준 기술 평가 및 최적화


　　 ⚪ (감성엔진) 시나리오 기반 사용자층에 특화된 감성 모델의 응용 및 최적화

- 위탁기관 2 (강원대학교) :

⚪ (자연어 이해): 다양한 도메인의 자연어 이해 기술 개발 및 최적화


- 주관기관 :

　　 ⚪ (웰니스 케어) 3차년도 사용자 만족도 및 순응도 조사 결과를 반영한 맞춤형 건강

관리 서비스 보완

　　 ⚪ (스마트 모빌리티) 디지털 동반자의 스마트 어반 모빌리티 서비스 보완 작업

　　 ⚪ (스마트 코디) 수명·트렌드 등 교체시기 고려, 능동적 아이템 검색·추천 시스템

　　 ⚪ (멀티모달 이해) 실시간 음성 합성·인식 서비스를 위한 시스템 최적화

Ÿ Dropconnect, batch normalization 를 비롯한 최신 딥 러닝 정규화 기법을 활용한

시스템 복잡도 최적화

　　 ⚪ (멀티모달 이해) 실시간 멀티모달 영상 인식, 추론 서비스를 위한 시스템 최적화

Ÿ 서비스에 이용되는 다양한 형태의 인풋 (시각·청각·메타데이터 등)을 함께 사

용하는 멀티모달 시각 인식 기술 최적화

　　 ⚪ (멀티모달 이해) 자연어 묘사 모델 고도화 및 멀티모달에서의 알고리즘 최적화

Ÿ 다양한 시나리오를 가정하여 모델이 묘사 가능한 장면의 다양성 증가

Ÿ 서비스에 이용되는 다양한 인풋과 협력하여 증진된 추론을 하는 알고리즘 개발

　　 ⚪ (자연어 생성) 지능형 동반자를 위한 자연어 생성, 대화관리 기법 평가 및 최적화

Ÿ 템플릿‧딥러닝 기반의 자연어 생성 기술을 통합하고, 실제 환경에 대해 자연어

생성‧대화관리 모듈의 평가, 최적화 수행

　　 ⚪ (플래닝) 코드 최적화 및 시나리오 별 추가 기능 구현

- 26 -

Ÿ 모듈 및 타 AI 모듈과의 연동 API 리팩토링

　　 ⚪ (UX/UI) 최종 프로토타입 개발 및 개선, 실사용 기반의 감성 최적화

Ÿ 최종 프로토타입에 대한 실사용 기반 사용자평가 실시, 프로토타입의 전반에 관

해 인간친화적 디자인 요소 적용

　　 ⚪ (디지털 동반자 플랫폼) 다양한 검증 환경 구축 및 일관된 QoS 확보 방법 연구

　　 ⚪ (디지털 동반자 플랫폼) 플랫폼 위험요소 분석 및 개선

- 참여기관 1( ) :

　　 ⚪ 디지털 동반자 사용 후 건강 및 질환지표 평가, 사용자 피드백 수집

　　 ⚪ 디지털 동반자의 임상적/경제적 효과 지표 제시


　　 ⚪ 대국민 클라우드 서비스를 위한 서버분리 등 물리적 보안조치 적용 및 시행

　　 ⚪ 대국민 클라우드 서비스를 위한 운영체계 확보 등 관리적 보안조치 적용

　　 ⚪ 웰니스/스마트 모빌리티 등 서비스의 대국민 클라우드 서비스 확대 시행


　　 ⚪ 실환경에서의 응용에 맞는 그래프 기반 응답 요소 추론 기술 평가 및 최적화

Ÿ 실제 응용 환경에서 들어오는 지식 데이터를 이용하여 지식 기반 컨셉 그래프를

생성하고 응답 요소를 추론하는 기술 평가 및 최적 파라미터 도출


　　 ⚪ (감성엔진) 도메인 기반 사용자층에 특화된 감성의 모델링 및 모델 최적화

Ÿ 웰니스 시나리오 도메인에 지정된 고령층 사용자층에 특화된 감성 모델의 구축

및 예측 정확도 향상을 고려한 부재 데이터 처리의 최적화 알고리즘 제시

Ÿ 스마트 코디를 위한 비정형 대화 서비스에서 사용자의 감성과 의도를 빠르게 파

악하기 위한 패션 및 상품 추천 대화에 특화된 감성 모델의 구축 및 적용


⚪ (자연어 이해) 다양한 도메인의 자연어 이해 기술 개발

Ÿ Knowledge Distillation을 이용한 도메인 이식 및 모델 최적화 기술 개발

- 27 -

항목(주요성능Spec1))

단위에서

차지하는

비중 (%)

세계최고 수준 보유국/보유기업

( / )

연구개발 전

국내수준개발 목표치

평가 방법

성능수준 성능수준1차년도(

2017년)

2차년도(2018

년)

3차년도(2019

년)

4차년도(2020년)

사용자만족도 점 15 N/A N/A N/A 3 3.3 3.5공인시험

성적 확인서1)

환경음향

클래스 예측% 5

89.9%(오스트리아/

요하네스케플러)81.6% 82% 85% 88% 90%

공인시험성적 확인서

오디오

이벤트 예측% 5

47.8(핀란드/

탐페레대학) N/A 40% 42% 44% 47%


한국어 의존구문

분석/개체명 인식% 5

91.6

(한국/강원대)91.6 91.8 92 92.3 92.5


한국어

의도분석% 5

95.98

(미국)N/A 90 92 94 95


영상묘사

지능 정도％ 5

26.3% (미국/

Google)N/A 27% 28% 29% 30%


문장인식% 5

10(AURORA4 DB)

(미국/MS)

12(AURORA4 DB)

11 10 9.5 9.5공인시험

성적 확인서

음성합성 점 53.8

(미국/Google)3.5 3.6 3.8 4.0 4.2


자연어 다양성 점 50.358(미국/

스탠포드대학)N/A 0.35 0.36 0.38 0.4


언어모델

정확도점 5

30

(미국/Google) 100 100 70 50 30


대화상태

예측 정확도점 5

0.8207(영국

/캠브리지대학) N/A 0.70 0.75 0.80 0.85


대화관리를 위한

POMDP 학습상태개 5

136 (캐나다/

라발대학) N/A N/A 160 140 128


지식그래프 기반

응답요소 추론성능% 5

40%(미국/

스탠포드대학)N/A 40% 50% 65% 85%


정서대화

튜링테스트% 5

일반대화 33%

(영국/레딩대학 )N/A 35 45 55 65


플랫폼

QoS% 20

99.95

(미국 /Google)

99.95

(KT)85 90 95 99


2-2. 착안점 및 기준

(1) 평가 방법 및 평가 항목

<정량적 목표 항목>

- 28 -

참고 1) 공인시험 성적 확인 방안: 새로운 인공지능 성능테스트를 통한 평가

- 튜링 테스트로 대표되는 인공지능 성능테스트는 단일 지능(음성지능, 언어지능 등)을

대상으로 한 성능테스트가 가능한 모델로 멀티모달 환경을 기반한 지능형 디지털 동

반자 서비스에는 부적합

- 새로운 환경에 적합한 성능테스트의 적용이 필요하지만 테스트에 대한 객관성 확보를

위해 표준화와 같은 일정한 절차가 선행되어야 함

- 이에, 본 사업의 참여기관인 지능정보산업협회는 TTA의 ICT 표준화 포럼인 “지능정

보기술포럼”을 운영하고 있으며, 다수의 인공지능 전문가 Pool을 통해 지능형 디지

털 동반자 서비스의 성능 검증에 적합한 테스트 방법론 도출할 수 있는 역량 함유

- 1,2차년도 성능테스트에 대한 표준화 절차를 거쳐 3차년도에는 취약계층까지 아우르

는 서비스로 발전하기 위해 다양한 표본을 모집하여 4차년도에는 공인된 방법으로 테

스트 예정

[그림] 지능형 디지털 동반자 서비스 성능 테스트 실행 방안

- 29 -

평가 대상 선정 후, 각 서비스 및 자율지능에 대한 만족도 평가

환경음향

클래스 예측case2016 Test 데이터셋 사용, 이벤트들의 T/F 여부를 F1-score 지표 측정

오디오이벤트 예측 case2016 Test 데이터셋 사용, 이벤트들의 T/F 여부를 F1-score 지표 측정

자연어 다양성 수집된 데이터셋 사용, Diversity Distinct-22 지표 측정


분석/개체명 인식

세종 품사 부착 말뭉치를 자동형태소 분석을 하여 의존구문 모델 평가, ETRI의 한국어 개체명 인

식 말뭉치를 이용한 개체명 인식 평가

한국어 의도분석 공개된 데이터가 없으므로 한국어 의도 분석 말뭉치를 구축 후 평가

영상묘사 지능정도 MSR-VTT, MS-COCO 혹은 Youtube 데이터셋 사용, METEOR 지표 측정

문장인식 10명이상 음성 전문가 집단을 대상으로 20문장 이상의 합성음을 청취후 배점(0~5)의 평균 측정

음성합성 WER: SNR 10dB환경에서 5,000 어휘급 음성데이터의 WER 측정

언어모델 정확도 1B word 벤치마크 대상 Perplexity 지표 측정

대화상태

예측 정확도

대화 상태 기록을 바탕으로 다음 대화 상태를 예측하는 classification 정확도 평가 MRR(Mean

Reciprocal Rank) 지수 측정


POMDP 학습상태

Reinforcement Learning 기반 POMDP 모델의 학습 상태를 평가하기 위해 모델이 예측한 다음 행

동의 평균 Reward 측정


응답요소 추론성능

50%이상 응답 요소 추론 정확도를 달성하기 위해 필요한 학습 질의응답 데이터 개수를 측정, 지

식 그래프 기반 응답 요소 추론 성능

정서대화

튜링테스트정서적인 대화를 했다고 판정하는 사람이 모수의 1/3 이상이면 통과

플랫폼 QoS디지털 동반자의 offloading 요청들에 대해 미리 각각 deadline을 설정하고, 일정 기간 동안 서비

스 후 deadline을 만족시키지 못한 요청들의 비율을 조사

(2) 목표 항목의 평가방법 및 평가환경

① 정량적 목표 항목의 평가방법

- 30 -

- 각 서비스 및 자율지능에 적합한 환경 구성

환경음향

클래스 예측

- 20여명의 사용자를 모집하여 오디오 데이터셋을 청취한 후 생성된 자연어문장에 대해 5단계

리커트 척도 평가

오디오

이벤트 예측

- 20여명의 사용자를 모집하여 오디오 데이터셋을 청취한 후 생성된 자연어문장에 대해 5단계

리커트 척도 평가


분석/개체명 인식- 세종 말뭉치 및 ETRI 기술 이전 데이터를 활용하여 평가, 기존 개체명 인식기와 비교 평가

한국어 의도분석 - 신규 생성한 데이터를 이용하여 평가

영상묘사 지능정도 - 학계에서 공인된 빅 벤치마크 데이터셋으로 동영상을 텍스트로 변환하는 알고리즘 평가

문장인식/음성합성

- 10dB, 15dB의 AURORA 잡음

- 실내 가정과 공공장소에서 발생 가능한 배경잡음 (배경대화음, TV, 음악, 에어컨, 냉장고, 청소

기, 전화벨) 및 로봇 자체 구동음

- 평가자가 잡음이 들어오지 않는 환경에서 헤드셋을 이용하여 실험

언어모델 정확도- 1차년도까지 세종 말뭉치에 수록된 대화 말뭉치를 적극 활용하여 언어 모델 평가

- 2차년도 연구 개발로 수집 된 한국어구어체 대화 말뭉치를 바탕으로 실용성 있는 평가 실시

대화상태

예측 정확도

- 데이터 수집 전 단계에 대비하여 (1차년도) Sacti-1 사용자-컴퓨터 대화 코퍼스를 사용하여 상

태 예측

- 데이터 수집 완료 후 해당 한국어 구어체 대화 말뭉치를 이용하여 대화 상태 예측 정확도 평

가 실시


POMDP 학습상태

- 수집된 한국어 말뭉치를 바탕으로 POMDP 기반 대화 관리 모델 학습 후 평균 Return Reward

계측


응답요소 추론성능

- (1,2차년도)벤치마크 데이터를 이용, 구축된 테스트 환경 평가

- (3,4차년도) 기 수집된 멀티모달 데이터를 이용, 실환경 평가

정서대화

튜링테스트- 30명 이상의 사용자를 대상으로 감성 대화 평가

플랫폼 QoS- 100명의 사용자들로 하여금 동시에 요청하도록 하여 실시간 QoS만족도의 변화 측정

- 각 사용자는 일정 기간(1시간) 동안 주기적으로 요청을 보내고, 요청 주기는 무작위로 정함

정량적 목표 항목의 평가환경

- 31 -

구분

특허 표준화

기술이전

상용화

(원)

기술료(백만원)

성과홍보

시제품

S/W

등록기술문서

국제 국내 국제 국내

출원 등록 출원 등록기고서제출

기고서채택

표준안채택

기고서제출

기고서채택

표준안채택

1차년도(2017년)

/ / 2/ 1/ / / / / / / / / / / / / 1/

2차년도(2018년)

2/ / 4/ 1/ / / / / / / / / / 1/ / 1/ 1/

3차년도(2019년)

3/ 1/ 5/ 2/ / / / / / / 1/ / / 2/ / 2/ 1/

4차년도(2020년)

5/ 2/ 5/ 3/ / / / / / / 1/ / / 3/ / 4/ 1/

합계 10/ 3/ 16/ 7/ / / / / / / 2 / / 6/ / 4/ 4

가중치

실적 및 목표치측정산식

자료수집 방법/출처2017 2018 2019 2020

(1) 등록특허 질적평가지수

(K-PEG/SMART)0.5

- B1 A3 A2 ∑(특허별 K-PEG/SMART 등급 점수)

/전체 특허수

, 한국발명진흥회특허평가시스템실적

(2) 논문 IF (Impact Factor)

지수(점수)0.5

목표 0.8 1.0 1.1 1.2 ∑(논문별 점수)

/전체 논문수

(NTIS) 입력자료실적

합계 1.0

(3) 성과 목표 (목표치/달성치)

(4) 질적 성과 목표 (목표치/달성치)( 신청의 경우, 목표치만 기재)

- 32 -

단계세부 계획

적용범위 단계별 산출물

계획 단계

프로젝트 계획

소프트웨어 개발 과정과 일정, 비용, 개발 제품에 대한 계획 수립 ⚪ 품질관리 계획서

⚪ 위험관리대장⚪ 형상관리대장조직 계획 프로젝트 참여 인력 및 조직 구성

위험 분석 위험 요소를 인식하고 그 영향을 분석하여 정의

요구사항 정의 및 분석 단계

SW 범위 정의

본 과제는 3개의 서브 시스템으로 구성되며, 이하 문서에서 사용하는 “서브 시스템”의 단위는 다음과 같음 ⚪ 디지털 동반자 서비스 ⚪ 사용자 상황‧감정‧환경인지 및 개인

최적화 자율지능 라이브러리 ⚪ 디지털 동반자 플랫폼

⚪ 요구사항 명세서⚪ 기능 정의서⚪ 테스트 계획서

SW 기능 분석

SW 범위를 개별 기능으로 식별하여 기능적 요구사항 정의

SW 비기능

품질 속성(Quality Attribute)중 제품의 비기능적 품질 속성 식별

설계 단계

아키텍처 정의

요구사항의 논리적 관점, 사용자 시나리오 고려하여 작성 ⚪ 데이터 흐름도

/Class Diagram 설계서⚪ 테스트 계획서⚪ 설계서 상세

설계서브시스템 별 세부 설계는 기능별 다이어그램으로 표현

구현 단계

코드 관리

CI(Continuous Integration) 환경을 구축하여 주기적으로 코드의 정합성을 검증

⚪ 프로그램 소스코드⚪ 시스템 접근 API⚪ 시나리오기반 테스트

명세서⚪ 시나리오기반 테스트 결

과 보고서

개발자 시험

개발된 코드 품질의 1차적 책임은 개발자이므로 작성된 코드를 소스 repository에 commit 하기 전에 시나리오 기반 통합 시험 수행

시험 단계

시험 계획

전체 프로젝트 일정과 요구 사항 정의서를 바탕으로 시험 일정 수립

⚪ 통합시험 명세서(2차년도)

⚪ 통합시험 결과 보고서(2차년도)

시나리오 작성

요구 사항 정의서, 설계서를 바탕으로 개발자와 협의 후 시험 시나리오 작성

시험 수행

CI 시험 환경에 기본 시험이 수행될 수 있도록 시험 환경 구축

평가 단계

관리 평가

중요 마일스톤이 끝나는 시점에 Postmortem 미팅 실시하여 프로젝트 전반에 대한 회고실시 ⚪ 시험환경 명세서(2차

년도)⚪ 시스템시험 결과서(2

차년도)품질 평가

시험결과를 바탕으로 품질을 평가하여 다음 마일스톤의 개선점 확인

2-3. SW품질관리계획 및 공개SW활용방안

2-3-1. SW품질관리계획

(1) 프로젝트 표준 개발방안

① 개발방법론 프로세스 및 주요단계

- 33 -

표준 및 문서명 설명 표준출처 적용 대상

웹 서비스 개발 운영 환경 분석 및 전자정부

도입전략 연구

웹 서비스 시스템 또는 환경을 구축할 수 있는 기반을

제공하는 시스템 한국전산원 전체 웹개발

소프트웨어 개발보안가이드

보안 측면의 가이드 NIPA 전체 개발

절차 내용 수행대상 기법/도구

착수 사업계획서를 바탕으로, 본 과제의 수행을 위해 필요한 개발범위, 계획, 절차 수립

전체시스템 워크샵, 검토회의

요구사항 정의

사업의 개발범위 및 계획에 따른 SW의 요구사항을 참고하여 개별 기능 목록을 작성하고, 각 개별 기능 들을 통합하여 SW 모듈로 정리

전체시스템

내부검토회의,오픈소스(GitHub, 구글클라우드) 활

② 제품 및 개발 표준

- 제품 표준

- 개발 표준

표준 및 문서명 설명 표준출처

용어 표준 가이드

프로젝트에 적용할 용어, Entity 등의 표준 사전

IEEE, ANSI, 산업표준

표준 코딩 규약 SW신뢰성 확보를 위한 코딩 표준 수행기관별 표준

(2) SW 품질확보 방안

① 개발 단계별 품질확보 방안

- 요구사항 단계(요구사항 품질 확보 방안)

⚪ (요구사항식별1)목표 시스템에 대한 개념을 정의하고 자율지능 디지털 동반

자 기술 수요 기관의 요구 사항 수집하여 기능성 식별

⚪ (요구사항식별2)경쟁 제품 및 서비스 분석을 통해 본 과제가 개발할 시스

템의 경쟁력을 파악하고 비교 우위의 품질 속성 식별

⚪ (요구사항의 분석/정의) 도출된 요구사항들을 모든 이해당사자가 이해할 수

있도록 구체화하여 SW 요구사항정의서 작성

⚪ (요구사항 변경) 연구참여자로부터 모든 수집된 정보는 주관기관 수행책임자

와 관련업무 담당자의 분석과정을 통해 변경된 정보를 정리하여 관리

⚪ (요구사항 추적관리) 요구사항정의서, 설계서와 시험 명세서에 대한 변경

추적성은 액셀을 활용하여 관리

⚪ (요구사항 검증) 요구사항에 대한 적합성 검증

- SW설계 단계 (SW설계 품질 확보 방안)

- 34 -

용한회의문서 공유,

설계

[아키텍처 정의]⚪ 시스템 품질 목표를 달성하기 위한 비기능 품

질 요구사양을 분석하여 SW 아키텍처 필요 사항을 도출하고 평가기준 설정

⚪ 식별된SW 모듈을 분석하여 아키텍처 필요 사항을 충족하는 아키텍처 설계

⚪ SW 모듈의 정정 아키텍처 및 동적 아키텍처를 설계하여 아키텍처 정의서 작성

[모듈 세부 설계]⚪ 정의된 인터페이스에 따라 각 SW 모듈

에 대한 세부 설계 수행

전체시스템

내부 검토회의,오픈소스(GitHub, 구글클라우드) 활

용한회의문서 공유

구현 기 수립된 개발계획과 설계된 아키텍처를 바탕으로 점진적인 구현 수행

전체시스템

Python, JAVA, C/C++

단계 테스트 내용 및 대상(범위) 기법/도구 수행주체

단위테스트

오퍼레이터 별 동작 및 디지털 동반자 프레임워크의 일관성 검증

Source Code Manager (Git)으로 통합 시 Continuous Integration 도구 (Jenkins)를 이용해 자동 테스트

참여개발팀(서울대학교 산학협력단)

통합테스트

벤치마크를 통한 리소스 사용량 최적화 및 분석 정확성 검증

시스템 통합 관리자의 감독 하에 2주 간격으로 테스트 진행

시스템 통합 관리자 및 참여개발팀(서울대 빅데이터 연구원 산하 통합 및 QA 전담 팀)

시스템테스트 시스템의 준수 여부 평가 및 검증

부문 별 테스트를 개발, 회귀 분석을 통해 반복적으로 성능 측정

참여개발팀 및 자동 모니터링 프로세스

- 구현 단계(SW코드 품질확보 방안)

유형 방법 및 내용 적용대상 범위 도구명

코드인스펙션

구현된 프로그램에 대하여 코딩표준 준수 여부 검증

핵심모듈소스코드

코드 개발 단계 종료 전

cppcheck

동료 검토핵심 모듈에 대한 동료 검토 및 시나리오 기반 테스트를 적정성 검증 및 요구사항 반영여부 검증


코드 개발 단계 종료 후 N/A

워크쓰루

동료 그룹에 대한 1차 미팅 후, 소스코드에 대한 syntax를 점검하고 소스코드의 잠재적인 구문 오류를 찾음으로써, 코드 효율 및 품질 향상


코드 개발단계 종료 후 N/A

- 테스트 단계(테스트 유형별 테스트 방안)

- 35 -

구분 절차 및 내용 수행주체 기법/도구

형상식별

⚪ 형상 항목 선정, 기준선 설정

⚪ 바이너리 파일 관리 계획 수립

⚪ 형상 관리 대상

주관기관 참여기관

GITSVN엑셀

형상통제

⚪ 변경요청 관리 선별회의GITSVN엑셀

⚪ 공학적 설계변경 프로젝트관리자

⚪ 규격변경통보, 개정 보고 형상관리자

형상감사

⚪ 형상상태 기록

⚪ 형상정보 분석

⚪ 기능적/물리적 형상감사

형상관리자 GIT, SVN엑셀

형상기록

⚪ 형상변경내용 기록 유지

⚪ 형상자료 문서화/전산화형상관리자

GIT, SVN엑셀⚪ 시스템 인도 및 형상자료 배부

품질관리자프로젝트관리자

역할 수행 내용

프로젝트 관리자

⚪ 프로젝트에서 형상관리가 원활히 수행될 수 있도록 지원/감독

⚪ 프로젝트의 형상관리 활동 및 결과를 정기적으로 검토

⚪ 베이스라인 배포를 검토 및 승인

⚪ 프로젝트 형상관리 활동의 주요 사항에 대해 상위 관리자에게 보고

⚪ 형상관리 계획 내용을 검토 및 승인

프로젝트 리더

⚪ 형상관리 계획을 수립, 배포하며 유지 관리

⚪ 형상관리 시스템을 구축하고, 접근권한을 부여하며, 백업을 관리

⚪ 프로젝트 구성원들에게 형상관리 교육을 실시

⚪ 형상항목을 식별, 선정 및 검토

⚪ 베이스라인을 설정/변경 관리하고 변경사항을 관련자들에게 통보

⚪ 형상 베이스라인으로보터 제품을 생성

⚪ 형상상태를 기록하고 보고

프로젝트 팀원⚪ 베이스라인으로 등록된 형상 항목을 기본으로 엔지니어링 활동을 수행

⚪ 변경 요청 및 담당하는 형상 항목에 대한 변경을 처리

인수테스트 수요자 요구에 따른 데모 및 시각화

단계별 데모를 통하여 알파테스트로 시장 수요를 적극적으로 반영

참여개발팀

① 형상 및 변경관리 방안

- 본 과제에서는 아래와 같은 4 단계를 통해 형상 및 변경 관리를 수행

- 형상 및 변경 관리 담당자의 역할은 다음과 같이 정의

- 36 -

⚪ 형상 감사 결과 발생한 부적합 사항에 대해 시정조치를 수행

세부 시스템 품질목표 품질목표 선정사유

전체 시스템

테스트 수행율 100% 신뢰성 확보 및 요구사항의 성능을 위한

필수요건

코딩 표준 준수율 100% 개발자들 간의 코드 재사용성 향상 및

추후 응용분야에서의 사용성 향상

동시성보장성 100% SW 의 잠재적 결함 검출 및 동시성 보장

멀티모달인터페이스

멀티모달인식률 80% 통합된 AI 시스템의 인식률을 보장

AI 추론/학습라이브러리

예측 정확도 90%

인공지능의 핵심은 현재 Context 정보를 Feature 화하여 다음 상태를 더욱 정확하게 예측하는 것으로써 사용자가 인공지능 기술에 대해 인지하는 ‘똑똑함’의 정도에 직접적인 영향을 미침

추론 속도 만족도 90%

사용자와 상호작용이 있는 응용환경에서 AI 라이브러리가 사용자 만족도에 부정적 영향을 미치는 않는 한해서 빠르게 추론할 필요성이 있음

확장성 90%

사용자가 늘어나고 사용자 상호작용으로 인한 데이터가 축적이 되면서 이를 대응할 수 있는 수준의 확장성을 갖출 필요가 있음

디지털 허용가능한 전체 서비스 이용 시 클라우드 서버의 컴퓨팅

- 위험 관리방안

⚪ 위험 관리는 프로젝트 추진과정에서 예상되는 각종 돌발 상황(위험)을 미리 예상하고 이

에 대한 적절한 대책을 수립하는 일련의 활동을 의미함. 위험을 식별한 후 발생 가능성을

산정하고, 그 영향을 추산하여 해당 위험에 대비하는 비상 계획을 마련

- 이슈 관리방안

⚪ 이슈는 프로젝트 수행기간 동안에 발생하는 프로젝트 관련 문제점, 결함 및 쟁

점 사항이 정해진 기간 내 해결되지 않거나 해결이 어려운 사항을 총칭

(3) 제품 품질관리 방안

① 제품 품질목표

- 37 -

유형 활용 도구 활용 용도관리 MS/한컴 오피스 결과 문서화 및 산출물 작성

지원

git / svn 코드의 순차적 관리 및 효율적 통합을 위해 사용

gerrit 여러 세부 팀이 생성하는 코드의 효과적 보존/관리/리뷰에 사용

bugzilla SW 코드 내의 버그 보고와 빠른 해결을 돕는데 활용Google test framework

Unit test 레벨의 테스트를 빠르게 구현하고 체계적으로 관리

jenkins Regression test 의 수행을 돕기 위해 활용

관리

vtune CPU 및 메모리의 사용량과 사용 패턴을 정적/동적으로 분석

gcov Code coverage 의 측정을 위해 사용

cpplint Google coding convention 에 따르는 코딩 표준

동반자플랫폼

동시접속자 수

가입자의20%

자원이 동시접속자가 요구하는 질의에 대해 일관성 있게 성능을 보장해야 함

세부시스템

품질지표

품질목표

측정 메트릭 (측정항목/측정산식) 측정 및 검증방법

전체 시스템

테스트 수행율 100%

구현된 요구사항의 수 대비 테스트 되는 요구사항의 수

Google test framework 을 통한 테스트 개발 및 커버리지 확인

코딩 표준

준수율100%

코딩 표준을 따라야 할 코드 줄 수 대비 따른 코드의 줄 수

google-style guide 를 활용한 자체 스크립트로 코딩 표준 준수율을 측정

동시성보장성 100%

동시성분석이 필요한 테스트의 수 대비 분석 이행된 테스트수

업데이트 된 코드를 주기적인 분석을 통해 체크

멀티모달

인터페이스

멀티모달

인식률80%

각 AI 모듈별로 가중치를 산정하여 그 합을 통해 최종 인식률을 도출

멀티모달인식률을 검증하기 위한 데이터셋을 구축하고 그에 대해 통합된 모듈의 인식률을 도출

AI 추론/학

습라이브러리

예측 정확도 90%

세계 최고 수준 대비 각 AI 학습/추론 모듈 정확도 평균

디지털 동반자 도메인에서의 AI 학습/추론 검증을 위해 구축한 데이터셋을 이용해 정확도 측정

추론 속도

만족도90% 목표 응답 속도 대비

실제 응답 속도

사용자 만족도에 영향을 주는 응답 속도를 파일럿 서비스를 통해 도출, 목표 응답 속도로 사용

확장성 90%

사용자 및 데이터 증가에 따른 응답 속도 및 성능 변화 정도

사용자 수 증가, 데이터 증가에 따른 부하를 시뮬레이션하여 측정

디지털동반자플랫폼

허용가능한

동시접속자 수

전체 가입자의

20%

동시간대에 서비스를 사용하는 사용자의 수 대비 컴퓨팅 자원의 사용량

사용자를 선형적으로 증가 시 관찰되는 컴퓨팅 자원의 총량을 통해 필요한 컴퓨팅 자원 측정

① 품질목표 측정 및 검증 방법

(3) 과제 수행 활용 도구

- SW 품질 확보를 위하여 다음과 같은 도구를 통하여 품질을 검증

- 38 -

준수율의 측정 및 올바른 코딩 표준 추천을 수행하는 스크립트.

Pareon Suite 비정상 동작의 다층적 원인 관리를 위한 툴로 사용2-3-2. 공개SW 활용방안

(1) 공개 SW의 활용의 한계점과 대안

① 개발방법론 프로세스 및 주요단계

- 과제수행기관은 오픈소스 SW를 활용하여 과제를 수행할 시 glue 방식이나 수

정방식으로 프로젝트 수행

⚪ 오픈소스의 인터페이스가 변경될 경우 연구개발 결과물의 문제점 발생

- 오픈소스 SW의 경우 커뮤니티를 고려하여 R&D를 수행하여야 하나 연구개

발 규정 및 내부규정에 의해 수행하는데 한계

⚪ 내외적인 커뮤니티 활성화 문화가 정착되어 있지 않으며, 연구 수행 규칙

에서도 커뮤니티활용에 있어서 어려움이 있음

② 선진 공개 SW 생태계의 방향성 제시

- 공개 SW 개발 및 커뮤니티 운영 관련 국내에서 가장 글로벌하게 성공한

Zeppelin과 적극적 협업관계를 구축하여(MoU[번호,혹은 부록 몇페이지] 오

픈소스 생태계 조성 및 운영 방안에 관련하여 긴밀하게 협력

- 공개 SW 개발 및 커뮤니티 운영 노하우가 풍부한 Zeppelin과 MoU를 맺음

으로써 생태계 조성 및 운영 방안에 관련하여 긴밀하게 협력

- 공개 SW의 공공·민간의 활용을 장려하여 시장 수요를 창출하고

Best-practice를 만들어 새로운 기술에 지속적인 니즈가 발생

- 기술적 수요 증가에 따라 전문인력이 지속적으로 창출하도록 하여 선순환

되는 공개SW 생태계 구축

[그림] 공개SW 생태계의 악순환 모델과 선순환 모델 비교

- 39 -

③ 공개 SW커뮤니티 문화 확산

- 공개 SW커뮤니티는 SW의 선순환 개발 유도 및 전문인력 양성을 위한 기

반이 될 수 있음

- 하지만, 공개 SW커뮤니티 참여자의 자발적 참여에 의존해야 하기 때문에

활발한 활동을 위해 다양한 지원책이 필요

- 공개SW 커뮤니티 활동에 대한 사회적 인지도가 향상될 수 있도록 사회구

성원의 관심이 필요함과 동시 SI중심의 국내 SW산업구조의 변화 필요

- 기술적 수요 증가에 따라 전문인력이 지속적으로 창출하도록 하여 선순환

되는 공개SW 생태계 구축

- 또한, 컨트리뷰터와 커미터가 독립적으로 살아갈 수 있는 생태계 구축 필요

(2) 공개 SW의 확산활동

① 오픈소스 인식 제고를 위해 국내/외 세미나 개최

- 공개 SW 기반의 기업인 Zepplin, Docker와 TensorFlow, Caffe등 많은 공개

SW 개발팀과 협력하고 있는 NVIDA와 함께 국내, 국외 세미나 개최

② 매년 개최할 실리콘 밸리의 과제 참여 기관 All Hands 심포지움과 국내, 국

제 학회에서 개발된 공개 SW 프로모션

③ 미래부가 주관하는 ‘취약점 신고 포상제’를 이용

- 정기적으로 컨소시엄에 포함된 학교 학생이 참가하는 해커대회 등을 개최

해 보안 문제점 발견

④ 개발된 공개 SW커뮤니티 (산·학·연)를 통해 공개 SW의 문제점인 AS 이슈

해결

⑤ 오픈 소스와 연계된 솔루션을 자체 개발

- (연계 플랫폼 운용) 다양한 분야에서 사용될 수 있도록 플랫폼 영역 개발

⑥ 디지털 동반자 프레임워크 기술 API 기반 경진대회 개최

- 공개 API 및 데이터를 제공하고, 그를 통해 다양한 서비스를 자유롭게 개발

및 경쟁할 수 있는 경진대회를 개최하여 기개발된 기술의 확산 및 다양한

응용서비스 개발의 촉진 도모

- 40 -

[그림] 컨소시엄 구성도

3 기술개발의 추진전략, 방법 및 추진체계

3-1. 추진 전략 ․ 방법

(1) 구성

- 삼성 펠로우, 삼성전자 반도체 사업부 글로벌 기술 협력 담당 전무, 삼성 전

기 CTO 경력의 김창현 박사를 영입하여 총괄책임자 바로 밑의 Project

Manager역할을 맡기고, 이를 필두로 전임 연구팀을 꾸려 2,3,4세부 과제와의

통합 및 지속적인 Quality Control을 진행해 나아갈 예정

- 서울대학교 빅데이터 연구원 (Seoul National University Big Data Institute,

SNU BDI)

◦ 초학제적 연구기관으로 발족, 서울대학교 모든 단과 대학의 200여명의 교

수가 참여

◦ 일본, 중국에서는 성공적인 모델로 SNU BDI를 추종

◦ 비전공자를 위한 학내 대학원생 교육 및 외부 교육을 수행

◦ 서울시 지원으로 도시 데이터 사이언스 연구원, 개포 디지털 혁신 연구소

개소 예정 (2017.3말)

- 41 -

◦ 노동부 4차 산업혁명 선도 인력 교육 센터 개소 예정 (2017.4)

◦ 데이터 사이언스 혁신 대학원 개원 예정 (2018.3)

- SNU BDI에서 인력양성 경험을 바탕으로 교육 인프라를 구축, 인력 양성을 도

모함

◦ 최신 기술에 관한 교육 프로그램 실시 예정

◦ 일 년에 두 번 씩 빅데이터, AI, 자연어 처리 캠프를 실시

- 본 컨소시엄은 사용자와 다양한 방식으로 교류하며, 상대의 의도와 감정을 인지하

여 도우미 역할을 할 수 있는 적응형 기계학습 기반 자율지능 디지털 동반자 기술

및 프레임워크 연구개발을 목표로 함

- 국내 시장을 위주로 개발을 할 경우 공개 SW의 성공에 한계가 있기 때문에

첨단 기술을 기반으로 처음부터 글로벌 수준의 기술 및 시장을 공략하는 Go

Global 전략을 지향

- 해외 협력기업 및 기관과 국내 전문 연구 인력간의 기술 교류, 연구 협업의

장을 마련하는 All Hans Meeting을 미국 실리콘밸리에서 정기적으로 진행 계

획

- 위 목표를 달성하기 위해 본 컨소시엄은 세계적 기술 수준을 보유한 기업들

과 MoU를 체결, 디지털 동반자 개발에 필요한 핵심 선도 기술을 지닌 다양한

분야의 전문 연구 인력들이 협업 할 수 있도록 기관을 구성

◦ 응용 서비스 기획 및 개발

• 디지털 동반자에 대한 사회적•기술적 필요성이 큰 헬스케어, Urban Life

(모빌리티, 패션 등) 분야의 응용/서비스 개발과 사업화를 각 분야의 전문

기업 혹은 연구실이 담당

• 참여기관인 분당서울대학교병원을 통해 디지털 동반자와 결합되는 개인

헬스 케어 및 사용자 맞춤형 웰니스 서비스 개발

• 서울대학교 의상 시뮬레이션 연구실과 교통공학 연구실이 주도하여 개인

화된 패션 추천 기술, 스마트 모빌리티 지원 서비스 개발

◦ AI 엔진 개발

• 고성능 디지털 동반자 AI 시스템 개발을 위해 국내 유일 세계시장 성공

경험이 있는 차상균 교수의 연구실을 중심으로 한 서울대학교 연구진 보

유

- 42 -

• 처리 분야에서 세계 최고 수준의 기술을 보유하고 관련 연구를

선도하는 Stanford NLP 그룹 참여

• 지식베이스 시스템 및 질의 처리 기술을 연구하는 서울대학교 장병탁 교

수의 써로마인드 로보틱스 참여

◦ 검증 및 평가

• 지능정보산업협회를 통해 디지털 동반자 프레임워크의 객관적인 성능을

소프트웨어 시험 인증으로 검증

• 표준화된 테스트 뿐만 아니라 HCI (Human Computer Interaction)적 관점

을 도입하여, 실제 사용자 측면에서 측정되는 만족도를 보다 잘 반영할

새로운 평가체계 개발, Multi-modal Interaction의 활용성 평가

◦ 기타 협력 기관

• NVIDIA, Docker, Zeppelin과 같은 세계적인 기술 수준을 보유한 기업과 협력

• NVIDIA : 세계 최고 수준의 AI 컴퓨팅 SW/HW 기업. 초고속 AI 컴퓨팅을

위한 GPU 생산 및 관련 라이브러리 cuDNN 개발

• Docker : 세계적 규모의 클라우드 기반 오픈소스 컨테이너 프로젝트 및 기

업. 효율적인 개발 환경 구축 및 관리를 위한 가상 머신 서비스 제공

• Apache Zeppelin : 데이터 저장, 관리, 분석 및 시각화 기능을 제공하는 세

계 최대 규모의 오픈소스 통합 데이터 프레임워크

- 국내 디지털 컴패니언 서비스 프로바이더 KT, SKT와 MoU 체결

• KT, SKT 모두 자체 브랜드(GiGA genie, NUGU)를 통해 개인 디지털 컴패니언

서비스 선출시

• 일차적으로 테스트베드로써 본 과제의 결과물인 디지털 동반자 기술 성능 검증

• 추후 KT, SKT 서비스와의 기술 교류를 통한 서비스 확장성 확보, 상호 보완적

인 서비스 제공을 통해 win-win 관계 유도

- 그 외에 심천 중국과학원 등 글로벌 초일류 연구기관과의 기술 교류를 통해 최신

기술 동향을 디지털 동반자 프레임워크 개발에 신속하게 반영

(2) Quality Control

- 총괄과제로서 전체 프레임워크 기술 개발을 성공적으로 이끌 위해 Quality

Control이 필요하며 본 컨소시엄은 지속적 SW 품질 관리를 Code Quality

Control과 Data Quality Control로 나누어 수행, 프로젝트의 실시간 문제 파악

및 대처를 가능하도록 함

- 43 -

[그림] Code Quality Control Infrastructure

◦ Code Quality Control• 세부과제와의 주기적 코드 Integration을 수행, 세부 과제별 진행 내용이 멀

어지지 않도록 지속적인 관리

• 코드 change마다 단위테스트, 통합 테스트 등 모든 Quality Control 과정을 통

과 하도록 해 시스템의 완전성을 유지

•통합 및 응용 Quality Control 전담 팀을 운영해 일련의 과정을 실시간으로 관

리, 시스템의 통합 및 성능 개선 과정의 문제점에 즉각적으로 대응함

[그림] Data Quality Control Infrastructure

◦ Data Quality Control• 다양한 환경에서 수집되는 원본 데이터의 부정확성과 중복을 제거, 일관된 형

식으로 바꾸는 Cleansing&Integration Module을 두고, 이를 실시간 모니터링/프

로파일링 하며 피드백을 반영하는 cycle을 구성

• 업데이트 되는 AI model의 버전 또한 실시간 tracking하여 데이터 및 AI model

- 44 -

지속적으로 관리

(3) 데이터 수집 및 관리 방안

[그림] 데이터 수집 및 관리 구조

- 프로토타입 구축을 위한 사전적 데이터 수집 및 신규 데이터셋 구축, 서비스

진행 중 생성되는 데이터의 수집 계획

◦ (웰니스케어) 보건의료빅데이터개방시스템, 공공데이터포털 등 공개된 데이

터를 사용하고, 분당서울대학교병원 임상 데이터, 건강평가 설문, 예방접종

권고, 운동/영양/정서 중재안 등 추가 수집.

◦ (스마트모빌리티) 교통정보공개서비스, 도로교통공단 공공데이터 등 공개

된 데이터를 비롯해 경로 이용 정보, 개인 선호 교통수단, 주변 환경과의

경로선택 연 관성 데이터 수집. 네이버, 다음 등 교통 관련 정보 제공 서

비스 API 활용.

◦ (스마트코디) 기상자료개방포털 Open-API, 국가기후데이터센터에서 날씨

데이 터, DeepFashion dataset, Polyvore 등에서 기존 의상 데이터 수집하

고 의상 조합 추천 데이터 및 수락여부, 개인/그룹별 선호 의상 데이터 추

가 수집

◦ (영상인식) VOC2007, MSR-VTT, MS-COCO, Youtube-8M, Youtube-BB에서

사용된 데이터를 수집해 디지털 동반자 프로토타입에 적용가능하게 재구

성

◦ (환경음향 추론) 기존의 음성 DB 와 무향실, 시청각실 그리고 시뮬레이

- 45 -

션 툴킷을 활용한 음성 데이터 수집

◦ (자연어처리) 및 외국어 핵심 자연어 처리, 의도 분석, 대화 관리

를 위한 데이터를 수집하고, HPC 과제(초고성능컴퓨팅 핵심기술 개발사업

– 글로벌 인터넷 텍스트 모니터링) 1차년도에 수집될 예정인 뉴스 데이터

베이스 이용

◦ (지식베이스) wikiHow 등 공개 지식 데이터에 대한 질의응답 데이터 수집

◦ (감성엔진) Stanford Sentiment Treebank, Movie Review 데이터셋 등 공개

된 감성 분석 데이터 수집

- 수집·구축한 데이터 관리 및 데이터 정합성 관리 방안

◦ 각 연구 팀에서 수집·구축한 데이터는 데이터 분석에 용이한 포맷을

따르도록 하여 세부과제 간 데이터 공유를 촉진

• 표준 파일 포맷(CSV, HDF 등) 및 de-facto 표준 데이터베이스 사용

◦ Dataverse를 이용한 메타데이터 및 데이터 저장

• 학계 및 산업계에서 널리 사용되는 데이터셋 저장 및 공개 소프트웨어

• 세부과제 간 통합 데이터셋 저장 플랫폼의 사용을 통해 타 팀·세부과

제에서 수집 및 산출된 데이터의 검색·공동 사용을 도모

◦ 수집·구축된 데이터에 대한 정합성 검사 및 사후 검증 수행

• 누락 값, 데이터 타입 오류, key 중복 문제 등에 대한 자동 정합성 검사

를 수행하고, 그 수행 결과를 메타데이터로서 저장

• Issue tracking을 통해 정합성 사후 검증 및 오류 수정

◦ 신규 구축된 데이터 중 공유 가능한 데이터를 외부에 공개

• 국내·외의 연구자들이 접근할 수 있는 포털에 데이터 공개

• API 공개를 통해 생성된 데이터의 공공·민간 서비스 영역에서의 사용

촉진

(4) 기술 개발 추진 전략

- 시스템과 응용 서비스의 협력적 동시 개발

◦ 개발 초기부터 시스템의 완전성 보장을 위해 응용 서비스의 핵심 요구

사항을 포함한 시스템과, 그 위에서 실제 데이터를 활용한 응용 서비

그 병렬 개발

◦ 실제 데이터 테스트를 통해 개발 단계에서부터 수요자 요구를 반영하

여 변화에 대응

◦ 응용 서비스에서의 요구사항 반영이 시스템의 기술적 발전을 가져오

고, 재차 응용 서비스의 성능 향상과 기능확장으로 이어지는 선순환

- 46 -

1차년도

(2017년)

구조를 구축

- 협력 연구 공간에서 집중적 기술 개발

◦ 실무자들을 물리적 공동 연구 공간에 배치함으로써 집중적인 기술 개

발을 가능케 함

◦ 공동 협력 연구공간에서 실무자들이 같이 근무하여 논의 사항이 신속

하게 반영될 수 있도록 함

3-2. 추진 체계․일정

(1) 기술개발 추진 프로세스

- 47 -

2차년도

(2018년)

- 48 -

3차년도

(2019년)

- 49 -

4차년도

(2020년)

- 50 -

관 기 관 참여연구원 담당기술내용

서울대학교

산학협력단

총괄책임자(차상균)외

00명

- 자율지능 디지털 동반자 서비스 개발

(스마트 모빌리티, 스마트 코디)

- 사용자 상황‧감정‧환경인지 및 개인

최적화 자율지능 라이브러리

- 자율지능 동반자 서비스 및 학습 지

원 플랫폼

- 데이터 통합 및 동반자 서비스 개발

API

- (위탁, Stanford Univ) 자연어 처리기

반 대화 관리 시스템 및 감정‧정신상

태 분석

- (위탁, 한국과학기술원) 사용자 특성

별 언어사용 패턴 분석 및 어감 인식

기술

- (위탁, 강원대학교) 형태소 분석 및

딥러닝 기반 자연어 이해

참여기관

( : 17.40.0

~20.12.31)

참여기관

(수행기간: 17.40.0

~20.12.31)

참여기관

(수행기간: 17.40.0

~20.12.31)

참여기관

(수행기간: 17.40.0

~20.12.31)

파수닷컴 써로마인드 로보틱스 지능정보산업 협회

참 여 연 구 원 참 여 연 구 원 참 여 연 구 원 참 여 연 구 원

개발책임자(김광일)외

29명

개발책임자(김용길)외

13명

개발책임자(장병탁)외

6명개발책임자(ㅇㅇㅇ)외 000명

담당 기술

개발 내용

담당 기술

개발 내용

담당 기술

개발 내용

담당 기술

개발 내용

건강증진, 질병예방

및 질병관리로

활기찬 삶을

유지하기 위한

웰니스 서비스 개발

및 임상 적용

클라우드 플랫폼

보안 모듈 및

동반자 서비스

배포 지원

사용자 적응형

지식 기반 컨셉

그래프 생성 및

질의 응답 요소

추론 기술 개발

디지털 동반자

프레임워크

평가환경 구축 및

기술 확산 활동 지원

(2) 편성도

- 51 -

1

일련번호

개발내용추진 일정

책임자(소속기관)1 2 3 4 5 6 7 8 9 10 11 12

1사전조사 및 초기

데이터/리퍼런스 수집차상균

(서울대학교)

2기초 입출력 모듈 프로토타입 개발

김건희(서울대학교)

3대화관리

프로토타입 개발이상구

(서울대학교)

4자연어이해

프로토타입 개발이창기

(강원대학교)

5 기본 대화 처리 및 이해이교구

(서울대학교)

6질의응답 모듈프로토타입 개발

장병탁(써로마인드)

7Rule-based

플래닝모듈 개발차상균

(서울대학교)

8문맥정보 활용기술

기반 구축차미영

(한국과학기술원)

9 간단한 기능에 대한 QA장병탁

(써로마인드)

10클라우드 구성 및

데이터 수집 I/F 구축김장우

(서울대학교)

11서비스 보안구조

설계 및 프로토타입김용길

(파수닷컴)

12 동반자 에이전트 개발김장우

(서울대학교)

13기본QA에 대한

동반자 서비스 지원김장우

(서울대학교)

14 기초 인터페이스 구축박우진

(서울대학교)

15 음성 길안내 서비스이청원

(서울대학교)

16 날씨에 따른 의상조합고형석

(서울대학교)

17건강 스크리닝 서비스

설계김광일

(분당서울대병원)

18서비스 정의 및

기존 기술 활용 서비스이청원

(서울대학교)

19사용자 인터페이스

정의 및 개발박우진

(서울대학교)

20기본 QA 수준의 서비스 데모 시연

김용길(파수닷컴)

(3) 일정

- 52 -

2

일련번호


책임자(소속기관)1 2 3 4 5 6 7 8 9 10 11 12

1멀티모달 인지시스템 핵심요소 기술개발

이교구(서울대학교)

2대화 코퍼스 구축 및

딥러닝 기반 자연어처리이상구

(서울대학교)

3학습코퍼스 구축 및

딥러닝 기반 자연어이해 이창기

(서울대학교)

4딥러닝 기반

사용자 주변환경 인지김남수

(서울대학교)

5컨셉그래프 생성 및 응답 요소 추론


6강화학습 알고리즘 및 시스템 상호작용 모듈

차상균(서울대학교)

7감성 모델링의

부재데이터 처리차미영


8딥러닝 기반

심화 QA 기능 개발장병탁

(써로마인드)

9디바이스 경량화,실시간 모니터링

김장우(서울대학교)

10서비스 연계 API 및

Public 클라우드 서비스 김용길

(파수닷컴)

11Frontend 서비스지원Backend AI모델 학습


12멀티모달 인지 및 딥러닝 기반 QA


13인터페이스 프로토타입

설계 및 평가박우진

(서울대학교)

14통행 이력 활용

모빌리티이청원

(서울대학교)

15의상 착용 모습 시각화 및 환경 반영 의상 추천

고형석(서울대학교)

16레퍼런스 확립, 서비스

프로토타입 개발김광일


17사용자 과거이력 및

주변환경 반영 서비스고형석

(서울대학교)

18심화 동반자 서비스

시연김용길

(파수닷컴)

- 53 -

3

일련번호


책임자(소속기관)1 2 3 4 5 6 7 8 9 10 11 12

1멀티모달

시스템 고도화김남수

(서울대학교)

2지속적 인터랙션을 위한

대화관리 고도화이상구

(서울대학교)

3자연어이해 기법의

고도화이창기

(강원대학교)

4종합적 환경 인지능력

고도화이창기

(강원대학교)

5지식기반 컨셉 그래프의 점진적 적응 학습 기법


6사용자 적응형 맞춤 모델 개발 및 고도화

차상균(서울대학교)

7기계학습 기반

감성 집단 분류 고도화차미영


8사용자 취향 및 감성 반영 QA 기능 개발

차미영(한국과학기술원)

9클라우드 규모 확장 및

공개 API 개발김장우

(서울대학교)

10클라우드 내 데이터,

OpenAI 보호김용길

(파수닷컴)

11사용자 최적화

동반자 에이전트 지원김장우

(서울대학교)

12 사용자 적응형 동반자이상구

(서울대학교)

13인터페이스 프로토타입

개발 및 평가박우진

(서울대학교)

14개인 선호도 고려 모빌리티 서비스

이청원(서울대학교)

15사용자 취향 고려한

의상 추천고형석

(서울대학교)

16서비스 시나리오 검증

임상연구 수행김광일


17사용자 취향/환경 맞춤 동반자 서비스 개발

이청원(서울대학교)

18환경 및 사용자 적응형

서비스 데모 시연김용길

(파수닷컴)

- 54 -

4

일련번호


책임자(소속기관)1 2 3 4 5 6 7 8 9 10 11 12

1연속성·상관성 고려한

멀티모달 최적화김건희

(서울대학교)

2통합 자연어생성, 대화 관리 모듈 구축/검증

이상구(서울대학교)

3다양한 도메인 자연어 이해기 및 최적화

이창기(서울대학교)

4최적화된 자연어 처리

및 모듈 구축이상구

(서울대학교)

5실제 환경 기준

QA 평가 및 최적화장병탁

(써로마인드)

6최종 플래닝 최적화 및

추가기능 구현차상균

(서울대학교)

7시나리오 기반 사용자 특화 감성 모델의 응용

차미영(한국과학기술원)

8실제 서비스 환경 기준

알고리즘 최적화차미영


9디지털 동반자 플랫폼 안정화


10 클라우드 보안성 강화김용길

(파수닷컴)

11최적화 및 실제환경 기준 안정성 확보


12인터페이스 최종

프로토타입 및 최적화박우진

(서울대학교)

13스마트 어반 모빌리티

서비스 보완이청원

(서울대학교)

14새로운 패션 아이템의 능동적 검색시스템

고형석(서울대학교)

15웰니스 서비스

시나리오 검증/고도화김광일


16부가 서비스 구현 및

보완고형석

(서울대학교

17대국민 자율기능 서비스 시연

김용길(파수닷컴)

- 55 -

3-3. /외부용역/공동연구 현황

3-3-1 위탁연구/외부용역 과제 현황

구 분

과 제 명 발주기관수 행 자(수행기관)

세부 과제내용 연구기간소요금액(천 원)

연구

자연어 처리 기반

학습가능

대화시스템과

감정/정신상태

분석

서울대학교

산학협력단

Dan

Jurafsky

(Stanford

NLP Group)

필요성- 세계 최고 수준의 기술 도입 및 연구 교류

과제내용- NLP 기반 학습가능 대화

시스템- 감정/정신상태 분석 기술

2017.04.01-

2017.12.31460,000

위탁

연구

사용자특성별

언어사용 패턴분석

및 어감인식 모듈

개발

서울대학교

산학협력단

차미영

(한국과학기

술원)

필요성- 소셜미디어 상의 사용자 행동 패턴 분석 및 감성분석 부분 전문성

과제내용- 감성 모델 학습용 데이터

구축- 사용자별 감성 모델링 및

모델 최적화

2017.04.01-

2017.12.31100,000

위탁

연구

형태소 분석 및

딥러닝 기반

자연어 이해

서울대학교

산학협력단

이창기

(강원대학교)

필요성- 한국어 자연어처리 분야의 연구 강점- 언어처리 및 기계학습

관련 기업 기술 자문 강점

과제내용- 딥러닝 기반 자연어 처리

모듈- 한국어 형태소 분석

2017.04.01-

2017.12.31100,000

3-3-2. 국제공동연구개발 추진계획

(1) 배경

- 스탠포드 NLP 그룹의 Dan Jurafsky 교수와 협의하여 다음의 공동 연구 제

안을 도출 (붙임 3. Dan Jurafsky 교수의 연구 제안서 참조)

⚪ Teachable dialogue system ⚪ Neural dependency parsing and universal semantic parsing

⚪ Deep Reinforcement Learning for Neural Dialogue Generation

⚪ Automatic detection of speaker emotional or mental state

(2) 공동연구기관 연구 실적

- 스탠포드 NLP 그룹

⚪ 스탠포드 AI Lab 소속으로 확률론, 머신 러닝, 딥러닝을 활용한 자연어

처리 연구

- 56 -

⚪ 영어, 중국어, 스페인어 등 다양한 언어를 지원하는 통합 자연어 처리

툴킷 CoreNLP 개발

⚪ 자연어 처리 관련 국제 유력 학회 및 저널에 논문 수록

(3) , 연구개발인력

- 주관기관 예산 중 4억 6천만원을 스탠포드 NLP 그룹의 위탁연구개발비로 책정

- 스탠포드의 Dan Jurafsky 교수, Chris Manning 교수와 박사 과정생 3명 참여

- 주관기관의 한국어 이해 모듈 담당 연구실들과 협력

3-3-3. ·학·연 공동연구 추진계획

(1) 공동연구 시설·장비 설치 및 운영 계획

- 공동연구 장비 설치 계획

구분 내역 수량

연구 및

개발용

AI 개발용 GPU 서버 128GB RAM, 2 Socket CPU, Titan X GPU x 4 13

데이터베이스 및 QA 서버 256GB RAM, 2 Socket CPU, 16TB HDD 2

네트워크 스위치 Cisco 10Gbit switch 1

사무용 기타 업무용 장비 업무용 노트북/컴퓨터, 모니터, 프린터 등

- 공동연구 시설 설치 계획

⚪ 본 산학연 공동연구 수행을 위한 시설

및 장비를 서울대학교 내에 구축 완료

⚪ 연구실/회의실: 서울대학교 빅데이터

연구원(38동): 504~506호 단독 사용, 총면

적 99㎡(30평), 최소 24명 상주 가능

⚪ 서버실: 서울대학교 중앙전산원의 서버

코로케이션연구실/회의실 서버실

(2) 연구인력 등 인원배치 계획

- 연구 개발 분야별 팀 구성

- 57 -

<산학연 공동연구 센터> 조직도

⚪ 주관기관인 서울대학교 연구실 연구진 6명과 참여기관의 연구인력 4명

이상은 서울대학교에 위치한 <산학연 공동연구 센터>에 상주하여 연구를

진행할 예정

⚪ 삼성 펠로우, 삼성전자 반도체 사업부 글로벌 기술 협력 담당 전무, 삼성

전기 CTO 경력의 김창현 박사를 PM(Project Manager)로 하여 전임 연구팀

을 꾸려 2,3,4 세부 과제와의 통합 및 지속적인 Quality Control을 진행해갈

예정

팀 명 인원 구성 담당 업무

서비스 팀분당서울대병원: 1명

서울대학교 석·박사과정: 3명시범 서비스 성능 및 품질 평가

디지털 동반자 AI 팀써로마인드 로보틱스: 1명서울대학교 석·박사과정: 1명

동반자 학습용 데이터 구축

플랫폼 팀파수닷컴: 1명

서울대학교 석·박사과정: 1명테스트용 private cloud 구축 및 관리

통합 및 QC 팀지능정보산업협회: 1명

서울대학교 석·박사과정: 1명시스템 통합 및 SW 품질 관리

⚪ 자문위원회: 기업가 및 세계 석학으로 구성된 글로벌 자문위원회를 통해

빠른 속도로 변화하는 글로벌 기술 트렌드를 파악하고, 본 과제 산출물의

사업화 도움

성명 현직

남태희 실리콘 밸리 벤처 캐피탈 Storm Ventures 대표

In Sik Rhee 실리콘 밸리 벤처 캐피탈 Vertex Ventures 대표

황승진 스탠포드 경영대 석좌교수

이재현 서울대학교 언론정보학과 교수. 한국언론학회 이사

⚪ 실행위원회: 참여기관들의 대표자들과 <산학연 공동 연구 센터>의 팀장

들로 구성되어 컨소시엄의 원활한 운영과 의사소통을 이끌어감

- 58 -

- 59 -

4 기술개발 결과의 활용 방안 및 기대효과

4-1. 결과의 활용 방안

[그림] 디지털 동반자 오픈소스 기술의 활용 방안 개요 (디자인작업중)

① 요소기술/목표제품/서비스 활용

- 디지털 동반자 오픈소스 기술을 활용하여, 국민 생활에 맞닿는 세가지 대국

민 시범서비스 (스마트 코디, 스마트 모빌리티, 웰니스) 제공

- 대국민 시범서비스를 통해서 기술 활용을 활성화하고 피드백에 대응, 수익

발생 가능한 비즈니스 모델 모색

- 아침부터 저녁까지 생활 전반에서 디지털 동반자의 도움을 받은 편리한 생

활 데모 시연

- 은퇴한 노인의 경우 그림 N과 같이 개인화 러닝을 통한 개인화 서비스를

제공받으며, 카메라, 센서 등을 통해 Multi-modal 로 소통할 수 있음

[그림] 은퇴한 노인의 디지털 동반자 활용 가상 시나리오 (디자인 수정중 – 가시성)

- 60 -

S(Strenth) W(Weakness)

o 차별성 확보

- 기존 기술과는 다르게 개인화러닝,

Multimodal I/O 등 차별성이 뚜렷함

o 대국민 시범 서비스별 Strenth

(1) 의상 추천 서비스

- 멀티모달을 활용하여 인터넷 활용이 어

려운 계층에 높은 유용성

(2) 웰니스 케어 서비스

- 질환관련 설문을 효율적으로 수행

- 운동/식이습관을 스스로 관리할 수 있는

효율적인 수단이 될 수 있음

o 글로벌 후발주자

- 디지털 동반자 기술은 이미 Amazon,

Google, SKT, KT 등에서 개발된 바 있으므

로 신생 기술로써 선점된 시장을 파고들어

야 하는 어려움이 있음

o 대국민 시범 서비스별 Weakness


- 기반 인프라가 구축되어 있지 않음


- 기존 모바일 건강관리 서비스의 실패사

례가 많음

(3) 스마트 모빌리티 서비스

스마트 모빌리티 스마트 패션 웰니스

기

존

서

비

스

- SKT NUGU, KT

기가지니, Google Home,

Amazon Echo 등

- 통행시간안내 기능의

경우 자동차에만 해당

- 대중교통, 도보, 자전거

모빌리티 서비스 미흡

- 경로안내서비스 미흡

- 패션추천 어플리케이션

‘다듬’ 존재

- 사람들의 참여로 추천

패션 서비스

- 자동화되어있지 않아

이용자 개인 주관이나

의류사업자의 이권이

개입할 여지가 많음

- 다이어터, 워터킵,

굿슬립 등 건강관리

어플리케이션 존재

- 웰니스/헬스케어

중심인 병원과 연계된

국내 비즈니스 미흡

- 병원에 내원하여

설문작성/상담을 통한

건강기록 수집

차

별

성

- 개인의 선호나

교통약자 여부, 상황을

고려한 교통경로 추천

- 도보, 자전거, 대중교통

통행시간안내

- 날씨나 일정 등을

반영한 Urban lifestyle

제공

- 교통약자의 특성을

고려한 교통수단 추천

- Multimodal방식으로

사진과 음성을 기반으로

한 의상 추천

- AR/VR로 표현되는

의상 추천

- 개인의 취향을 분석,

학습하여 개인 맞춤형

패션 추천

- AI를 이용해 사람의

참여 없이도 맞춤 서비스

제공

- 상용 웨어러블

디바이스 또는

라이스프타일 데이터

플랫폼과 연계 가능

- 개인 맞춤형 웰니스

서비스 제공

- 학습형 AI기반

사용자의 특성을 반영한

피드백 제공

- 대화형 시스템 활용한

건강정보 자동 수집

- 아래 표에 정리된 바와 같이 각 서비스는 멀티모달 I/O를 적극 활용하고 맞

춤형 서비스를 제공한다는 점에서 기존 유사 서비스와 큰 차별성이 있음

② 사업화를 위한 시장환경 및 경쟁력 분석 (SWOT 분석)

- 61 -


- 개인화된 러닝과 과거 이용자의 경로 이

력을 통해 맞춤형 경로 안내 서비스 제공

- 교통수단 연계 기술 개발 필요

- 교통 빅데이터 구득의 한계

O(Opportunities) T(Threats)

o 디지털 동반자 활용 분야 확산- 국외 디지털 동반자 시장 및 산업의 지속적 성장- 활용 시장의 높은 성장 가능성

o 대국민 시범 서비스별 Opportunities


- 의류 사업자와 연계 가능성


- 모바일, 사물인터넷기술을 건강관리에 사

용하려는 움직임이 높음

- 고령화로 인하여 사용하기 쉬운 웰니스

케어가 수요가 증가함


– 모빌리티 관련 스마트폰 애플리케이션

의 다수의 성공사례

o 디지털 동반자 관련 글로벌 기업의 공격

적인 투자 및 대규모 인프라 구축으로 인한

경쟁이 불가피

o 대국민 시범 서비스별 Threats


- 개인 정보 유출에 대한 경각심


- 고령자 등 서비스 사용성에 대한 우려


- 고령자들의 낮은 스마트폰 및 애플리케이

션 사용률

- 해외 유사 애플리케이션 및 서비스

③ 기술이전(사업화) 전략

- 본 과제는 오픈소스 과제이므로 소스코드를 GitHub 등 포털을 통해 공개

- 기개발기기의 오픈소스 활용에 대한 기술 컨설팅 사업을 하는 방안 검토

- 기개발기기로는 본 과제의 멀티모달 I/O 등을 모두 처리할 수 없으므로, 프

로토타입을 만들고 대국민 시범서비스 수행 (파수닷컴)

- 대국민 시범서비스의 비즈니스 모델을 검토하여 수익 창출방안 모색

- 국내외 협력 관계의 적극적 활용

⚪ 현재 기가지니 및 누구 서비스를 하고 있느 통신사 (KT, SKT)와 협력관

계를 구축하였으며, 사업화 이후 오픈소스 컨설팅 사업의 잠재적 고객

임

⚪ 협력관계에 있는 Zeppelin의 오픈소스 관리 노하우를 적극 활용한 효과

적 관리 체계 구축

⚪ 국내외 기존 협력체계 확장을 통하여 다양한 활용 서비스를 확보하고,

관련 영역으로의 서비스 확장을 통해 신규 협력체계를 구축함

⚪ NLP 분야의 선두주자인 Stanford NLP 그룹과 NVIDIA 등 국제 협력관

계 구축으로 추후 세계 AI 동반자 시장 진출 교두보 확보

- 62 -

4-2. 효과

(1) 기술적 측면

- 서비스 시나리오의 파급 효과

⚪ 카메라를 통한 영상 입력과 센서 사용, VR/AR 사용자 인터페이스 등

Multimodal 기술의 발전이 기대됨

⚪ 인공지능이 적용된 디지털 동반자를 활용한 모빌리티 서비스의 확대를

통해 기술 확산 및 경쟁력 확보

⚪ 웰니스 케어 프로그램을 통해 환자 및 건강인의 건강 관련 정보 수집의

정확성을 높이고 자동 수집으로 인한 대량의 데이터 확보를 기대

⚪ 웰니스 케어 프로그램에 필요한 의학적 레퍼런스 구축으로 임상적으로

유용한 근거기반 중재안 마련

- 디지털 동반자 AI 및 클라우드 플랫폼 기술의 파급 효과

⚪ 기존에 이미 개발된 제품과의 통합 솔루션을 통해 사용성 증대 및 디지

털 개인 비서 기술에서 경쟁력 확보 전망, 국가 이미지 제고

⚪ 국내외 유수 연구 기관과의 공동 연구개발을 통해 AI 모듈 별 세계 수

준에 해당하는 기술력 보유 전망

⚪ 한국어 지식베이스 생성/추론 기술, 한국어 자연어이해와 같이 독자적으

로 개발할 기술에 대한 지속적 투자와 개발로 기술 수준의 향상을 이룸

⚪ 자율지능 디지털 동반자 맞춤 멀티모달 인터페이스 평가 체계를 개발하

여 멀티모달 인터페이스 평가의 기반을 다질 것으로 기대

⚪ Google, Amazon, Microsoft 등의 업계에서 사용하는 클라우드 관련 최신

기술을 확보 및 응용하여 자체적인 클라우드 기술력 확보

(2) 경제적, 산업적 측면


⚪ 맞춤화된 의상 추천 기술 개발로 인한 쇼핑이 어려웠던 사용자에게 새

로운 방법을 제시하여 신 시장 창출 기대

⚪ 사용자 맞춤형 모빌리티 서비스를 통해 국가 GDP의 10%에 해당하는 교

통산업의 발전에 기여 가능

⚪ 고령자를 고려한 모빌리티 서비스를 통해 고령자의 기존 교통인프라를

활용한 이동성을 증진시킴으로써 추가 인프라 구축 예산 절감

⚪ 웰니스 케어 프로그램을 통해 기존에 병원에서 간호사 상담이나 설문자

료로 수집되던 건강 관련 정보를 자동 수집하게 됨으로써 인력 소모를

절감

- 63 -


⚪ 새로운 서비스가 본 연구의 플랫폼을 통해 빠른 시장 진입이 가능해 추

가적인 연구 및 스타트업, 새로운 산업 분야가 창출될 것으로 기대

⚪ 전세계 인공지능(AI) 기반 가상 개인비서 서비스 시장 규모는 2024년에

작년(2016년)보다 900% 성장한 80억 달러가 될 것으로 추산

⚪ 디지털 동반자 프레임워크의 개발을 통해 자연어처리 등 관련 시장 규

모가 큰 폭의 성장을 이룰 것으로 예상

⚪ 동반자 백엔드 클라우드 관련 최신 기술 확보를 통해 해당 분야의

해외 의존도를 감소할 수 있음

(3) 사회적 측면


⚪ 쇼핑이 어려운 컴맹, 고령자의 소비활동을 촉진하고 개인의 패션감각을

보조해줌으로써 바쁜 현대인의 삶의 질 향상

⚪ 사용자 맞춤형 모빌리티 서비스를 통해 기존 서비스 대비 이동 편의를

증진함으로써 교통 약자나 이동 패턴이 복잡한 사용자의 삶의 질 향상

⚪ 질문-응답 기반의 주관적인 개인 라이프스타일 정보 수집으로 개인 맞

춤형 건강 기록 수집과 활용이 가능할 것으로 예상

⚪ 디지털 동반자 프레임워크를 통해 병원, 행정, 교통 등공공복지 분야에

서 독거 노인, 1인 가구 등 상대적 취약 계층에 대한 지원 확대 가능

- 현장경험을 바탕으로한 고급 SW인력 양성

⚪ 한국어 자연어 처리, 딥 러닝, 멀티모달 I/O, 관련 서비스 등 관련 첨단

분야 시장이 개척되어 고급 인력 고용 창출 효과

⚪ 향후 세계 각지에 플랫폼 구축, 교육, 유지보수 지원센터를 운영할 경우

운영인력 최종적으로 약 2,000여명

⚪ 자율지능 클라우드 기반 디지털 동반자 플랫폼을 기반으로 하는 새로운

사업 분야 개척을 통해 창업 및 기존 기업의 신생 사업부 개설 등 약

2,000여명 이상의 파생 일자리 생성 예상


⚪ 디지털 동반자 프레임워크와 병원, 행정, 교통 등 다양한 분야 플랫폼과

의 연동으로 서비스 사용 프로세스 간소화, 관련된 사회적 비용 감소

⚪ 실생활에서 사용중인 다양한 서비스에 지식베이스 생성/추론 기술을 접

목하여 많은 사람들이 맞춤형 상호작용 서비스 혜택을 받을 수 있음

- 64 -

⚪ 실생활에서 사용 중인 다양한 서비스에 음성, 자연어이해를 접목하여 보

다 친화적인 상호작용을 통해 서비스 접근 편의성을 높임

⚪ 사회적 범용성이 높은 인간 친화적 인터페이스를 개발함으로써, 향후 다

양한 분야에서의 인간 친화적 인터페이스 확산 유도에 기여

⚪ 인간 친화적 기술 개발로 인한 삶의 질 향상은 국가 이미지 제고 및 국

가 경쟁력 향상 기대

- 65 -

5 수행기관 현황

5-1.

(1)

명국 문 차상균 (한문) 車相均 생년월일(성별) 58.02.19 (남)

영 문 Sang Kyun Cha 과학기술인번호 10076572

직 장

기관명 서울대학교 전화번호 (82) 02-880-4162

부 서 빅데이터연구원 휴대전화번호 010-9997-7319

직 위 원장 전자우편 [email protected]

주 소 (151-742) 서울시 관악구 관악로 1 서울대학교 공과대학 301동 807호

(2) 학 력(대학 이상 기재)

연 도 학교명 전 공 학 위 지도교수

1983.9 ~ 1991.7 Stanford University

전기컴퓨터공학

(Knowledge and

Data Base, NLP)

박사 Gio Wiederhold

1930.3 ~ 1982.2 서울대학교 제어계측공학 석사 고명삼

1976.3 ~ 1980.2 서울대학교 전기공학 학사

(최종학위논문명) Kaleidoscope: a model-based grammar-driven menu interface for databases

(3) 주요 연구수행 실적(3개 이내)

- 66 -

제목연구

내용연구 기간

연구 수행

당시의

소속 기관

역할(연구책임자

또는 연구원)

연구개발비

지급 기관비고

SAPHANA

2005~2014

서울대학교 및

SAP Labs

Korea

연구책임자독일 SAP

본사

SAP HANA (세계 최초의 트랜잭션을 지원하는 분산 인메모리 빅데이터 플랫폼)개념 설계 연구 책임자, 제품 공동 개발 책임자 , 글로벌

시장 진입 전략 공동 개발 및 실행.

SAP 시장 가치는 HANA출시 이후 2016년말 130조 이상으로 2배이상으로 상승

실시간 엔터프라이즈용 차세대 초고성능 경량

DBMS

2003~2005서울대학

교 연구책임자 지식경제부

실리콘 밸리에 아시아 최초로 SW 플랫폼 벤처 Transact InMemory, Inc. 설립, 글로벌

SW 기업 SAP와 전략적 M&A 이끌어냄

주기억장치 상주형 실시간 DBMS개발

1995~1996서울대학

교 연구책임자

한국전자통신연구소

국산 1세대 인메모리 데이터베이스의 원천 기술로,

Mr.RT 2.0 개발,알티베이스의 근간이 됨

(4) 논문/저서 실적(최근 5년간 실적, 5개 이내로 작성)

- 이동헌 선배 논문 들어갈수 있는지?

- 축적의 시간

- 2017년 Korea Agenda 디지털 혁신 국가로의 길

대체한다면 표중 위 두개

- 67 -

/프로그램명 국가명 출원 등록일 비 고

메인 메모리 데이터베이스 시스템의 색인 구조

를 위한캐쉬에 최적화된 동시성 제어방법한국 2001. 6. 9 (2008. 5. 19) 등록

주 메모리 데이터베이스의 다차원 색인 압축 방

법한국 2001. 3. 2 (2007. 6. 1) 등록

주 메모리 트랜잭션 처리 시스템에서 병렬적 회

복 연산을 위한 디퍼런셜 로깅 방법 및 장치한국 2000. 6. 7 (2003. 6. 27) 등록

계층성 휴리스틱을 이용한 주행 경로 탐색 방법 한국1996. 12. 20 (1998. 12.

9)등록

주메모리 데이터베이스 관리 시스템(DBMS)의

회복 관리 방법한국

1996. 8. 23 (1998. 12.

15)등록

NewDB Transaction Management- invalidation

protocol of client-cached information미국

2012. 4. 17 (2015. 5.

19)등록

Client-side statement routing for partitioned

tables 미국

2012. 4. 17 (2014. 4.

15)등록

Client-side query statement routing in

distributed database미국

2012. 4. 17 (2014. 7.

29)등록

Compression scheme for improving cache

behavior in database systems미국

2012. 1. 27 (2013. 11.

19)등록

Hybrid Table - Insert 미국2011. 12. 22 (2014. 7.

1)등록

Hybrid Table - Data Movement Manager 미국2011. 12. 22 (2014. 7.

15)등록

Hybrid database table stored as both row and

column store미국

2011. 12. 22 (2014. 12.

23)등록

Interactive query plan visualization and

optimization미국

2011. 12. 12 (2014. 9.

16)등록

구분 논문명/저서명게재지(권, 쪽)

게재연도(발표연도)

역할비고

(Impact

Factor)

학술회의 발표

Data Crowdsourcing: Is it for Real?

IEEE International

Conference on

Data Engineering

2015 Keynote

학술회의 발표

Enterprise In-Memory Database: A

Revolution Beyond Crossing The

Chasm

2nd International

Workshop on

In-Memory Data

Management and

Analytics, VLDB

2014 Keynote

학술회의 발표

Interval Disaggregate: A New

Operator for Business Planning

Proceedings of the

VLDB Conference2014

학술회의 발표

Efficient transaction processing in

SAP HANA database: the end of a

column store myth

Proceedings of the

ACM SIGMOD2012

총괄책임자 발표

국외 전문 학술지

SAP HANA database: data

management for modern business

applications

ACM Sigmod

Record2012 2.67

(5) /프로그램 출원 ․ 등록실적

- HANA 프로그램 등록 확인

- 68 -

Dual access to concurrent data in a database

management system미국

2011. 3. 11 (2011. 10.

25)등록

Processing Database Queries Using Format

Conversion미국

2010. 12. 30 (2014. 11.

4)등록



2010. 7. 30 (2012. 2.

21)등록



2007. 10. 4 (2010. 9.

14)등록

Dual access to concurrent data in a database

management system미국

2007. 9. 12 (2011. 4.

19)등록

Parallelized redo-only logging and recovery

for highly available main-memory database

systems

미국2002. 7. 15 (2007. 12.

4)등록

Cache-conscious concurrency control scheme

for database systems미국 2002. 6. 4 (2007. 11. 6) 등록



2002. 3. 1 (2007. 10.

16)등록

A Method and System for Highly-Parallel

Logging and Recovery Operation in

Main-Memory Transaction Processing Systems

미국2001. 1. 25 (2006. 6.

20)등록

Interval Disaggregate in HANA Planning 미국 2014. 8. 28 출원

OPTIMAL OPERATOR PLACEMENT FOR

DISTRIBUTED QUERY PROCESSING미국 2014. 8. 1 출원

DML replication with logical log shipping 미국 2014. 6. 11 출원


column store미국 2014. 6. 9 출원


column store미국 2014. 5. 8 출원

Client-side Partition-aware Parallel Batch Insert 미국 2014. 5. 6 출원

Proactive Memory Allocation for

Insertion-intensive Workload미국 2014. 4. 15 출원

Transaction Private Log Buffering for High

Performance of Transaction Processing미국 2014. 4. 3 출원

Fast Restart of In-Memory DBMS Using

Shared Memory미국 2014. 4. 1 출원

CommitID-based In-memory MVCC across Row

Store and Column Store미국 2014. 3. 14 출원

Update protocol for client-side routing

information미국 2012. 4. 17 출원

Mixed join of row and column database

tables in native orientation 미국 2011. 12. 12 출원

Cache-conscious concurrency control scheme

for database systems미국 2007. 11. 5 출원




중국2000. 12. 28 (2005. 6.

8)등록


column store중국 2012. 11. 28 출원






tables in native orientation 중국 2012. 9. 28 출원

- 69 -


behavior in database systems중국 2002. 3. 5 출원

Parallelized only-redo logging and

troubleshooting for database systems main

memory with high-availability

독일2002. 7. 16 (2009. 11.

12)등록




독일2000. 12. 28 (2006. 1.

26)등록



systems

독일 2002. 7. 16 출원




EPO2000. 12. 28 (2005. 3.

30)등록

Fast Restart of In-Memory DBMS Using

Shared MemoryEPO 2014. 10. 30 출원

NewDB Transaction Management- caching

Transaction Token at the client side –

under Transaction-level isolation mode

EPO 2013. 4. 16 출원

Client-side query statement routing in

distributed databaseEPO 2013. 4. 16 출원


tables in native orientation EPO 2012. 11. 13 출원


column storeEPO 2012. 9. 17 출원













systems

PCT 2002. 7. 16 출원



systems

PCT 2002. 7. 16 출원

(6) 수행 중인 타 과제 현황

과제명 연구 수행 기관 참여 시작일 참여기간(개월) 참여율

부처명/사업명 참여 유형 참여 종료일 해당 연도 연구개발비(단위: 천원)

유전체 수준 단백질 구조 모델링

서울대학교 2016. 11. 01 9 10%

미래창조과학부/

SW전문인력역량강화(R&D)

공동연구원 2017. 07. 31 312,950

5-2. 책임자

- 70 -

파수닷컴

(1)

명국 문 김 용 길 (한문) 龍吉 생년월일(성별) 1970. 04. 16

영 문 Kim Yong Gil 과학기술인번호 10880947

직 장

기관명 (주)파수닷컴 전화번호 02-300-9120

부 서 전략사업부 휴대전화번호 010-8364-1020

직 위 상무 전자우편 [email protected]

주 소 (우:03925) 서울특별시 마포구 월드컵북로 396 누리꿈스퀘어비즈니스타워 17층



~ 1995 서울대학교 자원공학 학사 이희근

~

~

(최종학위논문명) -


연구 제목 연구 내용 연구 기간연구 수행 당시의

소속 기관

역할(연구책임

자 또는 연구원)

연구개발비

지급 기관비고

DRM 보안성 강화 및

지원플랫폼 확장 기술 개발

좌동2008~ 2011

(주)파수닷컴 실무책임자 지식경제부 -

이메일 사용자 기반 디지털 인증서 서명 서비스 개발

좌동2010~ 2011

(주)파수닷컴 실무책임자 중소기업청 -

클라우드컴퓨팅 환경 차세대

Enterprize DRM 개발

좌동2011 ~ 2013

(주)파수닷컴 실무책임자 지식경제부 -

(4) 현재 수행 중인 타 과제 현황

- 71 -

과제명 연구 수행 기관 참여 시작일 참여기간(개월) 참여율


JPEG Privacy-Security 표준플랫폼/라이브러리 개발

(주)파수닷컴 2016. 10. 01 4개월 40%

산업통상자원부/국가표준기술력향상사업

주관기관 2019. 09. 30 236,800

분당서울대학교병원

(1)

성 명국 문 김 광 일 (한문) 光一 생년월일(성별) 1969년 7월 24일

영 문 Kwang-il, Kim 과학기술인번호 1015 8438

직 장

기관명 분당서울대학교병원 전화번호 031-787-7032

부 서 내과 휴대전화번호 010-2922-7032

직 위 교수 전자우편 [email protected]

주 소 (우: 463-707) 경기도 성남시 분당구 구미로 173번길 82



2002. 03 ~ 2005. 02 서울대학교 의과대학 임상약리학 박사 김 철 호

1988. 03 ~ 1994. 02 서울대학교 의과대학 의학 학사

(최종학위논문명)

혈관내피세포의 성장, 생존 및 분화에 미치는 β-catenin 유전자의 역할 규명을 위한 연구


- 72 -

제목 연구 내용 연구 기간

연구 수행

당시의 소속

기관

역할(연구책임


연구개발비

지급 기관비고

Ginseol K-g1

의 강압기능

평가를 위한 8

주, 다기관,

무 작 위 배 정 ,

이중맹검, 대

조식품 비교

인체적용시험

천연추출물인 ginseol Kg1 의

혈압 강하효과를

검증하기 위한 임상시험

2011.03

- 2012.12


연구책임자한국식품연구

원

한국형 노인

암환자의 최적

치료를 위한

근거 창출 연

구

노인 암환자의 평가 및

특성을 고려한 항암치료법 개발을 위한

연구

2013.06

- 2016.05


연구원암정복추진기

획단


㈜ 써로마인드 로보틱스

(1) 인적사항

성 명국 문 장 하 영 (한문) 夏榮 생년월일(성별) 1973.06.08. (남)

영 문 Jang Ha Young 과학기술인번호 11436032

직 장

기관명 주식회사 써로마인드 로보틱스 전화번호 02-880-1847

부 서 휴대전화번호 010-5626-0014

직 위 이사 전자우편 [email protected]

주 소 (우: 08826) 서울시 관악구 관악로1, 138동 410호



2002 ~ 2004 서울대학교 컴퓨터공학부 석사 장병탁

1995 ~ 2002 연세대학교 전산과학과 학사 조성배

~

(최종학위논문명)

DNA 컴퓨팅 실험 설계를 위한 DNA/DNA 연쇄결합반응 시뮬레이션


- 73 -

제목 연구 내용 연구 기간

연구 수행

당시의 소속

기관

역할(연구책임


연구개발비

지급 기관비고

지능형 추천 서비스를 위한

인지기반 기계학습 및 추론 기술

인터랙티브 추천 환경에서 실시간에

사용자의 문맥과 행동 패턴을 학습하는

인지기반 기계학습 및 추론 엔진을 개발

2010.05 ~ 2015.04

서울대학교 연구원미래창조과학

부

DNA칩 연구 지원 정보기술 및 통합 플랫폼

개발

DNA칩의 설계 단계부터 제작과

응용에 이르는 과정을 통합적으로 지원하는

통합 기술로서 ‘지능형 DNA칩 Informatics 기술’

개발

2002.05 ~ 2007.04

서울대학교 연구원 과학기술부

지능형 생물정보처리시

스템 개발

DNA 컴퓨팅 기반 질병 진단 및 정보처리 기술

2000.12 ~ 2006.08

서울대학교 연구원 산업자원부


사단법인 지능정보산업협회

(1) 인적사항

성 명국 문 신지웅 (한문) 智雄 생년월일(성별) 1981.08.20.(남)

영 문 SHIN, JIWOONG 과학기술인번호 1144 0428

직 장

기관명 사단법인 지능정보산업협회 전화번호 02-6265-8753

부 서 정책협력팀 휴대전화번호 010-9423-6713

직 위 팀장 전자우편 [email protected]

주 소 (우: 08826 ) 서울특별시 관악구 관악로 1(신림동) 서울대학교 연구공원 SK연구동 3층


- 74 -

도 학교명 전 공 학 위 지도교수

2011~2017 인하대학교 IT미디어융합전공 박사수료 박재천

2009~2010 ( )유타주립대학교Instructional Technology

& Learning Science박사휴학 Brian Belland

2007~2009 인하대학교 정보통신공학 석사 박재천

(최종학위논문명) Moodle을 활용한 협력학습 모델 개발에 관한 연구

(3) 연구수행 실적(3개 이내)

연구 제목 연구 내용 연구 기간

연구 수행

당시의 소속

기관

역할(연구책임


연구개발비

지급 기관비고

맞춤형 기상기후 빅데이터 서비스 기반구축

기상청 기상기후 빅데이터

대국민서비스 구축 연구

2014.10~2015.4 노블시스템(주) 참여연구원 기상청

기상기후분야 개도국 지원사업

사전타당성조사

기상분야 ODA 시전타당성조

사2012.2~2012.6

한국기상산업진흥원

참여연구원 기상청

Supporting Middle School Students'

Construction of Evidence-based

Arguments

미국 K-12학생 대상

STEM교육의 Scaffolding

교육방안 연구

2010.7~2010.10(美)

유타주립대학교

참여연구원(美)미국연구재

단(NSF)

(4) 현재 수행 중인 타 과제 현황

연구 과제명 연구 수행 기관 참여 시작일 참여기간(개월) 참여율


인공지능 성능 평가 체계 개발 및 서비스

확산방안 연구

사단법인 지능정보산업협회

2017. 02 10개월 50%

SK텔레콤/외부협력과제

주관기관 2017. 12 20,000

5-3. 현황

- 75 -

구분서울대학교 산학협력단 ㈜ 파수닷컴 분당서울대학

교병원㈜ 써로마인드

로보틱스

사단법인 지능정보산업

협회

① 사업자등록번호 119-82-03684 120-86-06582 129-82-06989 456-81-00105 762-82-00138

② 법인등록번호 114371-0009224 110111-1991680 110133-0000634 110111-5769463 110121-0118151

③ 대표자 성명(국적/성별) 김성철(대한민국/남)

조규곤(대한민국/남)

전상훈(대한민국/남)

장병탁(대한민국/남)

최진성(대한민국/남)

④ 최대주주(국적) - 조규곤(대한민국)

전상훈(대한민국)

장병탁(대한민국)

⑤기업(기관) 유형(중소기업, 중견기업, 대기업)(대학, 출연연, 국공립연, 기타 등)

대학 기업(중소기업) 의료기관 중소기업 사단법인

⑥ 설립 연월일 2004.05.19 2000.06.08 2003.03.01 2015.07.01 2016.12.06

⑦ 주 생산품목데이터/소프트웨어 보안 솔루션

- 소프트웨어

⑧ 상시 종업원 수 296명 3,161명 3명

⑨ 전년도 매출액(백만원) 25,287 의료수익 557,574 0

⑩매출액 대비 연구개발비 비율 44.68% 연구비

9,612(1.7%) -

⑪ 부채 비율2014년 57.15% 53.0% 6.64%

2013년 31.40% 38.2% -

⑫ 유동 비율2014년 413.22% 81.2% 6.23%

2013년 434.23% 48.1% -

⑬자본잠식현황

자본총계

(백만원)

2014년 26,136 626,204 28.7

2013년 25,100 652,045

자본금(백만원)

2014년 4,038 220,855 30

2013년 4,000 217,075

⑭ 이자보상비율2014년 17.39 -2.41 -

2013년 15.78 -16.08

⑮영업이익(백만원)

2014년 263 -9,524 0

2013년 1,628 -17,267

⑯

수 행기관별실 무담당자

성명 박한규 강경원 유보림 김기범 이주성

부서/직위 PIDL/박사과정 제품기획팀/전임

디지털헬스케어연구사업부/

연구원연구원 정책협력팀/사

원

사무실전화 02-880-6745 02-300-9253 031-787-8983 02-880-1847 02-6265-8755

휴대폰 010-2385-1701 010-6788-4109 010-4141-7040 010-9210-3621 010-5216-9372

팩스 02-300-9400 031-787-4025 02-875-2240 02-6265-8766

이메일 [email protected] [email protected] [email protected] [email protected] [email protected]

5-4. 정보 현황

* 경우 ⑦번 ~⑮번 항목은 미기입

- 76 -

분서울대학교산학협력단

(대학)

비율(%)

㈜ 파수닷컴(중소기업)

비율(%)


(의료기관)

비율(%)

1(2017년)

정부출연금 3,800,000 97.7 300,000 100.0 500,000 77.4

민 간부담금

현금 - - - - - -

현물 91,170 2.3 - - 146,040 22.6

소계 91,170 2.3 - - 146,040 22.6

합계 3,891,170 100.0 300,000 100.0 646,040 100.0

2차년도(2018년)

정부출연금 3,800,000 97.7 300,000 100.0 500,000 77.4

민 간부담금

민간현금 - - - - - -

민간현물 91,170 2.3 - - 146,040 22.6

소계 91,170 2.3 - - 146,040 22.6

합계 3,891,170 100.0 300,000 100.0 646,040 100.0

3차년도(2019년)

정부출연금 3,800,000 97.7 300,000 100.0 500,000 77.4

민 간부담금

민간현금 - - - - - -

민간현물 91,170 2.3 - - 146,040 22.6

소계 91,170 2.3 - - 146,040 22.6

합계 3,891,170 100.0 300,000 100.0 646,040 100.0

4차년도(2020년)

정부출연금 3,800,000 97.7 300,000 100.0 500,000 77.4

민 간부담금

민간현금 - - - - - -

민간현물 91,170 2.3 - - 146,040 22.6

소계 91,170 2.3 - - 146,040 22.6

합계 3,891,170 100.0 300,000 100.0 646,040 100.0

총계

정부출연금 15,200,000 97.7 1,200,000 100.0 2,000,000 77.4

민 간부담금

현금(A) - - - - - -

현금(B) 364,680 2.3 - - 584,160 22.6

소계 364,680 2.3 - - 584,160 22.6

합계 15,564,680 100.0 1,200,000 100.0 2,584,160 100.0

6 총사업비

6-1. 사업비 총괄표

( : 천원)

- 77 -

분㈜ 써로마인드

로보틱스(중소기업)

비율(%)

지능정보산업협회(사단법인)

비율(%)

계

1(2017년)

정부출연금 200,000 100.0 200,000 100.0 5,000,000

민 간부담금

현금 - - - - -

현물 - - - - 237,210

소계 - - - - 237,210

합계 200,000 100.0 200,000 100.0 5,237,210

2차년도(2018년)

정부출연금 200,000 100.0 200,000 100.0 5,000,000

민 간부담금

민간현금 - - - - -

민간현물 - - - - 237,210

소계 - - - - 237,210

합계 200,000 100.0 200,000 100.0 5,237,210

3차년도(2019년)

정부출연금 200,000 100.0 200,000 100.0 5,000,000

민 간부담금

민간현금 - - - - -

민간현물 - - - - 237,210

소계 - - - - 237,210

합계 200,000 100.0 200,000 100.0 5,237,210

4차년도(2020년)

정부출연금 200,000 100.0 200,000 100.0 5,000,000

민 간부담금

민간현금 - - - - -

민간현물 - - - - 237,210

소계 - - - - 237,210

합계 200,000 100.0 200,000 100.0 5,237,210

총계

정부출연금 800,000 100.0 800,000 100.0 20,000,000

민 간부담금

현금(A) - - - - -

현금(B) - - - - 948,840

소계 - - - - 948,840

합계 800,000 100.0 800,000 100.0 20,948,840

- 78 -

6-2. 사업비 총괄표

6-2-1 1차년도 (신청시 1차년도만 작성)

( : 천원)

세목 서울대학교산학협력단

㈜ 파수닷컴분당서울대학

교병원㈜ 써로마인드

로보틱스지능정보산업

협회합계

접비

인건비

내부인건비

현금 274,050 260,000 - 72,000 87,000 693,050

현물 91,170 - 146,040 - - 237,210

외부인건비

현금 - - 200,400 18,000 - 218,400

현물 - - - - - -

학생인건비 900,000 - - - - 900,000

소계 1,265,220 260,000 346,440 90,000 87,000 2,048,660

연구장비․재료비

현금 360,000 5,000 19,400 77,000 6,000 467,400

현물 - - - - - -

연구활동비 564,139 34,000 123,900 16,500 47,600 786,139

연구과제추진비 200,000 1,000 23,800 11,000 16,400 252,200

연구수당 126,522 - 60,000 5,500 9,000 201,022

위탁연구개발비 660,000 - - - - 660,000

직접비 소계 3,175,881 300,000 573,540 200,000 166,000 4,415,421

간접비 715,290 - 72,500 - 34,000 821,790

연구개발비 총액현금 3,800,000 300,000 500,000 200,000 200,000 5,000,000

현물 91,170 - 146,040 - - 237,210

계 3,891,170 300,000 646,040 200,000 200,000 5,237,210

- 79 -

7 보안 등급의 분류 및 결정 사유

분류보안 일반

√

결정 사유 SW화 대상 사업으로 보안과제 분류사항에 해당하는 내용 없음

* 경우 보안 항목에 [√] 표시를 하고, 「국가연구개발사업의 관리 등에 관한 규정」제24조의4에

따른 분류(보안과제 및 일반과제), 「정보통신․방송 연구개발 보안관리 규정」제3장(보안 등급 분류)를 참조

하여 결정사유를 서술

- 80 -

8 연구실 안전 조치 이행 계획

ㅇ 안전 조치 이행 계획은 아래의 서울대학교 연구실험실 안전관리 이행계획으로 대

체함

- 81 -

연구시설·장비명 규격 수량 용도 활용도 및 시기

서울대학교SuperMicro 2U 딥러닝 워크 스테이션

1 평방미터 1 데이터 분석 및 딥러닝 학습 필수 / 전 기간

서울대학교 Dell T630 딥러닝 워크스테이션 1 평방미터 1 데이터 분석 및 딥

러닝 학습 필수 / 전 기간

서울대학교 NVIDIA Tesla M40 111x266x30mm 1 고성능컴퓨팅GPU

딥러닝 기반 알고리즘 구현 /전기간

서울대학교 S e n n h e i s e r MKH-8020

diag:19mmlength:41mm 1 음향신호수집용

고성능마이크음성확인 테스트용/ 전기간

서울대학교 RME Babyface blue

330x250x101mm 1 음향신호처리용

오디오인터페이스음성확인 테스트용/ 전기간

서울대학교 Dell PowerEdge R710 680x441x86mm 1 워크스테이션 고성능컴퓨팅 서버 /

전기간서울대학교 JACK - 1 UI 평가용 SW 필수 / 전 기간서울대학교 안구운동감시장치 - 1 Data 측정용 3,4차년도

서울대학교 연구용 서버Xeon E 5 – 2 6 6 7 Haswell

2 클라우드 구축 필수 / 전 기간

서울대학교 Micro Cloud 서버 1 2 - n o d e / 4U-rack 3

디지털동반자프레임워크 Planning 모듈 학습 및 테스트

필수 / 전 기간

서울대학교 데스크탑 - 7 연구개발 필수 / 전 기간서울대학교 서버 2 연구개발 필수 / 전 기간서울대학교 데이터서버 Dell Power

edge 2600 SVR 1 데이터 보조처리 및 개발용 보조 / 전 기간

서울대학교 워크스테이션 Intel Xeon E5-2650v3 1 연구개발용 필수 / 전 기간

서울대학교 IBM x3850 X5 서버Intel Xeon P r o c e s s o r E7-4820 * 4(32 cores)

2 개발 및 테스트 필수 / 전 기간

서울대학교 HP DL380 Gen9 8SFF CTO Server

I n t e l ( R ) Xeon(R) CPU 1 개발 및 테스트 필수 / 전 기간

9 연구에 활용 예정인 장비 현황

- 82 -

E5-2620

서울대학교 GPU 서버 13연구실 AI 테스트 용도(9대), 클러스터 서버 구성(4대)

서울대학교 Database 및 QA 서버 2

클러스터 서버 구성 중 Database 및 QA 관련 서버

서울대학교Cisco 10Gbit switch, Cable, Rack 및 전력 관련

1

- 83 -

구 분단계

TRL 정의2) 시험평가 주체

시험평가 생산수준 또는 결과물

시험평가 환경

개발연차대상 평가항목

기초연구단계

1 기초이론/실험 - - - - - -

2실용목적

아이디어․특허 등 개념정립

- - - - - -

실험단계

3실험실 규모의 기본성능 검증

- - - - - -

4실험실 규모의 소재/부품/시스템 핵심성능 평가

주관기관

자율지능

디지털 동반자 서비스

데이터 수집도

- 서비스 정의 및 기존 기술 활용 서비스

- 사용자 인터페이스 정의 및 개발

실험실 평가

1차년도

사용자 만족도

시작품 5 확정된 주관기관/ 자율지 사용자 - 사용자 실험실 1~2차

【붙임 2】

기술준비도(TRL, Technology Readiness Level) 목표

□ 과제개요

과제명(지능정보-총괄/1세부) 자율지능 디지털 동반자 프레임워크 및

응용 연구개발총개발기간 45개월

(총괄/세부)주관기관

서울대학교 산학협력단(총괄/세부)책임자

차상균

□ 핵심기술요소(CTE, Critical Technology Element)

<핵심기술요소(CTE) 목록>

핵심기술요소(CTE) 목록TRL

시작단계TRL

종료단계핵심기술요소1(CTE1)(소재/부품/시스템 등)

자율지능 디지털 동반자 서비스 4 7

핵심기술요소2(CTE2)(소재/부품/시스템 등)

사용자 상황.감정.환경인지 및 개인

최적화 자율지능 라이브러리4 7

핵심기술요소3(CTE3)(소재/부품/시스템 등)

자율지능 클라우드 기반 디지털 동반자 플랫폼

4 7

□ 기술준비도(TRL) 목표

① CTE1 : 자율지능 디지털 동반자 서비스

- 84 -

구 분단계



시험평가 환경


단계

소재/부품/시스템의 시작품 제작 및 성능 평가

참여기관

능 디지털 동반자 서비스

만족도과거이력 및 주변환경 반영 서비스 시작품

평가 년도

영상에 대한 자연어 생성도음성의

문장인식

6파일롯 규모

시작품 제작 및 성능 평가

주관기관/참여기관

자율지능


자동 추천 기능 정확도

- 사용자 상황을 고려한 동반자 서비스

실험실 평가

2~3차년도

생성된 자연어 만족도

시범서비스 만족도

제품화 단계

7신뢰성 평가 및 수요기업 평가

주관기관/참여기관/공인기관

자율지능


대화상태 예측 정확도

- 대국민 자율지능 서비스

현장평가4차년도

대국민 서비스 만족도

공인시험 성적

8시제품 인증 및

표준화- - - - - -

사업화 9 사업화 - - - - - -

구 분단계



시험평가 환경


기초연구단계

1 기초이론/실험 - - - - - -

2실용목적


- - - - - -

실험단계


- - - - - -


주관기관

자율지능

라이브러리

데이터 수집도

- 자율지능 알고리즘의 데이터 수집

- 기초 모듈 프로토타입

실험실 평가

1차년도영상/음성

인식 정확도

시작품단계

5

확정된 소재/부품/시스템의 시작품 제작 및 성능 평가


자율지능

라이브러리

영상/음성 인식 정확도 - 멀티모달 인지

및 딥러닝 기반 심화 자율지능 알고리즘

실험실 평가

1~2차년도

자연어 묘사기능성

음성 합성

* 음영표시된 TRL 1, 8, 9단계는 원칙적으로 정부 R&D 비지원 영역임

CTE2 : 사용자 상황.감정.환경인지 및 개인 최적화 자율지능 라이브러리

- 85 -

구 분단계



시험평가 환경


MoS

6파일롯 규모



자율지능

라이브러리

정서대화 튜링 테스트

- 사용자 취향 및 감성 반영 적응형 자율지능 라이브러리

실험실 평가

2~3차년도개인화 지식

생성 성능

제품화 단계


주관기관/공인기관

자율지능

라이브러리

인터페이스의

리커트척도

- 실제 서비스 환경 최적화된 자율지능 라이브러리

현장평가4차년도

공인시험 성적


표준화- - - - - -

사업화 9 사업화 - - - - - -


- 86 -

구 분단계



시험평가 환경


기초연구단계

1 기초이론/실험 - - - - - -

2실용목적


- - - - - -

실험단계


- - - - - -


주관기관

디지털 동반자 통합 관리

플랫폼

오픈소스 활용률 - 오픈소스 기반

클라우드 시제품

실험실 평가

1차년도

시작품단계

5

확정된 소재/부품/시스템의 시작품 제작 및 성능 평가

주관기관


플랫폼

요청 처리 QoS

- 핵심 플랫폼 요소기술 시작품

- 핵심요소기술 상세 설계서

실험실 평가

1~2차년도

개인화 에이전트 소멸/생성 관리도

6파일롯 규모


주관기관


플랫폼

요청 처리 QoS

- 사용자 특화 동반자 서비스 지원 및 공개 API 기반 플랫폼 시작품

실험실 평가

2~3차년도

디바이스 경량화 수준

사용자 특화도

제품화 단계


주관기관/공인기관


플랫폼

요청 처리 QoS

- 최종 시나리오 기반 최적화된 디지털 동반자 플랫폼

현장평가4차년도안정성

속도


표준화- - - - - -

사업화 9 사업화 - - - - - -

③ CTE3 : 자율지능 클라우드 기반 디지털 동반자 플랫폼


- 87 -

【붙임 3】스탠포드 NLP 그룹 - Research Proposal

- 88 -

- 89 -

호 정보통신·방송 연구개발 사업계획서 - seoul national universitykdb.snu.ac.kr ›...

Documents