목차

• 휴대폰 UI 시장동향• 관련 특허 동향분석• 주요출원인 심층분석• 핵심특허 심층분석• 향후 기술 발전방향• 특허 확보 전략• 결론 및 향후 연구과제

2/50

휴대폰 UI 발전과 변화

Good ←

외관 → Bad

Poor ← 기능 → Rich

• 기능 개선• Digital• Flip

Type

• 기능 개선• Multi-

media• Folder

Type

• 기능 개선• Conver-

gence• Slide

Type

• 감성화• Touch

Type

3/50

입출력 방법이 다양해진 휴대폰 UI

4/50

휴대폰 시장 동향

HAP-TIC

AMOLED

PRADA Phone ARENA

Blackberry Bold

iPhone iPhone 3GS

Ultra Edi-tion

XpressMu-sic

Blackberry Storm

SCH-B540

SE-CRET

SHINE

N97E516282

Blackberry 8130

2006 2007 2008 2009

5/50

Blackberry 7290

선행 특허 조사 기준

한국 미국 일본 유럽

1990 년 1 월 1 일부터 현재까지

공개 / 등록된 특허

국가

검색 기간

범위

6/50

국 가 전체 분석 기간 분석대상 특허 건수

미 국 1990.01.01 ~ 현재 886건

한 국 1990.01.01 ~ 현재 872건

유 럽 1990.01.01 ~ 현재 238건

일 본 1990.01.01 ~ 현재 102건

합 계 2,098건

선행 특허 분석 건수

7/50

기술 분류 기준 및 특허 건수

대분류 중분류 분석대상 특허 건수

그래픽 사용자 인터페이스(Graphic User Interface, GUI)

Text 입 / 출력 99 건화면 Layout 159 건화면 표현방법 151 건

물리적 사용자 인터페이스(Physical User Interface, PUI)

Touch 387 건Sensor 138 건Camera 104 건

디스플레이 198 건Input Device 337 건

오디오 사용자 인터페이스(Audio User Interface, AUI) 오디오 입 / 출력 264 건

휴대폰 형태 및 구조(Figure & Structure) 휴대폰 형태 / 구조 261 건

8/50

휴대폰 UI 관련 특허 동향 분석

1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 20090

50

100

150

200

250

300

350

400

450

• 출원연도별 특허출원 동향– 2004 년 이후 휴대폰 UI 관련 특허 급격하게 증가– 2008 년 이후 미공개 특허 건수 미반영 미공개출원특허존재

9/50

휴대폰 UI 관련 특허 동향 분석

0

50

100

150

200

250

300

350

400

450

일본 유럽 한국 미국 합계

• 국가별 특허출원 동향– 출원 점유율 : 미국 , 한국 , 유럽 , 일본 순– 모든 국가의 출원건수가 지속적 증가 추세

일본 102건, 5%

유럽 238건,

11%

한국 872건 ,

42%

미국886건,

42%

10/50

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

0

10

20

30

40

50

60

70

Microsoft 노키아 RIM LG 전자 삼성전자 합계

기술 분류별 특허동향 (GUI)

• 그래픽 사용자 인터페이스 (GUI) 출원 동향– 총 출원 건수는 409 건으로 전체 19%– 2003 년부터 관련특허 출원 급증

삼성전자 (19%, 78 건 )

LG 전자(12%, 51 건 )

RIM(11%, 47 건 )노키아

(3%, 13 건 )MS(2%, 10 건 )

기타(51%, 210 건 )

11/50

이 시 점 이 후 의 급 증 은 Color LCD 의 대 중 화 와 연 관 지 을 수 있 다 . Color LCD 가 등장하면서 화려하고 직관적인 GUI 가 중요하게 되었고 다른 PUI 와 연관한 특허들이 증가하였다 .

Comment

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

020406080

100120140160

노키아 애플 팬택 삼성전자 LG 전자 합계

기술 분류별 특허동향 (PUI)

• 물리적 사용자 인터페이스 (PUI) 출원 동향– 총 출원 건수는 1164 건으로 전체 56%– 1999 년부터 관련특허 출원 급증

LG 전자(21%, 241 건 )

삼성전자(19%, 221 건 )

팬택(10%, 120 건 )

애플(8%, 93 건 )

노키아(7%, 77 건 )

기타(35%, 412 건 )

12/50

휴대폰은 크기가 한정되어 있기 때문에 초창기부터 PUI는 꾸 준 히 발 전 해 왔 다 . 하지만 터치폰이 등장하면서 다양한 인터페이싱을 위한 PUI 기술이 더욱 중요해지고 있다 .

Comment

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

0

5

10

15

20

25

애플 노키아 팬택 삼성전자 LG 전자 합계

기술 분류별 특허동향 (AUI)

• 오디오 사용자 인터페이스 (AUI) 출원동향– 총 출원 건수는 264 건으로 전체 13%– 1994 년부터 관련특허 출원 급증

LG 전자(15%, 40 건 )

삼성전자(9%, 25 건 )

노키아(9% 23 건 )애플

(7%, 19 건 )팬택

(6%, 15 건 )

기타(54%, 142 건 )

13/50

AUI 는 오래전부터 발전해온 기 술 이 기 때 문 에 잠 시 포 화 상 태 에 이 르 렀 다 가 터 치 폰 의 등 장 과 기 술 의 발 전 으 로 UI 패 러 다 임 이 변화하면서 기존의 기술을 다양한 분야에 응용하거나 그 정확도를 높이는 기술 관련 특허로 폭증하였다 .

Comment

기술 분류별 특허동향 (F&S)

• 휴대폰 형태 및 구조 (Figure & Structure) 출원동향– 총 출원 건수는 261 건으로 전체 12%– 1996 년부터 관련특허 출원 급증

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

02468

101214161820

소니에릭슨 팬택 삼성전자 노키아 LG 전자 합계

LG 전자(15%, 38 건 )

노키아(13%, 33 건 )

삼성전자(8%, 20 건 )팬택

(3%, 8 건 )소니에릭슨(3%, 7 건 )

기타(59%, 155 건 )

14/50

휴대폰의 형태는 플립 , 폴더 , 바 , 슬라이드 등으로 다 양 하 게 발 전 해 왔 다 . 기존의 것을 탈피하는 형태가 등 장 하 면 서 계 단 식 으 로 발 전 해 왔 으 며 터 치 폰 의 등 장 으 로 형 태 가 단 순 화 되 면 서 잠 시 포 화 되 었 다 가 플 렉 서 블 디 스 플 레 이 , 입 체 디스플레이 등의 신기술에 따라 다시 급증하는 추세이다 .

Comment

주요 출원인 심층 분석

등록특허 10건

노키아7 회

NEC6 회

삼성전자14 회

모토로라9 회Microsoft

4 회

삼성전자8 회

AT&T5 회

NEC2 회

노키아1 회

퀄컴1 회

특허 출원 / 등록1990 년 이후 총 344건

주요 타겟 시장한국 , 미국

15/50

인용특허수 : 총 40 회 < 피인용특허수 : 총 17 회

Comment

주요 출원인 심층 분석

등록특허 38건

IBM27 회

소니18 회

노키아66 회

모토로라30 회삼성전자

9 회

노키아156 회

모토로라51 회

삼성전자45 회

Dell27 회

NEC20 회

특허 출원 / 등록1990 년 이후 총 161건

주요 타겟 시장미국

16/50

인용특허수 : 총 150 회 < 피인용특허수 : 총 309 회

Comment

주요 특허 및 핵심 특허 선정

대분류 중분류 주요 특허 건수 핵심 특허 건수그래픽 사용자 인터페이스

(Graphic User Interface, GUI) 화면 표현 방법 /Layout 25 건 3 건

물리적 사용자 인터페이스(Physical User Interface, PUI)

Touch 22 건 4 건Sensor 15 건 2 건Camera 17 건 1 건

디스플레이 15 건 1 건Input Device 24 건 1 건

오디오 사용자 인터페이스(Audio User Interface, AUI) 오디오 입 / 출력 26 건 3 건

휴대폰 형태 및 구조(Figure & Structure) 휴대폰 형태 / 구조 28 건 5 건

합 계 172 건 20 건

17/50

선정 기준 : 기술적 중요도 , 인용 / 피인용 특허수 , 패밀리 특허수 , 실제 상용화여부 , 신규성 등

Comment

2003.12.167310534Location status indi-cator for mobile phones

2007.09.042007-850005Application Menu User Interface

이전

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

1990.10.305128672Dynamic predictive keyboard

2005.06.010703331 문자 입력에 대해 비주얼 효과를 부여하는 문자 입력 방법 및 이를 위한 이동 단말기

2005.12.050678922 문자 입력 장치 및 방법

2006.03.311840707 Edit menu with a re-duced set of functions for a mobile communica-tion device

1998.12.226366302Enhanced graphic user interface for mobile ra-diotele-phones

2008.01.112008-0003462 조작 가이드를 표시하는 ＵＩ 제공 방법 및 이를 적용한멀티미디어 기기

2000.11.230369646 휴대용 단말기의 사용자 인터페이스 방법

2000.11.230754704 위치에 따라 설정 변경이 가능한 이동 통신 단말기 및 방법

2006.08.080829114 메뉴 사용 이력을 이용한 휴대단말기의 사용자 인터페이스 제어 방법

VISUAL

VIRTUAL KEYBOARD

컬러 LCD 가 개발되면서 문자 기반의 UI 에서 벗어나기 위한 기술과 특허가 많이 개발되기 시작하였다 .

심미효과에만 중점을 둔 단순 비쥬얼 중심의 GUI 가 자리잡자 다양한 표시방법을 통한 효율적인 인터페이싱 방법이 대두되기 시작하였다 . 고성능의 Color LCD 가 자리잡자

위치나 사용자의 성향 등에 의한 다양한 표시 방법에 대한 기술이 중요해지고 있다 .

터치 / 제스쳐 인터페이스가 대중화되자 이러한 터치 / 제스쳐 인터페이스에 효율적으로 대응할 GUI 의 중요성 또한 커져가고 있다 .

터치 인터페이스의 대중화에 따른 가상 키보드 개념이 다시 중요해짐

터치 인터페이스를 통한 수정 방법에 대한 UI 도 중요해지기 시작

기술 흐름도 분석 (GUI)

18/50

19/50

핵심특허 [GUI - 1/3]위치에 따라 설정 변경이 가능한 이동통신 단말기 및 방법이동통신단말기의 위치가 상기 저장된 장소에 해당되면 대응된 사용자 설정 항목의 설정 값으로 설정이 변경

0754704

등록일2007.08.27KEYWORDGPSUser-Oriented

20/50

핵심특허 [GUI - 2/3]

2008-0003462

조작 가이드를 표시하는 UI 제공방법 및 이를 적용한 멀티미디어 기기사용자의 조작에 의해 수행되는 기능에 대한 가이드가 디스플레이 되어 , 사용자는 보다 편리하게 터치스크린을 사용할 수 있음

출원일2008.01.11KEYWORDGesture UIVersus Multi-Touch

21/50

핵심특허 [GUI - 3/3]

5128672

Dynamic Predictive Keyboard사용자에 의해 사용될 가능성이 가장 높은 문자세트를 예측 , 구성하여 키보드가 자동으로 갱신 됨

등록일1992.07.07KEYWORDVirtual Key-boardPredictive

2005.12.300664275터치 키패드 및 이를 구비한 단말기

2007.01.042007-0001158  전자종이를 이용한 버튼 입력 장치

이전

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

1999.09.060172555휴대폰의 키패드 장착구조

2006.05.170773553디스플레이 기능을 갖는 버튼을 구비한 단말기 및 이를 위한 디스플레이 방법

다른장치와 결합 : MultiModal Interface

1998.09.176184868Haptic feedback control de-vices

2006.01.030877067햅틱 버튼 및 이를 이용한 햅틱 기기

2007.01.022007-0000034  휴대단말기에서의 촉각형 사용자 인터페이스 제공 장치 및 방법

2006.09.011895390Handheld mobile communica-tion device with flexible keys

2006.05.090737765  휴대용 단말기에서 촉각 지원 장치 및 방법

INPUT DEVICE

HAPTIC

터치 장치와 결합

키패드에도 적용되는 햅틱 기술

디스플레이 장치와의 결합

멀티터치에도 적용되는 햅틱 기술

작은 크기에서 더 넓고 효율적인 인터페이스 확보를 위해 다양한 인터페이스들의 결합이 이루어지고 있다 .

햅틱 기술은 모바일 UI 에서 단말기의 Feedback 에 대한 중요성이 커지면서 앞으로도 핵심적인 기술로서 계속적인 발전을 할 것으로 판단된다 .

기술 흐름도 분석 (PUI#1)

22/50

23/50

핵심특허 [PUI#1 - 1/5]

0773553

디스플레이를 갖는 버튼을 구비한 단말기 및 이를 위한 디스플레이 방법휴대폰에서 상황에 따라 버튼에 디스플레이 되는 내용이 능동적으로 변함

등록일2007.10.30KEYWORDButton Inter-face

24/50

핵심특허 [PUI#1 - 2/5]

6184868

Haptic Feedback Control Devices햅틱 피드백은 사용자를 도와 사용자에게 그래픽 사용자 인터페이스의 상호작용 및 이벤트를 제공

출원 / 등록일1998.09.17KEYWORDHapticFeedback

25/50

핵심특허 [PUI#1 - 3/5]

7046230

Touchpad Handheld Device트랙 휠 터치 패드를 가지는 멀티미디어 및 휴대용 단말기에 관한 특허

등록일2006.05.16KEYWORDTouch PadGesture UIiPod

26/50

핵심특허 [PUI#1 - 4/5]

7479949

Touch screen device, method, and graphical user interface for determining commands by applying heuristics애플의 여러 가지 다양한 멀티터치에 관한 특허하나 이상의 손가락 터치로 기기를 제어하는 방식과 그러한 명령을 내리기 위한 여러 가지 터치 방식들에 관한 특허

등록일2009.01.20KEYWORDTouch ScreeniPhone

27/50

핵심특허 [PUI#1 - 5/5]

RE40153

Multi-touch system and method for emulating modi-fier keys via fingertip chords손가락을 이용하여 키 입력을 할 수 있는 멀티터치 시스템 및 방법

등록일2008.03.18KEYWORDGesture UIMulti Touch

2008.08.262008-0083163  복수의 압력 센서를 장착한 이동 단말기 및 그 제어 방법

2005.11.157271393UV radiation meter using visible light sensors

이전

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2009.01.222009-7001481무접촉식 동작 기반의 입력

2005.08.310630154지자기 센서를 이용하여 기울어짐 정도에 따라 디스플레이를 제어하는 방법 및 그 이동 단말기

2003.12.300565794기울기의 영향을 보상하여 방위각을 연산하는 지자기센서 및 그 연산 방법

1993.10.290120422축측정용 각진동 센서

SEN-SOR

2001.06.276937033Position sensor with resistive el-ement 2006.07.2

10813169기울임을 갖는 광 센서 모듈 및 상기 광 센서 모듈을 구비한 체지방 측정 장치

1995.07.130166870  적외선 센서를 이용한 인체의 위치판별 장치

1998.10.310314438  써모파일센서를 이용한 온도측정회로

1999.01.200382817    생체감지패턴 및 이를 이용한 박막트랜지스터형 광센서

2002.06.080431767    슬릿탄성파를 이용한 압력센서

2004.06.280565336자외선 지수 맵의 소정 반경내 자외선 경보 장치 및 방법

2000.09.116425187Gyro-sensor

2003.02.067350424Acceleration sensor

2007.05.030848118광 센서 생체 신호 측정 장치 및 상기 장치의 센서 제어 방법

2005.10.147275008Calibration of 3D field sensors

축 측정에서 가속도 측정 센서로의 발전: 모션 센싱

2 차원 위치 센싱이 3 차원 위치 개념으로 진화

3 차원 위치 인식을 통한 포인팅 방법 개발

생체 감지 센서가 구체적인 인체 정보 측정에 응용

복잡하고 구체적인 정보를 인식하기 위해 복수의 센서를 사용

위치 인식 센서의 진화방법의 다양화

멀티 터치에 대응할 수 있는 유용한 특허로 판단됨

생체 정보를 다양하고 정확하게 인식하는 기술은 앞으로도 지속적으로 발전할 것으로 보인다 .

기술 흐름도 분석 (PUI#2)

28/50

29/50

핵심특허 [PUI#2 – 1/4]

0630154

지자기 센서를 이용하여 기울어짐 정도에 따라 디스플레이를 제어하는 방법 및 그 단말기이동 단말기의 기울어짐 정도에 따라 디스플레이 화면을 별도의 키 조작 없이 생동감 있게 변경할 수 있는 기능을 제공

등록일2006.09.22KEYWORDTilt Sensor

30/50

핵심특허 [PUI#2 – 2/4]

2006-477508

Apparatus, Methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applica-tions장치에 사용자가 물리적인 개체를 근접시키면 이를 제스쳐로 인식하고 실행

출원일2006.06.28KEYWORDInfrared SensorGesture UIVersus Multi-Touch

31/50

핵심특허 [PUI#2 – 3/4]

0753517

입체 영상 디스플레이 기능을 갖는 이동통신 단말기 및 이를 이용한 입체 영상 디스플레이 방법시차 영상을 샘플링 및 멀티플렉싱하여 입체 영상을 생성하고 , 이동통신 단말기에서 양방향 입체 영상을 즐길 수 있는 효과

등록일2007.08.23KEYWORDNew Display

32/50

핵심특허 [PUI#2 – 4/4]

2008-114381

Camera-based User Input For Compact Devices모바일 기기에 달려있는 카메라를 이용하여 사용자의 손의 위치를 파악하여 커서를 움직이거나 데이터를 스크롤 하는 등의 작업을 할 수 있음

출원일2008.11.06KEYWORDVision Recogni-tionGesture UIVersus Multi-Touch

2005.04.120703262이동통신단말기에서 음악 연주를 제어하는 장치 및 방법

1995.04.065640485Speech recognition method and system

이전

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2006.03.020735820휴대 단말기에서 음성 인식에 의한 멀티미디어 데이터 검색 방법 및 그 장치

1992.12.315384892Dynamic language model for speech recognition

2001.10.126704710Assigning meanings to utterances in a speech recognition system

2007.08.202007-0083450  음성 인식을 이용한 텍스트 입력 자동 완성 방법 및 장치

2004.08.270617719이동 통신 단말기에서 움직임에 종속한 사운드를 생성하는 장치 및 방법

2000.12.206708152User inter-face for text to speech conversion

2003.07.070547858음성 인식 기능을 이용하여 문자 입력이 가능한 이동통신단말기 및 방법

2006.06.010744301음성 인식을 이용하여 동작 모드를 전환하는 휴대 단말기 및 그 방법

AUDIO INPUT

AUDIO OUT-PUT

음성 인식 기술을 이용한 입력 방법

음성 인식 기술을 이용한 UI 방법으로의 응용

음성 인식 기술의 정확도를 높이기 위한 연구 / 개발

음성인식은 꾸준히 발전해왔지만 아직까지 많은 응용은 되지 못하고 있으며 많은 특허가 실제 제품으로서 시장에 출시되고 있지는 못하다 .

음성을 통한 입력 방법은 향후 핵심적인 UI 가 될 가능성이 아주 높으며 기술의 흐름상 다양한 방법이 존재하기 때문에 정확성을 중심으로 한 인식 성능이 시장성을 가르는 가장 큰 요소가 될 것으로 판단된다 .

기술 흐름도 분석 (AUI)

33/50

34/50

핵심특허 [AUI - 1/3]

5384892

Dynamic Language Model For Speech RecognitionLanguage Model 에 기반하여 음성의 특징을 이용 인식하는 방법

등록일1995.01.24KEYWORDVoice Recogni-tion

35/50

핵심특허 [AUI - 2/3]

0547858

음성 인식 기능을 이용하여 문자 입력이 가능한 이동통신단말기 및 방법음성인식에 의한 문자입력 요구에 따라 음성 신호의 입력이 있으면 음성인식을 통해 문자를 입력하는 방법

출원 / 등록일2006.01.23KEYWORDVoice Recogni-tionAuto Typing

36/50

핵심특허 [AUI - 3/3]

0617719

이동통신 단말기에서 움직임에 종속한 사운드를 생성하는 장치 및 방법단말기의 움직임량을 계산하여 그 양에 비례하여 사운드를 출력

등록일2006.08.22KEYWORDMusicInstrumentAccelerometerTilt Sensor

2007.12.272009-0070440  후면 키패드를 갖는 휴대 단말기

2007.05.292007-754588PIVOT DIS-PLAY

2009.03.042009-7004610    향상된 비디오 디스플레이 인터페이스를 가지는 이동 단말 기기 , 동글 및 외부 디스플레이 기기

2003.06.307082196Flexible structure, hinge, shut-ter, mobile communica-tions appa-ratus and mobile tele-phone

2004.07.017388578Touch dis-play PDA phone with slide key-pad

2005.10.210724943  착탈식 휴대 단말기

2005.01.120651471슬라이딩 – 폴딩 타입 휴대용 단말기

2006.05.161858235 Foldable electronic device with angle detec-tion for se-lecting an operating mode

2004.12.300677420본체 회전 타입 휴대 단말기

이전

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2003.07.160703495양 방향 슬라이딩 타입 휴대용 단말기

2006.01.030708607양쪽 키패드를 갖는 이동 통신 단말기

2007.06.192007-765146Folding Mechanism For Com-pact Device

2006.06.087505798Angular keyboard for a hand-held mobile communica-tion device

1999.11.307006077Electronic device hav-ing touch sensitive slide

2005.09.197507044Portable electronic device

2000.02.226865404Handset

2000.08.086518957 Communi-cations de-vice with touch sensi-tive screen

SLIDE TYPE

BAR TYPE

FOLDER TYPE

2008.07.302008-0074811  휴대 단말기

1991.04.175241583Portable ra-dio tele-phone which ter-minates an electronic keypad lock function upon sens-ing an in-coming call

사용자의 편의 및 작은 디지털 기기로서 손가락에 주는 피로도를 줄이기 위한 배려를 담은 형태도 등장하고 있다 .

QWERTY 키패드가 인기를 끌면서 이를 효율적으로 사용할 수 있는 형태들이 시도되었다 .

기술 흐름도 분석 (F&S)

37/50

38/50

핵심특허 [F&S – 1/5]

7006077

Electronic Device Having Touch Sensitive Slide터치 감지 슬라이드는 사용자에 의한 접촉력에 응답하여 , 터치 감지 슬라이드 신호를 제공

등록일2006.02.28KEYWORDTouch ScreenSlide Type

39/50

핵심특허 [F&S – 2/5]

7505798

Angular Keyboard For A Handheld Mobile Commu-nication Device엄지 손가락의 Typing Error 줄이고 , 편안하게 문자 입력을 할 수 있는 Full Qwerty Keyboard

등록일2009.03.17KEYWORDBar Type사용자 배려

40/50

핵심특허 [F&S – 3/5]

0665508

Touchpad Driven Handheld Computing Device전면과 후면이 모두 터치를 인식할 수 있는 장치로 둘러싸져 있는 휴대용 컴퓨팅 기기

등록일1995.08.02KEYWORDTouch ScreenTouch Pad새로운 터치 방식

41/50

핵심특허 [F&S – 4/5]

2007-765146

Folding Mechanism For Compact Device여러 개의 힌지를 이용하여 폴딩하는 방법을 제공

출원 / 등록일2007.06.19KEYWORDFlexible DisplayFolder Type

42/50

핵심특허 [F&S – 5/5]

2007-0001331

연성 표시부를 구비한 폴딩형 휴대 통신 장치플렉서블 디스플레이를 이용하여 형태가 변화하는 휴대폰

출원일2007.01.05KEYWORDFlexible DisplayFolder Type

향후 기술 발전 방향

43/50

오디오 사용자 인터페이스 (AUI)

음성인식 정확도를 높이는 기술음성을 통한 감정인식 기술감정인식에 기반한 조작방법

휴대폰 형태 및 구조 (F&S)

플렉서블 디스플레이의 적용감성적인 디자인과 동작 기술

플렉서블 / 입체영상 관련 기술모바일 웹서비스 관련 기술

그래픽 사용자 인터페이스 (GUI)

컨버전스 입력장치 관련컨버전스 입력장치 조작방법 관련

물리적 사용자 인터페이스 (PUI)

휴대폰 UI 특허 확보 전략

능동적인User Interface 의 필요성

사회적 Communication 의필요성 새로운 디스플레이를 위한차세대 UI 의 필요성

감성적인Communication 의 필요성

감정인식 UI 감정표현 UI

SNS 연동 UI 지문터치 UI

44/50

특허 출원 방안 – 감정인식 UI

감정인식정확도 상승

음성인식표정인식

바이오리듬 혈액형사주

날씨별자리띠

혈압SMS분석

체온

맥박

• 기존의 생체정보를 이용한 감정인식 방법은 정확도가 낮음• 생체정보 효율적으로 얻기 위한 새로운 방식의 센서 구조 특허 개발 필요

– 콘택트 렌즈 , 치아 장착물 , 속옷 등 발상의 전환 필요• 생체정보를 이용한 생체정보의 정확성을 보완하기 위한 특허 개발 필요

– 개인 정보 ( 성별 , 키 , 몸무게 , 바이오 리듬 , 혈액형 등 ) 를 이용한 통계 정보를 반영

– 주변 정보 ( 현재위치 , 온도 , 습도 , 날씨 등 ) 을 추가한 정확성 보완

45/50

특허 출원 방안 – 감정표현 UI

• 원격지에서 상대방의 감정을 표현하는 방법 필요– SMS 의 내용을 분석하여 글자의 색상 , 크기 , 배경 사진 , 진동 효과 표현– 상대방이 화를 내는 경우 : 강하게 진동 하거나 배경음악 삽입– 상대방이 기분이 좋은 경우 : 향기를 내거나 부드러운 진동 , LED 발광

46/50

특허 출원 방안 – 감정표현 UI

• 사용자의 감정을 예측하여 능동적으로 행동하는 방법– 사용자의 기분이 안 좋거나 스팸 전화 일 경우 : 휴대폰이 사용자로부터 떨어짐– 사용자가 좋아하는 발신자의 경우 : 휴대폰이 사용자로 다가옴

접근감지상황판단

이동

47/50

특허 출원 방안 – SNS 연동 UI

• 얼굴 인식 기술과 SNS 기술을 접목한 UI– 인물의 얼굴을 인식하여 공개되어 있는 프로필을 핸드폰에 저장 , SNS 상에서의 관계 지속

• 휴대폰 대기화면과 SNS 기술을 접목한 UI– 대기화면에 지도를 출력하고 , 자신과 지인들의 위치를 파악 가능

• SMS메시지와 SNS 기술을 이용한 접목한 UI– SMS 메시지를 특정인에게 보내는 것이 아니라 지도상의 지인들에게 메시지를 보내는 방법

48/50

특허 출원 방안 – 지문터치 UI

• 입체영상 / 플렉서블 디스플레이를 위한 새로운 포인팅 방법 필요• 다계층을 이용한 손가락 인식 터치 방법

– 그래핀과 같은 투명 소재를 이용한 지문인식 스캐너 추가– 지문인식 스캐너를 이용하여 각 손가락 구분– 이를 이용하여 매우 다양한 인터페이스 방법 얻을 수 있음

터치 이벤트 발생

지문 스캔 손 인식

후면부 디스플레이 조작 상태

전면부 디스플레이 조작 상태

손가락 인식

지정된(Predefined) 명령

수행

기본 터치 입력으로 인식

명령 수행

49/50

투명 신소재를 이용하여 다계층의 디스플레이를 구성한다고 하였을 때 왼손의 경우 바깥쪽 화면을 조작 , 오른손의 경우 안쪽 화면을 조작하는 식이다 .또한 손가락을 개별적으로 인식한다고 하였을 때는 주로 사용하는 검지는 클릭 , 중지는 팝업메뉴 , 약지는 볼륨 조절 등으로 정의하여 사용 가능하다 .

Comment

결론 및 향후 연구과제

• 휴대폰 UI 발전에 따른 휴대폰의 변화– 입출력 방법이 다양해진 휴대폰 UI

• 휴대폰 UI 기술 특허 분석– 휴대폰 UI 기술의 발전 방향 예측

• 향후 휴대폰 UI 기술 발전 방향 제시– 감정인식 , 감정표현 , SNS 연동 , 지문터치 UI

• 휴대폰 UI 분야 핵심특허 확보– 앞으로 대두될 감성적인 , 능동적인 UI 기반기술을 확보

• 인간을 이롭게 하는 휴대폰 UI 개발

50/50

Q&A

감사합니다

부 록

특허 출원 방안 – 감정인식 UI

감정인식을 하기 위해 사용되는 방법들은 모두 개인차를 나타낸다 . 여기에 우리가 제안하는 형액형 , 바이오리듬 , 역학 , 날씨 , 별자리 , SMS 분석 , 통화내용 분석 등을 반영하면 정확도를 높일 수 있을 것이다 . 또한 이것을 개인별로 설정할 수 있 도 록 해놓는 다 면 , 개 인 이 자 신 의 감 정 을 휴 대 폰 이 인 식 하 는데 도움이 될 수 있 다 는 정보만을 이용하도록 할 수 있다 .

Comment

왼쪽 이미지에 나타나는 감정상태는 심리학자 Ekman 의 감정상태 분류를 따르는 것이다 .

Comment

사용자는 자신의 감정 이력을 6 시간 / 하루 /일주일 / 한달 / 일년 단위로 살펴 볼 수 있다 .

Comment

물 리 적 센싱 데이 터 에 기 반 하 는 감 정 인 식 도 중 요 하 며 제안하 는 방 법 은 이 러 한 데이 터 에 기반하여 가중치를 부여하는 방식이다 . 물리적 센서 는 신 체 의 곳곳에 장착될 수 있 으 며 휴대폰에서는 이러한 센서들을 관리할 수 있다 .발표에서 밝힌 바와 같이 기존의 센서가 장착되는 부위 이외로 새로운 부위인 콘택트 렌즈나 치아 , 귀걸이 등을 제안한다 .

Comment

특허 출원 방안 – 감정표현 UI

야 !이 녀석아 !!밥 안 사주냐 ?배고파 미치고 팔짝 뛰겠거든 !!!

야 ! (번개소리 , 진동효과 )이 녀 석 아 !! ( 에 코 효 과 , 진동효과 )밥 안 사주냐 ?배고파 미치고 팔짝 뛰겠거든 !!!( 폭발음 , 진동효과 )

특허 출원 방안 – SNS 연동 UI

56/50

왼쪽의 이미지는 모임 서비스와 SNS 가 결합된 새로운 모바일 서비스의 예시 UI 이다 .사용자 인터페이스에 대한 아이디어이기보다는 서비스 아이디어에 가깝지만 향후 이러한 SNS 와 연동되는 서비스가 많아질 것으로 예상되며 이것은 GPS 와 연 동 성 이 크 기 때 문 에 사 용 자 인터페이스와 밀접한 관련이 있다고 판단하고 다음과 같은 아이디어를 제시하였다 .

Comment

해당 아이디어는 사용자가 모임을 만들고 공유할 수 있 다 는 것 이 다 . 이렇게 만들 어진 모 임은 온라인을 통해 공유되며 지도를 통해 직관적으로 표시된다 .이러한 모임은 파티 , 등산 , 하이킹 , 번개팅 , 맛집 모임 , 회의 , 세미나 , 시사회 , 스포츠 경기 모임 등이 될 수 있으며 , 선착순 개념을 도입하여 일찍 도착한 사람들에게 상 ( 상금 , 무료 음식 , 무료 영화 등 ) 을 주거나 늦게 도착한 사람들에게는 벌 ( 벌금 , 탈락 ) 등 을 주 게끔 할 수 있 는 서비스이다 .

Comment

특허 출원 방안 – 지문터치 UI

왼손으 로 화 면 을 터 치 하 게 되 면 프로 그램이 설 치 되 어 아 이콘으 로 표 현 되 어 있 는 메인 스크린으로 전환된다 . 이때 작업중인 화면은 반투명 처리되어 화면에 잔상이 남아있게 된다 . 오른손으 로 화면 을 터치하 게 되면 작업 중인 화면이 표시되며 , 메인 화면은 반투명으로 처리 된다 . 이를 통해 화면을 컨트롤 할 수 있다 .

Comment

이것은 지문인식을 이용하여 왼손 / 오른손을 구별하였을 때의 경우이다 . 손가락 별로 기능을 부여할 경우에는 각 손가락마다 , 기능을 부여할 수 있으며 기본적으로 오른손 검지가 클릭이나 드래그 기능을 수행한다고 할 때 나머지 9 개의 손가락에 다양한 기능을 부여할 수 있게 되는 것이다 . 여기에 멀티 터치 기능까지 더해진다면 두 손가락 또 는 세 손가락을 동 시 에 인 식 하 거 동 시 에 드래그함으로써 더 다양한 입력 방식을 가질 수 있다 .

Comment

투명 디스플레이 소재 그래핀