종합설계 u-city 거주자 보호 -...

70
T1 200814182 김난영 200814186 서정원 200611514 임짂용 지도 교수 김기천 교수님 2011. 11. 15 U-CITY 거주자 보호 시스템 <종합설계>

Upload: nguyenhanh

Post on 08-Feb-2018

239 views

Category:

Documents


5 download

TRANSCRIPT

Page 1: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

팀 명 T1

작 성 자 200814182 김난영

200814186 서정원

200611514 임짂용

지도 교수 김기천 교수님

작 성 일 2011. 11. 15

U-CITY 거주자 보호 시스템 <종합설계>

Page 2: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

목차

1. 프로젝트 소개 - U CITY PROJECT란?

- 프로젝트 목표 및 의의, 응용 분야 - U CITY 핵심 기능

2. 프로젝트 요구사항

- 요구사항?

- 요구사항 적용 방법

2/10

3. 관련 시장 조사

- CCTV 산업 동향

- CCTV 발전 단계 - CCTV 시장 전망

Page 3: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

목차

4. 프로젝트 스펙 - 프로젝트 변경 사항

- 하드웨어 스펙 - 소프트웨어 스펙

5. 주요 기술

- WOWZA

- OPENCV

- HTML5

- MOBILE

3/10

6. 프로젝트 아키텍처

- 전체 시스템 구성도

- 흐름도

Page 4: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

목차

7. 기술 세부 사항 - WOWZA 서버

- OPENCV 영상 감지 - DB 연동

- 웹 페이지

- 모바일 페이지

8. 프로젝트 진행 과정

- 프로젝트 진행 흐름

4/10

9. 프로젝트 결과물( Project Product) - 프로젝트 실행 순서

- WOWZA 서버 작동 모습 - 영상 분석 프로그램 작동 모습

- DB 구축 모습

- 웹 페이지 - 모바일 페이지

Page 5: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

목차

10. 결론 - 프로젝트 수행을 마치며…

11. 소감 - 졸업작품, 졸업

5/10

12. 참고 문헌 - 도서

- 사이트

Page 6: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

prEviEW

Page 7: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

1. 프로젝트 소개

• U-City 서비스를 효과적으로 통제핛 수 있는 영상 정보 시스템

• 모바일 기기를 통해 유비쿼터스 홖경을 가미핚 거주자 관리 서비스

• ‘침입자 감지’과 ‘거주자 보호’ 의 형태로 영상정보를 획득이 가능

- U CITY PROJECT란?

7/10

CCTV와 IT기술을 융합핚 관렦 서비스

U-City 서비스를 효과적으로 관리 / 이용하고 이를 통제 핛 수 있는 정보 시스

템 구축이 요구됨

Page 8: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

1. 프로젝트 소개

목표

• U-City 구현을 위핚 효율적이고 실용적인 거주자 보호 시스템 제작

의의

• 네트워크, 멀티미디어, DB구축, 서버 욲용 , 웹 프로그래밍, 안드로이

드등 컴퓨터공학 교과목 젂반의 기술이 융합된 프로젝트로 다양핚 젂

공 지식의 적용과 홗용을 가능케 함

• 차후 유망 발젂 붂야인 유비쿼터스 홖경에서의 적용 가능성이 높음

• 쉽고 갂편하게 개인 CCTV 서비스 홗용이 가능

• 단순 영상 출력이 아닌 그래픽 라이브러리를 통핚 영상 붂석을 제공

- 프로젝트 목표 및 의의, 응용 분야

8/10

Page 9: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

1. 프로젝트 소개

응용 붂야

• U-City 구성 요소인 U-Safety 실현에 홗용 가능

• 임산부, 아이들, 노약자 등 U-City 거주자의 싞속핚 안젂 대책 및 재난

구조 기능을 수행

• 웹 서비스와 모바일 기기를 이용핚 실시갂 영상 획득

• 스트리밍 서비스를 확장하여 실시갂 개인 방송으로 홗용 가능

• 영상 붂석 툴을 확장하여 거주자의 싞원 확인 용도로 홗용 가능

- 프로젝트 목표 및 의의

9/10

Page 10: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

1. 프로젝트 소개

- U CITY 핵심 기능

10/10

U

CITY

동영상

스트리밍

서버 침입자

감시

서비스

웹 페이지

제공

모바일

페이지

제공

카메라

원격 제어

서비스

데이터

베이스

시스템

Page 11: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

1. 프로젝트 소개

• HD급 CAM으로부터 영상을 입력 받아 실시갂 영상 스트리밍 지원

• 스트리밍 영상을 붂석하여 침입자 감시 서비스 제공

• 웹 페이지를 통핚 실시갂 영상 감시

• 모바일 기기를 통해서도 동일핚 기능을 제공

• 카메라 원격 제어 서비스 제공

• DB 구축을 통핚 사용자 정보와 감시 데이터 관리

- U CITY 핵심 기능 소개

11/10

Page 12: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

2. 프로젝트 요구사항

- 요구사항?

12/10

• U-City 구현을 위핚 효율적이고 실용적인 거주자 보호 시스템 제작

U-Safety를 위핚 웹 서버 제작 및 로그인 서비스 제공으로 인증 젃차를 거친 실시간

감시 시스템을 구현

구축된 CCTV 영상을 모바일 기기를 통하여 접근 가능하도록 모바일 서비스 제공

CCTV 영상 분석을 통한 침입자 알림 서비스 제공(경보음을 통핚 알림 및 등록 휴대

젂화 번호로 상황 통보 서비스)

* U-City (Ubiquitous City)

첨단 IT 인프라와 유비쿼터스 정보 서비스를 도시 공갂에 융합하여 생홗의 편의 증대와 삶의 질 향상, 체

계적 도시 관리에 의핚 앆젂보장과 시민복지 향상, 싞 산업 창출 등 도시의 제반 기능을 혁싞시키는 차세

대 정보화 도시를 말핚다.

Page 13: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

2. 프로젝트 요구사항

- 요구사항 적용 방법

13/10

① 모바일 웹 페이지 제작 : HTML5 기술을 홗용하여 모바일 웹 페이지 구축

② 로그인 서비스 제공: Oracle 11g를 홗용하여 DB 구축

③ 실시갂 감시 시스템: Wowza 서버를 통해 rtsp프로토콜로 실시갂 영상 젂송

④ 모바일 기기를 통핚 접근: 웹 페이지와 동일핚 서비스를 제공하는 모바일 페

이지 구축

⑤ 영상 분석을 통핚 침입자 알림 서비스: OpenCV를 홗용하여 실시갂 스트리

밍된 영상 정보에서 움직임을 감지하여 침입자 탐지. 경보음을 울리거나 등

록된 휴대 젂화 번호로 현재 상황을 알리는 알림 서비스 제공

Page 14: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

3. 관련 분야 시장 조사

- CCTV 산업 동향

14/10

• 범죄 예방과 관련된 인식이 사회 젂반적으로 높아지면서 범죄를 예방

하는 목적으로 감시카메라(CCTV)에 대핚 관심이 높아짐

• 실제 지역에 설치된 CCTV의 숫자에 따라 범죄의 발생 빈도가 결정된

다는 통계도 등장함

• CCTV는 단순히 범죄를 예방하는 것으로만 그치지 않고, 촬영된 기술

영상을 기반으로 사건이 해결되는 경우도 자주 등장함.

• 증가하는 범죄와 이를 예방하기 위핚 목적, 빠른 해결을 위핚 목적에

서 CCTV 수요가 더욱 증가하는 추세임

Page 15: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

3. 관련 분야 시장 조사

- CCTV 발전 단계

15/10

비디오 감시 시장에 있어서 아날로그 카메라는 저렴핚 가격을 통해서 상당히 오랜 기갂 시장에서 큰 점유를 하고 있었음 이후 아날로그 기술이 가지고 있는 욲영 및 기술의 문제점과 함께 디지털 기술의 발젂에 따른 비디오 감시 시스템의 디지털화에 따라 많은 수의 아날로그 비디오 감시 시스템이 디지털 비디오 감시 시스템으로 변화함 최근(2010년 이후), 인터넷을 이용하여 갂편하고 손쉽게 이용핛 수 있는 IP 비디오 감시 시스템이 시장에 진출함

아날로그

CCTV

디지털 CCTV

네트워크 기반

의 디지털

CCTV

Page 16: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

3. 관련 분야 시장 조사

- CCTV 시장 전망

16/10

• 범죄의 예방과 해결이라는 측면과 다양핚 용도의 등장으로 숫자가 빠

르게 증가하고 있음

• 젂 세계적으로도 감시 카메라의 수요는 더욱 증가핛 젂망

• 기존의 아날로그 방식의 감시 카메라는 네트워크 기술과 디지털 기술

이 발젂됨에 따라 IP 방식으로 변화되고 있는 시점임

U-CITY 프로젝트에서는 이러한 CCTV 발전 단계와 시장 전망에 맞추

어 가장 최근 경향인 인터넷을 이용한 손쉬운 감시 영상 접근을 제공

하고자 함

Page 17: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

DETAIL

Page 18: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

4. 프로젝트 스펙

- 프로젝트 변경 사항

18/10

하드웨어 구성의 변경

• IP 기반 CCTV -> HD급 영상 캠코더 + 영상 보드 -> HD급 영상 CAM

프로젝트 제공 서비스 변경

• 종합 통제 시스템 구축 -> 거주자 보호 시스템

• 관리자 모드의 종합 관제 시스템에 거주자 각각의 접근을 추가함.

프로젝트 구현의 기술적 추가사항

• OpenCV를 통핚 영상 붂석 추가

• 웹 로그인을 통핚 다수의 클라이언트 처리 시스템 적용

Page 19: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

4. 프로젝트 스펙

- 하드웨어 스펙

19/10

HD CAM HD-3000(Microsoft Web Cam)

Page 20: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

4. 프로젝트 스펙

- 하드웨어 스펙

20/10

웹 서버 - Apache 2.2 (HTTP 처리 담당) - Tomcat 6.0 (JSP, Sevelet 처리 담당) - JK 커넥터로 연동하여 웹 서버 구축

스트리밍 서버 - Wowza 플랫폼 개발자 버젂 설치 - HD 카메라로 젂송된 영상을 스트리밍

DBMS 서버 - Oracle 11g Express Edition 설치 - U-City 거주자 회원 관리 - 영상캡쳐 파일 경로 관리

서버 컴퓨터

Page 21: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

4. 프로젝트 스펙

- 소프트웨어 스펙

21/10

OS : Microsoft Windows 2008 32bit Server Edition Develop Language : JAVA(Java SE 6 Update 25), HTML5, Acition Script 3.0,XML Platform : Android 2.2 Standard Develop Kit Wowza Media Server2 Library : OpenCV 2.3, JW Player, Lightbox, JQuery Mobile, JDOM Parser DBMS : Oracle 11g Express Edition Tools : Eclipse 3.6.2 IDE for Java EE Developers, EditPlus 3, Adobe DreamWeaverCS5, Photoshop CS5, Flash CS5

Page 22: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

22/10

Page 23: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

- wowza

23/10

23/10

• 다양핚 모바일 기기 또는 단말에서의 유연핚 동영상 스트리밍 서비스 제공

을 위해 Wowza Media Server를 구축하여 다양핚 프로토콜 형태의 스트

리밍을 제공함.

Page 24: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

- OPENCV

24/10

OpenCV(Open Source Computer Vision)란? • 영상처리, 기계학습 및 컴퓨터 비젂 기능을 갖는 소스가 공개된 라이브러리 OpenCV 라이브러리 구조 (5개의 라이브러리로 이루어짐)

CvAUX

보조함수

ML

기계학습

CV

영상처리 및

컴퓨터 비젂

HIGHGUI

영상 및 비디오 입출

CXCORE

기본 자료 구조

• CXCORE:기본 자료 구조와 행렧 연산 등의

함수 제공

• CV: 영상처리, 패턴인식 등의 함수 제공

• CCAUX: 보조 라이브러리 함수 제공

• HIGHGUI :영상을 불러오고, 저장하고 윈도

창에 표시해주는 사용자 인터페이스 제공

• ML: 기계학습 알고리즘 제공

Page 25: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

- HTML5

25/10

• HTML5는 W3C(World Wide Web Consortium)를 중심으로 개발되고

있는 차세대 HTML 표준으로 웹 응용(Web Application) 개발을 위핚 표

준 개발을 목표로 함

• 태그의 최적화가 가능하여 기존 플러그인으로 추가해서 사용하던 동영상,

오디오, 그래픽렌더링(Canvas)요소가 추가됨

• 웹 애플리케이션의 고도의 기능화를 위해 중요핚 기능으로 모바일 플랫폼

에 종속되지 않은 하이브리드 앱을 개발하기 위해 사용함

개발대안으로 HTML5의 형식을 지원하는 Jquery Mobile 자바스크립트

라이브러리를 사용하여 모바일 앱을 개발함

Page 26: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

- MOBILE

26/10

• jQuery Mobile(JQM)는 jQuery와 같은 오픈 소스 기반으로 iPhone, iPad,

Android, WebOS, BlackBerry 버젂 6(Torch, Playbook) 및 기타 등등의

모바일 디바이스에서 실행하는 웹 기반 애플리케이션에 직관적이고 일관된

사용자 경험을 제공하는 데 사용됨

• jQuery Mobile 은 편리핚 요소가 맋이 추가 되어 있음. 그 중에서 HTML5

와 CSS3를 조합하는 기능은 HTML5의 data-*속성을 사용하여 다양핚

GUI를 갂단하게 생성핛 수 있게 함

Page 27: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

5. 주요 기술

- MOBILE

27/10

• CSS3기능을 홗용하는 것으로 이미지 사용을 줄여, 모바일 기기에 보내지

는 파일 크기를 줄여줌. 이동통싞 회선이 빨라지고 있지맊, 모바일 젂용으

로 가능핚 파일 크기를 제핚핚다면 사용자의 사용감을 크게 항상 시킬 수

있음

• JQM은 HTML5 data-* 속성을 사용하도록 준비함. div 태그와 data-role

속성이 맋은 부분 사용됨. HTML5에서 data-의 접두부가 있는 어느 속성이

나 근본적으로 유효성 검증하는 구문 분석기가 이를 무시하며, 애플리케이

션은 이러핚 속성을 뜻대로 자유롭게 해석함. JQM은 핵심 기능과 함께 연

결하기 위해 특히 data-role 속성에 의존함

Page 28: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

6. 프로젝트 아키텍처

- 전체 시스템 구성도

28/10

영상처리 프로그램 Wowza Media Server

Oracle DBMS Server

웹서버

서버 컴퓨터

HD급 웹 캠

Adobe Flash

Encoder System

영상 소프트웨어 인코딩

웹 캠 영상 RTSP 원격 젂송

캡처 영상 파일 경로, 파일명 데이터베이스에 입력

RTSP, RTMP 스트림영상 정보 교홖 사용자별 데이터베이스 정보 교홖

영상 입력

영상 처리 침입자감시, 거주자보호

JDOM Parser

XML

모바일 앱 HTML5 + JQuery

Mobile

웹 서비스

Google Map API

JW Player Library Lightbox Library

영상 출력

Page 29: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

6. 프로젝트 아키텍처

- 흐름도

29/10

HD CAM

WOWZA

Server

Opencv

영상

감지

DB

페이지 /

모바일

페이지

클라이언트

디지털 영상

스트리밍 데이터

동작 감지 사짂

동작 감지 영상

영상 정보 획득 /동작 감지 사짂 획득

Page 30: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- WOWZA 서버

30/10

Page 31: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- WOWZA 서버

31/10

프로젝트에 사용핚 프로토콜

• RTSP : 원격지의 카메라 영상을 영상처리프로그램(MFC+ OpenCV 라

이브러리 제작)에 입력을 스트림 형태로 서버에서 받아오기 위해

RTSP 형식의 주소로 입력을 받음

• RTMP: 웹 서비스나 안드로이드 폰의 경우 RTMP 형식의 프로토콜을

사용하여 영상을 가져왔으며 관리자 모드의 9붂핛 화면의 플래쉬 플

레이어를 제작하였고 안드로이드 폰에서의 JW Player를 사용하여 모

바일에서의 동영상 스트리밍 구현

• HLS(Http Live Streaming) : 아이폰의 경우 http 프로토콜을 이용핚

RTSP접속을 이용하여 iOS의 자체 플레이어를 통해 동영상을 확인핛

수 있도록 모바일 앱 서비스를 이용하여 구현

Page 32: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- WOWZA 서버

32/10

스트리밍 지연의 최소화를 위한 연구

<Property>

<Name>chunkDurationTarget</Name>

<Value>10000</Value>

<Type>Integer</Type>

</Property>

<Property>

<Name>maxChunkCount</Name>

<Value>10</Value>

<Type>Integer</Type>

</Property>

<Property>

<Name>playlistChunkCount</Name>

<Value>3</Value>

<Type>Integer</Type>

</Property>

<Property>

<Name>repeaterChunkCount</Name>

<Value>3</Value>

<Type>Integer</Type>

</Property>

Page 33: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- OpenCV 영상 감지

33/10

개발 홖경 구축

• Visual Studio 2010에서 OpenCV 2.3 버젂으로 작업 수행

① OS Platorm에 맞는 OpenCV 라이브러리 설치

② Visual Studio 개발 홖경에서 컴파일러가 헤더 및 라이브러리 파일을

찾을 수 있도록 디렉터리 추가

③ 20여개 라이브러리 파일들을 프로젝트에 Linking.

Page 34: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- OpenCV 영상 감지

34/10

•cvCaptureFrom

File()

•RGB 3찿널의 컬

러 영상 획득

실시갂 영상 정보

•DibGrayscale()

•프로그램 단순화

그레이스케일 영상

으로 변홖 •DibDif()

•2개의 그레이스

케일 영상으로 차

영상 획득

차영상 획득

•DibBinarization

()

이짂화 수행

•DibMorpholog

yErosion()

•DibMorpholog

yDilation()

잡음 제거

최종적으로 나온 영상에서 이젂 영상과 다른 픽셀의 개수를 세서 그 값이

기준값 이상일 경우 영상에 변화가 생겼다고 판단하게 됨

동작 흐름도

Page 35: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- OpenCV 영상 감지

35/10

동작 흐름도

침입자 발생 상황 시

① 현재 컬러 영상 화면을 캡처

② 캡처핚 영상을 DB에 Insert

③ 프로그램 화면에 붉은색 경고 표시 출력

④ 알람 싞호음 발생

⑤ 등록 젂화번호로 현재 상황 문자 젂송 서비스 수행

의 일련의 과정을 통해 사용자에게 현 상황을 알리게 됨

Page 36: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- OpenCV 영상 감지

36/10

Trouble Shooting

• 기존의 영상 감지의 경우 캠영상이나 저장된 AVI 파일을 이용하여 영

상을 붂석하는 경우가 대부붂이었으나 U-City 프로젝트에서는

Wowza 서버로부터의 출력물인 rtsp주소로 접근하여 영상을 받아와야

하는 문제가 있었음

• Opencv_ffmpeg.dll파일을 추가 등록하여 cvCaptureFromFile()에서

rtsp주소로의 접근을 가능하게 함

Page 37: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

37/10

37/10

Oracle 11g를 이용핚 데이터베이스 생성

웹 서비스

JSP

모바일 앱

JQuery Mobile

영상처리 프로그램

(MFC + OpenCV)

회원가입, 거주자 정보수정, 침입영상 기록, 카메라 주소, 설치위치 연동

Oracle 11g Enterprise

Edition

7. 기술 세부 사항

- DB 연동

Page 38: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- 웹페이지

38/10

Oracle 11g

DBMS

웹 서비스 페이지

JDBC & JSP

Page 39: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

7. 기술 세부 사항

- 모바일 페이지

39/10

Oracle 11g

DBMS

웹 서비스 페이지

JDBC & JSP +

JQueryMobile

• HTML5 형식을 지원하는 JQueryMobile 라이브러리를 통핚 모바일 웹

개발

• 플랫폼에 종속되지 않는 웹 서비스로 인터넷에 접속핛 수 있는 모바일 기

기에 HTML5 브라우저 스펙을 지원핚다면 모두 지원

Page 40: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

8. 프로젝트 진행 과정

- 프로젝트 진행 흐름

40/10

6월 7월 8월 9월 10월 11월

프로젝트 구상

Marge & Debuggi

ng

프로젝트 계획서 제출

요구 사항 분석

관련 기술 공부

중간 보고서 제출

스트리밍 서버 구축

웹서버 구축

영상 처리 수행

DB 구축

웹 페이지 디자인

모바일 페이지 구축

Page 41: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 프로젝트 실행 순서

41/10

• 완성된 프로젝트에서 각 모듈의 실행 순서

Wowza Server 구동

Adobe Flash

Media Encoder 구동

Eclipse + Tomcat 웹 서버 구동

영상처리 프로그램 구동

웹 서비스 이용

모바일 웹 서비스 이용

영상처리 프로그램 사용자 등록 후 웹 서비스 이용

1. 2. 3.

4. 5. 6.

6.

Page 42: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- WOWZA 서버 작동 모습

42/10

Page 43: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- OpenCV 영상 분석 프로그램 작동 모습

43/10

영상 분석 프로그램 젂체 화면 구성 모습

Page 44: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- OpenCV 영상 분석 프로그램 작동 모습

44/10

영상출력부

총 3개의 영상 출력부가 구성되어 있음

상단의 카메라 입력 소스 부분에서는 CCTV 영상(rtsp주

소에 해당되는 영상)이 출력되며 이후 실시갂으로 영상의

차영상을 나타내는 두번째 출력부와 차영상에서 변경된

픽셀을 감지하는 세 번째 출력부로 이루어져 있음

Page 45: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- OpenCV 영상 분석 프로그램 작동 모습

45/10

설정부

Rtsp주소를 등록핛 수 있는 영상 등록부분과 거주자 감시 또는 거주자 보호의 모드 설

정부, 사용자 아이디를 설정하는 부분과 사짂 저장 폴더를 지정하는 부분을 설정핛 수

있음. 이후 감시 시작 버튺으로 감시를 시작하며 이때 움직임이 있는지 여부에 따라 오

른쪽 상단에 움직임 없음과 있음이 바뀌어서 출력됨.

거주자 감시 모드에서 움직임이 감지되면 경보음이 울리고 사짂이 저장됨

Page 46: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- DB 구축 모습

46/10

• MEMBER ( 회원 관리 테이블 )

Page 47: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- DB 구축 모습

47/10

• MEMBER 테이블 데이터 값

Page 48: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- DB 구축 모습

48/10

• IMAGE 테이블 ( 회원별 영상캡쳐 파일 경로 저장)

Page 49: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- DB 구축 모습

49/10

• IMAGE 테이블 데이터 값

Page 50: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지

50/10

#장면1 시작 페이지 -> 로그인 화면

아이디/패스워드 방식의 로그인 제공

회원 가입 기능 제공

일반 회원과 관리자의 두가지 경우에

따라 다른 서비스를 제공

Page 51: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

51/10

#장면2 일반 회원으로 로그인 후 정보 제공 페이지 젂체 구성

Page 52: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

52/10

실시갂 감시 영상 스트리밍 화면

Wowza 서버에서 스트리밍 된 영상을 출력해주는 부분

구글맵을 통핚 CCTV

위치 정보 출력

#장면2 로그인 후 정보 제공 페이지 상세 설명

Page 53: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

53/10

웹 페이지 하단의 메뉴를 통해 거주자 정보 수

정, 캡처영상 확인, 서비스 종료 등의 서비스를

이용핛 수 있음

#장면2 로그인 후 정보 제공 페이지 상세 설명

Page 54: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

54/10

#장면3 정보 수정 페이지

로그인핚 사용자의 정보 수정이 가능함

가입시 입력핚 이름, 아이디, 비밀번호,

이메일 등의 정보가 데이터 베이스에서

관리됨.

Page 55: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_관리자 모드

55/10

#장면4 관리자 모드 로그인 후 정보 제공 페이지 젂체 구성

Page 56: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지

56/10

#장면4 로그인 후 정보 제공 페이지 상세 설명

액션 스크립트를 홗용핚

화면 분핛 기법을 이용하

여 총 9개의 영상이 각각

재생되며 관리자 모드에서

젂체 CCTV의 화면을 모두

관리하는 것이 가능

Page 57: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지

57/10

#장면4 로그인 후 정보 제공 페이지 상세 설명

현재 감시중인 CCTV의 위치를 지도상에 모두 표시 각각의 CCTV에 빨갂색 원으로 영역을 표시하여 현재 감시중인 영역을 나타내고 있고 겹치는 부분은 좀더 붉게 표시되어 현재 CCTV가 집중 설치된 지역이 어딘지 쉽게 확인 가능 화면 하단에 위치핚 메뉴에서는 현재 서비스에 가입핚 가입자 조회와 감시영상 확인, 서비스 종료 등의 서비스가 제공됨

Page 58: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

58/10

#장면5 거주자 조회 페이지

현재 웹 페이지에 가입핚 사용자의 정보를 확인핛 수 있는 페이지 제공

Page 59: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 웹 페이지_사용자 모드

59/10

#장면6 캡처영상 확인 페이지

영상 감지 프로그램에서 움직임이 감지되었을 때의 영상 정보를 jpg형태

의 사짂으로 저장하고 이를 DB 에서 가져와서 정보를 보여줌. 이때 저장

소 아이디와 사짂정보의 썸네일, 사짂 저장 시갂 등을 리스트로 제공. 썸

네일을 클릭하면 큰 화면으로 사짂 출력.

Page 60: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 모바일 페이지

60/10

#장면1 시작 페이지 -> 로그인 화면

화면 상단 4개의 탭으로 구성 ① Information ② Surveillance ③ Map ④ History

각각 로그인핚 회원 정보, 실시갂 감시 영상, CCTV 위치 정보, 저장된 감시 사짂 등을 보여주는 역핛을 함

Page 61: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 모바일 페이지

61/10

문자 메시지 수싞

침입자 감시 프로그램에서 움직임이 감시되면

해당 CCTV 등록자의 휴대폰 번호로 문제 메시

지 젂송

[침입자 발생]

모바일 앱

(http;//bit.ly/umMYom)으로

확인하세요!

해당 문자 메시지에 적힌 모바일 앱 주소로 바로

접근하여 실시갂으로 영상 확인이 가능

Page 62: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 모바일 페이지

62/10

#장면2 Information Tab – 접속자 확인 #장면3 – Surveillance tab – 영상 출력

Page 63: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

9. 결과물

- 모바일 페이지

63/10

#장면4 Map – CCTV 현재 위치 정보 #장면5 – History tab – 저장된 감시 사짂

Page 64: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

CONCLUSION

Page 65: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

10. 결론

- 프로젝트 수행을 마치며…

65/10

프로젝트 수행 결과

캠 영상을 받아서 영상을 분석하고 필요핚 데이터를 생성 후 저장, 다수의

클라이언트에 제공하는 일렦의 과정이 하나의 프로세스로 짂행됨

미비점 및 향후 연구 과제

현재 영상 감시의 경우 차영상에 의핚 침입자 감시를 이루고 있는데 이는

완벽핚 솔루션이라 볼 수는 없고 카메라의 위치 변화나 단순핚 조명의 변화

에 의해서도 차영상의 변화가 생기는 문제를 가짐

또핚 노이즈의 영향에 민감하기 때문에 프로그램 코드 내에서 이러핚 문제

를 보완하기 위하여 임계값을 설정하고 그 이하의 픽셀 수 변화에는 반응하

지 않도록 하는 방법으로 짂행함

Page 66: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

10. 결론

- 프로젝트 수행을 마치며…

66/10

이는 완벽핚 솔루션이라고 볼 수 없으나 아직까지 이에 대핚 해결챀이 나와

있지 않아 조명 변화, 카메라 흔들림 등이 발생했을 때 이를 인식하여 예외

로 처리하는 알고리즘의 개발이 필요핛 것으로 생각됨

또핚 얼굴 인식 기능 등의 추가 알고리즘을 적용하여 거주자의 싞원을 파악

하는 방식으로 프로젝트를 발젂시키는 것도 향후 연구 가능핚 분야로 생각

Page 67: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

11. 소감

- 졸업작품, 졸업

67/10

지금까지 대학에서 수학하며 알게 된 여러 컴퓨터 관렦 지식을 홗용하여 하나

의 완성된 형태의 프로그램을 맊들어보고자 하는 취지에서 이번 졸업 작품에

당당하게 뛰어들었지맊 생소핚 분야에 접근하는 과정이 맋았고 각각의 영역에

대핚 공부를 독학으로 해야 하는 것이 힘들고 답답하게 느껴졌습니다.

그렇지맊 꾸준히 찾아보고 여러 사람의 조언을 듣고 직접 테스트해보고 확인해

보는 과정 끝에 이렇게 작은 결과 나마 제시하게 될 수 있게 되었습니다.

프로젝트를 마무리하는 순갂이 오니 뿌듯함과 성취감이 밀려오는 듯 합니다.

이번 프로젝트는 졸업 후 더 큰 사회로 나아가는 학생들에게 핚걸음씩 나아가

는 경험을 갖게 하면서 성취감과 자싞감을 실어주는 마지막 수업이 되었다고

생각합니다.

함께핚 팀원들에 고마운 마음과 함께 해냈다는 축하를 나누고 싶습니다.

Page 68: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

12. 참고 문헌

- 도서

68/10

• OpenCV programming 김동근/가메출판사

• 영상 처리 프로그래밍 by visual c++ 황선규/핚빛미디어

• JQuery Mobile 존라이드 지음 핚선용 옮김 / 핚빛미디어

• 시작하세요 모바일 웹 개발, 박종명 지음 / 위키북스

• ORACLE JDBC & JSP Programing 이건영, 젂철 / 네오솔루션

• Oracle 10g 초보자 길라잡이 권순용 / 정보문화사

• 최범균의 Ajax Programing 기초부터 중급까지 / 가메출판사

• 홈페이지 제작기술 HTML & CSS 김재호 박시준 공저 / 북스홀릭

Page 69: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

12. 참고 문헌

- 사이트

69/10

• 젂자 정보 센터 http://www.eic.re.kr – CCTV 시장 동향 및 젂망

• http://www.opencv.co.kr/ - [대핚민국 최고의 영상 처리 커뮤니티]

• http://cafe.naver.com/wowzamedia - 와우자 미디어 서버 커뮤니티

Page 70: 종합설계 U-CITY 거주자 보호 - dslab.konkuk.ac.krdslab.konkuk.ac.kr/Class/2011/11CD2/T1/졸업작품_최종... · 에 종속되지 않은 하이브리드 앱을 개발하기

감사합니다!