프로젝트 기획서 발표 - 웹크롤링 (한양대 오픈소스동아리)

오소리 프로젝트 발표웹크롤링 프로젝트 – 오픈소스동아리2016.05.03정조형

Contents

- 팀원 소개- WHY 웹크롤링 ?

- 웹크롤링 아이디어- How to 웹크롤링- 앞으로의 일정

팀원 소개 웹크롤링 프로젝트

< 멘토 >정용은 06 컴퓨터전공조희원 11 컴퓨터 전공고건주 11 컴퓨터전공김선우 11 컴퓨터전공

< 팀장 >정조형 15 소프트웨어전공

< 팀원 >김민섭 12 컴퓨터전공 윤영진 13 컴퓨터전공

김규민 15 정보시스템 전공 박선하 15 소프트웨어전공

박준한 15 컴퓨터전공 원준호 16 컴퓨터전공

웹크롤링 프로젝트

웹 크롤링 ( web crawling ) 이란 ?

- 조직적 , 자동화된 방법으로 월드 와이드 웹을 탐색- 여러 사이트에서 데이터의 최신 상태 유지를 위해 웹 크롤링을 이용

WHY 웹크롤링 ?

WHY 웹크롤링 ?웹크롤링 프로젝트

- 현대 사회는 정보 경쟁이 일상화 됨- 많은 정보의 양만큼 양질의 자료를 찾기 어려움- 정보를 찾는데 많은 시간 소요

원하는 정보를 자동적으로 수집해주는 웹 크롤러 사용 !

WHY 웹크롤링 ?웹크롤링 프로젝트

- 웹 크롤링이 사용된 예시 : 네이버 웹툰 알림

웹크롤링 아이디어 웹크롤링 프로젝트

1. 취업 사이트 - 고건주2. 옷 세일 정보 / 고속버스 예약 가능한 표 알림 – 김규민3. 포탈에서 각 과목마다 자료 업데이트 여부 / 강의실 대여 – 김민섭4. 도서관 자리 - 김선우5. 식단표 – 박선하6. 위한 포인트 ( 게시글 조회 ) – 박준한7. 축구경기 예정 / 결과 - 박준형8. 네이버 실시간 검색어 - 안홍일9. 환율 / 스팀게임할인 – 원준호10.네이버 웹툰 알림 - 윤영진11.cs.hanyang.ac.kr 공지 – 정용은12.공모전 공지 알림 – 정조형

How to 웹크롤링 웹크롤링 프로젝트

How to 웹크롤링 웹크롤링 프로젝트

How to 웹크롤링 웹크롤링 프로젝트

How to 웹크롤링 웹크롤링 프로젝트

How to 웹크롤링 웹크롤링 프로젝트

How to 웹크롤링 웹크롤링 프로젝트

Python, Scrapy

How to 웹크롤링 웹크롤링 프로젝트

한양대학교 컴퓨터전공 공지사항 크롤링

How to 웹크롤링 웹크롤링 프로젝트

네이버 실시간 검색어 크롤링

How to 웹크롤링 웹크롤링 프로젝트

Service Architecture

App ServerRest API

Crawling Server

Push ServerAPNs(Apple Push Notification ser-

vice)GCM(Google Cloud Message)

Req

Res

Push

Notify

Android

iOS

App Server

How to 웹크롤링 웹크롤링 프로젝트

CS 공지사항 CGV 빈자리 Steam 할인

환율 알림

App

How to 웹크롤링 웹크롤링 프로젝트

App Server

- 가입- 로그인- 크롤링 알람 등록- 크롤링 알람 해제

How to 웹크롤링 웹크롤링 프로젝트

Crawling Server

- 크롤링 스크립트 실행- 스케쥴- Push 요청

How to 웹크롤링 웹크롤링 프로젝트

Push Server

- APNsApple Push Notification service

- GCMGoogle Cloud Message

앞으로의 일정 웹크롤링 프로젝트

To be continued

서울특별시 성동구 왕십리로 222 Tel. 82-2-2220-0000