node.js를 활용한 웹 크롤링(crawling)

17

Upload: joenggyu-len-kim

Post on 23-Jan-2018

323 views

Category:

Data & Analytics


1 download

TRANSCRIPT

1. 대출상담가와대출고객이라는두개의 Router를나눠어개발진행

2. Model 폴더안에작성한데이터구조와동일한클래스작성

Promise-mysql?Node-schedule?

Winston?Cheerio?

Cheeerio-tableparser?

Request-promise?

무엇을? 어떻게? 왜?

하드코딩크롤링을해야만하는걸까요?

분석해봅시다!POSTMAN MAN, CHROME 개발자도구

그러나...!!전체데이터크롤링하는데걸린시간

8시간

효과적인크롤러를만들어보자!

Node.js는싱글스레드기반이니까…

여러프로세스를생성해서 Clustering하면어떻까?

RDS접근을최소화할수있는방법을모색해보자

이왕이면 AWS Lambda를활용해서버리스하게만들어보면어떻까?

1. Node.js의클러스터링활용 2. 하나의 Promise를 병렬로 실행

2시간!!!

1. 이벤트처리방식의컴퓨팅서비스 AWS Lambda 구축

2. 조금더좋은하드웨어구축