파알못의 파이썬 크롤러 이해하기
TRANSCRIPT
보통의 세미나 발표들
소개 구현과정 성공
이런 드라마 없습니다.
1
파알못
겜알못
축알못
정알못
농알못
야알못
영알못
애알못
군알못
차알못
포알못
컴알못
세상에 많은 알못이 있다지만...
2
저에게 코딩이란
코딩 첫경험:
대학교 1학년 때 들었던 기초필수 강의 ‘C프로그래밍’
C
3
그동안 저는요!
4
코세라
그동안 저는요!
edX
점프 투 파이썬
장고걸스 튜토리얼
https://wikidocs.net/book/1
https://tutorial.djangogirls.org/ko/
자료쌓아놓기
각종 세미나, 컨퍼런스들
5
코세라
그동안 저는요!
edX
점프 투 파이썬
장고걸스 튜토리얼
https://wikidocs.net/book/1
https://tutorial.djangogirls.org/ko/
자료쌓아놓기
각종 세미나, 컨퍼런스들
뭐가 되긴 되는건지알 수 없음
6
결정적인 동기
서비스 기획자가 되고 싶어요.
제가 할 수 있는 건 기획까지였어요.
직접 만들어보려고 파이썬을 독학했지만 어려웠어요.
크롤링올해가 가기 전에 구현하겠다고 다짐한 프로젝트, 꼭 필요했던
7
우연
이렇게 또 전 지르게 됩니다.
8
6주 동안 파이썬으로 크롤러를 만들 수 있을까?
이게 정말 될까?
9
교재 선정, 파이썬 수준 파악
이런 것들을 배웠어요.
6주 간의 스터디
1주차
파이썬 기초 1 : 컴퓨터 구조론, 변수, 리스트,튜플, 딕셔너리
파이썬 기초 2 : 반복문, 함수, 클래스
html 구조, 깃과 깃허브 학습
-
네이버 뉴스 검색결과, 쿠팡 카테고리 크롤링 실습
2주차
3주차
4주차
5주차
6주차
10
저기.. 저.. 잘 모르겠어요.
6주 간의 스터디
11
네이버 API로 뉴스 검색 결과 크롤링하기
1) 뉴스제목2) 기사 링크주소3) 미리보기 내용
12
전체 코드: https://goo.gl/yuwwf4
네이버 API로 뉴스 검색 결과 크롤링하기
실행결과13
쿠팡 카테고리 크롤링하기
14
쿠팡 카테고리 크롤링하기
전체 코드: https://goo.gl/AZiAgH 실행결과15
제가 짠 코드(였으면 좋겠지만) 아니에요.
오해금지
navernews.py coupang.py
지금도 왜 하필이면 os, sys, lxml을 import 해야 하는지,
그런 아이디어는 도대체 어디서 나오는건지,
어떨 땐 이런 방식을 쓰고 어떨 땐 저런 방식을 쓰는지,
잘 모르겠습니다.
16
이 쯤온 것 같아요
- 만들어진 코드를 대략적으로 읽을 줄 안다.- 구글링으로 내가 필요로 하는 코드를 짜집기할 수 있다.
파이썬마스터
아마도 전,
17
발표 초반에 얘기했던 크롤링
유튜브 영상정보를 크롤링하자!
https://www.youtube.com/user/yootruebeutyroom/videos
영상제목, 영상주소, 썸네일주소, 재생시간, 조회수, 업로드 날짜
사이트 주소
사이트 구조
크롤링 항목
18
유튜브 영상정보를 크롤링하자!
전체 코드: https://goo.gl/GOmFwU 실행결과
19
영상제목 영상주소 썸네일주소 재생시간 조회수 업로드 날짜
유튜브 영상정보를 크롤링하자!
엑셀에 옮기기
20
이 크롤링 결과를 어디다 써먹는지궁금해하실 분들을 위해
보너스!
21
뷰투(가제)
크롤링으로 완성한 프로젝트
유튜버가 이용한 제품을 쉽게찾을 수 있도록 돕는 검색서비스
개발기간: 3주
http://imyeonn.dothome.co.kr
22
html, css, python
php, JavaScript, mySQL
+
thanks to 파이썬 기초
크롤링으로 완성한 프로젝트
이면 될 줄 알았습니다만
23
6주는 짧았어요.
30개밖에 크롤링하지 못하게 했던 범인
얘가 제 때 알아서 크롤링하고자동으로 업데이트해줄 순 없을까?
파이썬이 추가로드를알아서 눌러줬으면 좋겠다
실시간으로 변하는 값을 추가하고 싶어요ex) 조회수, 좋아요 수
24
파이썬마스터
앞으로의 계획
도전!
현재
장고걸스 파이썬 스터디를 통해 얻은 것, 자신감
욕 심
성취감
25
감사합니다😋