빅데이터와 농식품 유통 · • 다양한 기회와 현실적 한계 이해 구체적...

© 2015 RE::VISION

전 용 준 대표/컨설턴트. 경영학박사

리비젼아카데미 | 리비젼컨설팅 http://www.revisioncon.co.kr

빅데이터와 농식품 유통

2015 12 22

http://www.revisioncon.co.kr/

© 2015 RE::VISION

Agenda

1

빅데이터와

비즈니스 변화

농식품유통에서의 데이터

활용 기회

농식품 유통의 데이터 활용 고도화 과제

© 2015 RE::VISION

전용준 - 자기 소개

2

현) 리비젼컨설팅 대표 빅데이터 전략수립, 예측분석 분야 전문컨설턴트 현) 빅데이터전문가협의회 부의장 현) 경희대학교 경영대학원 빅 데이터 전공 책임교수(겸임) 아주대학교 경영학박사(인공지능응용 전공) University of Washington 방문연구원 농정원, 국회사무처, 건강보험심사평가원

등 공공기관 컨설팅 수행 경기도, 충남도 등 지자체 빅데이터 강의 경기도, 농식품부, 행자부, 정보화진흥원 등

공공기관 빅데이터 사업 자문 유통, 이동통신, 제조, 금융, 서비스 등 민간기업

데이터분석 컨설팅 수행

전용준. 리비젼컨설팅 대표 [email protected]

02.415.7650 revisioncon.co.kr

010.3095.1451

AREA

아무것도 기억하시지 말고, 필요하실 때 포탈 다음에서 검색창에

[ 전용준 빅데이터 ] 라고 쳐보세요

mailto:[email protected]

http://book.nate.com/detail.html?sbid=4537420

© 2015 RE::VISION 3

DEFINITION OF BIG DATA

V

V

V

small?

BIG?

V Size Matters . . ?


빅 데이터, 핵심요소와 작동원리

디지털 데이터 증가 & 처리속도 향상

즉시 수집 / 분석

비정형 데이터 활용

Mash Up

예측

맞춤형 제안

이상탐지

최적화

<데이터 확보/준비> <분석/모델링>


빅데이터? 무엇이 가치 큰 정보인가?

• 이미 알고 있는 것을 수치화한 것 합의 도출에 유용 [객관화 ]

• 생각해보지 않았던 사실 (생각해보면 알 수 있었던 것)

• 궁금해도 알 수 없었던 사실 (예: 내일의 날씨)

새로운 의사결정을 가능하게 하는 정보 가치

숫자가 아니더라도 이미 알고 있는 정보라면? (누구나 같은 생각인)

안다고 생각했으나 구체적으로는 몰랐던 사실이라면?

1

2

3

Q


빅데이터? … <빅> 가치?

• 서울 지하철 승객이 가장 많은 역은 … 강남역

• 버스와 지하철 가장 많이 몰리는 시간은 … 오전 8시 10~19분

• 가장 이용객이 많은 요일은 … 금요일

새로운 의사결정을 가능하게 하는 정보? 가치?

2015년 4월 … 서울 교통 빅데이터 분석 결과中

© 2015 RE::VISION

빅데이터와 비즈니스 변화의 4가지 유형

7

데이터 자체를

자산으로 활용

내부효율과 운영 개선

시장과 고객에 대한

이해

고객경험 향상과

새로운 상품/서비스

1 2

3 4

http://www.forbes.com/sites/bernardmarr/2015/09/08/4-ways-big-data-will-change-every-business/2/

















농식품 유통 채널과 빅데이터

생산자 도매 유통 소매 유통 소비자

데이터 입력의 정확도, 충실도 부족

각 단계에서 생성되는 데이터가 종합되지 못함

표준적인 (동일) 분류체계를 따르지 않음

데이터에 대한 가공과 분석 부족

DATA 이슈

시장 전체를

한눈에

파악하기

어려움


푸드지니어스

메뉴와 식재료 데이터를 추적하고 분석해 공유하는 플랫폼


푸드지니어스

LA가 나폴리 피짜 열풍이라면 Kraft 는 “brick-oven” 파이 상품을 집중 마케팅!

Insight


푸드지니어스

대형 식품업체의 상품개발을 위해 식품 소비 패턴의 변화를 취합해서 분석한 결과 제공

시도 수집한 데이터의 결과가 예상했던 것과 달랐음

전국의 메뉴 데이터를 1년치 이상 수집해도 식품과 식사에 대한 별다른 유용한 추세가

나타나지 않음 (뭉뚱그려진 데이터에서는 패턴이 나타나지 않음)

업계의 상식과도 일치하지 않는 경우 많음 (예: 새로운 음식 개념은 동서해변지역에서

출발한다)

- 상품개발에 촛점을 둔 서비스였으나 판매와 마케팅 적용에 더 적합

- 주(State)별 차이, 시장별 차이, 요리별 차이를 비교하면서 세부적인 인사이트 도출

가능

정보 제공 대상 고객 : Kraft(식품회사), Safeway(수퍼마켓), Arby(레스토랑 체인)


Normalize – Organize - Classify

Normalize - 재료를 그룹화하고 재료별 패턴을 파악 Organize - 공통점을 기반으로 구조 생성 Classify - 계층적인 분류체계 정리

http://smartblogs.com/food-and-beverage/2015/07/29/solving-the-messiness-of-food-data/

















푸드지니어스

한 도시에서 라오스 레스토랑 개점 급증 해당 도시는 이미 포화일 수 있음 사회경제적 구성이 유사하거나 식사 패턴이 유사한 다른 도시가 라오스 레스토랑 잠재 수요가 높은 지역

Pattern

푸드지니어스 DB U.S. Census

Data 소셜미디어 Data +

1 Billion “Food Concept” (Meta-Dish Data)

Buzz가 증가하는 것과 실제 식료품 소비간에 어떤 관계?

© 2015 RE::VISION

John Deere – Revolutionizing Farming

14

2012 자사 장비와 소유자, 조작자, 딜러, 농업컨설턴트들을 연결하는

제품들 출시 -- 생산성과 효율성 향상

장비에 센서장착 - 장비관리지원, 트랙터 다운타임 감소, 연료절감

Mashup - 기상예측, 토양 상태, 곡물 특성 등등에 대한 장기간 역사적

데이터와 실시간 데이터와 장비가 생성하는 데이터 결합

(MyJohnDeere.com 플랫폼과 모바일로 제공)

어느 작물을 언제 어디에 심고 언제 어디를 갈아야할지, 쟁기질하는

경로 결정까지 - 경작혁신통한 수익극대화

오픈소스 R을 핵심 분석도구로 사용

https://datafloq.com/read/john-deere-revolutionizing-farming-big-data/511

https://www.youtube.com/watch?v=t08nOEkrX-I















© 2015 RE::VISION

John Deere – 작황 예측

15

http://www.slideshare.net/RevolutionAnalytics/order-fulfillment-forecasting-at-john-deere-how-r-facilitates-creativity-and-flexibility
























© 2015 RE::VISION

작황예측 – 핵심 결정요인들

16


필요한 데이터가 존재하는가?

Volume

Quality

Relevance Variety

Timeliness

Data Checkpoints (GIGO & NINO 예방을 위한)

모든 면에서 만족스럽지는 않다면? 그래도 어느 정도는 원하는 수준에 근접한 분석결과를 얻을 수 있는가?

© 2015 RE::VISION

3대 추가적 데이터 Source

18

소셜미디어

이동통신

신용카드

개방 공공 데이터 + 거래 데이터 + Sensor 수집 데이터

© 2015 RE::VISION

B2B Vs. B2C, 민간 Vs. 공공의 빅 데이터

• 가용한 데이터? 공유되는 데이터?

• 소셜분석 활용가능성?

19

민간

B2C

공공

B2B

•양이 많은 고객 데이터 •항목이 적은 고객 데이터 •단순거래, 소액거래 반복 •개인이므로 평생이 관심

•조직이 변경됨 •조직과 개인과 관계가 복잡 •개인과 개인간 관계 복잡 •정치적 요인 고려 필요

•수익성과 매출 중요 •성장이 핵심적 과제 •경쟁사에 공개하기 어려운 대외비/경쟁무기로서의 데이터

•공유와 개방의 중요성 •정치적/개인권인 보호차원에서 보안 유지 필요한 데이터 존재 •경쟁이 데이터 공유의 이유는 아님


참고: 물류 산업 분야 빅데이터 현주소

• 물류 분야의 복잡한 업무 특성 - 빅데이터 활용의 필요성 높음. 그러나,

자료: http://www.cxotoday.com/story/why-are-logistics-firms-not-ready-for-big-data/

35% 65%

70% 30%

빅데이터나 BI 검토하지 않았음

가까운 미래에 도입계획 없음

<PwC 조사>

17% 일부 기능에 부분적으로

빅데이터 적용

<Accenture 조사(2014)>

http://www.cxotoday.com/story/why-are-logistics-firms-not-ready-for-big-data/


















물류 산업 분야 빅데이터 기대효과와 이슈

• 품질이 낮은 데이터, 데이터 포착 과정의 비효율과 업무부담?

– 데이터 포착 비용을 줄이는 것은 빅데이터의 출발점

자료: http://www.cxotoday.com/story/why-are-logistics-firms-not-ready-for-big-data/

데이터 품질 --------------------

수작업 중심의 데이터 입력,

자동입력 데이터의 수작업 재입력

Goal

Sensor

RFID

Visibility

Transparency

Issue Solutions

From Reactive to ‘Pro-active, Predictive,

Preventive’



















데이터 적절성 검토 Examples

구글의 독감 예측 11%의 감염을 예상했으나, 실제는 4.5~4.8% 수준 *

특히 Volume과 Quality(Bias) 측면의 데이터 이슈

* Kate Crawford , Untangling algorithmic illusions from reality in big data http://radar.oreilly.com/2013/03/untangling-algorithmic-illusions-from-reality-in-big-data.html

2012년 대선 여론 조사와 Social Media 분석

선거 후보자 재산상황 공개 정보 1~2년 이상의 시차

Timeliness 측면의 데이터 이슈

http://radar.oreilly.com/2013/03/untangl
















© 2015 RE::VISION

빅 데이터로 욕망을? -- 개방형 SNS의 대표성

[구글 트렌드] Twitter, Facebook 검색지수 기간 - 2006.11~2014.04

[국내 SNS 사용자 비율] 출처: 조선비즈, 2014.06.26,

http://biz.chosun.com/site/data/html_dir/2014/06/26/2014062600388.html

© 2015 RE::VISION

[2014.07.08 오후 3시 15분 현재 트위터 `고추` 검색 결과 일부] – 13건 중 9건은 전혀 관련성이 없는 noise

Noise Filtering 필요성(1/2) 허술한 분석 사례: 고추라는 농산물?

© 2015 RE::VISION

다이닝코드의 비정형 데이터 정제 사례

식도락가 교수의 맛집 추천 버전업

기존 맛집 검색

다이닝코드

파워 블로거 개입 광고 “포털 검색 못 믿는다”

과장허위 광고 블로그 제거, 진짜 맛집 순위 파악

분석처리

다수 서버컴퓨터에 수백개 프로그램 처리 – 업데이트시 마다 1주일 이상 텍스트 마이닝과 소셜 마이닝

5백만개 이상 블로그

60% 부적격 맛집 블로그 제외

다양한 검색 키워드 조합 가능 - 오빠랑, 데이트, 접대, 저렴한, 분위기, 여자들끼리, 소개팅 등 스마트폰·태블릿 사용시 주변 300m~1㎞반경 맛집 안내

2백만개 맛집 블로그

전국 20만 맛집 (업데이트시 1천개 맛집 자동추가)


비정형 데이터 분석 과정과 원리 Example

"주니엘, 청순한 발렌타인데이 인증샷 '분위기 있어~'티 브이데일리 연예 | 3분전 가수 주니엘이 청순한 발렌타인데이 인증샷을 공개했다. 주니엘은 14일 오후 자신의 트위터에 오늘은 2월14일 발렌타인데이에요. 그 래서 초콜릿을 준비했어요. 여러분도 오늘은 사랑하는 사람들에게 초콜릿으로 마음을 ... '티브이데일리'만 검색 | 관련뉴스검색닉쿤 발렌타인데이 인증샷, 진정한 사탕키스란 이런 것한국일보 연예 | 14분전 2PM의 닉쿤이 발렌타인데이 기념 사탕 뽀뽀 인증샷을 공개했다. 닉 쿤은 14일 오전 자신의 트위터에 “Happy Valentine's Day(행복한 발렌타인데이)”라는 글과 함께 사진 한 장을 게재했다. 공개된 사 진 속 닉쿤은 눈을 지그시 감고 ... '한국일보'만 검색 | 관련뉴스 검색 건국대-서울시, 발렌타인데이 무료공연뉴시스 사회 | 16분전 건국대학교 사범대학 음악교육과 학생들이 서울시 한강사업본부와 14일 오후 발렌타인데이를 맞아 한강 전망대에서 시민들을 위한 무 료 공연을 한다. 건국대 음악교육대 학생 9명 등 15명의 대학생은 서울 광진구 뚝섬유원지 부근의 ... '뉴시스'만 검색 | 관련뉴스검 색 발렌타인데이요? 볼런티어데이죠 교보, 초콜릿 대신 봉사활동세계 일보 경제 | 16분전 "

[1] 문장에서 단어 추출 [2] 불필요한 단어 제거 또는 대체 [3] 단어 사용 빈도 Count


Unstructured Data – 기회와 도전

UNSTRUCTURED (or Raw) Data

• Easy to collect

• Hard to process

Structured Data와 비교시, • Quality와 Relevance가

충분하다는 보장없음

• Structuring 과정에서 Distortion 개입 여지 큼


적용분야 : 수요 – 공급 - 가격에 대한 예측

• 경락가격(농정원)+통계청, 기상청, 상공회의소 소매유통가격 Mash Up (2014)

경락가격 예측 추이

가격 예측기간

경락가격에 대하여 4주간의 예측 시뮬레이션 결과 외부데이터가 반영된 통합 모델의 경우 평균 8%의 예측오차 발생, 경락가격으로만 예측한 모델보다 월등히 예측력이 높음

실제가격 예측가격 예측오차

경락가격 경락모델 통합모델 경락모델 통합모델

2014년 4월 1주 118,831 89,921 99,520 32% 19%

2014년 4월 2주 135,372 114,232 127,756 19% 6%

2014년 4월 3주 174,854 122,145 155,475 43% 12%

2014년 4월 4주 160,884 118,245 165,561 36% -3%

평균 147,485 111,136 137,078 33% 8%

• 예측오차 : (실제값 – 예측값)/예측값 • 경락모델 : 경락가격으로 생성할 수 있는 입력변수만을 적용한 모델 • 통합모델 : 기상데이터, 소매가격, 상공회의소가격, 통계청, 수출입실적 등 외부 데이터를 통합하여 개발한 모델

경락가격 예측 오차 검증


적용분야 : 유통 채널 직거래 매칭 플랫폼

• 생산자, 유통업자(중소유통법인/ 직거래장터/소매유통업자/…), 소비자 데이터들을 <연계> 분석 참여자들에게 적정 거래처 제안

© 2015 RE::VISION

[Wrap Up] 체계적인 기반과 준비 필요

• 빅 데이터 2015 현재의 모습: 여전히 다소 추상적

– 농식품 “유통”분야의 활용 저조 증가 불가피(중요성!)

• 다양한 기회와 현실적 한계 이해 구체적 장기 계획 & 검증!!!

• 데이터 수집과 정제, 통합을 통한 기반 마련이 우선적 과제 – 농식품 유통의 특수성 반영

• 데이터 <분석>에 대한 경험과 역량 확보

• 공공과 민간 각자의 필요 역할 존재

30

연계 Link

활용 Use

분석 Analyze

Link and Analyze to Use!


…

전 용 준 대표/컨설턴트 | 리비젼컨설팅 [email protected] 010.3095.1451 Keyword: 예측모델링 | 데이터 마이닝 | 빅 데이터 http://www.revisioncon.co.kr

contact:

Thank You!

mailto:[email protected]

http://www.revisioncon.co.kr/

빅데이터와 농식품 유통 · • 다양한 기회와 현실적 한계 이해 구체적...

Documents