[2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및...

36
빅데이터본부 김병곤 [email protected]

Upload: k-data

Post on 14-Apr-2017

228 views

Category:

Technology


4 download

TRANSCRIPT

Page 1: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

빅데이터본부김병곤[email protected]

Page 2: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 3: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 4: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 5: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 6: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 7: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

탐침차량정보(PVD) 설명

VIN 차량식별번호

utcTime 수집시각

longitude 경도

latitude 위도

elevation 고도

heading 방향

speed 속도

vehicleType 차종

Safety Extension

events

HazardLights 비상등

StopLineViolation 정지선위반

Emergency Response 긴급차량

HardBraking 급브레이크

LightsChanged 깜빡이변경

FlatTire 타이어압부족

DisabledVehicle 엔진정지

extevents

GetOnAndDown 승하차

Accident 사고

Trouble 이상

HardDeceleration 급감속

HardStop 급정지

HardTurn 급회전

UTurn 유턴

Page 8: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

27310015^A20160105141139^A20160105141137^AC3999RSU00552^A9220^A4^A127.259445^A36.512460^A98.900000^A193.200000^A26^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A27.000000^A1^A0^A8.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141141^A20160105141139^AC3999RSU00552^A9220^A4^A127.259426^A36.512345^A98.900000^A193.950000^A30^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A32.000000^A1^A0^A4.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141142^A20160105141140^AC3999RSU00552^A9220^A4^A127.259406^A36.512230^A96.100000^A194.250000^A36^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A34.000000^A1^A0^A3.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141143^A20160105141141^AC3999RSU00552^A9220^A4^A127.259388^A36.512155^A94.200000^A194.562500^A40^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A12.000000^A1^A0^A4.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141145^A20160105141143^AC3999RSU00552^A9220^A4^A127.259353^A36.511984^A90.200000^A194.862500^A54^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A36.000000^A1^A0^A10.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141146^A20160105141144^AC3999RSU00552^A9220^A4^A127.259323^A36.511865^A89.300000^A194.862500^A49^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A20.000000^A1^A0^A0.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141147^A20160105141145^AC3999RSU00552^A9220^A4^A127.259276^A36.511652^A89.900000^A195.400000^A56^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A1.000000^A1^A0^A2.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141148^A20160105141146^AC3999RSU00552^A9220^A4^A127.259264^A36.511568^A90.500000^A194.700000^A56^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A9.000000^A1^A0^A0.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141149^A20160105141147^AC3999RSU00552^A9220^A4^A127.259226^A36.511374^A91.600000^A194.737500^A56^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A15.000000^A1^A0^A0.000000^ACITSOBE-0006^A^A^A^A^A

27310015^A20160105141150^A20160105141148^AC3999RSU00552^A9220^A4^A127.259188^A36.511236^A91.900000^A195.437500^A56^A2^A0^A0^A0^A0^A0^A0^A0^A0

^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A0^A15.000000^A1^A0^A0.000000^ACITSOBE-0006^A^A^A^A^A

Page 9: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 10: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 11: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 12: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 13: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 14: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 15: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 16: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 17: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 18: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 19: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

<?xml version="1.0" encoding="UTF-8"?><commonPlatform>

<dataType>device</dataType><serviceId>10000001</serviceId><serviceTypeId>st</serviceTypeId><deviceTypeId>ACC</deviceTypeId><deviceId>st_000001</deviceId><custom>

<![CDATA[{"TI": "st_2015_0925_121210","UI1": "honggildong1","UI2": "honggildong1","CI1": "honggildong1","CI2": "honggildong1","TST": "2015-12-25 13:01:15.0","TET": "2015-12-25 13:01:15.0"

}]]]>

</custom>

<data><![CDATA[{"DATA": [

{"VL": "10","PATH_X": "10","PATH_Y": "10","DT": "YYYY-MM-DD HH:MM:SS.fff"

},{

"VL": "10","PATH_X": "10","PATH_Y": "10","DT": "YYYY-MM-DD HH:MM:SS.fff"

},{

"VL": "10","PATH_X": "10","PATH_Y": "10","DT": "YYYY-MM-DD HH:MM:SS.fff"

}]

}]]]>

</data></commonPlatform>

Page 20: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

bigdata@iot1:~ $> hadoop fs -ls /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07

-rw-r—r-- 3 bigdata hdfs 6352 2015-11-07 11:37 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896829080-rw-r—r-- 3 bigdata hdfs 6352 2015-11-07 11:38 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896860111-rw-r—r-- 3 bigdata hdfs 6352 2015-11-07 11:38 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896892148-rw-r—r-- 3 bigdata hdfs 5955 2015-11-07 11:39 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896924188-rw-r--r-- 3 bigdata hdfs 6352 2015-11-07 11:39 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896954316-rw-r--r-- 3 bigdata hdfs 6352 2015-11-07 11:40 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446896986214-rw-r--r-- 3 bigdata hdfs 6352 2015-11-07 11:40 /raw/iot/GP00000000000000000001/st/st_000001/st_000001/2015/11/07/st_000001.1446897018210

Page 21: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 22: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 23: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 24: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 25: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 26: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 27: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현

// 예측모델 로딩PMML pmml = loadModel("minwon.pmml");

// 예측모델 평가ModelEvaluatorFactory modelEvaluatorFactory =

ModelEvaluatorFactory.newInstance();Evaluator evaluator = modelEvaluatorFactory.newModelManager(pmml);evaluator.verify();

// 예측모델의 입출력List<FieldName> activeFields = evaluator.getActiveFields();List<FieldName> outputFields = evaluator.getOutputFields();

// 민원 내용 입력Map<FieldName, Object> input = new HashMap();input.put(activeFields.get(0), "백수오"); // 식품유형input.put(activeFields.get(1), "이엽우피소"); // 키워드

Map<FieldName, ?> evaluated = evaluator.evaluate(input);

// 예측결과System.out.println(evaluated.get(outputFields.get(0))); // 불량식품유형System.out.println(evaluated.get(outputFields.get(1))); // 판단불가 확률System.out.println(evaluated.get(outputFields.get(2))); // 판단가능 확률

Page 28: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 29: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 30: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 31: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 32: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 33: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 34: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 35: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현
Page 36: [2016 데이터 그랜드 컨퍼런스] 2 3(빅데이터). 엑셈 빅데이터 적용 사례 및 플랫폼 구현