Updated:

June 4, 2020

Machine Learning의새로운패러다임, BigQueryML

● Machine Learning

● Data의중요성

● BigQuery

● BigQueryML

Agenda

Machine Learning

● 인공지능의한분야로, 컴퓨터가학습할수있도록하는알고리즘

과기술을개발하는분야

● 컴퓨터가명시적으로프로그램되지않고도학습할수있도록하

는연구분야 -아서사무엘(Arthur Lee Samuel)

● 만약어떤작업 T에서경험 E를통해성능측정방법인 P로측정했

을때성능이향상된다면이런컴퓨터프로그램은학습을한다고

말한다. -톰미첼(Tom Mitchell)

Machine Learning

Machine Learning

Machine Learning

Machine Learning

Machine Learning

<그림출처> https://artisansasylum.com/

Machine Learning

● 지도학습(Supervised Learning)

정답이있는데이터를기반으로모델을만들어새로운데이터가들어왔을때정답을맞추는학습방법

● 비지도학습(Unsupervised Learning)

정답이없는데이터를가지고컴퓨터를학습시키는방법, 컴퓨터가데이터를이용하여스스로관계를찾아내는학습법

● 강화학습(Reinforcement Learning)

상과벌이라는보상을주며상을최대화하고벌을최소화하도록학습하는방식

Data의중요성

자료(資料, data, 데이터, 문화어: 데타)는문자, 숫자, 소리, 그림, 영상, 단어등의

형태로된의미단위이다. 보통연구나조사등의바탕이되는재료를말하며, 자

료를의미있게정리하면정보가된다.

즉, 자료는또한 "주어진" 자료의정신에반대하여높은해석상의본질을가진인

문학 (특히발전되가는 digital humanities) 에사용되어오고있다. 가능성의엄

청난수와그주의를지향하게한하위집단간의구별을위해 Peter Checkland는

용어 "capta" ("~을취하다" 라는뜻을가진라틴어 "capere"로부터온) 를소개했

다.‘Johanna Drucker’는인문학이지식의생성이 "놓여있고, 불완전하고, 구성적

인" 과같다고단언함과, 자료의사용은별개이거나관찰자독립적인현상과같

은역효과를일으키는추정들을소개하기위해주장했다. 구성요소와같은관찰

의역할을강조하기위한단어인 capta는인문학에서의시각적묘사들을위한

자료의대안으로제공되었다.

Data의중요성

Data의중요성

<그림출처> http://study.zum.com/ <그림출처> http://data.si.re.kr/ <그림출처> https://livecorona.co.kr/

Data의중요성

바르셀로나는데이터를활용하

여더편리한도시로변하고있는

데그결과관광객의이동패턴을

파악하고, 공용자전거대여소를

더배치할장소를찾고, ATM이

더필요한장소를파악하고있습

니다.

Data의중요성

케냐에서는모바일데이터를사용하여말라리아감염패턴을파악하고정부가방역활동을집중적으로할장

소를파악하고있습니다.

Data의중요성

오늘날기업의리더중에서 90%

가토지, 인재, 자본등과마찬가

지로 Data도가장중요한리소스

인동시에가장기본적인차별화

요소라고인식하고있습니다.

BigQuery

높은확장성과비용효율성을갖춘서버리스클라우드데이터웨어하우스로, 정

보에기반해빠른결정을내릴수있도록도와주어비즈니스혁신을용이하게합

니다.

설정과관리가간편하고데이터베이스관리자가필요없는완전관리형서버리스클라

우드데이터웨어하우스로가치를더빠르게실현해보세요. 비용효율적인데이터분석

과의미있고유용한정보발굴을통해경쟁력을유지할수있습니다.

➢ ANSI SQL을사용해기가바이트에서페타바이트단위에이르는데이터를운영오

버헤드없이순식간에분석가능

➢ 클라우드데이터웨어하우스대체리소스보다 26%~34% 더낮은 3년간의 TCO로

대규모분석을효율적으로실행

➢ 니즈에맞게확장가능하며신뢰할수있고더안전한플랫폼으로유용한정보의

원활한대중화

BigQuery

BigQuery

BigQuery

BigQuery

높은확장성과비용효율성을갖춘서버리스클라우드데이터웨어하우스로, 정보에기반해빠른결정을내릴

수있도록도와주어비즈니스혁신을용이하게합니다.

BigQuery

높은확장성과비용효율성을갖춘서버리스클라우드데이터웨어하우스로, 정보에기반해빠른결정을내릴

수있도록도와주어비즈니스혁신을용이하게합니다.

BigQuery

실시간분석과예측분석으로유용한정보발견

스트리밍데이터를실시간으로쿼리하고비즈니스프로세스전체에대한최신정보를얻으세요. 기본제공머신러닝기능으로데이터를이동하지않고도비즈니스성과를쉽게예측할수있습니다.

손쉬운데이터액세스및유용한정보공유

클릭몇번만으로유용한분석정보에안전하게액세스하고조직내에서공유가가능합니다. 인기있는비즈니스인텔리전스도구를즉시사용하여멋진보고서와대시보드를쉽게만들수있습니다.

데이터보호및신뢰할수있는운영

고가용성과 99.9% 업타임 SLA를제공하는 BigQuery의강력한보안, 거버넌스, 안정성제어로안심하고사용하세요. 데이터는기본적으로암호화되며고객관리암호화키를지원합니다.

BigQueryML

BigQuery ML을활용하는데이터과학자와데이터분석가는 BigQuery 내에서바로간편한 SQL을

이용해글로벌규모의구조화또는반구조화된데이터를기반으로하는머신러닝(ML) 모델을신

속하게빌드및운용할수있습니다

BigQuery ML을사용하면 BigQuery에서표준 SQL 쿼리를사용하여머신러닝모델을만

들고실행할수있습니다. BigQuery ML은 SQL 실무자가기존 SQL 도구및기술로모델을

빌드할수있게하여머신러닝을대중화합니다. BigQuery ML을사용하면데이터를이동

해야할필요가없어개발속도가향상됩니다.

BigQuery ML을사용하면데이터분석가가기존 SQL 도구와기술을통해머신러닝을사

용할수있습니다. 분석가는 BigQuery ML을사용하여 BigQuery에서 ML 모델을빌드하고

평가할수있습니다. 분석가는더이상소량의데이터를스프레드시트또는다른애플리

케이션에내보낼필요가없고데이터사이언스팀의제한된리소스를기다릴필요가없습

니다.

BigQueryML

● BigQuery ML은기본데이터웨어하우스사용자인데이터분석가가기존비즈니스인텔리전스도구및스프레드시트를사용하여

모델을빌드하고실행할수있게하여ML 사용을대중화합니다. 따라서조직에서예측분석을통해비즈니스의사결정을내릴

수있습니다.

● Python 또는자바를사용하여ML 솔루션을프로그래밍할필요가없습니다.데이터분석가가알고있는언어인 SQL을사용하여

BigQuery에서모델을학습시키고액세스할수있습니다.

● BigQuery ML을사용하면데이터웨어하우스에서데이터를내보낼필요가없으므로모델개발및혁신속도가향상됩니다.

● 데이터를내보내고형식을다시지정하면다음과같은문제가생길수있습니다.

○ 복잡성증가 —여러도구가필요합니다.

○ 속도저하 — Python 기반ML 프레임워크의대규모데이터를이동하고형식을지정하는것은 BigQuery의모델학습보다

시간이오래걸립니다.

○ 웨어하우스에서데이터를내보내려면여러단계를거쳐야하며데이터를실험할수있는기능이제한됩니다.

실습을통한 BigQuery ML 맛보기에서다룰부분

● K-평균클러스터링모델만들기

● TRANSFORM 절을사용하여특성추출

● TensorFlow 모델을 BigQueryML에서활용하기

Thank You!