제대로 배워보자

공개SW 솔루션설치& 활용가이드

Open Source Software Installation & Application Guide

How to Use Open Source Software

응용SW > BI/OLAP

CONTENTS 1 . 개요

2 . 기능요약

3 . 실행환경

4 . 설치 및 실행

5 . 기능소개

6 . 활용예제

7 . FAQ

8. 용어정리

1. 개요

소개 • 데이터분석을 위한 온라인 노트북 서비스

주요기능• 분석을 위한 Spark과 같은 분석 엔진 지원• EDA(Exploratory Data Analysis)를 위한 노트북 서비스 제공• 분석 결과의 실시간 공유 기능

대분류 • 응용SW 소분류 • BI/OLAP

라이선스 형태 • Apache License V2 사전설치 솔루션

실행 하드웨어• X86 호환 프로세서• 램 2GB 이상의 하드웨어• 3GB 이상의 디스크 공간

버전 • 0.9.0-preeview2 (`20년 11월 기준)

특징• 데이터 시각화를 위해서 데이터 이전과 같은 작업이 필요하지 않음• 노트북 환경과 실행 환경을 연결하여, 데이터 분석을 용이하게 함

보안취약점• CVE에 등록된 취약점은 없음• 기본 접근 설정이 전체 허용이어서 권한 관리 설정이 필요함• 실행 엔진의 기본 설정이 전체 공유이기 때문에 권한 설정이 필요함

개발회사/커뮤니티 • Apache Software Foundation / Apache Zeppelin Community

공식 홈페이지 • https://zeppelin.apache.org

- 3 -

2. 기능요약

• Apache Zeppeelin 주요 기능

주요기능 지원여부

Amazon Web Service 지원(EMR)

Google Cloud Platform 지원(직접설치)

Azure Cloud 지원(직접설치)

YARN Cluster 지원 안함

Kubernetes 지원

Docker 지원(공식 이미지)

- 4 -

2. 기능요약

• 기존 데이터 분석 툴과 비교

특징 Apache Zeppelin Jupyter R-Studio

동적 시각화 기능 자체 지원 Bokeh등 설치 필요 이미지만 지원

노트북 저장 기능 원격 스토리지 로컬 스토리지 로컬 스토리지

주요 실행 엔진 Spark, Sql 등 Python R

전체 실행 엔진 20+ 1 1

분산 분석 환경 분산 엔진 가능 제한적으로 가능 불가능

라이센스 오픈소스 오픈소스 상용(제한적 오픈)

탐색적 데이터 분석 가능 가능 가능

- 5 -

3. 실행환경

구분 Windows Mac Linux

로컬 실행 환경 지원 지원 지원

독립 클러스터 환경 지원(권장하지 않음) 지원(권장하지 않음) 지원(권장하지 않음)

Command Line Interface 지원(WSL) 지원 지원

제한 일부 로컬 파일 접근 불가 없음 없음

• Windows, Mac, Linux를 지원함

- 6 -

※ OS 별 지원 여부 비교

4. 설치 및 실행세부 목차

4.1 설치 파일 준비

4.1.1 정식 배포판을 사용하는 경우

4.1.2 릴리즈되지 않은 최신 버전을 사용하는 경우

4.2 설치 환경 준비

4.3 설치

4.4 설치 확인

- 7 -

4. 설치 및 실행4.1 설치 파일 준비

• 정식 릴리즈를 사용하는 경우,

- 4.1.1을 따라 설치

• 릴리즈되지 않은 최신 버전을 사용하는 경우

- 4.1.2를 따라 설치

- 8 -

4. 설치 및 실행4.1.1 정식 배포판을 사용하는 경우(1/2)

• https://zeppelin.apache.org에 접속

• Download Zeppelin을 클릭

• Zeppelin-0.9.0-preview2-bin.all.tgz 클릭

- 9 -

4. 설치 및 실행4.1.1 정식 배포판을 사용하는 경우(2/2)

• 해당 링크를 클릭하여 다운로드

- 10 -

4. 설치 및 실행4.1.2 릴리즈되지 않은 최신 버전을 사용하는 경우(1/3)

• 터미널에서 git과 maven을 설치

- Mac의 경우, Brew를 이용하여 설치 가능

- brew install maven git

• Linux의 경우, apt-get으로 설치 가능

- sudo apt-get install git maven

- 11 -

4. 설치 및 실행4.1.2 릴리즈되지 않은 최신 버전을 사용하는 경우(2/3)

• Git으로 소스코드 다운로드

- git clone https://github.com/apache/spark

- 12 -

4. 설치 및 실행4.1.2 릴리즈되지 않은 최신 버전을 사용하는 경우(3/3)

• maven으로 빌드 실행

- maven clean package -DskipTests

- 13 -

4. 설치 및 실행4.2 설치 환경 준비(1/3)

• 자바 설치

- https://java.com/en/download/

- Java SE 8버전 설치

- 14 -

4. 설치 및 실행4.2 설치 환경 준비(2/3)

• Mac의 경우, brew를 통해서 설치 가능

• Linux의 경우, apt-get install openjdk-11-jdk를 통해서 설치 가능

- 15 -

4. 설치 및 실행4.2 설치 환경 준비(3/3)

• Java가 정상적으로 실행되는지 확인

- 16 -

4. 설치 및 실행4.3 설치

• 별도의 설치과정 없이 바로 실행할 수 있음

- 4.1.1로 설치하였다면,

* 해당 파일의 압축을 해제

* 해당 디렉토리로 이동

- 4.1.2로 설치하였다면,

* 별도의 과정이 필요하지 않음

- 17 -

4. 설치 및 실행4.4 설치 확인

• 해당 디렉토리에서 zeppelin-daemon.sh 명령어가 잘 실행되는지 확인

- bin/zeppelin-daemon.sh start

- 18 -

5. 기능소개세부 목차

5.1 구성요소

5.1.1 Zeppelin Server

5.1.2 Interpreters

5.2 Notebook UI

5.2.1 노트북 리스트

5.2.2 노트북 상세

5.2.3 Paragraph 상세

5.2.4 결과 상세

5.3 Interpreter 설정

5.3.1 Spark

5.4 권한 설정

- 19 -

5. 기능소개5.1 구성요소

• Zeppelin은 Zeppelin Server와 Interpreter의 두 종류의 프로세서로 구성되어 있음

• Zeppelin Server

• 노트북 생성, 저장 실행을 담당함

• 인터프리터를 실행하고, 실제 쿼리를 전달함

• API를 통해서 위의 기능들을 사용할 수 있도록 해줌

• Interpreter

• 실제 작업 수행

• 각각 고유의 실행 엔진을 가지고 있음

• 실행 결과를 API Server로 반환함

- 20 -

5. 기능소개5.1.1 Zeppelin Server

• Rest API Server

• 일반적인 API서버의 역할을 함

• 실시간 데이터 반영을 위해서 Websocket을 활용함

• 다른 사람의 변경사항이 실시간으로 반영됨

• Notebook Repository

• 노트북 데이터를 저장하는 기능을 Plugin형태로 지원함

• LocalRepository

• S3Repository

• MongoRepository

• Interpreter Launcher

• Interpreter를 어떻게 실행할지 결정하는 기능을 Plugin형태로 지원함

• DockerInterpreterLauncher

• ClusterInterpreterLauncher

- 21 -

5. 기능소개5.1.2 Interpreters

• 실제 코드를 실행하는 역할을 담당함

• 실행한 코드의 결과를 다시 Zeppelin Server로 리턴함

• Thrift 사용

• 대표적인 인터프리터

• Spark interpreter

• Flink Interpreter

• Neo4j Interpreter

• JDBC Interpreter(+Presto)

• Python Interpreter

• Beam(Java) Interpreter

- 22 -

5. 기능소개5.2 Notebook UI

• 사용자는 실제로 노트북 서비스의 형태로 Zeppelin을 사용하게 됨

- 23 -

5. 기능소개5.2.1 노트북 리스트

• Zeppelin의 모든 노트북을 보여줌

• Tree view로 표시

• 권한에 따른 접근 제어

• 노트북의 이름 수정 기능 제공

• 노트북의 결과만 지우는 기능 제공

• 노트북 자체를 지우는 기능 제공

• 외부 노트북을 Import하는 기능 제공

- 24 -

5. 기능소개5.2.2 노트북 상세

제목

- 25 -

노트북 실행 코드 표시 결과 표시 결과 지우기

Paragrphs

노트북 복사

5. 기능소개5.2.2 노트북 상세

제목

- 26 -

노트북 추출(ZPLN) 단축키 표시

노트북 내 검색 노트북 지우기

버전 관리노트북 추출(IPYNB)

5. 기능소개5.2.2 노트북 상세

- 27 -

• Interpreter Bindiing

• 노트북에서 실세로 사용하는 Interpreter 연결

• 첫 번째 Interpreter가 기본 interpreter로 연결 됨

5. 기능소개5.2.2 노트북 상세

- 28 -

• Permission

• 노트북에 접근/수정/실행 가능한 권한을 조정할 수 있음

• Owners, Writers, Runners, Readers

5. 기능소개5.2.2 노트북 상세

- 29 -

• Default View

5. 기능소개5.2.2 노트북 상세

- 30 -

• Simple View

5. 기능소개5.2.2 노트북 상세

- 31 -

• Report View

5. 기능소개5.2.3 Paragraph 상세

- 32 -

• 코드 작성 부분

• 실행하고자 하는 코드/쿼리를 작성

• Interpreter에 따라서 자동완성 지원

• CLI에 비해서 이해하기 쉽게 작성이 가능

• 결과 확인 부분

• 실행한 코드의 결과가 표시되는 부분

• Interpreter별로 다른 형태로 결과가 표시됨

• 여러가지 시각화를 동적으로 변경하여 확인 가능

• 이미지/지도 등의 데이터를 직접 작성할 수 있음

5. 기능소개5.2.3 Paragraph 상세

- 33 -

• 코드 작성 부분

코드 작성 부분 노트북 실행 코드 숨기기결과 표시 결과 숨기기

5. 기능소개5.2.3 Paragraph 상세

- 34 -

• 설정 메뉴

• Paragraph 크기 조정

• Paragraph 위치 변경

• Paragraph 실행 순서 변경

• Paragraph 삭제

• 아웃풋 제거

5. 기능소개5.2.4 결과 상세

- 35 -

시각화 종류

결과 표시

결과 다운로드

5. 기능소개5.2.4 결과 상세

- 36 -

• 기본적으로 6개의 시각화 메뉴를 제공함

5. 기능소개5.3 Interpreter 설정

- 37 -

5. 기능소개5.3 Interpreter 설정

- 38 -

• Option

• 3가지 실행 모드를 지원함

• Shared

• 모든 사용자가 하나의 interpreter를 공유함

• Scoped, Isolated

• 각각의 사용자가 각각의 interpreter 스레드/프로세스를 사용함

• Permission

• 사용자를 지정할 수 있음

5. 기능소개5.3 Interpreter 설정

- 39 -

• Properties

• 실제 interpreter가 실행될 때, 전달되는 설정 값들

• UPPER_SNAKE_CASE

• 시스템 변수로 전달 됨

• 나머지

• Java의 –D 형태로 지원됨

5. 기능소개5.3 Interpreter 설정

- 40 -

• Dependencies

• Java process가 실행될 때, 필요한 dependency를 동적으로 다운받아서 사용함

• Maven의 dependency형태

5. 기능소개5.3.1 Spark

- 41 -

• 모든 Spark관련 옵션들을 사용할 수 있음

5. 기능소개5.4 권한 설정

- 42 -

• 다중 사용자 환경을 위한 접근 권한 기능을 사용할 수 있음

• Apache Shiro를 이용하여, 권한을 설정함

• 현재 CLI환경만 지원함

• https://zeppelin.apache.org/docs/0.9.0-preview2/setup/security/shiro_authentication.html

6. 활용 예제세부 목차

6.1 실전 데이터 시각화 예제

- 43 -

6. 활용 예제6.1 실전 데이터 시각화 예제

- 44 -

• https://volumeintegration.com/zeppelin_mapping_easy/

6. 활용 예제6.1 실전 데이터 시각화 예제

- 45 -

• https://medium.com/apache-zeppelin-stories/experimenting-with-neo4j-and-apache-zeppelin-d80b7bec8fd2

7. FAQ

Q 만약 버그가 발견되면, 어떤 식으로 대처할 수 있나요?

A 대부분의 안정 버전에서는 치명적인 버그가 발견될 확률이 극히 적습니다. 만약 발견하

여도 이미 레포팅이 되어서 해결된 다음 버전을 구할 수 있는 경우가 대부분입니다만, 버

그를 발견하면, 커뮤니티에 보고하거나, 혹은 본인이 직접 고칠 수 있는 경우, 오픈 소스

에 기여하여 주시기 바랍니다.

- 46 -

Q Zeppelin의 유료 기술 지원은 가능한가요?

A 현재 Zeppelin을 별도로 기술지원 해주는 회사는 없습니다. 다만, Zeppelin의 경우, 오래

된 프로젝트이기도 하고, 커뮤니티에 대부분의 문제 해결 방법이 나와있기 때문에 운영

상 큰 어려움은 없을 것입니다. 혹은 커미터에게 직접 연락해서 도움을 받는 방법도 있습

니다.

8. 용어정리

용어 설명

Jar Java ARchive

CLI Command Line Interface

Python 데이터 분석에 많이 사용되는 스크립트 언어

Spark 대용량 데이터 분석을 위한 분산 프레임워크

UI User Interface

R 통계분석에 많이 사용되는 스크립트 언어

- 47 -

Open Source Software Installation & Application Guide

이저작물은크리에이티브커먼즈 [저작자표시–비영리–동일조건변경허락 2 . 0 대한민국라이선스]에따라이용하실수있습니다.