빅데이터 통합 플랫폼 마크로직(marklogic) 2014

Copyright © 2012 MarkLogic® Corporation. All rights reserved.Slide 1 Copyright © 2012 MarkLogic® Corporation. All rights reserved.

MarkLogic: Deep Dive

㈜ 엠오에스에이Nov 12, 2012


Agenda

MarkLogic 개요 MarkLogic 서버 개요 MarkLogic 서버 이해 구축 사례


MarkLogic솔루션 개요


데이터 처리의 새로운 영역을 제공합니다 .

Navigational Era“For your application data!”• Hierarchical• Application- and hardware-

specific

Relational Era“For all your structured data!”• Normalized, tabular model• Application-independent query

• User control

Unstructured Era“For all your data!”

• Schema-agnostic• Massive scale• Query and search• Analytics• Application services


정보 콘티

Information Continuum

RDBMS

Semi-structuredStructured

Free textRelational(Rows and Columns)

Hierarchical Tweets

Emails Documents

NoSQL

Metadata Geospatial

Sparse

Graph

Audio

Video

Images

SMS

Unstructured


10

통합저장소

엔터프라이즈 데이터 영역 운영 데이터

저장소검색

어느 때 보다 빠르고 쉽게 기존 Silo 에 분리되어 있는 데이터의 재활용

접근성과 더 많은 정보와의 연관성을 현실화

미 개척 및 미 예측 정보의 처리와 활용

MarkLogic 솔루션

소셜 프로그램

http://ajnoffthecharts.files.wordpress.com/2011/10/cmslogo1.png


1. AS-IS 의 데이터 수용 2. 개발

3. 확장

빅 데이터 시스템 개발

Flexible Continuous

10x Faster

MarkLogic 는 빅 데이터를 처리할 수 있게 하는 획기적인 접근 방법을 제공합니다 .

MarkLogic 방식

20개월

16개월

12개월

6개월

통합적 UI 구현

데이터 변형

데이터베이스 최적화

최적화 및 조정 데이터베이스를 작성

쿼리 분석 / 구성

데이터 주입

변환 , 추출 및 데이터 정규화

데이터 모델과 계획 작성

구축 기간 = 4 - 6 주

전통적인 방식

11


Tables

PL/SQL

JVM

애플리케이션 서버

검색 엔진

(indexes)문서 및 데이터

REST/SQL/XQuery

애플리케이션 서버

RDBMS

전통적인 데이터베이스 & 검색 엔진

검색 , 저장 및 Query 프로세스의 조율의 정교한 개발이 요구됨 .

22

단일 플랫폼에서 검색 , ETL, Data Warehouse, 분석을 통하여 빠른 수익 창출 가능한 최적의 데이터베이스 .

MarkLogic 솔루션의 특징

NFS, NTFS, HDFSNFS, NTFS

ETL


MarkLogic 솔루션의 특징

Database Search Engine

Application Server

업계 최고 상용화 NoSQL 데이터베이스 ACID 준수 고 가용성 백업 Point-In-Time 복구 정부 등급의 보안 입증된 고객 성공 사례 Hadoop 을 위한 최고의 Database


The Enterprise NoSQL DatabaseReal-time Big Data ApplicationsBI Tools

NoSQL Database

Application Services

Universal Index

ACID Repository NoSQL Database

Copyright © 2012 MarkLogic® Corporation. All rights reserved.Slide 11 Copyright © 2012 MarkLogic® Corporation. All rights reserved.Slide 4 Copyright © 2012 MarkLogic® Corporation. All rights reserved.

Big DataToolset

Text Mining &Semantics

RDF DataOntologiesEntity EnrichmentConcept ExtractionClassification

Business IntelligenceTableauCognos

Etc

Big Data AppsAnalytical/DS/etc

Big DataRefineryHadoop

Big DataRepositoryHDFS

Map/ReduceProcessing

Richness &Complexity

EnterpriseNoSQLDataBase

Documents

NoSQL DB 를 활용하고 싶은 이유는 ?


MarkLogic 서버 개요


MarkLogic 은 세계 주요 Big Data 어플리케이션의 심장 입니다

조직이 보유한 모든 데이터를 사용하여 조직의 능력을 극대화 합니다 . 다양한 실용적인 통찰력을 얻기 위해 정형 , 반정형 및 비정형 데이터를

자유롭게 분석 합니다 . 실시간 빅 데이터 응용 프로그램을 통해 운영 비즈니스 프로세스에

이러한 통찰력을 향상합니다 . 분석 및 응용 프로그램에 대한

통합된 빅 데이터 플랫폼 입니다 .

실시간으로 모든 데이터 , 볼륨 , 구조 수용

예 ) 파생 상품 계약 , 고객 정보 , 소셜 미디어 , 의료 기록 , 정보 자산 , 저널 기사 , 등등 .


일반적인 Big Data Platform 의 요소들

Ingest / Batch Analytics / Enrichment

Operational DB Unstructured Content

Tools / APIs

Even

t Pr

oces

sing

Met

adat

a

Sear

ch

Archive / Warm “Long Tail” Data Store

Analytic DB

Visu

aliza

tion

Dat

a M

inin

g /

Anal

ytics


일반적인 Big Data Platform 의 형태

Operational DB Unstructured Content Store

Archive (HDFS)

Analytic DB

SearchSearch Index

Stats (SPSS, SAS, R, …)

Stream / Event Processing

BI Tools Applications

Batch Analytics (Hadoop MR)

Metadata

여러 기술의 짜집기 :

• 각 라인의 처리 지연 , ETL 버그

• 각 구성 요소는 개별 관리 ,지원 , 확장

• 개별 컴포넌트는 여러 다른 기술 , 대부분 다른 조직의 관리 범위의 컴포턴트와 연계 되어 있음

결론 :• 데이터 관리의 손실• 실시간 반응 불가• 민첩성 손실


MarkLogic - Big Data 를 위한 통합 플랫폼

Operational DB Unstructured Content Store

Archive (HDFS)

Analytic DB

SearchSearch Index


Stream / Event Processing



Metadata

Archive (HDFS)




MarkLogic 서버는 :

운영 DBMS 분석 DBMS 비정형 DBMS 검색 엔진 이벤트 처리 엔진

위의 모든 기술이 하나로…


MarkLogic 아키텍쳐


아키텍쳐

아키텍처MarkLogic 은 빅 데이터 애플리케이션에 대한 첫 운영 데이터베이스 기술입니다 . 그 기능과 사용 방법에 대해 소개합니다 .

애플리케이션 서비스검색 용 API하나의 API 에 , 검색 , 검색 파싱 , 검색 문법 패싯 화 , 조각 만들기 , 검색어 자동 완성 등 검색 응용 프로그램의 다양한 기능을 정리했습니다 .Information Studio APIContent Processing Framework 를 활용하여 문서로드를 관리 할 수 있으며 , 사용자의 문서 수집 기능 , 변환 기능 , 로드 규칙을 쉽게 관리합니다 .라이브러리 서비스 APIh4> 문서 관리 서비스를 제공합니다 . 체크인 / 체크 아웃 , 문서 버전 관리 등 .


아키텍쳐

평가 층계산기 XSLT | XPath | XQuery문서에 액세스하거나 수정할 외부의 요청을 평가하고 처리합니다 .쿼리 캐시문서와 논리 구조를 메모리에 저장하여 빠른 반응을 제공하고 IO 의 효율성을 개선합니다 .브로드 캐스터 | 수집기문서가 메모리에없는 경우 , 여러 데이터 노드에 존재하는 문서에 대한 액세스 및 수정에 대한 요구를 정리합니다 .필요에 따라 반환 된 결과를 처리 · 변환 용으로 집계 ( 집계 ) 합니다 .


아키텍쳐

데이터 계층

트랜잭션 컨트롤러 멀티 버전 공존 컨트롤러로드시 제로 레이턴시를 실현 .시스템의 순간적인 쿼리에 대응 .데이터 캐시쿼리 해결뿐만 아니라 메모리에 인덱스를 저장하는 데에도 대응백그라운드에서 다시 색인과 결합하여 IO 의 효율성을 유지 .트랜잭션 저널가져온 문서가 즉각적인 액세스를 지원하도록 메모리에 저장된 경우에도 시스템 장애에 대비하여 모든 작업을 디스크에 저장함으로써 트랜잭션의 일관성을 유지합니다 .인덱스 값 | 구조 | 텍스트 | 스칼라 | 메타 데이터 | 보안 | 지리 정보 | 역다양한 정보 (값 , 구조 , 텍스트 , 스칼라 , 메타 데이터 , 권한 , 지리 정보 ) 를 결합 , 정교한 기능을 제공합니다 .리버스 인덱스를 사용하면 경고 표시 규칙에 따라 분류 , 또한 지정된 기준에 따라 매치 메이킹이 가능합니다 .압축 저장 XML | 이진 | 텍스트가져온 문서를 XML 형식에서 압축 된 바이너리 조각으로 변환하여 필요한 용량을 줄이고 IO 의 효율성을 개선합니다 .


MarkLogic 작동 원리스키마에 상관없는 디자인


Data 모델

MarkLogic 서버는 문서 중심의 데이터베이스입니다 . 계층 (XML) 데이터 모델을 통해 모든 구조화 된 데이터를 지원합니다 .

Document

Title Author

Section

Section Section Section Section

FirstLast

Metadata

fpML

Trade Product

Trade

Event Event Event Event

Cashflow

TradeLeg

ID

IDTradeLeg

AmountTradeLeg


특정 스키마에 구애받지 않는 MarkLogic

XML is 자기 문서화<article>

<title>MarkLogic Server: . . .</title><author>

<first-name>Dale</first-name><last-name>Kim</last-name>

</author><abstract>

. . . . <company>Mark Logic</company></abstract><body>

<section><section> . .

.</section></section><section> . . . index . . .

</section></body><copyright>Copyright© . . . </copyright>

</article>


특정 스키마에 구애받지 않는 MarkLogic

<article><title>MarkLogic Server: . . .</title><author>

<first-name>Dale</first-name><last-name>Kim</last-name>

</author><abstract>

. . . . <company>MarkLogic</company></abstract><body>

<section><section> . .

.</section></section><section> . . . index . . .

</section></body><copyright>Copyright© . . . </copyright>

</article>

XML 은 설명을 내장합니다 . <article>

<author><title>

<abstract>

<body>

<copyright>

<first-name><last-name>

<company>

<section><section>

<section>

MarkLogic Server: . . .

DaleKim

MarkLogic

. . . index. . .

<article>

<title> <abstract><body> <copyright>

<author>

<first-name>

<last-name>

<section> <section>

<section>

<company>

"MarkLogic Server: . . ."

"Dale"

"Kim""MarkLogic"

" . . . " " . . . "

" . . . "

“ . . . "" . . . index. . . "

스키마 불필요 !


MarkLogic 작동 원리인덱싱과 쿼리


MarkLogic’s Universal 인덱스

Words and phrases... Semantic Web is a collaborative movement led by the World Wide Web Consortium (W3C) ...

Structure Label

Author Ing

Comp

ID Para

Org

Data/Metadataname:sorbitoldate:2012-06-04company:Roche

Entities in Context... ACE inhibitors, since the risk of lithium toxicity is very high in such patients...

Security<User>James</User><Role>Admin</Role><Role>Editor</Role>

Universal Index

Geospatial<location> <lat>46.946584</lat> <lng>93.076172</lng></location>

Alerting<Rule> <Rule>Image over 10MB</Rule> <Rule>Image restricted</Rule><Rule>


Universal 인덱스

Universal 인덱스

문서

참조126, 130, 167, …

Term Term List

123, 127, 129, 152, 344, 791 . . . “data”

122, 125, 126, 129, 130, 167 . . .“base”

123, 126, 130, 142, 143, 167 . . .“data base”

123, 130, 131, 135, 162, 177 . . . STEM “be”

126, 130, 167, 212, 219, 377 . . .STEM “data be”

. . . <article>

. . . <article>/<abstract>

<product>IMS</product> . . .

<section>/<product> . . .

<title> contains "data" . . .

MarkLogic 데이터 인덱스 단어 구문 형태 분석 구조 값 수집 보안 권한

Collection(Red) . . .

Role:Editor + Action:Read . . .


스칼라

문서

참조126, 130, 167, …

2005년 이후 발행된 기사를 쿼리

연도

볼룸

UNIVERSAL 인덱스

123, 127, 129, 152, 344, 791 . . . “data”

122, 125, 126, 129, 130, 167 . . .“base”

123, 126, 130, 142, 143, 167 . . .“data base”

123, 130, 131, 135, 162, 177 . . . STEM “be”

126, 130, 167, 212, 219, 377 . . .STEM “data be”

. . . <article>

. . . <article>/<abstract>

<product>IMS</product> . . .

<section>/<product> . . .

<title> contains "data" . . .

Collection(Red) . . .

Role:Editor + Action:Read . . .


Range 인덱스

DOC ID

1

3

4

5

8

10

11

DOC ID 와 Value 맵 , Value맵과 DOC ID 를 소형 메모리에 표현 합니다

17

2009

2002

2007

2004

2011

2003

2007

2004 2009

2002

2003

1

3

10

...…

VALUE DOC IDVALUE

…

2004

2007

2007

5

4

17

…

2004 11

2011 8


지리 지수 : 2차원 Range 인덱스

다른 인덱스와 완전히 구성 가능 .

솔루션이 내장되어 지원 :

점 사각형 원 다각형 복잡한 다각형 다각형 교차로 다각형 봉쇄


MarkLogic 작동 원리이벤트 처리


Reverse 인덱스 ( 경고 )

1. 쿼리 문서에서 직렬화된 쿼리를 로드 합니다 .2. 주어진 데이터 문서에 대해 일치하는 모든 쿼리를 찾습니다 .

더 큰 성능의 영향 없이 로드 중 실시간 알람을 제공 할 수 있습니다 .

문서의 값을 Range 로 저장 . 도시들의 자체정의 영역 경계에 대한 문서 범위와 순서로 생일을 정의한 사람의 문서

온라인 사람 찿기 의 핵심 엔진으로도 적합


MarkLogic 작동 원리시스템 확장


Forest3Forest2Forest1

데이터베이스 규모 확장

문서 데이터베이스 분리된 파티션에 저장

Database


D-Node1 D-Node2 D-Nodek

Forest1 Forest3 Forest4 Forestm

D-Node3

Forest2

E-Node

• • •

• • •

Shared-Nothing 아키텍쳐

E-NodeE-Node


MarkLogic HA/DR 기능


MarkLogic 서버 작동 분석분석


Range 인덱스 : 내장된 In-Memory 컬럼

DOC ID

1

3

4

5

8

10

11

소형 메모리에 문서 ID 와 Value 의 맵 저장 , 그리고 Value 와 문서 ID 의 저장 .

17

2009

2002

2007

2004

2011

2003

2007

2004 2009

2002

2003

1

3

10

...…

VALUE DOC IDVALUE

…

2004

2007

2007

5

4

17

…

2004 11

2011 8

범위 인덱스는 내장된 In-Memory 칼럼 저장소에 해당합니다 .


Scalar 쿼리 및 집계


D-Node1 D-Node2 D-Nodek

Forest1 Forest3 Forest4 Forestm

D-Node3

Forest2

E-Node

시작인코드디코드Reduce종료

디코드MapReduce인코드

• • •

• • •

데이터 베이스 내의 MapReduce


양방향 Hadoop 커넥터 를 통한 Hadoop MapReduce

운영응용 프로그램

진보적인향상

중급지능

Hadoop

MarkLogic

1

2

+ Hadoop 을 위한 커넥터

Raw Data

?

대량으로 로드

3


Co-Occurrence - 동시 발생


SQL 과 BI 툴

ODBC

SQL

범위 인덱스


MarkLogic 서버 작동 원리트랜잭션


MVCC

∞

/articles/codd.xml

Document

Title Author

Section

Section Section Section Section Section

FirstLast

Metadata

628 ∞ ∞

/articles/codd.xml

Document

Title Author

Section


FirstLast

Metadata

Year

c

d

생성 시간 기록

삭제 기록

∞523 628

타임 스탬스는 : Interger ( 정수 ) 증가 - MarkLogic 5 전 Wall 시간 증가 - MarkLogic 5 시작


MVCC 혜택

매우 높은 처리량 (Throughput) 읽기 Query 의 Lock 불필요 Query 및 Update 는 충돌하지 않음

ACID 트랜잭션 서버간의 내부 2 phase commit (Forest 파티션 )

데이터 흡수 및 색인의 Zero-latency 무 지연

628 ∞

/articles/codd.xml

Document

Title Author

Section


FirstLast

Metadata

Year


Conclusion


MarkLogic 서버는…

운영 DBMS …MVCC 기반의 Transaction 모델과 및 높은 처리량이 가능

분석 DBMS …In-Memory 칼럼 저장과 In-Database Map-Reduce

비정형 DBMS …XML 데이터 모델과 ad-hoc 스키마

고 성능의 검색엔진 … 트랜잭션 Universal 인덱스

이벤트 프로세서 … 시리얼 쿼리 및 알람

통합된 Big Data 플랫폼


구축 사례


매일 파생 금융 거래 내역을 쉽게 확인 운용의 간소화 및 파생 상품 거래 비용

최소화

여러 데이터베이스에 걸쳐 금융 거래 정보

식별의 여러움

…분산 , 중복 및 분리되어 있는 다수 파생 상품서비스의 거래

정보

거대한 금융거래의 노출 : 수 조 달러 , 수백만 개의 금융 파생상품

파생 상품 서비스가 노출된 위험의 인지 불가

데이터 20 개의 복사본이 저장되는 복잡 구조

현재 상황

목표

JP 모건 체이스 , 거래 분석의 단일 창구 구현

16

운용Data Store


MarkLogic 을 통하여 20 개의 Sybase 상품계약 데이터베이스를 단일 파생 상품 계약 데이터베이스로 간소화

글로벌하게 실시간으로 (24/7/365) 통합된 데이터 스토어를 통한 정확한 기업 파생 위험 인지

거래 분석 시 초 단위 미만의 응답 구현

하나의 데이터베이스에 모든

계약을 분석

…

20 개 데이터베이스 복사본을 제거

실시간으로 정확한 글로벌 위치를 인지를 통한 금융 위험 감소

거래당 평균 비용을 감소 유지 보수 운용비 절감 :

20 개의 Sybase 데이터베이스를 1 개의 MarkLogic 데이터 베이스로 축소

10명의 DBA 에서 5명의 DBA 로 축소

혜 택

결 과

JP 모건 체이스 , 거래 분석의 단일 창구 구현

17

Operational Data Store


학생들이 새로운 방법으로 학습 할 수 있는 시스템 구축

협업 및 소셜 미디어를 통해 학생들의 학업과 사회 생활을 통합

기존 무료 교육서적과 프리미엄 교육서적

학생커뮤니티

외부 교육자료

+

+현재 상황

목 표

기존 시스템이 아닌 신규 프로젝트 끊임없는 변화를 수용하는 혁신적의

시스템의 기대 많은 사용자와 방대한 컨텐츠 볼륨을 수용

기대

Social Applications

Xplana 는 협력을 통해 교육의 수준 극대화

20


원유 선물을 거래 할 때 "( 주 )글로벌 석유 ＂는 거래시 가격의 이점을 극대화 할 수 있습니다 .

이익을 극대화하기 위해 석유 · 가스 시장의 영향력의 전체 이미지를 얻고자 함 .

Goals

Challenges실시간의 정치 , 날씨 , 선박 데이터 , 위치 , 단말기 데이터와 거래 데이터를 가져 오면 주목할만한 문제점을 알리는 상인에게 경고를 보냅니다 . 빠른 결정을 내릴수 있도록 한다

Solution

상인들은 시장에서 최고의 가격을 얻을 수 있는지 확인하기 위해 시스템을 사용하고 있습니다 . 75 % 의 총 소유 비용 절감 (TCO) 의 절감했습니다 .

Benefits다음을 알리도록 설정 원유 "MMM"배럴 이상이

아라비아 만에서 전송 중 강도 8 이상의 험악한 날씨가 멕시코만을 덮친 것을 경고


다양한 기존 컨텐츠 , 신규 업로드 , 신규 사용자 생성 콘텐츠 , 외부 링크등의 집합 .

공부 가이드 , 강의 노트 , 플레시 카드 , 공유된 메모등의 생성 기능 .

페이스 북 / 트위터 / 다른 사람과의 연계 . 수백만의 사용자와 Tera Byte 급의 데이터

처리하는 확장성 .

외부 교육자료

기존 무료 교육서적과 프리미엄 교육서적

학생들 사이 협력

혜택

기능

교육을 강화하기 위해 혁신적인 서비스를 제공

빠른 개발주기를 통한 낮은 TCO 보장 (4개월 )

새로운 요구에 빠르게 적응 할 수 있는 민첩성 확보 .

Social Applications

Xplana 는 협력을 통해 교육의 수준 극대화

21


사이먼 & 슈스터는 새로운 수익원으로 사업을 변환

…

서로 다른 자산의 저장소

12,000 도서 를 디지털화 하여 검색하고 다른 활용 목적으로 컨텐츠 제공

여러 채널으로 쉽게 디지털 책으로 컨텐츠 제공

도 전

목 표

개별 파트너를 위해 구축된 유연하지 못한 시스템은 관리의 어려움 및 많은 관리비용을 요구되었습니다 .

분산된 데이터 사일로에서 검색하던 어렵고 느린 자산 정보 호출은 수익 손실로 이어 졌습니다 .


Syndication Contracts Layout

사이먼 & 슈스터 새로운 수익원으로 사업을 변환

Syndication 서버 : 책 제목과 함께 메타 데이터가 저장된 개인 사이트 및 파트너 사이트 .

Contract 서버 : 고유 한 권리를 포함한 저작자 계약서 저장

Layout 서버 : 웹의 jacket 텍스트 콘텐츠를 XML 로 변환 하는 노동 집약적 인 프로세스를 자동화

디지털 공급 체인에서의 새로운 수익 창출 수동 프로세스 제거를 통한 대폭적인 비용 절감

자동 Delivery 와 함께 디지털 자산을 검색하고 선택함으로 사업 관계자들의 능력 제공

영업 및 마케팅 계약 위반의 법적 의미 제거

모든 Business Critical 콘텐츠의 중앙 집중화

파트너 유통사 저작자

혜 택

솔 루 션


향상 고객에게 깊이 소비자 및 시장 분석을 제공함으로써 소셜 미디어 인텔리전스 시장에서 경쟁우위를 확보

높은 볼륨 및 쿼리 부하 및 복잡한 쿼리를 처리 할 수있는 검색 및 데이터베이스 기술

새로운 제품 및 기능과 함께 신속하게 시장을 점유하는 민첩성 .

현재 검색 및 데이터베이스 기술은 소셜 미디어 세트의 성장 볼륨과 복잡성을 유지 할 수 없습니다 .

실시간으로 모든 해당 고객 데이터를 집계 할 수 없습니다

결과에 개개인의 지적 재산을 통합하기가 어렵습니다 .

소셜 미디어의 폭발적인 성장과

확장의 수용

…

소셜 미디어의 Inputs

In-House 기술

Intellectual Property

Face

book

Twitt

er Yo

uTub

e

Blog

s

Othe

r Soc

ial

Med

ia So

urce

s

고객

내부 분석가

도 전

목 표


향상 고객에게 깊이 소비자 및 시장 분석을 제공함으로써 소셜 미디어 인텔리전스 시장에서 경쟁우위를 확보

250TB 로 확장된 단일 MarkLogic 시스템은 사내 검색 및 데이터베이스 기술을 대체

실시간으로 필수적인 데이터를 고객에게 제공합니다

개개인의 지적 재산권을 포함한 결과

백만가지 이상의 데이터 소스를 처리 할 수 있는 보다 완전하고 다각면의 360° 소셜 미디어 뷰 .

30억건 이상의 기록을 1초 미만의 검색 . ( 이전 15억건 )

분석 및 조치에 최적화 속도 - 최대 10 배 개선된 성능

혜 택

솔 루 션


매일 거래되는 금융거래에서 수백만의 수익을 창출

연가 수십억 단위의 게임 시스템 거래 안정적 처리

수백만의 사용자의 직불 / 신용 거래 추적

볼륨 및 속도의 거래를 위한 완벽한 확장성의 필요성

시스템이 장애의 경우 많은 사업의 손실 발생

높은 가동 시간 요구

모바일 게임머

모바일 게임 플렛폼

RDBMS?

MarkLogic

무료 게임

가상 아이템 구매

도 전

목 표


매일 거래되는 금융거래에서 수백만의 수익을 창출

"The Bank" 라고 불리는 MarkLogic 의 Mission-critical 시스템

금융 거래 및 계정의 관리 (매우 구조화 된 데이터 )

지출 동향의 실시간 분석을 지원하는 in-database 기반의 플랫폼

쉬운 확장성 , 높은 가동 시간 / 신뢰성 , 빠르고 실시간 적인 응답 - 기존 RDBMS 기반의 Prototype 대비 분명한 장점

NoSQL 을 활용의 기술 철학 활용

MarkLogic 이 iOS / Android 에서 최상위 수익률을 자랑하는 게임의 플렛폼 역할 수행 (6/12/12)

혜 택

솔 루 션


이기종 DB 분석

새로운 / 리뉴얼 포털작업

검색 속도의 우위가 필요한 작업

그룹웨어 /KMS/CMS

마크로직의 이슈

빅데이터 프로젝트


제안 사례

기존 국내 기술로 문서 검색 사용 중 내부 문서 검색 및 분석 -> 영업직이 자료를 활용못함 기존 데모했던 기술은 인덱싱만 한달이 걸리고 단어검색만 됨

10T 이상의 문서도 즉석 검색 빠른 인덱싱 속도와 리포트 제공 빠른 구축 시간 및 유지보수 용이

XX 증권


제안 사례

기존 검색 엔진 대체할 빅데이터 기반 검색 기술 수요 그룹웨어 , 지식관리시스템 , 내부 문서 검색 엔진 공급가격과 검색속도 , 개발 및 외부 프로그램 , API 연동 고려

PB 급 데이터 검색 및 처리 기존 시스템과의 호환성 빠른 구축 시간 및 유지보수 용이

XX 이노


제안 사례

마케팅 및 내부 비정형 데이터 분석 고객메일 , 내부메신저 , 리포트 , 부서별 문서 검색 및 분석 정형의 데이터를 다시 분석하는 것은 빅데이터의 의미가 아님

비정형 데이터를 수집하고 데이터 선 분석 내부 교육 및 마케팅에 활요할 분석이 ?? 구축 비용 및 유지 보수 비용이 오픈소스에 비해 ROI 가 나옴

XX 은행


제안 사례

정책 자료 및 지역 민원 내용 분석 소셜 데이터 분석 기존 단순 웹 로그 분석에서 탈피

비정형 데이터를 수집하고 데이터 선 분석 내부 정책 수립 및 우선순위 설정에 활용

XXX 청


제안 사례

CCTV 검색 대용량 미디어 검색 메타데이터

미디어화일의 메타데이어 검색 원본과 인덱싱 서버 별도

XXX테크


제안 사례

GIS 데이터 검색 대용량 데이터 검색속도 이슈

수십억건 이상의 문서에서 1-2초 내 검색속도 요구 GIS 서비스에 엔진으로 제안

XXX 부


MarkLogic 기능 요약

Flexible

Indexes

Full Text

Search

Schema-

Agnostic

Scalable

Analytic Function

s

Hadoop Distributio

n

Alerting & Event

Processing

Geospatial Query

In-database MapReduc

e

Visualization

Widgets

Transactions

Role-based

Security

Automated Failover

Replication

Journal Archivin

g

Point-in-time

Recovery

Database

Rollback

Backup/Restore

Distributed

Transactions

Super-clusters

PowerfulEverything you need to deliver business value

TrustedEnterprise-ready for mission-critical apps

REST & Java APIs

JSON Storage

Application

Builder

Information

Studio

Hadoop Connect

or

Content Pump

BI Integratio

n

SQL Support

Monitoring &

Management

OS Support

AccessibleLeverage existing tools, knowledge, skills


Marklogic 7.0 - New

Tiered Storage

Runs on HDFS

Runs on Amazon S3 Cloud Ready

Elasticity Cluster Monitoring Tools

Configuration Management Enhancements

Semantics


Search Enhancements

Requiring Less Disk Space

REST & Java API Improvements

Fast data ingestion

Security (LDAP / Kerberos)

Marklogic 7.0 - New


빅데이터 = 엄청난 기회


질의응답 ?

Lee Seung [email protected]

[email protected]

mailto:[email protected]

빅데이터 통합 플랫폼 마크로직(marklogic) 2014

Technology