sql+nosql: on the way to converged data management platforms
TRANSCRIPT
SQL И NOSQL:на пути к
централизованным
платформам
управления данными
DWHOLTP
RDBMSBI
БОЛЬШИЕ ДАННЫЕ В НАЧАЛЕ БОЛЬШОГО ПУТИ…
«данные такого объёма, разнообразия и скорости прироста, что их обработка традиционными средствами неэффективна»
McKinsey, PWC (2009–2010)
Hadoop NoSQLR
→ … → глубинное обучение
п р о т и в
NOSQL: ТЕРМИНОЛОГИЧЕСКИЕ ТОНКОСТИ
• Реляционные СУБД
• Классические «SQL-серверы»S Q L
• «Не SQL-сервер»
• … но, возможно, с поддержкой языка SQLN o S Q L
• “Not Only SQL”
• …в поддержку языка SQL, но не реляционной модели
N O S Q L
• Горизонтально масштабируемые СУБД на реляционных движках
• …или NoSQL-системы, говорящие на SQLN e w S Q L
NOSQL: ВЫЯВЛЕННОЕ ОПРЕДЕЛЕНИЕ
и иногда (в широком смысле)
другие нереляционные СУБД
а также
графовые СУБД
…класс горизонтально масштабируемых СУБД с агрегатной моделью хранения и ограниченной
транзакционностью
«ключ – значение»документо-
ориентированные«семейство столбцов»
NOSQL-I: АГРЕГАТНЫЕ
«Ключ –значение»
DynamoDB
Riak
Berkeley DB
Redis
Aerospike
Voldermort
Tarantool
MemcacheDB
FoundationDB
Документо-ориентированные
MongoDB
CouchDB и Couchbase
SequoiaDB
RavenDB
«Семейство столбцов»
BigTable
HBase
Cassandra
SimpleDB
Accumulo
NOSQL-II: ГРАФОВЫЕ
Neo4j
FlockDB OrientDB
InfiniteGraph
HyperGraphDB
NOSQL-III: «И ПРИМКНУВШИЕ К НИМ»
Многозначные (multivalue) и
иерархические
Mumps
Pick D3
Cachè
Объектно-ориентиро-ванные
Objectivity
db4o
Jasmine
XML DB,RDF-DB
(часто включены в сегмент «документо-ориентированных»)
Sedna
xDB
MarkLogic
Системы полно-текстового поиска
Lucene
Solr
…
Распределённые файловые системы
Hadoop+
Hive +
Pig
ВЫТЕСНЯТ ЛИ NOSQL
РЕЛЯЦИОННЫЕ СУБД?
ИСТОРИЯ ВЫЗОВОВ РЕЛЯЦИОННОМУ ДВИЖЕНИЮ
•Аналитические функции
•Кластеры без разделяемых ресурсов
•Встраивание в движок РСУБД (OLAP Option, Analytics Services)
MOLAP
•Косметическая поддержка
Объектно-ориентированные
СУБД
•Эффективный XMLType
•Эффективный BLOBXML-СУБД
NoSQL…?
«Ключ – значение»Документо-
ориентированные
«Семейство столбцов»
Графовые
ХАРАКТЕРИСТИЧЕСКИЕ СВОЙСТВА NOSQL
Агрегатная модель хранения
Бессхемность, комбинирование на стороне приложения
Атомарный доступ
Горизонтальная масштабируемость
Ограниченная транзакционность
Эффективная репликация
ГОРИЗОНТАЛЬНАЯ МАСШТАБИРУЕМОСТЬ
“Shared-nothing” и комплексы аналитики
«Прикладной кластер»
Multimaster cluster
“NewSQL”
“Shared-something”
•Oracle Real Application Cluster
•Sybase ASE Cluster Edition•Postgres XL
•PostgresPro cluster•VoltDB
•Clustrix
Копируются целикомна все узлы
Секционируются по узлам
Транзакционные объекты
•Большой объём вставки и обновлений
•Секционируются по признаку от основных данных
Основные данные
•«Большие» реестры (клиенты, материалы)
•Определяют ключи секционирования
Метаданные, внутрисистемная информация
Конфигурационные данные, типология для основных данных, «маленькие» справочники
Содержательно-статистическая классификация схемы данных
приложения
АГРЕГАТНАЯ МОДЕЛЬ ХРАНЕНИЯ
Кластер в Oracle Database(1988)
Совместно хранится
Совместно индексируется
Совместно секционируется
Изображение ©Oracle, 1997
БЕССХЕМНОСТЬ
«Полугибкие» схемы, data-vault-style
XML-, JSON-, BSON-типы столбцов и SQL-доступ к их содержимому
PERSON
PERSON_ADDRESS PERSON_ATTR PERSON_REL
MD_PERSON_ATTR MD_PERSON_REL
json_extract_path('{"f2":{"f3":1},
"f4":{"f5":99,"f6":"foo"}}','f4')
'{"a":[1,2,3],"b":[4,5,6]}'::json
#>>'{a,2}'
АТОМАРНЫЙ ДОСТУП
MapReduce над РСУБД
Teradata Aster Greenplum
Не менее «атомарные» возможности с процедурными расширениями
пользовательские функции
курсорыпользовательские
выходы
[ГЕО]РЕПЛИКАЦИЯ
В бизнес-приложениях в основном решается резервами, доступными на чтение
Основной узел(запись, чтение)
Резерв 1(чтение)
Резерв n(чтение)
…
Журналы изменений
МОГУТ ЛИ СОСУЩЕСТВОВАТЬ
SQL И NOSQL ВМЕСТЕ?
Изображение: Peter Koelbel, CC-SA
«МНОГОВАРИАНТНАЯ ПЕРСИСТЕНТНОСТЬ»
Hibernate OGM: библиотека, обеспечивающая Java Persistence
API для унифицированного доступа к различного класса NoSQL-
системам
I n i f n i s p a n
E h c a c h e
M o n g o D B
N e o 4 j
Marin Fowler, Pramod Sadalage. NoSQL Distilled: A Brief Guide to the
Emerging World of Polyglot PersistenceN. J.: Addison-Wesley, 2012
Переведена на русский язык (2013, Вильямс, перевод Дм.
Клюшин )
COSQL: ОБЩИЙ ЯЗЫК И ДВОЙСТВЕННОСТЬ SQL И NOSQL
Erik Meijer and Gavin Bierman
A co-relational model of data for large shared data banks
// Communications of the ACM, vol. 54 (2011), No. 4
SQL coSQL
Дочерние записи ссылаются на
родительские
Родительские записи содержат
дочерние
Элементы обязательно строго
типизированы
(Потенциально) динамически
типизированы
Синхронные обновления (ACID)
для нескольких записей
Асинхронные обновления (BASE)
для одной записи
Набросок теоретико-категорной модели, объединяющей реляционную алгебру и «двойственную ей» алгебру для агрегатных моделей
БОРЬБА ЗА ГЛАВЕНСТВУЮЩУЮ
РОЛЬ…
В БОРЬБЕ ЗА АНАЛИТИКУ: «ОЗЁРА ДАННЫХ»
Джеймс Диксон (генеральный директор Pentaho, 2011) :
• «если витрины данных – это бутылки с отфильтрованной водой, то озеро – их неисчерпаемый источник»
…собранные в большую
распределённую файловую систему данные в исходных
форматах, достаточных для [Hadoop-]обработки
… в противопоставление
хранилищу данных, для которого данные
приходится трансформировать
Озёрные пессимисты
Озёрные
оптимисты
В БОРЬБЕ ЗА OLTP-СИСТЕМЫ…
[ Р е з и д е н т н ы й ] N o S Q L б е з р а з д е л я е м ы х р е с у р с о в
Aerospike, Riak, Tarantool, …Необходима кардинальная переработка приложения
Практически неограниченная масштабируемость, поддержка
геокластеризации
Используется в основном для новых приложений (практика в
RTB, розничной торговле)
Р е з и д е н т н ы й г р и д д а н н ы х
Oracle Coherence, Infinispan, Gemfire, Gridgain, …
Необходима модификация приложения (но может быть
незначительной при аккуратной ORM-реализации)
Встаёт между сервером приложений и СУБД и
существенно разгружает последнюю
Практика с конца 2000-х, поддерживается некоторыми
тиражируемыми приложениями
О д н о у з л о в а я р е з и д е н т н а я С У Б Д
SAP Hana, Oracle Timesten, Oracle 12c in-memory option, Exasol, MemSQL, IBM solidDB,
VoltDB
Может обойтись (в некоторых случаях) без модификации
приложения
«Низкий потолок» размера базы данных (32 ТБ на RISC, 24 ТБ на
x86-64-scaleup, 4 ТБ x86-64 commodity)
Основная практика – за счёт поддержки со стороны
тиражируемых приложений (S4/Hana)
Р а з д е л ь н ы е э к з е м п л я р ы с ф е д е р а ц и е й о с н о в н ы х д а н н ы х
Не требуется специализированного
платформенного ПО (обычные СУБД + MDM)
Значительные модификации приложения и модели данных
Необходимость в естественных ключах разделения, от их выбора
зависит масштабируемость
Не всегда возможно при высокой частоте модификации
основных данных
Б о л ь ш а я м а ш и н а д л я С У Б Д , г о н к а з а i o p s
IBM p795, SPARC M6-32, all-flash-массивы
Не требует значительных модификаций приложения
«Низкий потолок» (384 ядра, 5 млн iops)
Наиболее традиционный подход для банков, «реального
сектора»…
РЕЗИДЕНТНЫЕ ВЫЧИСЛЕНИЯ
СУ
БД
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ В РЕЗИДЕНТНЫХ КОМПЛЕКСАХ
OLTP-
SQL
MOLAP BI Data
Discovery
Stats Apps OLTP-
NoSQL
Hadoop
Hana in-memory database
DB 12c(Timesten)
MonetDB
Essbase
KXen
OBIEE
RevolutionR
Полиматика
SAP S/4
Endeca
Vora(Spark)
Spark
Spark
Spark
DB2 BLU
R (DB option)
Hyperion
R
PAL RHana
Exalytics
BLU
NumaQ
Скала-СР /Аналатика
IMM/H
РЕЗИДЕНТНЫЕ СУБД
Реляционные SAP HanaOracle
TimesTenMemSQL
Реляционные расширения
Oracle 12g in-memory
option
IBM DB2 BLU
SQL Server in-memory
OLTP
MOLAP IBM TM1Oracle
Essbase for Exalytics
Jedox Palo
РЕЗИДЕНТНАЯ АНАЛИТИКА (VISUAL DATA DISCOVERY)
Tableau QlikViewTibco
SpotfireIBM Cognos
Insight
SiSenseOracle Endeca
Полиматика
Узкоспециализированная СУБД в оперативной памяти
(как правило, колоночная и без широких средств доступа)
богатые средства визуального анализа в комплекте с ней
РЕЗИДЕНТНЫЕ ГРИДЫДАННЫХ
Oracle Coherence
WebSphere Extreme Scale
TibcoActiveSpaces
Hazelcast
GigaspacesXAP
GridgainRed Hat Ininispan
TmaxIninicache
Распределённый кэш Java-объектов
На каждый узел J2EE-сервера приложений
ставится спец. ПО
Одно из ключевых требований –
поддержка JSR-107(java cache)
Пробрасывает операции в СУБД
Поддерживает основные ORM
(Hibernate, Toplink, …)
Требуется рефакторинг слоя
model в MVC-приложении
РЕЗИДЕНТНЫЙ ГРИД: ФАКТОРЫ УСКОРЕНИЯ
О б л е г ч е н и е б а з ы о т и з б ы т о ч н ы х ч т е н и й
•Практически полная разгрузка транзакционной СУБД на чтение условно-постоянных данных (конфигураций, справочников, основных данных), которые полностью кэшированы в оперативной памяти, притом в распределённом режиме
Б а л а н с и р о в к а
•Весь пул соединений сосредоточен в гриде, приложение не держит соединений с базой данных, соответственно, загрузка пула соединений управляется из одного места
Р е а л и з а ц и я м у л ь т и в е р с и о н н о г о к о н к у р е н т н о г о к о н т р о л я н а с т о р о н е г р и д а
•Разгрузка базы данных от длинных транзакций, в базе фиксируются только финализированныерезультаты, все неуспешные конкурентные попытки отсеиваются гридом; работа в качестве монитора транзакций
О п т и м и з а ц и я с е р в е р о в п р и л о ж е н и й
•Разгрузка кэшей серверов приложений, ограниченных особенностями виртуальной машины (off-heap-storage)
ЦЕНТРАЛИЗОВАННАЯ ПЛАТФОРМА?
РЕЗИДЕНТНЫЙ ГРИД И РИТОРИКА “CONVERGED DATA PLATFORM”
И о п е р а т и в н а я о б р а б о т к а , и а н а л и т и к а – в о з м о ж н ы в о д н о м г р и д е
т р а н с ф о р м а ц и ин е н у ж н ы !
ц е н т р а л ь н а я п л а т ф о р м а , о с т о в – о д и н
Н а у ч и л и с ь р а б о т а т ь б е з б а з ы и H D F S
Б а з а и H D F S с т а л и р е з е р в о м и п е р е х о д н ы м э т а п о м
… п о д д е р ж а л и A p a c h e S p a r k
г л о б а л ь н ы е R D D !
… п о д д е р ж а л и H D F S
Р е з и д е н т н ы е г р и д ы з а г о в о р и л и н а S Q L
«КЛЮЧ – ЗНАЧЕНИЕ» –ЦЕНТРАЛЬНАЯ ПЛАТФОРМА
Е с л и р е з и д е н т н ы е г р и д ы о б р е т а ю т с м ы с л ц е н т р а л и з о в а н н о й п л а т ф о р м ы у п р а в л е н и я д а н н ы м и – т о
т о т ж е ш а н с у [ р е з и д е н т н ы х ] N o S Q L - С У Б Д в м о д е л и « к л ю ч – з н а ч е н и е »
… н о б е з г р у з а J a v a , . N e t …
с N o S Q L - s t y l e -A P I
с д о к а з а н н ы м и к а ч е с т в а м и п о г е о р е п л и к а ц и и
в т ы с я ч и у з л о в в г о р и з о н т а л ь
С у щ е с т в о р е з и д е н т н ы х г р и д о в –С У Б Д « к л ю ч – з н а ч е н и е »
Л и ш ь п о я в и в ш и е с я д о в р е м ё н N o S Q L
В к л ю ч а ю т с я а н а л и т и к а м и с о о т в е т с т в у ю щ и й к л а с с
( T e r r a c o t a , I n i n i s p a n )
РЫНОК
Изображение: Clinton Lord, CC-SA
ОБЪЁМ РЫНКА
IDC: рынок СУБД в
2016 году – $45,7
млрд
451 Research: к 2016 году
объём рынка NoSQL
превзойдёт $1 млрд
IDC: рынок больших
данных к 2016 году
– $16 млрд
Gartner: резидентные
СУБД в 2015 году – $6
млрд
РЕЛЯЦИОННЫЕ, NOSQL+HADOOP, ПРОЧИЕ НЕРЕЛЯЦИОННЫЕ
МАСШТАБ ПО 451 RESEARCH
Изображение ©451 Research, 2012
ВЕРСИЯ WIKIBON
Изображение ©Wikibon, 2013
РЕЙТИНГ DB-ENGINES, 1…10
РЕ
ЙТИ
НГ D
B-E
NG
INE
S,
11
…3
9
КВАДРАНТ МАГИЧЕСКИЙ, ОБЪЕДИНЯЮЩИЙ
Magic Quadrant for
Operational Database
Management Systems,
2015
«Реляционные и
нереляционные СУБД
для OLTP-приложений
корпоративного
уровня»
ФУНДАМЕНТАЛЬНЫЙ ОПРЕДЕЛИТЕЛЬ – АППАРАТНАЯ
ЭКОНОМИКАИзображение: NYC Department of Information, CC-SA
АППАРАТНЫЙ ПРОГРЕСС ВСКОРЕ МОЖЕТ ИЗМЕНИТЬ РАСКЛАД СИЛ…
Вертикально масштабируемые x86?
GPGPU
N V i d i a A M D I n t e l
100 GbE и адаптация In f i n iband
NVM-Express
NVMe over Fabrics
ОЗУ постоянного хранения
3D XPoint MeRAM NRAM STT-RAM CBRAM Racetrack
