03 happydev-lite-2015 autumn. Анатолий Никулин. Построение...

Построение высоконагруженных систем на языке компромиссов

IT-конференция для студентов и школьников

13 СЕНТЯБРЯ 2015 ОмГТУ

Анатолий НикулинФА АСОИиУ

http://happydev-lite.ru/room-event/132



● Как избежать бардака?



Где много пользователей - там еще больше данных

Какие данные есть● Персональные данные: ФИО, интересы,

семейное положение, место работы

● Пользовательский контент: фотографии, видео, музыка

● Пользовательская активность: лайки, каменты, запросы в друзья

● Граф друзей● Техническая информация:IP адреса,

фактическое местоположение, поисковые запросы, просмотры профилей, время посещения





● Быстро читать

● Быстро писать

● Изощренно искать

● Много данных хранить

● И чтобы надежно

А что нам надо от хорошей СУБД?



Так не бывает!



От того так много разных СУБД

А какие требования к данным?

1. Как быстро писать - читать?

2. Что с ними делать потом?

3. На сколько они должны быть доступны

4. На сколько они должны быть

согласованны



Всё как всегда

VS



Read mostly

● Персональные данные: ФИО, интересы, семейное положение, место работы

● Пользовательский контент: фотографии, видео, музыка

- Меняются очень редко. - Допустима eventual consistency- Должны быть высокодоступны на чтение- Должны находиться поближе к потребителю



Что-нибудь из системс географическим распределением



Граф друзей



Водопад событий: Write mostly

● Техническая информация: IP адреса, фактическое местоположение, поисковые запросы, просмотры профилей, время посещения

Терабайты информации:● слабая структурированность● отсутствие высокой доступности● отсутствие произвольного доступа



Распределенные файловые системы - это не СУБД, но...



● храним сжатые log файлы

Аналитические СУБД

● Рекомендации контента● Статистические данные● Массивные параллельные вычисления● Всё что связанно с вычислениями на

больших объёмах структурированных данных



Финансовые операции

Традиционно RDBMSИбо: ● строгая консистентность● транзакции● да и просто проверенно временем



Вопросы?



03 happydev-lite-2015 autumn. Анатолий Никулин. Построение...

Education