talksum dec2013 rus_generic
DESCRIPTION
Talksum Data Stream Router RussianTRANSCRIPT
1 Confidential Information of Talksum, Inc.
Talksum Data Stream Router™
Новый подход к работе с большими данными
2 Confidential Information of Talksum, Inc.
Для работы с Большими Данными требуются не только новые системы хранения и системы бизнес-аналитики (BI). Необходим современный подход к архитектуре и управлению данными.
• Проблема: Тяжело одновременно справляться с нарастающими объемами данных и реагировать на меняющиеся требования к этим данным.
• Сложность решения: Разнообразные источники генерируют огромные массивы информации; данные быстро устаревают; часто имеет смысл ограничиться сохранением только явных аномалий данных; во многих случаях можно урезать данные без потери информации; доступные решения для Больших Данных требуют специальных технических навыков.
• Стоимость решения: Расходы на обработку данных (персонал, время,инфраструктура) быстро растут, делая традиционные решения обработки данных непозволительно дорогими.
Проблемы работы с большими данными
3 Confidential Information of Talksum, Inc.
Новый, современный подход к управлению данными и аналитике с акцентом на скорость, простоту, экономичность
• Скорость: Решение обслуживает текущие и будущие инициативы Big Data в реальном времени, оптимизирует инфраструктуру Больших Данных.
• Простота: Упрощение процесса управления данными. Данные легко отслеживать, анализировать и маршрутизировать в реальном времени, одновременно снижая затраты на сбор данных, ETL и интеграцию.
• Экономичность: Высокоэффективное решение, требующее минимальных ресурсов, а значит иснижающее затраты.
Решение Talksum
4 Confidential Information of Talksum, Inc.
Скорость | Простота | Эффективность
Принцип работы Talksum Data Stream Router
Intake • Transform• Filter• Data Reduce• Monitor/Alert• Aggregate• Enrich• Analyze• Route
Store
5 Confidential Information of Talksum, Inc.
Обработка данных
Real -TimeOper at ions
Moni t or ing & Al er t s
Dat a Cache
SQL Dat aWar ehouse
Hadoop
Ext er nal St or age
NoSQL
Remot eSi t es
BI Tool s
Anal yt ic Apps
Thir d Par t y API
Device
AWS
Transform
Filter
Aggregate
Count
Reduce
Talksum Data Processor&Router
Syst em Logs
App Dat a
Device St at s
Ot herDat a
Device St at s
6 Confidential Information of Talksum, Inc.
Talksum Data Stream Router – Маршрутизатор Данных
Apache Common Logging – FilesSNMP - UDP
Unix Logs – RFC3164 UDP/TCPNetflow – UDP – NG v.5, 8, 9, 10
Patient Records (HL7) XML/ASN.1Transportation (BSM) SAE J2735
I2C, CAN, SNMP, Serial
XML, JSON, File, HTTP REST
Twitter, RSS, CAP (Weather Alerts)
Refined Data Stream
Refined Data Stream
Refined Data Stream
Indexed, Mapped, ReducedOrdered, Sorted Data Streams
Bulk Data Streams(Lightly Ordered
and Filtered)
TalksumData Stream
Router(TDSR)
• Нормализацияданных
• СинтаксическийАнализ
• Фильтры• Метрики и
Счетчики• ETL/PTL
без сохранения• Выходные потоки
асинхронны• Верификация
Протокола
Клиент A:Суммированные данные
Системныелоги
Прикладныеданные
Данныесенсоров и телематики
Данные извнеB2B/M2M
Соцсетии доступные
данные
Клиент B:Агрегированные данные
Клиент C:Динамический Поток
Логиприложений
• SQL Warehouse• Bulk Data Stores• File Storage
• Object Data Stores• Indexed Data Caches• NoSQL Data
Warehouses
7 Confidential Information of Talksum, Inc.
Talksum Data Stream Router реализует новый подход к управлению данными и аналитике
1. Транслирует входные данные в реальном времени…
2. …конвертируя в гибко управляемые потоки данных
3. …фильтруя и маршрутизируя по контенту
4. …и по корреляции событий из разных доменов
5. …продолжая пополнять существующие системы хранения и бизнес аналитики.
Talksum Data Stream Router
8 Confidential Information of Talksum, Inc.
• Транспортные протоколы (TCP, UDP, PGM)
• Прикладные (Application) протоколы (HTTP, RFC3164, SNMP, ZeroMQ)
• Форматы сериализации (JSON, BSON, ASN.1, Protobuf, MessagePack)
• API Анализатора (Parser API) позволяет легко создавать синтаксические анализаторы для сообщений прикладного уровня
• Расширенные возможности управления – чтобы упростить добавление логики
• Цель – конвертация данных, приходящих в разнообразных форматах, разными способами транспорта, в потоки данных
Вход – Логика транспорта протоколов
9 Confidential Information of Talksum, Inc.
• Техники Filter, Pivot, и Мap Reduction применяются «на лету», без промежуточного сохранения
• Фильтрация по значению, контексту, состоянию
• Сложная фильтрация нескольких потоков
• Функции Гистограммы для сжатия и сокращения размеров данных
Фильтрация, Маршрутизация, Агрегация
10 Confidential Information of Talksum, Inc.
• “Realtime ETL” для различных потоков данных
• Создание новых сообщений, созданных из свойств существующих сообщений и статического текста
• Создание SQL команд для вывода во внешние реляционные БД
• Генерация «атомных» инкрементных команд MongoDB для простых агрегаций
• Генерация сообщений Redis
Трансформация
11 Confidential Information of Talksum, Inc.
• MongoDB
• Redis
• Elasticsearch
• HDFS
• PostgreSQL
• MySQL
• REST API
Выход
• Маршрутизация через параллельные каналы для максимизации пропускной способности
• Создание сообщений из любых доступных атрибутов
• Детальные метрики для каждого маршрута
12 Confidential Information of Talksum, Inc.
Вопросы?
Дмитрий Артемьев
+7 985 7746502