Apache Kafka в Сбербанке

Голованов Михаил03.11.2017

AGENDA

1

• Почему Apache Kafka

• Основные области применения в

Сбербанке

• Перспективные направления

ПОЧЕМУ APACHE KAFKA? (1)

2

• Стратегия Банка по использованию opensource ПО

• Apache Kafka позволяет реализовать стили взаимодействия queue, publish/subscribe

• Новые стили взаимодействия• Возможность повторного чтения

• Партиционированные потоки

• Compacted topics

• Имеет хорошую производительность, легко масштабируется

• Активно развивается

• Имеет коммерческую поддержку и компанию-вендора

• Поддерживается другими BigData решениями: Apache Flink, Storm, Spark streaming

ПОЧЕМУ APACHE KAFKA? (2)

3

Альтернативы:

• JMS|AMQP

• WebServices

• REST

• Hadoop

• Новые игроки на рынке append only logs

• nats.io

СТИЛИ ВЗАИМОДЕЙСТВИЯ (1)

4

• Очередь Queue

• Publish/Subscribe

СТИЛИ ВЗАИМОДЕЙСТВИЯ (2)

5

• Повторное чтение

СТИЛИ ВЗАИМОДЕЙСТВИЯ (3)

6

• Партиционированный поток

СТИЛИ ВЗАИМОДЕЙСТВИЯ (4)

7

• Compacted topics

МАСШТАБИРОВАНИЕ

8

• Увеличение количества партиций

топика

• Увеличение количества брокеров в

кластере

• Мульти кластерная конфигурация

ВЕНДОР И СМЕЖНЫЕ OPENSOURCE

РЕШЕНИЯ

9

• Развитием Apache Kafka занимается компания Confluent (http://confluent.io)

• Коннекторы к Apache Kafka реализованы для многих популярных opensourceрешений• Apache Camel

• Apache Flink

• Apache Storm

• Apache Samza

• Apache Ignite streamer

KAFKA В СБЕРБАНКЕ

10

Используется с 2015 года

• Основа интеграционного слоя в новой

технологической платформе

• Агрегация логов

• Архивирование данных

• Complex Event Processing

ВЗАИМОДЕЙСТВИЕ В РАСПРЕДЕЛЕННОЙ

СРЕДЕ

11

• Сбербанк в ходе масштабной технологической трансформации реализует платформу развития бизнеса

• Java based

• In-memory computation and storage – GridGain

• Distributed and scaled

Для взаимодействия узлов реализована подсистема ММТ (межмодульный транспорт)

МЕЖМОДУЛЬНЫЙ ТРАНСПОРТ

12

• Синхронный и асинхронный RPC

• Stateless взаимодействия

• Events (publish/subscribe)

АГРЕГАЦИЯ ЛОГОВ

13

АРХИВИРОВАНИЕ ДАННЫХ

14

COMPLEX EVENT PROCESSING

15

ПЕРСПЕКТИВЫ РАЗВИТИЯ

16

• Data streaming

• Guaranteed notifications

• Катастрофоустойчивый кластер

• Мультикластерная конфигурация

DATA STREAMING

17

ППРБ CEP

18

GUARANTEED NOTIFICATIONS

19

• Распространение и кеширование

справочников

20

СПАСИБО ЗА ВНИМАНИЕ