skytools помощь в вопросах масштабирования (Артем Носов)
Post on 16-Jun-2015
1.108 Views
Preview:
TRANSCRIPT
SkyTools: помощь в вопросах масштабирования
Артём Носов
План доклада● Skytools: готовые решения от Skype
● Основы PgQ: очередь, поставщик и потребитель;
● Londiste — как средство репликации;
● Проблемы масштабирования skytools 2.x
● Светлое будущее
Компоненты SkyTools● PgQ● londiste● walmgr
Применение PgQ● Асинхронная обработка событий● Обработка группы событий (batch)● Репликация
Под капотом
Пример
activity queue
Rating Consumer(Realtime)
Activity consumer
user stat table
Comet
Memcached
Сильные стороны● Поддержка транзакций
● Эффективная обработка событий
● Нет ограничений на количество поставщиков и потребителей
● Надежность
● Простота использования
● Open Source
PgQ: ticker● Без ticker(a) нет batch(ей)● Без batch(ей) события не обрабатываются● Держите ticker всегда запущенным!
Параметры очереди ● ticker_max_lag● ticker_idle_period● ticker_max_count● rotation_period
Londiste — master/slave replay
В чем подвох
request queue
notification fake table
1 событие
1 событие
10000событий
request consumer
notification queue_1
notification queue_..
notification fake table
notification queue_100
email notification consumer_1
email notification consumer_..
email notification consumer_100
Мониторинг ● pgq.get_consumer_info● pgqadm.py status● cacti и nagios
pgq.get_consumer_info() queue_name | consumer_name | lag | last_seen
-----------------+-----------------------+-----------------+-----------------
load_avatars_1 | load_avatars_consumer | 00:00:42.083408 | 00:00:37.561954
load_avatars_2 | load_avatars_consumer | 00:00:42.081061 | 00:00:37.653641
load_avatars_3 | load_avatars_consumer | 00:00:42.082729 | 00:00:37.906649
load_avatars_4 | load_avatars_consumer | 00:00:42.081907 | 00:00:37.574957
load_avatars_5 | load_avatars_consumer | 00:00:42.08163 | 00:00:37.840843
08:00 09:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:000
100
200
300
400
500
600
700
800
900
1000
Время
Ко
ли
чест
во с
об
ыти
й
SkyTools 3 ● Cooperative consumer● pgqd● Londiste: Parallel COPY
Вопросы?
top related