Антон Довгоброд: highload и очереди задач на примере php +...

Highload и очереди задач на примере PHP +

Gearman + Yii2

Спикер: Антон Довгоброд

● Асинхронность в веб-приложениях.

● Систему очередей Gearman.

● Пример Реализации c использование Yii2 +

Gearman.

Асинхронность в веб-приложениях

Идет загрузка страницы ...

Enter Task1 Task2 Task N End


Enter Task1Task2

Task N End


0

время

кол-во

задач


Асинхронность - что это ?


Enter Task1

Task2

Task N End


Асинхронность :

- Клиентская

- Серверная


Клиентская асинхронность

http://something.dev

Some Content 1

Some Content 2

Loading...

Some Content N


Недостатки:

1. Пользователь все так же ждет ответа

2. Зависим от пользователя и его интернет

соединения

3. Растет количество проверок, растет количество JS

кода, растет количество потенциально уязвимых

мест

4. Растет нагрузка на клиентскую часть


Серверная асинхронность



http://something.dev

Some Content 1

Some Content 2

Content will be

loaded later, you

are free :-)

Some Content N


Отложенное выполнение

● Отправка почты

● Обработка изображений и прочих медиа

● Статистика

● Связь с API (синхронизация данных)


PHP и варианты

● fastcgi_finish_request()

http://ruhighload.com/index.php/2009/12/06/fastcgi_finish_request-asynchronous-requests/




● exec("/usr/bin/php /var/www/script.php > /dev/null &");






● PCNTL (выполнение кода в отдельном процессе)






● PCNTL (выполнение кода в отдельном процессе)

● Использование Очередей


Система очередей Gearman.

Очередь ?


Системы очередей:

Celery (http://www.celeryproject.org/)

RabbitMQ (http://www.rabbitmq.com/)

Zend Server Job Queue (http://www.zend.com/)

ZeroMQ (http://www.zeromq.org/)

BeanstalkdPeafowl,

StarlingApache

ActiveMQand.

http://www.celeryproject.org/

http://www.rabbitmq.com/

http://www.zend.com/

http://www.zeromq.org/


Почему Gearman ?


возможности gearman:

● Open Source

● Simple & Fast (rewritten in C)

● Support a variety of languages : build Worker in Python, Client in PHP

● Flexible

● Load Balance

● Failover


PHP Client1

Job Server 1

Worker 1

Connect, submit a job

Send command to

wakу worker Up

Ask For Jobs


PHP Client1

Job Server 1

Job Server 2

PHP Client2

PHP Client3

PHP Client4

PHP Client5

Worker 1

Worker 2

Worker 3


Простой пример:

Система очередей Gearman.Система очередей Gearman.

php worker.php


php client.php


Масштабируемость:

$gmclient->addServer("10.324.56.23:4730,10.324.56.27:4321");


Можно и не асинхронно:

$gmclient->do("reverse", "this is a test");


Приоритеты:

$client->doHighBackground ("reverse", "this is a test");$client->doLowBackground ("reverse", "this is a test");


Установка Gearman:

1. Gearman Server

apt-get install gearman-job-server

Но лучше перестраховаться :


Установка Gearman:

1. Gearman Client


Установка Gearman, путь Джедая:


Мониторинг состояния:

1. Проверяем что сервер и php ext работают:


Мониторинг состояния:

1. Проверяем что сервер и php ext работают

1. Мониторинг состояния

gearadmin --status

● Function Name

● Number in queue

● Number of jobs running

● Number of capable workers

Систему очередей Gearman.

Мониторинг состояния в UI:

1. Gearman Monitor

https://github.com/yugene/Gearman-Monitor


Мониторинг состояния в UI:

1. Gearman UI

https://github.com/gaspaio/gearmanui


Потенциальные узкие места:

1. Неожиданное завершение работы задачи

2. Неожиданное завершение работы Worker процесса

3. Выход из строя Job Server

4. при изменении кода Worker-а сам Worker не будет изменен




- Проверка всех уровней эксепшнов

- Код Задач должен быть хорошо оттестирован

- Хранение статуса операций, необходимых задачам в отдельном месте


- Использование утилиты, управляющей процессами (хороший пример

Supervisor)

[program:worker]command=/usr/bin/php /var/www/worker.phpprocess_name=%(program_name)s_%(process_num)02dnumprocs=10directory=/var/www/workerstdout_logfile=/var/log/worker.logautostart=trueautorestart=trueuser=www-datastopsignal=KILL


Supervisor

[program:worker]command=/usr/bin/php /var/www/worker.phpprocess_name=%(program_name)s_%(process_num)02dnumprocs=10directory=/var/www/workerstdout_logfile=/var/log/worker.logautostart=trueautorestart=trueuser=www-datastopsignal=KILL




- Проверка всех уровней эксепшнов

- Код Задач должен быть хорошо оттестирован

- Хранение статуса операций, необходимых задачам в отдельном месте


- Использование утилиты, управляющей процессами (хороший пример

Supervisor)

1. Выход из строя Job Server

Мониторинг Job Server

Выбирать хранилище очередей не по умолчанию (mysql, sqllight, memcached, etc.)

1. при изменении кода воркера сам воркер не будет изменен

Использование скриптов автодеплоя в случае обновления кода воркера


Как не должно быть:

Пример Реализации c использование

Yii2 + Gearman.

Пример Реализации c

использование Yii2 + Gearman.


Yii2 + Gearman.

Архитектура Задач, архитектура на первом месте!


Yii2 + Gearman.

Необходимые шаги:

1. Composer Yii2 extention

2. Add rows in config

3. write your worker

4. That’s it :-)


Yii2 + Gearman.

Устанавливаем дополнения:

1. Filsh

https://github.com/Filsh/yii2-gearman

Single worker , used :

https://github.com/sinergi/gearman

2. OR, Shakura

https://github.com/shakura/yii2-gearman

(Multiple workers)




Yii2 + Gearman.

Config:


Yii2 + Gearman.

Job:


Yii2 + Gearman.

Client:

Ссылки:

1. http://ruhighload.com/

2. http://supervisord.org/

3. http://gearman.org/

4. http://php.net/manual/en/book.gearman.php

5. https://gist.github.com/resscode/f118ca2f0233aebce3e5

6. https://github.com/gaspaio/gearmanui

7. https://github.com/Filsh/yii2-gearman

8. https://github.com/shakura/yii2-gearman

9. https://github.com/sinergi/gearman

http://ruhighload.com/

http://supervisord.org/

http://gearman.org/

http://php.net/manual/en/book.gearman.php

https://gist.github.com/resscode/f118ca2f0233aebce3e5

https://github.com/gaspaio/gearmanui



https://github.com/sinergi/gearman

Вопросы ?)

Всем Спасибо :-)

Вопросы и предложения можно оставлять:

[email protected]

Антон Довгоброд: highload и очереди задач на примере php +...

Technology