python w warzywniaku. rozproszona kolejka zadań celery
DESCRIPTION
Marcin Mincer i Tomek KopczukTRANSCRIPT
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 1/16
Python w warzywniaku
rozproszona kolejka zadań Celery
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 2/16
Po co komu kolejka?
1. Możliwość uruchomienia wielu procesów workerów na
różnych maszynach.
2. Możliwość dodawania zadań do kolejki, aby wykonać je później.
3. Workery wykonują zadania z kolejki w miarę swoich
„możliwości”.
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 3/16
Zastosowania w aplikacji Django:
1.Wysyłanie e-maili.
2.Zmniejszanie obrazków, przygotowywanie miniaturek.
3.Skomplikowane i długie zapytania do bazy (raporty).
4.Podsumowując: wszystko, co trwa dłużej niż 1/3
sekundy (300 ms oczekiwania na odpowiedź aplikacji to już dość dużo).
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 4/16
Jak uruchomić:
$ pip install -U Celery($ pip install django-celery)
Instalacja brokera RabbitMQ
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 5/16
Broker:
1. Aplikacja, której zadaniem jest przechowywanie kolejki
zadań.
2. Udostępnia operacje dodania i pobrania zadania.
3. Odpowiada za przekazywanie wiadomości pomiędzy
procesami.
4. W naszym przypadku -- za rozdzielanie zadań
pomiędzy procesy workerów.
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 6/16
Jak uruchomić:
$ pip install -U Celery($ pip install django-celery)
Instalacja brokera RabbitMQ
$ celeryd
Stworzyć zadanie i je uruchomić
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 7/16
Jak uruchomić:
Stworzyć zadanie i je uruchomić:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 8/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 9/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 10/16
Przyk ł ad wdrożenia, problem:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 11/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 12/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 13/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 14/16
Przyk ł ad wdrożenia, rozwią zanie:
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 15/16
Bezwstydna wtyczka
(c) Blade Polska s.c.
5/7/2018 Python w warzywniaku. Rozproszona kolejka zadań Celery - slidepdf.com
http://slidepdf.com/reader/full/python-w-warzywniaku-rozproszona-kolejka-zadan-celery 16/16
www.askthe on .com
@askthe on
(c) Blade Polska s c