как мы сделали поисковой движок
DESCRIPTION
TRANSCRIPT
МЕТАПОИСК
МЕТАПОИСК
МЕТАПОИСК
МЕТАПОИСК
МЕТАПОИСК
МЕТАПОИСК
INTRO
• 20k запросов в час
• 13Gb в минуту
• 6k билетов в сутки
• 60 одновременных запросов
ПОИСК V1.0
ПОИСК V1.0
• 1 ROR приложение
• ~130 гемов
• 10k тестов
ПОИСК V1.0
• 30 минут на деплой
ПОИСК V1.0
• 30 минут на деплой
• 350mb на процесс
ПОИСК V1.0
• 30 минут на деплой
• 350mb на процесс
• 30сек на старт приложения
ПОИСК V1.0
• 30 минут на деплой
• 350mb на процесс
• 30сек на старт приложения
• Блокирующий i/o
ПРОЩАЙ, RAILS
ПРОЩАЙ, RAILS OOP
– Paul Graham
«When I see patterns in my programs, I consider it a sign of trouble. The shape of a program should reflect
only the problem it needs to solve. Any other regularity in the code is a sign, to me at least, that I’m using abstractions that aren’t powerful enough…».
SOA
SOA?
SOA!
SOA
• Сервисы
• Интерфейсы
• Конфигурации
SOA
data_extenderINPUT OUTPUT
SET CONFIG
GET CONFIG
ПОИСК
ПОИСК
ПОИСК
ПОИСК
ПОИСК
params
ПОИСК
params
onetwotrip_gate
ozon_gate
ПОИСК
params
onetwotrip_gate
ozon_gate
awad_gate
ПОИСК
params
onetwotrip_gate
ozon_gate
awad_gate
eviterra_gate
ПОИСК
params
onetwotrip_gate
ozon_gate
awad_gate
eviterra_gate
result
DSL
INTERNAL DSL
namespace :deploy do desc 'Restart application' task :restart do on roles(:app), in: :sequence, wait: 5 do # Your restart mechanism here, for example: execute :touch, release_path.join('tmp/restart.txt') end end end
EXTERNAL DSLserver { listen 80; client_max_body_size 16M; root /home/aviasales/woodpecker/current/public; charset utf-8; ! location / { try_files $uri/index.html $uri @app; } ! location @app { proxy_set_header Client-Ip $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header Host $host; proxy_redirect off; proxy_pass http://app; } }
EXTERNAL JSON DSL
"s": [ "qatar_supported_directions", "qatar_jetradar_ruler", "qatar_throttler", "qatar_special_ticket_mark", "time_zones_extender", "drop_bad_tickets", "merge", "gate_productivity_extender", "airlines_extender", "deeplinks_extender", "airline_deeplinks_extender_db", "order_urls_collector", "result" ]
EXTERNAL JSON DSL
• ЛЕГКО ВАЛИДИРОВАТЬ
• ЛЕГКО ОБРАБОТАТЬ
• ЛЕГКО ВЫПОЛНИТЬ
IO
IOA
B
wait
wait
wait
C
t
IO
A B
wait
wait
wait
C
t
IO
A
B
Ct
АСИНХРОННЫЙ IO
• кооперативная многозадачность
• экономия памяти
• просто укладывается в голове
АСИНХРОННЫЙ IO В TORNADO V1.0
class AsyncHandler(RequestHandler): @asynchronous def get(self): http_client = AsyncHTTPClient() http_client.fetch("http://example.com", callback=self.on_fetch) ! def on_fetch(self, response): do_something_with_response(response) self.render("template.html")
АСИНХРОННЫЙ IO В TORNADO V2.0
class GenAsyncHandler(RequestHandler): @gen.coroutine def get(self): http_client = AsyncHTTPClient() response = yield http_client.fetch("http://example.com") do_something_with_response(response) self.render("template.html")
DATA
СПРАВОЧНИКИ
• файлы
• kyotocabinet
• inotify
• rsync
ЛОГИ
• логи в пределах узла
• нет глобального хранилища
ПОИСКОВАЯ ВЫДАЧА
• быстрое key-value хранилище
• избыточность
• синхронизация с глобальным хранилищем
CLUSTER
КЛАСТЕРRedis
MySQL
RabbitMQ
Redis
ОТКАЗ #1Redis
RabbitMQ
Redis
ОТКАЗ #2Redis
MySQL
RabbitMQ
КЛАСТЕРRedis
MySQL
RabbitMQ
Redis
RESULTS
• 250 мб на процесс
• до 10 одновременных запросов
• 500 одновременных соединений
• все данные внутри процесса
PITFALLS
TORNADO СТРАННЫЙ
TORNADO != ASYNC
ASYNC != EASY && FAST
ABOUT
АНТОН ПЛЕШИВЦЕВ !twitter.com/allaud github.com/allaud https://www.facebook.com/ant.pl.3 !aviasales.ru