поиск яндекса; архитектура
TRANSCRIPT
![Page 1: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/1.jpg)
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ßðîñëàâ Ëåîíîâ
ëåòî 2013
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 1 / 17
![Page 2: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/2.jpg)
Ïðåäñòàâëåíèå äëÿ ïîëüçîâàòåëÿ
The In te rne t
Search Engine
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 2 / 17
![Page 3: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/3.jpg)
Êîíâååð ïîèñêà
Search Engine
The In te rne t
Spider
Sea rch
Robot
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 3 / 17
![Page 4: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/4.jpg)
Ïàóê
Ïàóê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 4 / 17
![Page 5: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/5.jpg)
Ñòðóêòóðà ïàóêà
Spider
The In te rne t
Downloader
Cache
Zora
robot
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 5 / 17
![Page 6: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/6.jpg)
Ïàóê â ÷èñëàõ
Ðóíåò:
Ñåðâåðà: 300
Íàãðóçêà: 20 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 400 MByte/s (3200 Mbit/s)
Âñ¼ âìåñòå:
Ñåðâåðà: 700
Íàãðóçêà: 35 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 700 MByte/s (5600 Bbit/s)
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 6 / 17
![Page 7: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/7.jpg)
Ðîáîò
Ðîáîò
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 7 / 17
![Page 8: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/8.jpg)
Ñòðóêòóðà Ðîáîòà
Robot
Spider
robot
mapreduce
archive
sea rch
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 8 / 17
![Page 9: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/9.jpg)
Ðîáîò â ÷èñëàõÑåðâåðà
Ðîññèéñêàÿ áàçà:
walrus: 650
primus: 169
dech: 878
htarc: 172
Ìèðîâàÿ áàçà:
walrus: 301
primus: 120
dech: ???
htarc: 60
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 9 / 17
![Page 10: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/10.jpg)
Ðîáîò â ÷èñëàõÎáú¼ìû äàííûõ
Äîêóìåíòû: ≈ 25ìëðä.
Ïåðèîäè÷íîñòü: 1-2 ðàçà â íåäåëþ
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 10 / 17
![Page 11: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/11.jpg)
Ðîáîò â ÷èñëàõÏîèñêîâàÿ áàçà
Ðàçìåð: ≈ 214ÒÁ
Òèðû: áîëåå 10
Øàðäû: 6700øò.× 32 ÃÁ
Âûêëàäêà äåëüòà-áàçû: 2 äíÿ
Âûêëàäêà ïîëíîé áàçû: 3-4 äíÿ
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 11 / 17
![Page 12: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/12.jpg)
Ïîèñê
Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 12 / 17
![Page 13: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/13.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 14: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/14.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 15: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/15.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 16: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/16.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 17: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/17.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 18: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/18.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 19: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/19.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 20: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/20.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 21: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/21.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 22: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/22.jpg)
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
![Page 23: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/23.jpg)
ÏîèñêÑêîëüêî ïîèñêîâ â ßíäåêñå?
Balance
Web front
Meta search
Core search
The In te rne t
L3 balancer
h t tp ba lancer
wiza rd misspeller sfrontant i robot
resinfod m m e t a
x 4
other_sea rches
x 1 0 0
in t
x 1 8 6
Side searches
x 7
Base search
x 3 6
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 14 / 17
![Page 24: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/24.jpg)
ÏîèñêÑêîëüêî ïîèñêîâ â ßíäåêñå?
Ïðîêåòû: 50 - 100
Êîíôèãóðàöèè ïðîãðàìì: ≈ 200
Àêòèâíûõ ïðîãðàìì: > 400000
Êîíôèãóðàöèîííûõ ôàéëîâ: ≈ 25000
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 15 / 17
![Page 25: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/25.jpg)
ÏîèñêÑèëà âîîáðàæåíèÿ
Ãåíåðàöèÿ òîïîëîãèè êëàñòåðà
Êîìïèëÿöèÿ òîïîëîãèè êëàñòåðà â êîíôèãóðàöèþ
3-4 êîíôèãóðàöèè êëàñòåðà äëÿ îòêàòà
compile configuration CMS
cluster
topology
resources
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 16 / 17
![Page 26: поиск яндекса; архитектура](https://reader036.vdocuments.pub/reader036/viewer/2022062406/559b88531a28ab7f158b45ed/html5/thumbnails/26.jpg)
Ñïèñîê ëèòåðàòóðû
WIKI, http://wiki.yandex-team.ru.
Ïîèñêîâûé èíäåêñ,http://ru.wikipedia.org/wiki/Ïîèñêîâûé_èíäåêñ.
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 17 / 17