robots.txt - что это такое, для чего нужен, как использовать
TRANSCRIPT
О докладчике
Миндубаев РамазанTeam Lead SEO TRINETАвтор сервиса iSemanticБлогер
Опыт
Robots.txtЧто, для чего, как
User-agent Disallow Allow *,$,# Host Sitemap.xml Clean-param Crawl-Delay Как проверить Фишки
О чем поговорим
User-agent
User-agent
Основные:• User-Agent: * • User-Agent: Yandex • User-Agent: Googlebot • User-Agent: Mail.RuИныеBad robots
Disallow
Открыт для индексации
Disallow: / #отсутствует Allow: #пустое значение отсутствует
Закрыты сервисные страницы
Мета-тег / robotsКонфиденциальные документы (!)- Смс- Заказы клиентов- Адреса доставки- Контактные телефоны- И т.д.
Закрыты админ страницы
Мета-тег / robotsАдмин страницы:- CMS (!)
Что еще закрыть?
• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения
товаров;• страница с перечнем всех товаров категории;
Что еще закрыть?
• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения
товаров;• страница с перечнем всех товаров категории;
Что еще закрыть?
• неоптимизированные фильтр страницы;• неоптимизированные выборки фильтров из
ползунков;
Allow
Что открыть?
• Папка с картинками;• Боевые страницы;• Служебные страницы;• Информационные страницы;• Страницы пагинации.
* $ #
Спецсимвол *
* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
Спецсимвол *
* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
Спецсимвол *
User-agent: *Disallow: /cgi-bin*Disallow: /cgi-bin
Спецсимвол $
$ - отменяет действие *
User-agent: *Disallow: /example$
Закрыт - /exampleОткрыт - /example.html
Спецсимвол #
# - комментарий
Host
Главное зеркало
Host: site.ru
В случае с https
Host: https://site.ru
Sitemap.xml
Карта сайта
Sitemap: http://site.ru/sitemap.xml
Все страницыНепроиндексированные
Clean-param
Clean-param
Для динамических параметры, которые не влияют на их содержимое:• utm;• Id;• ref;Clean-param: gclid&yclid&ymclid&_openstat&frommarket&utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_email&utm_nooverride&
Craw-delay
Clean-param
Минимальной задержки между индексацией страниц
Crawl-Delay: 5
Как составить и проверить
Как составить
User: *Disallow: /zakrilSitemap: http://domen.ruHost: domen.ruClean-param: Наш стандартCrawl-delay: 5https://webmaster.yandex.ru/tools/robotstxt/
Как проверить
Валидаторhttps://webmaster.yandex.ru/tools/robotstxt/
Как проверить
Фишки
Фишки
• .txt• 200 код• Не более 32 кб
Фишки
Фишки
Отвечу на ваши вопросы
Миндубаев Рамазан | тел.: +7 (981) 103-84-20 e-mail: [email protected]
Санкт-ПетербургГельсингфорсская 2Ател./факс: +7(812) 303-8743
МоскваTверской бульвар, 13тел./факс: +7(495) 545-4522