Список роботов и агентов Яндекс для оптимизации сайта

Оптимизация сайта включает отслеживание регулярности посещения сайта поисковыми роботами, анализируя логи посещений на уровне сервера. В PHP используется $_SERVER[‘HTTP_USER_AGENT’]. Определяем с какого момента поисковая система может учитывать оптимизированный контент сайта и начинаем следить за поисковой выдачей.

Список роботов Яндекс

Роботы Яндекс классифицируют в зависимости от выполняемых ими задач:

  • Yandex/1.01.001 (compatible, Win16, I) — индексация текста
  • Yandex/1.01.001 (compatible, Win16, P) — индексация картинок
  • Yandex/1.01.001 (compatible, Win16, H) — определение зеркал сайта
  • Yandex/1.02.000 (compatible, Win16, F) — индексация пиктограмм сайтов (favicons)
  • Yandex/1.03.003 (compatible, Win16, D) — индексация страницы сайта по запросу
  • Yandex/1.03.000 (compatible, Win16, M) — индексация страницы по ссылке «Найденные слова»
  • YaDirectBot/1.0 (compatible, Win16, I) — индексация страницы, подключенной к Яндекс.Директ
  • YandexBlog/0.99.101 (compatible, DOS3.30, Mozilla/5.0, B, robot) — индексация блогов и комментариев

Список IP адресов роботов Яндекс не разглашает.

Список агентов Яндекс

Агенты Яндекс определяют доступность сайта или документа, на который стоит ссылка в соответствующем сервисе.

  • Yandex/2.01.000 (compatible, Win16, Dyatel, C) — проверяет доступность ссылок из Яндекс.Каталога. Сайт снимается с публикации, если недоступен в течение нескольких дней, и снова появляется, если становится доступен.
  • Yandex/2.01.000 (compatible, Win16, Dyatel, Z) — проверяет доступность ссылок из Яндекс.Закладок. Недоступные ссылки помечаются серым.
  • Yandex/2.01.000 (compatible, Win16, Dyatel, D) — проверяет доступность ссылок из объявлений для Яндекс.Директ перед модерацией.
  • Yandex/2.01.000 (compatible, Win16, Dyatel, N) — проверяет доступность ссылок для Яндекс.Новости, формируя отчеты для контент-менеджеров, информируя о возможных проблемах у партнеров-поставщиков новостей.

Заказать оптимизацию сайта можно прямо сейчас, заполнив небольшую форму на сайте веб-студии.

Теги:
поисковая оптимизация, роботы янедкс, агенты янедкс, индексация сайта, индексация ссылок, оптимизация сайта

Источник