Бот в двух словах это такой паук который приходит, к вам
на сайт и забирает в индекс поисковой системы новые
страницы.
Полезно будет познакомится как веб-мастерам, так и оптимизаторам кто
приходит на их сайты и какие действия они выполняют.
Знакомимся боты поисковой системы Яндекс.
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий бот
поисковой системы Яндекс. Yandex/1.01.001 (compatible; Win16; P) — бот индексатор картинок. Yandex/1.01.001 (compatible; Win16; H) — бот, определяющий зеркала
сайтов. Yandex/1.02.000 (compatible; Win16; F) — бот, индексирующий
пиктограммы сайтов (favicons). Yandex/1.03.003 (compatible; Win16; D) — бот, обращающийся к
странице при добавлении ее через панель веб-мастера
«Добавить URL». Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при
открытии страницы по ссылке «Найденные слова». YaDirectBot/1.0 (compatible; Win16; I) — бот, индексирующий страницы
сайтов, участвующих в Рекламной сети Яндекса или в простонародий
Яндекс директ. YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) —
робот поиска по блогам, индексирующий коментарии постов.
Также у Яндекса имеются несколько ботов агентов-«простукивалок»,
задача которых определять, доступен ли в данный момент сайт или
документ, на который стоит ссылка в соответствующем сервисе.
Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «бот простукивалка»
Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он
снимается с публикации. Как только сайт начинает отвечать, он снова
автоматически появляется в Каталоге. Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «бот простукивалка»
Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым
цветом. Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «бот простукивалка»
Яндекс.Директа. Она проверяет корректность ссылок из объявлений
перед модерацией. Никаких автоматических действий в этом случае не
предпринимается. Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «бот простукивалка»
Яндекс.Новостей. Он формирует статистические отчеты для
контент-менеджера и информирует его о возможных проблемах у
партнеров-поставщиков новостей.
В
этом обзоре я раскрою схему поднятия ТИЦ (тематического индекса
цитирования) и PR (Page Rank) при размещения тематических статей на
сторонних ресурсах...