Crawler

119 955

Crawler (поисковый робот) – это специальная программа, разработанная поисковой системой для индексирования страниц и релевантной выдачи веб-сайтов при запросе пользователя. Поисковый робот оценивает страницы сайтов и заносит данные в специальную базу сайтов поисковой системы.

Иные названия поисковых роботов

паук;
краулер;
бот;
webscrutter;
bot;
webcrawler;
ant;
webspider;
automaticindexer;
webrobots.

Поисковый робот сканирует глобальную сеть непрерывно. Он посещает уже известные ему сайты, попавшие в список индексированных, и находит ссылки на новые веб-ресурсы. Обнаружив новый сайт, он оценивает по ряду параметров содержимое этого сайта и добавляет его в индекс поисковой системы. Робот обладает «интеллектом» и учитывает регулярность обновления контента. Новостные порталы, информационные агрегаторы он может сканировать ежедневно, а интернет-магазины, сайты компаний – по мере обновления страниц.

Если сайт не оптимизирован, у него нет внешней ссылочной массы, нужно дополнительно привлечь внимание поискового робота. К примеру, Яндекс предлагает заполнить специальную панель вебмастера, а Гугл – данные в Центре вебмастеров.

Боты поисковой системы Яндекс

Yandex/1.01.001 (compatible, Win16, P), сканирующий и индексирующий картинки и фотоконтент.
Yandex/1.01.001 (compatible, Win16, I) – основной бот, отвечающий за индексацию сайтов в поисковой системе Яндекс.
Yandex/1.03.003 (compatible, Win16, D) – бот, проверяющий страницы сайта, добавленные в специальную панель вебмастера (он проверяет соответствие страницы, контент и принимает решение об одобрении или отказе в индексации). В случае положительного решения бот делегирует полномочия по индексации нового сайта основному боту Yandex/1.01.001.
Yandex/1.01.001 (compatible, Win16, Н) – бот, занимающийся обнаружением зеркал веб-сайтов.
Yandex/1.02.000 (compatible, Win16, F) – бот, индексирующий фавиконы веб-сайтов.
Yandex/1.03.000 (compatible, Win16, M) – бот, включающийся в работу после открытия страницы по ссылке «найденные слова».
YaDirectBot/1.0 (compatible, Win16, I) – бот, сканирующий и индексирующий сайты из рекламной и партнерской сети Яндекса.

Боты поисковой системы Google

Google Mobile (индексация сайтов, адаптированных под мобильные устройства);
Googlebot News (индексация новостных сайтов и агрегаторов);
Googlebot Video (индексация видеоконтента);
Googlebot Images (индексация картинок и фото);
Google AdsBot (оценка качества целевой страницы);
Google AdSense и Mobile AdSense (индексация сайтов, включенных в партнерскую и рекламную сеть);
Googlebot – основной поисковый робот Google.