Поисковый робот

Поисковый робот - это программа, являющаяся составной частью любого поисковика, которая предназначена для обхода страниц в интернете с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов. Отследить заходы поисковых роботов на страницы сайта можно по логам сервера или с помощью систем статистики. Стоит заметить, что не все поисковые роботы необходимы сайтам - многие можно запретить, т.к. толку от них может быть 0 (например, робот поисковика, который в Рунете представлен мизерной долей, или вообще какой то робот, который просто собирает статистику сайтов интернета, коих сейчас развелось очень много), а нагрузку на сайт они могут создавать значительную.