Как отслеживать статистику посещений вашего сайта поисковыми роботами с помощью php-скрипта.
Для чего это нужно?
Это знание позволяет контролировать процесс индексации новых страниц сайта. Google нас интересует в меньшей степени, его краулеры и так достаточно часто посещают сайт и индексируют новые страницы. А вот с Яндексом проблема. Апдейты его поисковой базы достаточно редки — как правило, это 5-7 дней. Поэтому вебмастеры и оптимизаторы стараются искусственно ускорить индексацию страниц различными способами. А индикатором эффективности этих способов, является скрипт для отслеживания поисковых ботов.
Настройка
Для настройки скрипта, в php-файлы сайта необходимо вставить вот этот код:
<?php include(«sebot.php»); ?>
Например, в WordPress, это будет файл index.php. Файлы, которые находятся в архиве, нужно поместить в корневой каталог сайта, на файл sebot.txt поставить права 777.
Настройка скрипта осуществляется в файле sebot.php. Для мониторинга других ботов, отредактируйте его, указав useragent интересующего вас робота.