Традиционно используются две стратегии для разделения трафика на роботов и людей: по user agent и по IP адресу. Первый способ заключается в проверке серверной переменной HTTP_USER_AGENT на наличие в ней названия бота (например Googlebot, Yahoo Slurp и так далее). Второй способ — проверка IP на наличие в списке IP адресов ботов. Список юзер-агентов роботов поисковых систем можно найти здесь: http://www.user-agents.org, а список IP адресов, с которых приходят боты, здесь: http://iplists.com
© Продвинутый клоакинг: как роботы индексируют платный контент

Пригодится. Есть пара мыслей. IP адреса и список юзер агентов роботов поисковых систем