После того, как был напуган до усрачки постом на lecactus.ru решил комплексно подойти к вопросу правильного robots.txt для CMS WordPress

По результатам чтения wikipedia, codex.wordpress.org и еще пары-тройки статей остановился на следующем варианте:

User-agent: *
Host: www.administrating.ru

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /?s=
Disallow: /search/
Allow: /wp-content/uploads

Sitemap: http://www.administrating.ru/sitemap.xml

Подозреваю, что большая часть из перечисленного должна быть закрыта на уровне хостинга, через .htaccess и т.п., да и выделенные строки, выглядят лишими, но хуже, думаю, не будет.

Для сравнения, как выглядят robots.txt у Дмитрия Давыдова:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://davydov.blogspot.com/feeds/posts/default?orderby=updated

А вот так у Маула:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php