Файл robots.txt — запрет индексации для Яндекса и Google.
Создание правильного robots.txt для WordPress
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page*
Disallow: */replytocom=
Disallow: /author*
Disallow: */?author=*
Disallow: */tag
Disallow: /?feed=
Disallow: /?s=
Disallow: /?se=
Host: your-site.ru
Sitemap: http://your-site.ru/sitemap.xml
—
Почитать:
https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
http://seo-mayak.com/seo-prodvizhenie/poiskovye-sistemy/meta-teg-robots-indeksaciya-sajta.html