Мой robots.txt для wordpress

Мой типичный robots.txt для  всех сайтов на wordpress. Мне нравится он) Не претендую на идеальный вариант. Просто это тот вид роботс.тхт, который я использую.

На примере моего блога cmsuser.ru

https://cmsuser.ru/robots.txt

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Crawl-delay: 1
Host: cmsuser.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: https://cmsuser.ru/sitemap.xml

robots.txt для wordpress. вариант cmsuser.ru)

2 комментария

Игорь 31.01.2011 Ответить
А ничего не будет если /xmlrpc.php запретить в роботсе?
admin 31.01.2011 Ответить
@Игорь, а что вы хотите чтобы было если его в роботсе запретить?

Добавить комментарий