Мой robots.txt для wordpress

Мой типичный robots.txt для  всех сайтов на wordpress. Мне нравится он) Не претендую на идеальный вариант. Просто это тот вид роботс.тхт, который я использую.

На примере моего блога cmsuser.ru

http://cmsuser.ru/robots.txt

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Crawl-delay: 1
Host: cmsuser.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://cmsuser.ru/sitemap.xml

robots.txt для wordpress. вариант cmsuser.ru)

Оцените статью
  • А ничего не будет если /xmlrpc.php запретить в роботсе?

    [Ответить]

    admin

    @Игорь, а что вы хотите чтобы было если его в роботсе запретить?

    [Ответить]