Мой типичный robots.txt для всех сайтов на wordpress. Мне нравится он) Не претендую на идеальный вариант. Просто это тот вид роботс.тхт, который я использую.
На примере моего блога cmsuser.ru
https://cmsuser.ru/robots.txt
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Crawl-delay: 1
Host: cmsuser.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: https://cmsuser.ru/sitemap.xml
2 комментария