Пример правильного Robots.txt для WordPress

Думаю ни для кого не секрет что такое robots.txt и для чего он нужен. Если кто же все-таки не в курсе, robots.txt – это текстовый файл, в котором содержатся рекомендачии для поисковых машин.

В robots.txt можно запрещать индексацию отдельных страниц или целых разделов на сайте, для склейки правильности ТИЦ рекомендую указывать правильное зеркало домена этот параметр нужен для Яндекса, рекомендую указывать при наличие sitemap.xml. Рассмотрим на примере одного из самых популярных на сегодняшний день движка WordPress.

Одним из первых действий при создании сайта и его продвижении составление файла robots.txt его место расположение должно быть таковым www. ваш сайт .ru/robots.txt именно этот пусть проверят поисковая машина про посещении вашего сайта. Самое главное недопустить ошибки и недочеты так как это потом может негативно отразится на индексации сайта.

Ниже приведу пример готового robots.txt для wordpress не забудьте изменить Host: vash-sait.zona и Sitemap: http://vash-sait.zona/sitemap.xml домен сайта на Ваш

User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-login.php
 Disallow: /wp-register.php
 Disallow: /wp-cron.php
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /webstat/
 Disallow: /feed/
 Disallow: /tag/
 Disallow: /search/
 Disallow: /goto/
 Disallow: *.html/*
 Disallow: */sphinx/*
 Disallow: */*.js*
 Disallow: /daos/
 Disallow: */?p*
 Disallow: */?s*
 Host: vash-sait.zona
 Sitemap: http://vash-sait.zona/sitemap.xml