Джон Мюллер в форуме Google Webmaster Help, поделился мыслю, которая будет довольна полезна начинающим оптимизаторам. Джон рекомендует не изменять файл robots.txt, который создается по умолчанию CMS.

Данный совет, он дал отвечая на вопрос пользователя необходимо ли разрешать доступ к админ части сайта в WordPress. Джон сказал, что, как правило, можно сохранять настройки по умолчанию для сайтов WordPress, они довольно хорошо оптимизированы при стандартной установке.

Если вы не знаете, что то конкретное, можно порекомендовать оставить файл robots.txt созданный по умолчанию. Если вы хотите знать, как работает файл robots.txt, вы можете ознакомиться с справкой от Google: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt тоже.


Читайте также: 15-минутный SEO аудит своими руками | Миф о дублированном контенте | Чем может помочь Google Webmaster Tools