Джон Мюллер из Google предупреждает, что страницы, заблокированные в robots.txt, все равно могут индексироваться, если на них есть ссылки. И тут могут начаться проблемы, потому что Google-бот видит страницу, но не может просканировать и проиндексировать ее, поэтому Google будет считать, что на ней нет содержимого.

Мюллер сказал, если у вас есть контент, который не должен индексироваться в Google, лучшим решением будет использовать метатег noindex.

Этот вопрос возник во время недавнего видеовстречи веб-мастеров, когда вебмастер спросил, достаточно ли «запретить» страницы в robots.txt, которые не нужно индексировать.

Полный ответ:

«Если эти страницы заблокированы в robots.txt, то теоретически может случиться, что кто-то случайно поставит ссылку на эти страницы. И тогда может случиться, что мы проиндексируем эти URL, но без контента, потому что он заблокирован в robots.txt.

Если страницы блокируются с помощью файла robots.txt, так же стоит добавить на эти страницы метатег noindex. И если кто-то поставит ссылку на эти страницы, и бот перейдет по этой ссылке, подумав «может быть, здесь что-то полезное», тогда мы поймем, что эти страницы не нужно индексировать, и пропустим их при индексации.

Итак, в этом отношении, если у вас есть что-либо на этих страницах, что не стоит индексировать, то не запрещайте их, вместо этого используйте метатег noindex. «


Вопрос и ответ можно посмотреть в видео ниже, начиная с отметки 24:36.