В видеовстрече для веб-мастеров Googlr, был задан важный вопрос, как быстро Google удаляет страницы из индекса, если на них добавили noindex nofollow. Пользователь, сказал, что добавил noindex, но страница осталась в индексе Google спустя несколько месяцев.

Джон Мюллер сказал, что разные URL-адреса сканируются с разной периодичностью, ну это логично, но потом он сказал, что некоторые URL-адреса могут сканироваться ровно раз в полгода.

Вопрос:

«Я вижу страницы в поиске, на которых давным-давно, было добавлено — noindex nofollow. И это через несколько месяцев после изменений на них»

Джон Мюллер ответил:

«Сложная часть данного вопроса, заключается в том, что мы не сканируем URL-адреса с одинаковой частотой. Таким образом, некоторые URL-адреса будут сканироваться ежедневно. Некоторые URL — еженедельно. Другие URL-адреса каждые пару месяцев, возможно, даже раз в полгода или около того. Google пытаемся найти правильный баланс, чтобы мы не перегружали ваш сервер.

И если вы внесли существенные изменения на сайте на многих страницах, то, вероятно, многие из этих изменений будут обработаны довольно быстро, но останутся некоторые страницы, которые будут обрабатываться значительно дольше основной массы. Поэтому, если вы сделали масштабные изменения на сайте, есть вероятность, что страницы, которые сканируются раз полгода, останутся в индексе без изменений через пару месяцев.

И это нормальное, логично, что не важные страницы мы будем обрабатывать не сразу, поэтому это не обязательный признак технических проблем с вашей или с нашей стороны.

Если вы считаете, что эти URL вообще не должны индексироваться, то на них можно не обращать внимание, со временем они пропадут, но если вам необходимо их переиндексировать, то стоит обновить в файле Sitemap последнюю дату изменения (last modification date), тогда Google проверит их немного быстрее».

Использование карты сайта для ускорения обновления контента на сайте

Джон Мюллер предложил обновить карту сайта, это позволить Googlebot увидеть последнюю измененную дату и использовать ее как подсказку для ее сканирования.

Инструмент «Просмотреть как Googlebot»

Что-то, о чем Джон Мюллер не упомянул, это использования инструмента проверки URL-адресов Google. Согласно странице справки Google для по «Инструмент проверки URL» переиндексация может занять от недели до двух.

Средство проверки URL-адресов полезно, если у вас есть несколько отдельных URL-адресов, которые требуют повторного сканирования. Если у вас большое количество страниц, Google рекомендует вместо этого отобразить их изменение в карте сайта.

Дополнительную информацию о том, как запросить повторное сканирование страниц:
https://support.google.com/webmasters/answer/6065812

Просмотреть видеовстречу для веб-мастеров (англ.):
https://www.youtube.com/watch?v=gC7aVygbMIk&feature=youtu.be&t=2594