У Google есть два типа сканирования: один для обнаружения нового контента и обновления уже опубликованного контента.

Это объяснил Джон Мюллер специалист по поиску в Google вовремя видеовстречи Google Search Central SEO, записанной 7 января.

Один из гостей задал Мюллеру ряд вопросов, один из которых касается того, как часто Googlebot сканирует его сайт. Он отметил, что Googlebot ежедневно сканировал его сайт, когда он публиковал новости регулярно, но стал заметно реже сканировал, когда новости стали публиковаться с меньшей частотой. Опасаясь, что снижение частоты сканирования — плохой знак, гость спросил у Мюллера, нормально ли это.

Мюллер уверил его, что все в порядке, и объяснил, что у Google есть два типа сканирования, которые использует Googlebot.

Два типа сканирования Googlebot

Вы можете узнать, как часто робот Googlebot сканирует ваш сайт, с помощью отчета в Search Console , и могут быть периоды, когда ваш сайт сканируется чаще, чем обычно.
Отвечая на вопрос об отчете, Мюллер подтверждает, что колебания нормальны:

«Это может случиться. Мы сканируем не столько сайт, сколько отдельные страницы сайта. И когда дело доходит до краулинга, у нас есть два типа сканирования.

Одним из них типов поискового сканирования, при котором мы пытаемся обнаружить новые страницы на сайте. А другой — это сканирование с обновлением, когда мы обновляем существующие страницы, о которых нам известно».

Частота сканирования может варьироваться не только для всего сайта, но и для отдельных страниц. Например, если ваша главная страница обновляется чаще, чем другие страницы, вы увидите больше активности робота Googlebot на этой странице.

Мюллер продолжил:

«Если мы признаем, что отдельные страницы изменяются очень редко, то мы понимаем, что нам не нужно сканировать их все время»

Некоторые типы сайтов, вероятно, будут сканироваться чаще, чем другие. Новостные сайты, которые обновляются несколько раз в день, будут сканироваться чаще, чем сайт, который обновляется раз в месяц.

Googlebot способен распознавать эти шаблоны и соответствующим образом корректировать частоту сканирования.

«Например, если у вас есть новостной сайт, и вы обновляете его ежечасно, то мы должны понять, что нам нужно сканировать его каждый час. Если же это новостной сайт, который обновляется раз в месяц, то нам следует понять, что нам не нужно сканировать его каждый час.

И это не признак качества, или признак ранжирования, или что-то в этом роде. Это действительно чисто с технической точки зрения, мы узнали, что можем сканировать это один раз в день или раз в неделю, и это нормально».

Так что не пугайтесь, если заметите, что робот Googlebot посещает ваш сайт чаще или реже. Кроме того, не беспокойтесь, если робот Googlebot недавно просканировал ваш сайт и обновления существующего контента не отражаются в результатах поиска.

Вполне возможно, когда Google сканировал сайт, чтобы найти новый контент, а не обновить существующий контент.

Если сайт редко вносит изменения в опубликованный контент, робот Googlebot может сканировать больше для обнаружения, чем для обновления.

Опять же, это не обязательно имеет какое-либо отношение к качеству контента.

Видео встречи (англ.):

Читайте также: Методы оптимизации и ускорения индексации страниц сайта