Джон Мюллер говорит, что контент должен быть в HTML, чтобы он быстро индексировался. Что особенно актуально для сайтов, которые часто создают новый и / или обновленный контент. Мюллер затронул этот вопрос во время обсуждения в Twitter о двухэтапной системе индексирования Google.

Когда Google сканирует и индексирует контент, он делает это в два этапа. В первый проход, просматривается только HTML. Затем, спустя некоторое время, он делает второй проход, оценивая уже весь сайт.

Мюллер говорит, что между первым и вторым проходом для разных сайтов пройдет разное время. В некоторых случаях это может произойти быстро, в других случаях, может занять несколько дней или недель.
Google настоятельно рекомендует использовать HTML, для ускорения индексации контента
Это очень важно, когда речь заходит о страницах с большим количество клиентского JavaScript для рендеринга. В таком случае, некоторые детали могут быть пропущены во время первого прохода страницы, что означает, что он не проиндексирует страницу целиком до второго прохода.

Как сказал Мюллер, это может занять недели. Таким образом, часть контента не будет полностью проиндексирована, пока Google, не посетит страницу второй раз, что не в лучшую сторону отразиться на ранжировании страницу, ведь Googlebot не увидел полностью основной контент на первом проходе.

Почему Googlebot не сканирует всю страницу сразу?

Причина, по которой Googlebot не сканирует и не индексирует всю страницу за один раз, сводится к ограниченности ресурсам.

Рендеринг веб-страниц с поддержкой JavaScript требует вычислительной мощности и памяти, а робот Googlebot не имеет бесконечных ресурсов. Когда на странице есть JavaScript, рендеринг откладывается до тех пор, пока у робота Googlebot не будет ресурсов.

Таким образом, Googlebot может проиндексировать страницу до завершения рендеринга, то для завершения рендеринга потребуется некоторое время. Когда окончательный рендеринг придет, Google выполнит вторую волну индексирования для визуализированного контента на стороне клиента.


Читайте также: Методы оптимизации и ускорения индексации страниц сайта | Google: ссылка в JavaScript индексируется и передает PageRank, как и обычная