Многие считают, что Google использует все свои обширные информационные ресурсы всеми возможными способами. Например, подавляющее большинство SEO оптимизаторов думают, что Google использует свой браузер Chrome в качестве источника данных, и в частности для поиска новых URL-адресов для их индексации.

GoogleBot не посещает страницы, на которые нет ссылок, но присутствует трафик через браузер Google Chrome

Stone Temple Consulting опубликовало новое исследование (англ. яз.), которое подтверждает утверждение Google о том, что они не использует данные браузера Chrome для поиска новых URL – адресов с последующим добавлением в поисковый индекс.

Испытание было довольно простым: они создали «пару страниц, на которые Google не мог ни как попасть», и пустили на них трафик пользователей с браузера Chrome и начали отслеживать посетит ли данные страницы GoogleBot.

На практике тест происходил так:

  1. Создано четыре совершенно новые статьи в качестве веб-страниц. Мы использовали две из них в качестве тестовых страниц, и две из них, как страницы управления.
  2. Разместили через FTP на хостинг, не используя CMS (например, WordPress, Drupal, …).
  3. Ждали неделю, чтобы убедиться, что ничего не пошло не так, Googlebot их не посетил. На этом пункте велся анализ лог-файлов, чтобы убедиться, что не было посещений Google Bot.
  4. Страницу посетило 27 человек, по методике:
    • Открыть Chrome;
    • Зайти в настройки, и отключить все расширения;
    • Вставить URL первой тестовой страницы в браузер;
    • Вставить URL второй тестовой страницы в браузер;
    • Включить все расширения во время посещения страницы;
    • Анализ по IP-адресу посетителей, проверялось, кто-либо посещал еще данные страницы.
  5. Проверка логов каждый день, в течении недели после того, как последний пользователь посетил страницы.

Это странный результат, ведь Google имеет доступ к огромному массиву данных из Chrome, и трудно поверить, что они не используют его.

В результате данного теста Рэнд Фишкин из MOZ, разместил опрос у себя в Twitter, о их мнении, по поводу использует ли Google данные из Chrome для этих целей.
Google не использует данные браузера Chrome для поиска новых URL
Как вы можете видеть, колоссальные 88% считают, что Google проверяет новые URL-адреса из данных Chrome.

Результаты

Результаты довольно просты: Googlebot не посетил тестовые страницы. Как оказалось, два человека в тесте не отключили свои расширения, и это привело к посещениям Open Site Explorer (был включен Mozbar) и Яндекс (не ясно, какое расширение к этому привело).

Это странный результат, ведь Google имеет доступ к огромному массиву данных из Chrome, и трудно поверить, что он не используют его. Скорее всего Google все еще считает, отсутствие любых внешних или внутренних ссылок на страницу, как показатель качества, но это опять же только домыслы.

Данное исследование, вовсе не означает, что Google не использует данные Chrome для других целей, например, собирать совокупные данные о поведении пользователей, или других метрик. Google ранее уже подтверждал, что они используют данные CTR в качестве контроля качества в строго контролируемых испытаниях для измерения качества поиска.


Читайте также: Методы оптимизации и ускорения индексации страниц сайта