Google додав рядок до своєї документації Google про те, що Googlebot може сканувати перші 15 МБ вмісту у файлі HTML або підтримуваному текстовому файлі, після чого він припиняє сканування.
Довідка Google:
Googlebot може просканувати перші 15 Мб файлу HTML або підтримуваного текстового файлу. Кожен ресурс, на який посилається HTML, як-от CSS і JavaScript, вибирається окремо, і кожна вибірка пов’язана з однаковим обмеженням розміру файлу. Після перших 15 МБ файлу Googlebot припиняє сканування та розглядає лише перші 15 МБ файлу для індексації. Обмеження розміру файлу застосовується до нестиснутих даних. Інші сканери Google, наприклад Googlebot Video та Googlebot Image, можуть мати інші обмеження.
Це ліміт не включає завантаження відео, зображень тощо, це лише вихідний код HTML. Гері Ілліс із Google, опублікував у блозі Google допис із гарною назвою під назвою Googlebot і 15 Мб.
Коротше кажучи, Гері пояснює: «середній розмір HTML-файлу приблизно в 500 разів менший: 30 кілобайт (кБ). Однак, якщо ви є власником HTML-файлу сторінки, яка має понад 15 Мб, можливо, ви могли б принаймні перемістити деякі вбудовані scripts та CSS у зовнішні файли.»
