Есть много способов контролировать сканирование сайта Google, но тег NOINDEX, явно не из их числа. Google будет по-прежнему будет сканировать ваш сайт и страницы с тегом NoIndex, так как этот тег не запрещает сканировать страницы, он указывает на их не индексирование. Вам необходимо использовать robots.txt, NoFollow и другие средства, чтобы попытаться предотвратить сканирование страниц Google, но не тег NoIndex.

Об этом недавно напомнил Джон Мюллер из Google в своем Twitter, сказал, что «NOINDEX является директивой индексации, но не контролирует сканирование.»Google: директива «noindex», не поможет сохранить краулинговый бюджет

Google имеет огромный раздел справки о «Управление сканированием и индексированием». По словам справки, для управления сканирования сайта необходимо использовать — файл robots.txt и метатеги robots и элементы HTTP-заголовка X-Robots-Tag для управления индексированием.


Читайте также: Методы оптимизации и ускорения индексации страниц сайта | Сокращение времени загрузки на сайте увеличивает Краулинговый бюджет