Yandex отказывается от директивы Host. Теперь данную директиву можно удалить из robots.txt, но предварительно настроив, чтобы все не главные зеркала сайта отдавали 301-й постраничный редирект на основную версию сайта. Вебмастерам, у которых не настроен редирект, Yandex отправил соответствующее уведомление.
Так же Yandex описал наиболее распространенные ситуации, и как с них выходить.
I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую
- поставьте постраничный 301-й редирект
- зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
- подождите, обычно переезд занимает несколько дней
II Мне нужно переехать на новый домен или протокол, переезд я уже начал
Аналогично I пункту:
- поставьте постраничный 301-й редирект
- зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
- подождите, обычно переезд занимает несколько дней
III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект
- добавьте новый сайт в Вебмастер
- используйте «Переезд сайта»
- подождите, в таком случае переезд может занимать несколько недель
IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу
- проверьте, чтобы на всех не главных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске
V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу
- нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»
VI Нужно ли ставить редирект для мобильных версий сайтов
- как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта
VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект
Совершите переезд аналогично I пункту:
- поставьте постраничный 301-й редирект на нужный адрес
- зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
- подождите, обычно переезд занимает несколько дней
VIII Что делать с директивой Host
- её можно удалить из robots.txt или оставить, робот её просто игнорирует
Источник: Блог Яндекса для вебмастеров