Yandex отказывается от директивы Host. Теперь данную директиву можно удалить из robots.txt, но предварительно настроив, чтобы все не главные зеркала сайта отдавали 301-й постраничный редирект на основную версию сайта. Вебмастерам, у которых не настроен редирект, Yandex отправил соответствующее уведомление.

Так же Yandex описал наиболее распространенные ситуации, и как с них выходить.

I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

II Мне нужно переехать на новый домен или протокол, переезд я уже начал
Аналогично I пункту:

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
  • подождите, обычно переезд занимает несколько дней

III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект

  • добавьте новый сайт в Вебмастер
  • используйте «Переезд сайта»
  • подождите, в таком случае переезд может занимать несколько недель

IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу

  • проверьте, чтобы на всех не главных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске

V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу

  • нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»

VI Нужно ли ставить редирект для мобильных версий сайтов

  • как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект
Совершите переезд аналогично I пункту:

  • поставьте постраничный 301-й редирект на нужный адрес
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

VIII Что делать с директивой Host

  • её можно удалить из robots.txt или оставить, робот её просто игнорирует

Источник: Блог Яндекса для вебмастеров