Использовать ли директиву Host в robots.txt?

Директива Host в файле robots.txt отвечает за главное зеркало сайта для Яндекса. Но поисковик перестал ее учитывать ее при анализе сайта. Теперь задать главное зеркало можно только в панели вебмастера.

В связи с этим стоит ли продолжать использовать директиву Host? Да, стоит. Поисковик Mail.ru продолжает учитывать значения Host при анализе сайта.

Создавать ли отдельный набор правил для Поисковика Mail.ru на ваше усмотрение, но будет достаточно добавить директиву Host в конец файла robots.txt для User-agent: *

Вам может также понравиться...

Популярные записи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

    Форма для связи