Директива Host в файле robots.txt отвечает за главное зеркало сайта для Яндекса. Но поисковик перестал ее учитывать ее при анализе сайта. Теперь задать главное зеркало можно только в панели вебмастера.
В связи с этим стоит ли продолжать использовать директиву Host? Да, стоит. Поисковик Mail.ru продолжает учитывать значения Host при анализе сайта.
![](https://graymedia.ru/wp-content/uploads/2022/12/directiva-host-robots-txt-1024x293.jpg)
Создавать ли отдельный набор правил для Поисковика Mail.ru на ваше усмотрение, но будет достаточно добавить директиву Host в конец файла robots.txt для User-agent: *