На стадии разработки и/или редизайна проекта бывают ситуации, когда лучше не допускать поисковых роботов на сайт или его копию. В этом случае рекомендуется закрыть сайт от индексации поисковых систем. Сделать это можно следующим образом:Sturmer писал(а):Поскольку тестовый поддомен лежит в publichtml, наверное нужно закрыть его от роботов? Как это лучше сделать?
Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt и прописать в нём следующие строки:
Код: Выделить всё
User-agent: Yandex
Disallow: /
Код: Выделить всё
User-agent: *
Disallow: /