Правильное оформление Robots

В данной категории, пользователи задают вопросы относительно установки и эксплуатации MOGUTA.CMS
lvl 2
Аватара пользователя

Прогресс до следущего звания:
50%
Сообщения: 10
Зарегистрирован: 17 авг 2017, 17:54
СообщениеДобавлено: 14 сен 2017, 12:38
Помогите правильно написать Robots или скиньте свой, раньше стоял дефолтный, в гугл вывел кучу хлама и часто ставил ограничения при попытке скана сайта роботами.
Web-мастер
Аватара пользователя

Сообщения: 624
Зарегистрирован: 31 янв 2016, 20:35
СообщениеДобавлено: 14 сен 2017, 15:56
Вот стандартный
Код: Выделить всё
User-agent: Yandex
Allow: /uploads/
Disallow: /install*
Disallow: /mg-admin*
Disallow: /mg-core*
Disallow: /mg-pages*
Disallow: /mg-plugins*
Disallow: /mg-templates*
Disallow: /personal*
Disallow: /enter*
Disallow: /forgotpass*
Disallow: /payment*
Disallow: /registration*
Disallow: /compare*
Disallow: /cart*
Disallow: *applyFilter=*
Disallow: *?inCartProductId=*
Disallow: *?inCompareProductId=*
Host:

User-agent: *
Allow: /uploads/
Disallow: /install*
Disallow: /mg-admin*
Disallow: /mg-core*
Disallow: /mg-pages*
Disallow: /mg-plugins*
Disallow: /mg-templates*
Disallow: /personal*
Disallow: /enter*
Disallow: /forgotpass*
Disallow: /payment*
Disallow: /registration*
Disallow: /compare*
Disallow: /cart*
Disallow: *applyFilter=*
Disallow: *?inCartProductId=*
Disallow: *?inCompareProductId=*
Host:

Sitemap: http://Ваш сайт/sitemap.xml

Вернуться в Помощь пользователям от пользователей