robots.txt

Выкладывайте в этой ветке свои предложения по развитию системы. Чего не хватает вам для удобного пользования?
Аватара пользователя
John
Web-мастер
Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
Контактная информация:

robots.txt

Сообщение John » 05 июн 2014, 11:02

Предлагаю положить какой-нибудь дефолтный default-robots.txt в корень сайта в следющих версиях. Из того что нашел на форуме:

Код: Выделить всё

User-agent: Yandex
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

User-agent: *
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

Sitemap: ПУТЬ_К_КАРТЕ_САЙТА
Кому нужно будет, думаю поймут что нужно переименовать файлик и если нужно изменить под себя
Аватара пользователя
uterentiev
Web-мастер
Сообщения: 167
Зарегистрирован: 20 окт 2013, 12:41
Откуда: Краснодар

Re: robots.txt

Сообщение uterentiev » 05 июн 2014, 21:55

хорошее предложение, полностью согласен! В самую точку!

Только вот:
Disallow: /forum/ есть не у всех :)
Disallow: /install/ должна быть удалена после установки движка

и зачем дублировать User-agent: Yandex и User-agent: *, достаточно поставить только User-agent: *

P.S для того, чтобы прописать Sitemap: ПУТЬ_К_КАРТЕ_САЙТА должен быть установлен модуль карты сайта и сгенерирован файл sitemap.xml в корне.. данный модуль не входит в стандартный пакет установщика, его нужно устанавливать дополнительно из списка доступных плагинов.
Аватара пользователя
John
Web-мастер
Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
Контактная информация:

Re: robots.txt

Сообщение John » 06 июн 2014, 10:17

robots.txt, который выше нашел на этом форуме, по поводу дублирования для яндекса, точного ответа дать не могу, но где то находил информацию, что яндекс не всегда воспринимает общие директивы. А вообще каждый должен подстраивать файлик под свои нужды, просто хотелось, чтобы по умолчанию какой-нибудь дефолтный robots.txt лежал в папке.
Аватара пользователя
TonyVerse
lvl 3
Сообщения: 17
Зарегистрирован: 14 сен 2014, 17:14

Re: robots.txt

Сообщение TonyVerse » 08 янв 2015, 19:52

uterentiev писал(а):
Disallow: /install/ должна быть удалена после установки движка
После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?
Аватара пользователя
Yuricson
Web-мастер
Сообщения: 1052
Зарегистрирован: 12 фев 2014, 21:57
Откуда: Екатеринбург- Краснодар
Контактная информация:

Re: robots.txt

Сообщение Yuricson » 08 янв 2015, 22:57

После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?
Она должна была автоматом удалиться.
Аватара пользователя
Mark
Web-мастер
Сообщения: 4598
Зарегистрирован: 28 авг 2012, 16:09

Re: robots.txt

Сообщение Mark » 08 янв 2015, 23:21

После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?
Без разницы. Она не опасна.

Если не планируется переустанавливать движок, то можно удалить.
Аватара пользователя
TonyVerse
lvl 3
Сообщения: 17
Зарегистрирован: 14 сен 2014, 17:14

Re: robots.txt

Сообщение TonyVerse » 09 янв 2015, 03:24

Yuricson писал(а):
Она должна была автоматом удалиться.
Автоматом она не удаляется. Сейчас удалю.
Всегда храню в архиве установщик на хостинге.
Аватара пользователя
John
Web-мастер
Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
Контактная информация:

Re: robots.txt

Сообщение John » 28 янв 2015, 11:49

Возможно стоит удалить из дефолтного robots.txt директивы host, т.к. часто сайты сначала разворачиваем на локальном хостинге, а при переносе на домен в host остается локальный адрес. Насколько понимаю, наличие директивы host не критично, поэтому ее можно удалить.
Аватара пользователя
Death87
lvl 6
Сообщения: 82
Зарегистрирован: 08 дек 2014, 17:07

Re: robots.txt

Сообщение Death87 » 03 фев 2015, 17:26

После индексации роботом яндекс, написано что страниц загружено 10, в поиске 1.
Это нормально? sitemap создан и указана на него ссылка.
Файл robots.txt в ручную не менялся
User-agent: Yandex
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Host: ссылка на мой сайт

User-agent: *
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Host: ссылка на мой сайт

Sitemap: http://мой сайт/sitemap.xml
В гугл аналитики все нормально.
Аватара пользователя
kande
Web-мастер
Сообщения: 179
Зарегистрирован: 04 фев 2015, 23:39

Re: robots.txt

Сообщение kande » 07 фев 2015, 03:46

у себя сразу сделал так

User-agent: *
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

Sitemap: ПУТЬ_К_КАРТЕ_САЙТА

Дальше буду смотреть после переиндексации какой мусор полезет.
Яндекс ругается на наличии 2 host и последствия могут быть не приятные
Ответить