robots.txt

Выкладывайте в этой ветке свои предложения по развитию системы. Чего не хватает вам для удобного пользования?
Web-мастер
Аватара пользователя

Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
СообщениеДобавлено: 05 июн 2014, 11:02
Предлагаю положить какой-нибудь дефолтный default-robots.txt в корень сайта в следющих версиях. Из того что нашел на форуме:
Код: Выделить всё
User-agent: Yandex
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

User-agent: *
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

Sitemap: ПУТЬ_К_КАРТЕ_САЙТА

Кому нужно будет, думаю поймут что нужно переименовать файлик и если нужно изменить под себя
Web-мастер
Аватара пользователя

Сообщения: 167
Зарегистрирован: 20 окт 2013, 12:41
Откуда: Краснодар
СообщениеДобавлено: 05 июн 2014, 21:55
хорошее предложение, полностью согласен! В самую точку!

Только вот:
Disallow: /forum/ есть не у всех :)
Disallow: /install/ должна быть удалена после установки движка

и зачем дублировать User-agent: Yandex и User-agent: *, достаточно поставить только User-agent: *

P.S для того, чтобы прописать Sitemap: ПУТЬ_К_КАРТЕ_САЙТА должен быть установлен модуль карты сайта и сгенерирован файл sitemap.xml в корне.. данный модуль не входит в стандартный пакет установщика, его нужно устанавливать дополнительно из списка доступных плагинов.
Web-мастер
Аватара пользователя

Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
СообщениеДобавлено: 06 июн 2014, 10:17
robots.txt, который выше нашел на этом форуме, по поводу дублирования для яндекса, точного ответа дать не могу, но где то находил информацию, что яндекс не всегда воспринимает общие директивы. А вообще каждый должен подстраивать файлик под свои нужды, просто хотелось, чтобы по умолчанию какой-нибудь дефолтный robots.txt лежал в папке.
lvl 3
Аватара пользователя

Прогресс до следущего звания:
13.3%
Сообщения: 17
Зарегистрирован: 14 сен 2014, 17:14
СообщениеДобавлено: 08 янв 2015, 19:52
uterentiev писал(а):
Disallow: /install/ должна быть удалена после установки движка



После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?
Web-мастер
Аватара пользователя

Сообщения: 1052
Зарегистрирован: 12 фев 2014, 21:57
Откуда: Екатеринбург- Краснодар
СообщениеДобавлено: 08 янв 2015, 22:57
После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?

Она должна была автоматом удалиться.
Web-мастер
Аватара пользователя

Сообщения: 4587
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 08 янв 2015, 23:21
После установки на хостинг вот эту папку install/ удалять надо?????? :?: :?
Ну всмысле не в файле роботс а именно в корне файловой системы?


Без разницы. Она не опасна.

Если не планируется переустанавливать движок, то можно удалить.
lvl 3
Аватара пользователя

Прогресс до следущего звания:
13.3%
Сообщения: 17
Зарегистрирован: 14 сен 2014, 17:14
СообщениеДобавлено: 09 янв 2015, 03:24
Yuricson писал(а):
Она должна была автоматом удалиться.


Автоматом она не удаляется. Сейчас удалю.
Всегда храню в архиве установщик на хостинге.
Web-мастер
Аватара пользователя

Сообщения: 243
Зарегистрирован: 21 май 2014, 15:55
СообщениеДобавлено: 28 янв 2015, 11:49
Возможно стоит удалить из дефолтного robots.txt директивы host, т.к. часто сайты сначала разворачиваем на локальном хостинге, а при переносе на домен в host остается локальный адрес. Насколько понимаю, наличие директивы host не критично, поэтому ее можно удалить.
lvl 6
Аватара пользователя

Прогресс до следущего звания:
40%
Сообщения: 82
Зарегистрирован: 08 дек 2014, 17:07
СообщениеДобавлено: 03 фев 2015, 17:26
После индексации роботом яндекс, написано что страниц загружено 10, в поиске 1.
Это нормально? sitemap создан и указана на него ссылка.
Файл robots.txt в ручную не менялся

User-agent: Yandex
Allow: /uploads/
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Host: ссылка на мой сайт

User-agent: *
Disallow: /install/
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Host: ссылка на мой сайт

Sitemap: http://мой сайт/sitemap.xml


В гугл аналитики все нормально.
Web-мастер
Аватара пользователя

Сообщения: 179
Зарегистрирован: 04 фев 2015, 23:39
СообщениеДобавлено: 07 фев 2015, 03:46
у себя сразу сделал так

User-agent: *
Disallow: /mg-admin/
Disallow: /mg-core/
Disallow: /mg-pages/
Disallow: /mg-plugins/
Disallow: /mg-templates/
Disallow: /mg-admin
Disallow: /personal
Disallow: /enter
Disallow: /forgotpass
Disallow: /registration
Disallow: /forum/
Host: ВАШ_ДОМЕН

Sitemap: ПУТЬ_К_КАРТЕ_САЙТА

Дальше буду смотреть после переиндексации какой мусор полезет.
Яндекс ругается на наличии 2 host и последствия могут быть не приятные
След.

Вернуться в Предложения пользователей