robots.txt

Выкладывайте в этой ветке свои предложения по развитию системы. Чего не хватает вам для удобного пользования?
Аватара пользователя
bguk
lvl 3
Сообщения: 19
Зарегистрирован: 04 июн 2016, 19:11

Re: robots.txt

Сообщение bguk » 26 июн 2016, 23:32

Подыму тему.
Armaturabelarus писал(а):То есть надо удалить строку "Disallow: /mg-templates/" что бы в Вебмастер.Google оно нормально отображалось? Или это не страшно?
Я пока что еще не открывал доступ к поисковикам. Пытаюсь подстроить файл robots.txt
Тема полезная, буду следить. Я до этого на другом движке был и там было проще построить файл. Пока буду пробовать вышеописанное.
KingComp писал(а):Подумал, что кому-то будет полезно знать:
Если через Вебмастер.Google посмотреть как Google-бот, то там верстка сильно нарушена, все не на своих местах.
Это из-за ограничений в robots.txt "Disallow: /mg-templates/" и некоторых других.
И все же, подскажите, корректно, открывать ли?:
Disallow: /mg-core/
Disallow: /mg-plugins/
Disallow: /mg-templates/

Так как из-за disallow этих строк у меня идет блокировка многих ресурсов, которые seach control рекомендует открыть.
Аватара пользователя
Mark
Web-мастер
Сообщения: 4612
Зарегистрирован: 28 авг 2012, 16:09

Re: robots.txt

Сообщение Mark » 27 июн 2016, 18:07

bguk писал(а): И все же, подскажите, корректно, открывать ли?:
Disallow: /mg-core/
Disallow: /mg-plugins/
Disallow: /mg-templates/

Так как из-за disallow этих строк у меня идет блокировка многих ресурсов, которые seach control рекомендует открыть.
Можно открыть, ничего плохого в этом не будет.
Аватара пользователя
bguk
lvl 3
Сообщения: 19
Зарегистрирован: 04 июн 2016, 19:11

Re: robots.txt

Сообщение bguk » 11 янв 2017, 20:29

Проблем так и не ушла.
Приходиться опят подымать данный вопрос.
Было вот так:
Disallow: /mg-core/
Disallow: /mg-plugins/
Disallow: /mg-templates/

Потом просто удалил эти три строки и стало:
сайтмап.PNG
+ спасибо инфе из соседней темы: по закрывал страницы товаров в корзине -раз, страницы сравнения товаров -два, номерацию страниц в общем каталоге - три.

Далее скрин из google search, который пишет, что mg-plugins и mg-core робот все же не видит.
робот гугл.PNG
В соседней теме пишут:
pentilla писал(а):
Armaturabelarus писал(а):Неужели ни кто не знает по чему появляются ошибки?
Кто пользуется данным сервисом - можете подсказать?
Я в робот тхт просто дал разрешение на данные файлы для гугла таким образом:
Allow: /mg-core/script/standard/js/filter.js

и так далее по файлам, которые нужны гуглу для правильной регистрации.
Разве это выход из ситуации?
Мне кажется, что это баг разработки...

Помогите решить данный вопрос окончательно.
Аватара пользователя
savik
lvl 3
Сообщения: 26
Зарегистрирован: 16 апр 2016, 09:44

Re: robots.txt

Сообщение savik » 15 мар 2019, 14:07

А не правильнее будет использовать Clean-param:
Например Clean-param: pm_source /
или Clean-param:InCartProductId / и так далее.
Страницы каталога закрывать, не есть хорошо. Первую страницу с основной склеить, да надо, удобно редиректом 302. Остальные, незачем они не дубли.
Как думаете?
Аватара пользователя
savik
lvl 3
Сообщения: 26
Зарегистрирован: 16 апр 2016, 09:44

Re: robots.txt

Сообщение savik » 16 мар 2019, 11:36

**********ru/catalog?pm_source=www.avito.ru&pm_block=none&pm_position=0&page=18

Откуда берется в адресной строке параметр авито? Это наверное вопрос к разработчикам.
Аватара пользователя
Kapa
Web-мастер
Сообщения: 105
Зарегистрирован: 16 июл 2015, 19:29

Re: robots.txt

Сообщение Kapa » 22 мар 2019, 11:02

savik писал(а):А не правильнее будет использовать Clean-param:
Например Clean-param: pm_source /
или Clean-param:InCartProductId / и так далее.
Страницы каталога закрывать, не есть хорошо. Первую страницу с основной склеить, да надо, удобно редиректом 302. Остальные, незачем они не дубли.
Как думаете?
Можно не закрывать, но мета описание и мета заголовок у них одинаковый - а для поиска это дубли.
Первую страницу надо клеить через каноникл и вообще ссылку на page=1 убрать, смысл в ней?

Clean-param знает яндекс, но гугл понятия об этой инструкции не имеет. Так что каноникл самый лучший вариант. Клин-парам можно использовать временно, чтоб быстрее почистить индекс яндекса.
Ответить