Закрыть от индексации страницы

В данной категории, пользователи задают вопросы относительно установки и эксплуатации MOGUTA.CMS
Web-мастер
Аватара пользователя

Сообщения: 155
Зарегистрирован: 06 апр 2015, 02:26
СообщениеДобавлено: 16 авг 2016, 17:18
Здравствуйте, версия движка 6,8,0 у меня яндекс подтянул
страницу на http://krovatki.krimea.biz/feedback?message=%D0%97%D0%B4%D1%80%D0%B0%D0%B2%D1%81%D1%82%D0%B2%D1%83%D0%B9%D1%82%D0%B5,%20%D0%BC%D0%B5%D0%BD%D1%8F%20%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B5%D1%81%D1%83%D0%B5%D1%82%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%20%22%D0%94%D0%92%D0%A3%D0%A5%D0%AA%D0%AF%D0%A0%D0%A3%D0%A1%D0%9D%D0%90%D0%AF%20%D0%9A%D0%A0%D0%9E%D0%92%D0%90%D0%A2%D0%AC%20%22%D0%94%D1%83%D1%8D%D1%82-3%22%22%20%D1%81%20%D0%B0%D1%80%D1%82%D0%B8%D0%BA%D1%83%D0%BB%D0%BE%D0%BC%20%22%D0%B4%D1%83%D0%B5%D1%82-3-%D0%B1%D0%B5%D0%B6%22,%20%D0%BD%D0%BE%20%D0%B5%D0%B3%D0%BE%20%D0%BD%D0%B5%D1%82%20%D0%B2%20%D0%BD%D0%B0%D0%BB%D0%B8%D1%87%D0%B8%D0%B8.%0D%0A%20%20%20%20%20%20%20%20%D0%A1%D0%BE%D0%BE%D0%B1%D1%89%D0%B8%D1%82%D0%B5,%20%D0%BF%D0%BE%D0%B6%D0%B0%D0%BB%D1%83%D0%B9%D1%81%D1%82%D0%B0,%20%D0%BE%20%D0%BF%D0%BE%D1%81%D1%82%D1%83%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B8%20%D1%8D%D1%82%D0%BE%D0%B3%D0%BE%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%B0%20%D0%BD%D0%B0%20%D1%81%D0%BA%D0%BB%D0%B0%D0%B4., хотя строка в коде, который Вы поррекомендовали заменить именно такая-же.

Mark писал(а):
papaden писал(а):Возник еще вопросец.

Есть битые ссылки внутри сайта. А именно


site.ru/feedback?message=Здравствуйте, меня интересует товар "....

Как закрыть от индексации их? Потому, что я так понимаю они идут каждая на свой товар....
СПАСИБО

==============
РЕШЕНО
Закрыл в файле роботс
Disallow: /feedback



в mg-core\controllers\product.php 103 строку замените

$product['remInfo'] = "<noindex><span class='rem-info' ".$style.">Товара временно нет на складе!<br/><a rel='nofollow' href='".SITE."/feedback?message=".$message."'>Сообщить когда будет в наличии.</a></span></noindex>";
Web-мастер
Аватара пользователя

Сообщения: 155
Зарегистрирован: 06 апр 2015, 02:26
СообщениеДобавлено: 16 авг 2016, 17:26
Mark писал(а):Решения два:
1. Для всех кнопок "в корзину" добавить директиву rel="nofollow";

Сделать это можно в файле \mg-core\models\catalog.php строки 993 и 994 (в новом релизе поправим)
Код: Выделить всё
 $arrayProducts[$key]['actionBuy'] = '<a href="' . SITE . '/catalog?inCartProductId=' . $product["id"] . '" rel="nofollow" class="addToCart product-buy" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonBuyName') . '</a>';
      $arrayProducts[$key]['actionCompare'] = '<a href="' . SITE . '/compare?inCompareProductId=' . $product["id"] . '" rel="nofollow" class="addToCompare" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonCompareName') . '</a>';
   


2. Дописать правило в robots.txt (https://yandex.ru/support/webmaster/con ... xml#996572)

Код: Выделить всё
Директива Clean-param

Если адреса страниц сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т. п.), вы можете описать их с помощью директивы Clean-param.
Робот Яндекса, используя эту информацию, не будет многократно перезагружать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Например, на сайте есть страницы:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Параметр ref используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой book_id=123. Тогда, если указать директиву следующим образом:
User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl
робот Яндекса сведет все адреса страницы к одному:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123,
Если на сайте доступна страница без параметров:
www.site.ru/some_dir/get_book.pl?book_id=123
то все сведется именно к ней, когда она будет проиндексирована роботом. Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы:
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Синтаксис директивы

Clean-param: p0[&p1&p2&..&pn] [path]
В первом поле через символ & перечисляются параметры, которые нужно не учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить правило.
Примечание. Директива Clean-Param является межсекционной, поэтому может быть указана в любом месте файла robots.txt. В случае, если директив указано несколько, все они будут учтены роботом.
Префикс может содержать регулярное выражение в формате, аналогичном файлу robots.txt, но с некоторыми ограничениями: можно использовать только символы A-Za-z0-9.-/*_. При этом * трактуется так же, как в robots.txt. В конец префикса всегда неявно дописывается символ *. Например:
Clean-param: s /forum/showthread.php
означает, что параметр s будет считаться незначащим для всех URL, начинающихся с /forum/showthread.php. Второе поле указывать необязательно, в этом случае правило будет применяться для всех страниц сайта. Регистр учитывается. Действует ограничение на длину правила — 500 символов. Например:
Clean-param: abc /forum/showthread.php
Clean-param: sid&sort /forumt/*.php
Clean-param: someTrash&otherTrash
Дополнительные примеры

#для адресов вида:
www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243
www.site1.ru/forum/showthread.php?s=1e71c4427317a117a&t=8243

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/showthread.php
#для адресов  вида:
www.site2.ru/index.php?page=1&sort=3a&sid=2564126ebdec301c607e5df
www.site2.ru/index.php?page=1&sort=3a&sid=974017dcd170d6c4a5d76ae

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: sid /index.php
#если таких параметров несколько:
www.site1.ru/forum_old/showthread.php?s=681498605&t=8243&ref=1311
www.site1.ru/forum_new/showthread.php?s=1e71c417a&t=8243&ref=9896

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s&ref /forum*/showthread.php
#если параметр используется в нескольких скриптах:
www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243
www.site1.ru/forum/index.php?s=1e71c4427317a117a&t=8243

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/index.php
Clean-param: s /forum/showthread.php


Здравствуйте, я так понимаю код уже поправили давно и для того, чтоб перестало индексироваться /catalog?inCartProductId=74, за мной остаётся сделать запись в робот тхт, если я правильно понял следующего характера: Clean-param: /catalog Подскажите - правильно ли я понял как вписать Clean-param: в робот тхт?
Web-мастер
Аватара пользователя

Сообщения: 4518
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 19 авг 2016, 12:39
Дополнительных изменений в роботс не требуется. Код ссылку уже содержит в себе атрибут nofollow.
lvl 3
Аватара пользователя

Прогресс до следущего звания:
20%
Сообщения: 18
Зарегистрирован: 31 июл 2016, 15:58
СообщениеДобавлено: 19 авг 2016, 23:31
Mark писал(а):Решения два:
1. Для всех кнопок "в корзину" добавить директиву rel="nofollow";

Сделать это можно в файле \mg-core\models\catalog.php строки 993 и 994 (в новом релизе поправим)
Код: Выделить всё
 $arrayProducts[$key]['actionBuy'] = '<a href="' . SITE . '/catalog?inCartProductId=' . $product["id"] . '" rel="nofollow" class="addToCart product-buy" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonBuyName') . '</a>';
      $arrayProducts[$key]['actionCompare'] = '<a href="' . SITE . '/compare?inCompareProductId=' . $product["id"] . '" rel="nofollow" class="addToCompare" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonCompareName') . '</a>';
   




Сделайте, пож, то же самое для кнопок Сравнить, а то боты по ?Compare постоянно гуляют
lvl 2
Аватара пользователя

Прогресс до следущего звания:
10%
Сообщения: 6
Зарегистрирован: 30 сен 2016, 02:26
Откуда: Москва
СообщениеДобавлено: 31 дек 2016, 09:06
Также роботы гуляют по бесчисленным страницам каталога, а потом удаляют их из страниц поиска как низкокачественные...
/catalog?page=133
/catalog?page=123
/catalog?page=165
/catalog?page=198
/catalog?page=234
и т.п.
Получается что для того чтобы удалить индексацию страниц каталога, а также групп и подгрупп, нужно отдельно для каждой подгруппы прописать в роботс что-то типа???:
Disallow:
Clean-param: page мойсайт.ru/catalog.php
Или есть более простой способ закрыть страницы от индексации для всех групп и подгрупп товаров разом?
Web-мастер
Аватара пользователя

Сообщения: 624
Зарегистрирован: 31 янв 2016, 20:35
СообщениеДобавлено: 10 янв 2017, 20:06
MaxLeo, в индексации пагинации ничего критичного нет. Допустим поисковик удаляет эти страницы, а Вы же хотите сами их закрыть. Разве это нужно?
Попробуйте закрыть все виды пагинации так: Disallow: */page/
lvl 2
Аватара пользователя

Прогресс до следущего звания:
10%
Сообщения: 6
Зарегистрирован: 30 сен 2016, 02:26
Откуда: Москва
СообщениеДобавлено: 11 янв 2017, 14:39
AndreySupport писал(а):MaxLeo, в индексации пагинации ничего критичного нет. Допустим поисковик удаляет эти страницы, а Вы же хотите сами их закрыть. Разве это нужно?
Попробуйте закрыть все виды пагинации так: Disallow: */page/

С точки зрения СЕО оптимизации, это очень плохая логика работы для поисковика. Он же оценивает сайт в целом. Если робот находит очень много "низкокачественных" страниц и после добавления удаляет их, то это означает, что сайт без адекватной технической поддержки и для поисковика он будет ранжироваться хуже. Плюс "пустые" странички в очереди индексации очень плохо влияют на индексацию полезных, т.к. робот просто не успевает до них добраться. У меня 3 месяца робот из-за этих страниц и страниц добавить в корзину, сравнить и т.п. не мог проиндексировать ни один товар... :geek:
lvl 4
Аватара пользователя

Прогресс до следущего звания:
35%
Сообщения: 37
Зарегистрирован: 16 сен 2014, 14:42
СообщениеДобавлено: 06 сен 2017, 17:47
Проблема действительно актуальна!

В настройках яндекс Вебмастер так и пишет:

Значительная часть страниц сайта не содержит мета-тег <description>, или он некорректно заполнен. Это может негативно повлиять на представление сайта в результатах поиска.

и так куча страниц вида https://мой сайт/catalog?page=53
https://мой сайт/catalog?page=41
https://мой сайт/catalog?page=45
https://мой сайт/catalog?page=46

и так далее.
Пред.

Вернуться в Помощь пользователям от пользователей