Закрыть от индексации страницы

В данной категории, пользователи задают вопросы относительно установки и эксплуатации MOGUTA.CMS
lvl 4
Аватара пользователя

Прогресс до следущего звания:
30%
Сообщения: 36
Зарегистрирован: 21 июл 2015, 16:59
СообщениеДобавлено: 10 авг 2015, 18:28
Здравствуйте!

Решил сделать карту сайта и пробежался по сайту программой. Так она находит кучу страниц типа
http://onitut.ru/catalog?inCartProductId=66 (такие страницы я не создавал.)
если зайти по этому адрессу, то он просто переводит в карзину http://onitut.ru/cart

Скажите пожалуйста как закрыть от индексации страницы по типу этих catalog?inCartProductId=66 ??? Т.Е. как закрыть адрес страницы от индекса я то знаю, но как закрыть сразу весь каталог этот, что бы подобные нечитабельные ссылки не попадали в индекс.... ? Думаю на рейтинг в поисковиках они не хорошо подействуют.

СПАСИБО!!
Web-мастер
Аватара пользователя

Сообщения: 4469
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 10 авг 2015, 18:39
Решения два:
1. Для всех кнопок "в корзину" добавить директиву rel="nofollow";

Сделать это можно в файле \mg-core\models\catalog.php строки 993 и 994 (в новом релизе поправим)
Код: Выделить всё
 $arrayProducts[$key]['actionBuy'] = '<a href="' . SITE . '/catalog?inCartProductId=' . $product["id"] . '" rel="nofollow" class="addToCart product-buy" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonBuyName') . '</a>';
      $arrayProducts[$key]['actionCompare'] = '<a href="' . SITE . '/compare?inCompareProductId=' . $product["id"] . '" rel="nofollow" class="addToCompare" data-item-id="' . $product["id"] . '">' . MG::getSetting('buttonCompareName') . '</a>';
   


2. Дописать правило в robots.txt (https://yandex.ru/support/webmaster/con ... xml#996572)

Код: Выделить всё
Директива Clean-param

Если адреса страниц сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т. п.), вы можете описать их с помощью директивы Clean-param.
Робот Яндекса, используя эту информацию, не будет многократно перезагружать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Например, на сайте есть страницы:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Параметр ref используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой book_id=123. Тогда, если указать директиву следующим образом:
User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl
робот Яндекса сведет все адреса страницы к одному:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123,
Если на сайте доступна страница без параметров:
www.site.ru/some_dir/get_book.pl?book_id=123
то все сведется именно к ней, когда она будет проиндексирована роботом. Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы:
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Синтаксис директивы

Clean-param: p0[&p1&p2&..&pn] [path]
В первом поле через символ & перечисляются параметры, которые нужно не учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить правило.
Примечание. Директива Clean-Param является межсекционной, поэтому может быть указана в любом месте файла robots.txt. В случае, если директив указано несколько, все они будут учтены роботом.
Префикс может содержать регулярное выражение в формате, аналогичном файлу robots.txt, но с некоторыми ограничениями: можно использовать только символы A-Za-z0-9.-/*_. При этом * трактуется так же, как в robots.txt. В конец префикса всегда неявно дописывается символ *. Например:
Clean-param: s /forum/showthread.php
означает, что параметр s будет считаться незначащим для всех URL, начинающихся с /forum/showthread.php. Второе поле указывать необязательно, в этом случае правило будет применяться для всех страниц сайта. Регистр учитывается. Действует ограничение на длину правила — 500 символов. Например:
Clean-param: abc /forum/showthread.php
Clean-param: sid&sort /forumt/*.php
Clean-param: someTrash&otherTrash
Дополнительные примеры

#для адресов вида:
www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243
www.site1.ru/forum/showthread.php?s=1e71c4427317a117a&t=8243

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/showthread.php
#для адресов  вида:
www.site2.ru/index.php?page=1&sort=3a&sid=2564126ebdec301c607e5df
www.site2.ru/index.php?page=1&sort=3a&sid=974017dcd170d6c4a5d76ae

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: sid /index.php
#если таких параметров несколько:
www.site1.ru/forum_old/showthread.php?s=681498605&t=8243&ref=1311
www.site1.ru/forum_new/showthread.php?s=1e71c417a&t=8243&ref=9896

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s&ref /forum*/showthread.php
#если параметр используется в нескольких скриптах:
www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243
www.site1.ru/forum/index.php?s=1e71c4427317a117a&t=8243

#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/index.php
Clean-param: s /forum/showthread.php
Web-мастер
Аватара пользователя

Сообщения: 4469
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 10 авг 2015, 18:43
кстати, для карты сайта, лучше использовать наш плагин
http://moguta.ru/plugins/generator-karti-sayta
lvl 4
Аватара пользователя

Прогресс до следущего звания:
30%
Сообщения: 36
Зарегистрирован: 21 июл 2015, 16:59
СообщениеДобавлено: 11 авг 2015, 08:11
Спасибо!
За подробнейшую инструкцию!! МОЛОДЦЫ!
lvl 4
Аватара пользователя

Прогресс до следущего звания:
30%
Сообщения: 36
Зарегистрирован: 21 июл 2015, 16:59
СообщениеДобавлено: 11 авг 2015, 10:44
Возник еще вопросец.

Есть битые ссылки внутри сайта. А именно


site.ru/feedback?message=Здравствуйте, меня интересует товар "....

Как закрыть от индексации их? Потому, что я так понимаю они идут каждая на свой товар....
СПАСИБО

==============
РЕШЕНО
Закрыл в файле роботс
Disallow: /feedback
lvl 4
Аватара пользователя

Прогресс до следущего звания:
30%
Сообщения: 36
Зарегистрирован: 21 июл 2015, 16:59
СообщениеДобавлено: 11 авг 2015, 10:48
Но вот 2 битые ссылки остались, и ооочень странные
http://onitut.ru/kupit-gipsokarton-v-ro ... ostov.html

http://onitut.ru/kupit-gipsokarton-v-ro ... -donu.html


в них есть ссылки на D диск. Я не совсем понимаю, как это получилось... :shock:

Кто сможет посказать как определить откуда эти ссылки взялись и как их найти что бы убрать?

СПАСИБО!!!
Web-мастер
Аватара пользователя

Сообщения: 4469
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 11 авг 2015, 11:28
papaden писал(а):Возник еще вопросец.

Есть битые ссылки внутри сайта. А именно


site.ru/feedback?message=Здравствуйте, меня интересует товар "....

Как закрыть от индексации их? Потому, что я так понимаю они идут каждая на свой товар....
СПАСИБО

==============
РЕШЕНО
Закрыл в файле роботс
Disallow: /feedback



в mg-core\controllers\product.php 103 строку замените

$product['remInfo'] = "<noindex><span class='rem-info' ".$style.">Товара временно нет на складе!<br/><a rel='nofollow' href='".SITE."/feedback?message=".$message."'>Сообщить когда будет в наличии.</a></span></noindex>";
Web-мастер
Аватара пользователя

Сообщения: 4469
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 11 авг 2015, 11:30
papaden писал(а):в них есть ссылки на D диск. Я не совсем понимаю, как это получилось... :shock:

Для меня это тоже загадка :)
Может быть вы добавляли ссылку на файлы?

Ваша программа не говорит на каких страницах эти ссылки?
lvl 4
Аватара пользователя

Прогресс до следущего звания:
30%
Сообщения: 36
Зарегистрирован: 21 июл 2015, 16:59
СообщениеДобавлено: 11 авг 2015, 16:38
Mark писал(а):
papaden писал(а):в них есть ссылки на D диск. Я не совсем понимаю, как это получилось... :shock:

Для меня это тоже загадка :)
Может быть вы добавляли ссылку на файлы?

Ваша программа не говорит на каких страницах эти ссылки?


нет )))))))

блин. Как же понять откуда это? )
Web-мастер
Аватара пользователя

Сообщения: 4469
Зарегистрирован: 28 авг 2012, 16:09
СообщениеДобавлено: 11 авг 2015, 18:49
Попробуйте в XENU посмотреть, там пишется источник ссылки.
След.

Вернуться в Помощь пользователям от пользователей