Индексация.

11 апреля 2010 г.

Re: Индексация.

Kotoff писал(а):

Не знал. А вы проверяли? Имхо это довольно нелогично.

У них это на сайте написано
Использование robots.txt писал(а):

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

Я попробовал проверить с помощью онлайн-проверки на их сайте. Все так. Секцию * игнорирует и видит только три строки, которые для него лично указаны...

11 апреля 2010 г.

Re: Индексация.

Ну что же, век живи - век учись )
Это я про себя в данном случае

Заказов не беру. Консультирую редко.

20 февраля 2011 г.

Re: Re: Индексация.

У меня яндекс и гугл проиндексировали страницы вида

/каталог/?sort_by_field=1&order_direction=1
/каталог/?sort_by_field=1&order_direction=2
/каталог/?sort_by_field=2&order_direction=1
/каталог/?sort_by_field=2&order_direction=2
/каталог/?action=add&item_id=191
/каталог/?action=delete_item&item_id=192

Как видно, все эти параметры начинаются с вопросительного знака
Гугл в таких случаях предлагает заблокировать доступ ко всем URL-адресам, содержащим знак вопроса (?) (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат вопросительный знак),использовать следующую строку в файле robots.txt

User-agent: Googlebot
Disallow: /*?

Возможно, этот шаблон подойдет и для других ботов, в том числе и яндекса.

Сыграть можно на чем угодно...

20 февраля 2011 г.

Re: Индексация.

У яндекса для этого есть директива Clean-Param

Для стандартного магазина подходит такая строка:

Clean-param: action&saller_id&price_from&price_to&on_page&sort_by_field&order_direction&apply_filter /shop/*

Заказов не беру. Консультирую редко.

19 июня 2011 г.

Re: Индексация.

Дублить страницы не стоит!

26 мая 2014 г.

Re: Индексация.

Может ли причиной появления дублей страниц в поисковой выдаче быть то, что у меня в sitemap.xml присутствуют страницы меток(tag)?

marina2012

26 мая 2014 г.

Re: Индексация.

marina2012, вряд-ли, страницы с метками все-таки не полностью дублируют страницу без меток.
Но вообще, смотря что вы понимаете под дублями

Заказов не беру. Консультирую редко.

27 мая 2014 г.

Re: Индексация.

Я понимаю под дублями ссылки, которые ведут на одну страницу
http://www.site.ru/shop/tag/domkraty/
http://www.site.ru/shop/group_613-avtomobilnye_instrumenty/domkraty/?sort_by_field=2&order_direction=2
http://www.site.ru/shop/tag/domkraty/page-3/

Директива Clean-param: записана в robots.txt совсем недавно, пока в поиске яндекса и гугла все равно присутстувуют дублирующиеся страницы и в логе хостинга видно, что поисковики (YandexBot/3.0 и Googlebot/2.1) их закачивают вместе со знаками вопроса.
Robots.txt проверен сервисом яндекса.

Поштучно ставить всем мусорным ссылкам Disallow: конечно же, не выход.

marina2012

Авторизация