Индексация.

#
Re: Индексация.
Я еще думаю, а не стоит ли закомментить в robots.txt и поставить "Никогда" для частоты индексации для
/shop/compare_items/

?
#
Re: Индексация.
Еще мне пришла в голову мысль, а не запретить ли также индексировать
/tag/
?
Модератор
#
Re: Индексация.
ironwayru,
На счет первого однозначно да, а вот страница с группировкой товаров по тэгам может весьма пригодиться. Решать Вам.
#
Re: Индексация.
HostCMS писал(а):
На счет первого

Однозначно да - это вы имели в виду, что если указано "Никогда", то не индексируется? А то я тут понафлудил...))))

HostCMS писал(а):
 страница с группировкой товаров по тэгам может весьма пригодиться.

Так она и будет... Просто индексироваться не будет Гуглом... Ведь это по сути один из вариантов сортировки, а, как я понимаю, ничего хорошего это не несет в плане поисковой оптимизации.

Kotoff, я ваш список дополнил немного. Вроде нормально все получилось:
Disallow: /shop/cart/
Disallow: /shop/compare_items/
Clean-param: action&producer_id&price_from&price_to&on_page&sort_by_field&order_direction /*
Clean-param: apply_filter&compare_id&del_compare_id&add_compare&delete_compare /*

Вот меня только мучает, как правильно укзазать compare_id? Ведь он имеет формат такой: compare_id_10, compare_id_158 и т.д.
Модератор
#
Re: Индексация.
ironwayru писал(а):
Однозначно да — это вы имели в виду, что если указано «Никогда», то не индексируется?

Я имел ввиду запретить в robots.txt

ironwayru писал(а):
Так она и будет… Просто индексироваться не будет Гуглом…

Я имел ввиду индексацию, на страницы с фильтром по тэгам может быть хороший трафик.
#
Re: Индексация.
HostCMS писал(а):
Я имел ввиду запретить в robots.txt

Запретить индексирование обязательно нужно через робота.

НО в самом первом сообщении я указал сылки в поиске яндекса которых по сути нет. Это были ссылки на добавление горячего предложения с главной. Тоесть кагда-то у меня на главной были горячие предложения (как в демке) горячих предложений было много и на то время они были сделаны рандомным выводом... И в этих горячих предложениях есть ссылка на добавление в корзину. Вот эти то ссылки яша и забацал в поиск. И при каждом посещении яши он добаллял новые и новые ссылки добавления в корзину.

Естественным образом, когда я обнаружил это дело я закрыл от индексации данные ссылки, да и горячих предложений уже с такими товарами нет. Но в поиске у яши они остались и почему-то системы выдаёт на них ответ что страница существует: "Страница altay-magazin.ru/?action=add&item_id=4379 индексируется и участвует в
результатах поиска, так как доступна и отдает нашему роботу код http 200..." - ответ службы яндекса.

Естественно посетители переходя из поиска по данной ссылке попадают на главную страницу... И таких страниц в поиске дофига.

Вот я и озадачился вопросом, как убрать эти ссылки из поиска...?
#
Re: Индексация.
HostCMS писал(а):
Я имел ввиду индексацию, на страницы с фильтром по тэгам может быть хороший трафик.

В принципе да. Учитывая, что адрес с тегом имеет удобоваримый вид. Просто в инете есть статьи, в которых рекомендуется теги не включать в индекс.
Ну я в принципе пока не запрещал. Посмотрю еще, почитаю, подумаю)
А за совет спасибо!

Kotoff, вам тоже спасибо, а то бы точно упустил из виду все эти параметры robots.txt)
#
Re: Индексация.
kvasiliy писал(а):
Вот я и озадачился вопросом, как убрать эти ссылки из поиска…?

Ну я так понял, что предложенным Kotoff методом Clean-param.
Плюс вручную удалить из индекса. Правда сейчас попробовал удалить - мне сказали, что удалить нельзя, т.к. в robots страница не запрещена, хотя она запрещена с помощью Clean-param.
Мда. Странно. По идее, неважно, что я только что обновил robots, т.к. этот инструмент скорее всего запрашивает содержимое файла с сайта, а не с кеша своего.
Очень странно.
Вы не писали им в поддержку вопрос о том, почему не работает Clean-param?
#
Re: Индексация.
Clean-param только что попробовал... Почему-то яша был аж полторы недели назад, хотя в сайте мап для некоторых страниц стоит обновление "каждый день"... эли яша не слушает сайтемап?
#
Re: Индексация.
kvasiliy, я думаю, что он еще тиц учитывает для определения частоты обновления.
А сайтмэп по идее показывает ему как часто обновлять страницы при заходе на ваш сайт... Т.е. при каждом заходе, или при каждом втором заходе. Но это все мои предположения на основе логики, не более))

Гугл кстати Clean-param не понимает, поэтому я думаю стоит еще указать пропуск параметров типа action в Инструментах для вебмастеров. Только в справке синтаксис не указан, но я думаю, что просто "action"...

А вот compare_id_10 и пр. видимо указать нельзя никак... Не буду же я для всех товаров это прописывать...
Авторизация