Странные url

12 апреля 2022 г.

Странные url

Здравствуйте.
Прошу помочь. На сайте yandex webmaster обнаружил кучу странных url с одинаковыми мета-тегами типа:

/?source=yandex.ru&device=desktop
/?source=yur-gazeta.ru&device=mobile
/?source=fotostrana.ru&device=desktop
/?source=ren.tv&device=mobile
/?source=medside.ru&device=mobile

И тд

Что это такое? Почему тут упоминаются другие сайты? Как это исправить или запретить индексацию лишнего, если это некритичные ошибки?

starilia

13 апреля 2022 г.

Re: Странные url

starilia, Здравствуйте
вероятно это реф. спам

эти страницы проиндексированы?
для robots.txt есть директива clean-param: https://yandex.ru/support/webmaster/robot-workings/clean-param.html

HostDev.pw - модули для HostCMS, Telegram: @hostdev

Модератор 13 апреля 2022 г.

Re: Странные url

Дополнительно вы можете запретить индексирование страниц с переданными GET-параметрами.

13 апреля 2022 г.

Re: Странные url

Да, они проиндексированы и на них ругается вебмастер Яндекс.
А есть ли какие-то способы удаления такого спама?

starilia

Модератор 13 апреля 2022 г.

Re: Странные url

starilia,
Вам выше предложили два способа убрать из индекса, выбирайте какой нравится.

8 мая 2022 г.

Re: Странные url

Здравствуйте!

В robots внесена директива clean-param, но веб-мастер так и продолжает ругаться на повторяющиеся заголовки, на страницы-дубли…

Вот так сейчас выглядит Роботс:

User-agent: *
Disallow: /admin/
Disallow: /cache_html/
Disallow: /counter/
Disallow: /cron/
Disallow: /search/
Disallow: /users/
Disallow: /webstat/
Allow: /sitemap/

User-agent: Yandex
Disallow: /admin/
Disallow: /cache_html/
Disallow: /counter/
Disallow: /cron/
Disallow: /search/
Disallow: /users/
Disallow: /webstat/
Allow: /sitemap/
Disallow: /*?
Clean-param: utm

User-agent: Google
Allow: /sitemap/

Sitemap: https://xn----8sbeid4beobrf9a.xn--p1ai/sitemap.xml
Host: https://xn----8sbeid4beobrf9a.xn--p1ai

Может я что-то не так сделал? Помогите пожалуйста

Модератор 8 мая 2022 г.

Re: Странные url

gkevrodom писал(а):

В robots внесена директива clean-param, но веб-мастер так и продолжает ругаться на повторяющиеся заголовки, на страницы-дубли…

у вас опция для utm, маловероятно, что дубли у вас вызваны именно этим параметром.

8 мая 2022 г.

Re: Странные url

По веб-мастер у меня:
1. Найдены страницы-дубли с GET-параметрами
2. Дубли страниц

Везде рекомендация - clean-param

А что же тогда делать?

Модератор 8 мая 2022 г.

Re: Странные url

gkevrodom,
разобраться что именно за дубли, и потом уже вносить правила. Вы же просто вставили clean-param с utm из документации Яндекса.

Авторизация