robots.txt

robots.txt – это текстовый файл, который доступен по адресу http://ваш_сайт/robots.txt и предназначен для роботов поисковых систем. В нем вы можете задать параметры индексировании для всего сайта или для отдельных поисковых ботов в частности.

В HostCMS каждый сайт имеет свой собственный robots.txt, настраиваемый через центр администрирования.

При использовании модуля Мультирегиональность значение robots.txt также может быть задано на вкладке SEO.

Физически размещать файл robots.txt в корне системы управления не следует!

В центре администрирования перейдите в раздел Система → Сайты, далее в списке сайтов нажмите редактировать справа от требуемого сайта, перейдите на вкладку robots.txt

Типовой файл robots.txt может содержать следующие строки:

Sitemap: https://www.адрес-вашего-сайта.ru/sitemap.xml
User-Agent: *
Disallow: /admin
Disallow: /search
Disallow: /templates
Disallow: /showbanner
Disallow: /captcha.php
Disallow: /403
Disallow: /404
Allow: /hostcmsfiles/css/*
Allow: /hostcmsfiles/js/*
Allow: /hostcmsfiles/jquery/*

в опции Sitemap: укажите пусть к карте сайта с учетом http/https и полным адресом сайта.

Как запретить индексировать страницы с GET-параметрами?

В robots.txt для сайта добавьте следующее запрещающее правило:

Disallow: /*?

Как запретить индексацию определенных GET-параметров?

Используйте директиву Clean-param для Яндекса, директива принимает название параметра, либо название параметра и URL, начиная с которого должно применяться правило. Несколько опций можно указать через &, например:

Clean-param: utm
Clean-param: param1&param2
Clean-param: sorting&price /shop/

Рекомендации по использованию файла robots.txt см. на сайте Yandex.ru и Google.com

Не нашли ответ на свой вопрос в документации? Направьте обращение в службу поддержки или онлайн чат.