Выдано 110568 лицензий

robots.txt

robots.txt – это текстовый файл, который доступен по адресу http://ваш_сайт/robots.txt и предназначен для роботов поисковых систем. В нем вы можете задать параметры индексировании для всего сайта или для отдельных поисковых ботов в частности.

В HostCMS каждый сайт имеет свой собственный robots.txt, настраиваемый через центр администрирования.

Физически размещать файл robots.txt в корне системы управления не следует!

В центре администрирования перейдите в раздел «Сайты», далее в списке сайтов нажмите редактировать справа от требуемого сайта, перейдите на вкладку robots.txt

Типовой файл robots.txt может содержать следующие строки:

User-Agent: *
Disallow: /admin
Disallow: /search
Disallow: /templates
Disallow: /captcha.php
Disallow: /403
Disallow: /404

Рекомендации по использованию файла robots.txt см. на сайте Yandex.ru и Google.com