Параметры robots.txt для SE

Гость

Скажите пожалуйста, какие каталоги и файлы в робот текст нужно отключить для индексации поисковиками.
Будет ли правильным, если отключить все папки за исключением "public.html"?
public.html

Модератор 2 августа 2007 г.

Re: Параметры robots.txt для SE

Builder,
в файле robots.txt отключаете то, что не должно быть проиндексировано. Будьте осторожны при формировании данного файла, чтобы не запретить лишнего.

Более подробно см. http://webmaster.yandex.ru/faq.xml?id=502499

Гость

Re: Параметры robots.txt для SE

К сожалению не получил от Вас внятного ответа.
На CMS всего 12 папок, неужели нельзя сказать , какие можно смело откл., а какие нет?

Модератор 3 августа 2007 г.

Re: Параметры robots.txt для SE

Builder,
К сожалению Вы не (полностью) понимаете смысл этого файла, для этого Вам была дана ссылка на подробную информацию.
Ответьте, какие из 12 папок на сервере отдают какую либо информацию пользователю, чтобы их закрывать в robots.txt от индексации?

14 августа 2008 г.

Re: Параметры robots.txt для SE

HostCMS писал(а):

Ответьте, какие из 12 папок на сервере отдают какую либо информацию пользователю, чтобы их закрывать в robots.txt от индексации?

А вы не можете на это ответить? Мне вот тоже непонятно какие файлы отдают информацию

. Т.е какие можно закрыть а какие нет

http://anomalno.ru и http://60-e.ru

Модератор 14 августа 2008 г.

Re: Параметры robots.txt для SE

fox-vg@mail.ru,
Вы закрываете в файле robots.txt не файлы сервера, а адреса страниц сайта. Соответственно те адреса, которые Вам нужно закрыть, можете указывать в этом файле.

14 августа 2008 г.

Re: Параметры robots.txt для SE

а где находятся страницы с новостями?

http://anomalno.ru и http://60-e.ru

Модератор 14 августа 2008 г.

Re: Параметры robots.txt для SE

fox-vg@mail.ru,
Вам наверное лучше знать, где у Вас находятся страницы с новостями. У многих это /news/ или /info/news/.

Авторизация