Предложение о robots.txt

safeflat писал(а):

Disallow: /news/tag/

это запрещает индексировать теги а сами новости будут нормально индексироваться да?

NeX писал(а):

Disallow: captcha.php

как все таки правильно писать запрет капчи так Disallow: captcha.php  или  так Disallow: /captcha.php   а? во втором варианте палочка слеш добавлена. Просто везде по разному примеры пишут.

ZubriDom писал(а):

это запрещает индексировать теги а сами новости будут нормально индексироваться да?

Да.

ZubriDom писал(а):

как все таки правильно писать запрет капчи так Disallow: captcha.php  или  так Disallow: /captcha.php   а? во втором варианте палочка слеш добавлена. Просто везде по разному примеры пишут.

Документация Google и Яндекс показывает на необходимость использования ведущего слэша / при указании путей в Allow и Disallow