Предложение о robots.txt

21 февраля 2008 г.

Есть такое предложение, сайты делаю часто и каждый раз приходится robots.txt прописывать (копипастить), могли бы вы по умолчанию (что бы при инсталяции он уже был) его туда прописать, думаю не мне одному это будет полезно:

User-agent: *

Disallow: /admin/
Disallow: /data_templates/
Disallow: /documents/
Disallow: /hostcmsfiles/
Disallow: /lib/
Disallow: /logs/
Disallow: /modules/
Disallow: /structure/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xsl/
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: chmod.sh
Disallow: config.php
Disallow: config_db.php
Disallow: download_file.php
Disallow: main_classes.php

Делаю сайты на HostCMS! Подробнее по почте anton.yurzanov@gmail.com

21 февраля 2008 г.

Re: Предложение о robots.txt

а зачем? на эти директории не одна ссылка не указывает

Модератор 21 февраля 2008 г.

Re: Предложение о robots.txt

Varkolak,
скажем так - у пользователей (правда не у всех) будет возможность указать значение "по умолчанию" для robots.txt

22 февраля 2008 г.

Re: Предложение о robots.txt

NeX писал(а):

а зачем? на эти директории не одна ссылка не указывает

да мало ли вдруг появится ссылка

да к тому же хоть какой то robots.txt нужен, т.к. поисковые боты его всегда запрашивают.

Делаю сайты на HostCMS! Подробнее по почте anton.yurzanov@gmail.com

22 февраля 2008 г.

Re: Предложение о robots.txt

да я не против robots.txt

Просто я бы его сократил до

User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.php

К тому же неправильно раскрывать структуру сайта

22 февраля 2008 г.

Re: Предложение о robots.txt

может лучше сделать один фаил для keywords?

Модератор 22 февраля 2008 г.

Re: Предложение о robots.txt

Soul_Train писал(а):

может лучше сделать один фаил для keywords?

поясните ...

20 марта 2010 г.

Re: Предложение о robots.txt

Так же, у меня Яндекс индексирует:
http://mysite.ru/glossary/tag/
http://mysite.ru/articles/tag/
Это просто считаю не нужным, мелочи, но...
Индексирует, почему-то страницы:
http://mysite.ru/news/page-x/user@mysite.ru/
http://mysite.ru/upload/information_system_x/
Это вообще никуда не годится.
Так же, в индексе:
http://mysite.ru/503/
http://mysite.ru/404/
http://mysite.ru/403/
Это всё по данным http://webmaster.yandex.ru/site/indexed-pages.xml
Так что, добавил в robots.txt строки:
Disallow: /503/
Disallow: /upload/
Disallow: /news/tag/
Disallow: /articles/tag/
Disallow: /glossary/tag/
Disallow: /*user*mysite.ru*

20 марта 2010 г.

Re: Предложение о robots.txt

NeX писал(а):

К тому же неправильно раскрывать структуру сайта

а чего ее тут скрывать если по адресу /admin как минимум можно узнать что за движок и пойти на сайт разработчика

ку

Модератор 20 марта 2010 г.

Re: Предложение о robots.txt

safeflat,
Вы правильно делаете, что закрываете от индексации то, что не хотите, чтобы индексировалось. Для этого и создан robots.txt

Авторизация