Праздничное настроение с HostCMS!
Дарим скидки до 20% при приобретении лицензий
и скидки на продление периода поддержки*

Выдано 119411 лицензий

Предложение о robots.txt

Предложение о robots.txt
#
Varkolak
Есть такое предложение, сайты делаю часто и каждый раз приходится robots.txt прописывать (копипастить), могли бы вы по умолчанию (что бы при инсталяции он уже был) его туда прописать, думаю не мне одному это будет полезно:

User-agent: *

Disallow: /admin/
Disallow: /data_templates/
Disallow: /documents/
Disallow: /hostcmsfiles/
Disallow: /lib/
Disallow: /logs/
Disallow: /modules/
Disallow: /structure/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xsl/
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: chmod.sh
Disallow: config.php
Disallow: config_db.php
Disallow: download_file.php
Disallow: main_classes.php
Делаю сайты на HostCMS! Подробнее по почте anton.yurzanov@gmail.com

ПрофильЦитировать выделенное21.02.2008 15:09:30 • Сообщений: 710
Re: Предложение о robots.txt
#
NeX
а зачем? на эти директории не одна ссылка не указывает

ПрофильЦитировать выделенное21.02.2008 15:22:59 • Сообщений: 179
Re: Предложение о robots.txt
#
hostcms
Модератор
Varkolak,
скажем так - у пользователей (правда не у всех) будет возможность указать значение "по умолчанию" для robots.txt

ПрофильЦитировать выделенное21.02.2008 19:45:34 • Сообщений: 16062
Re: Предложение о robots.txt
#
Varkolak
NeX писал(а):
а зачем? на эти директории не одна ссылка не указывает

да мало ли вдруг появится ссылка да к тому же хоть какой то robots.txt нужен, т.к. поисковые боты его всегда запрашивают.
Делаю сайты на HostCMS! Подробнее по почте anton.yurzanov@gmail.com

ПрофильЦитировать выделенное22.02.2008 09:58:48 • Сообщений: 710
Re: Предложение о robots.txt
#
NeX
да я не против robots.txt

Просто я бы его сократил до


User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.php


К тому же неправильно раскрывать структуру сайта

ПрофильЦитировать выделенное22.02.2008 10:23:41 • Сообщений: 179
Re: Предложение о robots.txt
#
Soul_Train
может лучше сделать один фаил для keywords?

ПрофильЦитировать выделенное22.02.2008 10:32:49 • Сообщений: 26
Re: Предложение о robots.txt
#
hostcms
Модератор
Soul_Train писал(а):
может лучше сделать один фаил для keywords?

поясните ...

ПрофильЦитировать выделенное22.02.2008 12:13:26 • Сообщений: 16062
Re: Предложение о robots.txt
#
safeflat
Так же, у меня Яндекс индексирует:
http://mysite.ru/glossary/tag/
http://mysite.ru/articles/tag/
Это просто считаю не нужным, мелочи, но...
Индексирует, почему-то страницы:
http://mysite.ru/news/page-x/user@mysite.ru/
http://mysite.ru/upload/information_system_x/
Это вообще никуда не годится.
Так же, в индексе:
http://mysite.ru/503/   
http://mysite.ru/404/   
http://mysite.ru/403/
Это всё по данным http://webmaster.yandex.ru/site/indexed-pages.xml
Так что, добавил в robots.txt строки:
Disallow: /503/
Disallow: /upload/
Disallow: /news/tag/
Disallow: /articles/tag/
Disallow: /glossary/tag/
Disallow: /*user*mysite.ru*

ПрофильЦитировать выделенное20.03.2010 14:32:09 • Сообщений: 10
Re: Предложение о robots.txt
#
compaq
NeX писал(а):
К тому же неправильно раскрывать структуру сайта


а чего ее тут скрывать если по адресу /admin как минимум можно узнать что за движок и пойти на сайт разработчика
ку

ПрофильЦитировать выделенное20.03.2010 19:44:34 • Сообщений: 841
Re: Предложение о robots.txt
#
hostcms
Модератор
safeflat,
Вы правильно делаете, что закрываете от индексации то, что не хотите, чтобы индексировалось. Для этого и создан robots.txt

ПрофильЦитировать выделенное20.03.2010 21:05:36 • Сообщений: 16062
Авторизация