связь между robots.txt задаваемым в системе администрирования и robots.txt загружаемым вручную
Здравствуйте, подскажите, пожалуйста, есть ли какие-нибудь настройки в центре администрирования, блокирующие доступ поисковых роботов к robots.txt (спрашиваю, т.к. почему-то поисковым роботам не удается получить доступ к robots.txt)
Re: связь между robots.txt задаваемым в системе администрирования и robots.txt загружаемым вручную
Вероятно настройка хостинга неверная и txt-файлы обрабатываются на уровне nginx, а не передаются Apache при отсутствии файла.
Уточните у хостинга, если не получится решить, то покажите адрес сайта или обратитесь в поддержку.