Disallow 404 в robots.txt по умолчанию

26 марта 2019 г.

Здравствуйте!
Подскажите, пожалуйста, почему в файле robots.txt закрыт доступ к страницам ошибок 40*:

Disallow: /403
Disallow: /404

Модератор 26 марта 2019 г.

Re: Disallow 404 в robots.txt по умолчанию

borisych,
а почему он должен быть к этим страницам открыт?

26 марта 2019 г.

Re: Disallow 404 в robots.txt по умолчанию

У меня Google Search Console ругается - Проиндексировано, несмотря на блокировку в файле robots.txt

Модератор 26 марта 2019 г.

Re: Disallow 404 в robots.txt по умолчанию

borisych,
так вопрос гуглу, почему он индексирует страницы, которые запрещены.

Авторизация