В корне сайта находится типовой статический файл phpinfo.php. Если посмотреть его отклики в ЯндексВэбмастере, то они выглядят так:
Цитата:
Server: nginx-reuseport/1.11.10
Date: Tue, 28 Feb 2017 12:18:28 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Keep-Alive: timeout=30
Vary: Accept-Encoding
X-Powered-By: PHP/5.6.30
Content-Encoding: gzip
Если же посмотреть отклики любой страницы сайта, то там появляется Last-Modified. Причем, его значение никак не связано со временем создания страницы, а отображает время ее открытия
Цитата:
Last-Modified: Tue, 28 Feb 2017 12:21:04 GMT
То есть, как будто эту страницу изменили вот как раз в эту секунду...
А потому, роботу надо немедленно ее индексировать, а браузеру заново полностью скачивать, что не есть хорошо.
Как мне кажется, надо либо давать в Last-Modified реальное время изменения контента, или вообще не отдавать этот заголовок.