Вопрос по индексации поисковиками и файлу robots.txt при нескольких площадках на хостинге

Логично. Но тогда мне не понятно как поисковой бот находит файл robot.txt, если физически он не существует. КАК?

Вы задаете текст этого файла в системе и система на его запрос отдает этот файл поисковому боту. Сами запросите на сайте с HostCMS "несуществующий" robots.txt и увидите, что система его отдала, как будто он на сервере лежит. Чудеса просто

HostCMS, да вы просто волшебники!

Ничто не появляется из ниоткуда и не пропадает в никуда (Ньютон)
Кроме файла robots.txt в корне сайта (HostCMS)