Полезные советы или как увеличить скорость загрузки сайта с 25000 категориями и больше.

Всем привет , давно пользуюсь данной CMS системой , постоянно задаю вопросы тех.поддержке да и на форуме отписываюсь , больше спрашиваю чем делюсь. Совесть замучала, вот решил поделиться советом как увеличить скорость загрузки сайта на примере малого бизнеса с 25000 категориями. Тестировалось все на локальной машине для php было выделено 1 gb ОЗУ , 3200Mhz , 100gb HDD.
Связка последняя версия Zenda которую можно скачать на сайте разработчика.

И так. Многим известна проблема магазинов автозапчастей с их огромными номенклатурами (10.000.000 позиций товара десять миллионов) и большим кол-вом категорий , которые иногда доходят до 100.000 и более. Из за этого огромного количества любой хостинг может загнуться , у меня так и было с моим VPS 2000MHZ 2GB озу 50GB HDD , время генерации главной страницы составляла 35-40 секунд. При такой скорости понятно не каждый клиент захочет ждать. И скорее всего откажется от просмотра сайта или покупки.
В моем случае была не правильная интеграция сайта , в добавок тот фрилансер который мне внедрял шаблон не учел некоторых моментов , код был грязный , картинки много весили и сайт тупил по черному просто. Я своими запросами замучал тех.поддержку и они меня подтолкнули на замечательную вещь FireBug . Это дополнение которое устанавливается на мозилу , позволяет проверить ваш сайт в режиме онлайн на наличие ошибок , показывает скорость загрузки сайта , в общем не заменимая просто вещь рекомендую вам.
Так вот чтобы не лить воду.
1.Если хотите чтобы сайт работал очень быстро  к категориям не нужно добавлять фото, а если вы их добавляете старайтесь эти фото предварительно обработать и пережать по максимуму , я таким способом добился увелечения скорости загрузки сайта на 2-3 секунды.
2. Если вы задумали сделать дизайн сайту делайте его легким чтобы много не весил , старайтесь чтобы на главной странице было как меньше банеров , счетчиков, сторонних скриптов. Многие заказчики этого не учитывают , потому что они просто не знают того что их ждет в будущем как это ждало меня. На самом деле скорость загрузки вашего сайта сильно влияет на конверсию посетителей и их просмотр страниц вашего сайта. Попробуйте. Проверьте , увидите что конверсия будет расти , если будет расти скорость вашего сайта.
3. Пользуйтесь FireBugом по крайней мере на начальном этапе я уже обнаружил ошибку в своем сайте которая жрала 1 секунду времени загрузки сайта, хотя шаблон тот который идет с поставкой хостцмс 6й версии.
4. Оптимизируйте свою базу данных , предварительно сделав бэкап! Если из нее постоянно что то удаляется - добавляется. Хотя даже на 6ой версии халява сайт с 25000 категориями замечательно себя чувствует , замечу без кэширования , если будет кэширование думаю скорость будет намного выше , к сожалению попробывать данный модуль пока нет возможности.

В общем сильно не пинайте,если знаете данную информацию. Понимаю что многие знают эту информацию , я не знал и потратил 1.5 года своего времени ,нервов своих,нервов поддержки хостцмс,хорошо что поддержка довольно лояльно относится к моему нытью, так же заменил свой Hostcms на другой движек инет-магазина о чем потом пожалел и вернулся обратно на хостцмс но уже с приобретенными знаниями.
Надеюсь эта информация кому нибудь пригодится. Всего доброго.
P.S

Скорость загрузки сайта с 25000 категорий - главной страницы 1.5 секунды. К сожалению я удалил категории и не могу выложить полные логи , но поверьте на слово так и есть , если кто то сомневается в скором времени залью около 40.000 категорий и можем вместе посмотреть.
Формат картинок категорий jpeg , 150 на 100 , средний вес 7кб.
"Вид" как лежали папки , Главная\shop\категория\54подкатегории.
На данный момент на сайте на той же машине 1480-1490 категорий . Шаблон стандартный бытовая техника с кривым кодом http://localhost/templates/template14/style.css?1366609503 (404 Not Found) который занимает 404 миллисекунды на загрузку , если его подправить то скорость еще увеличится!
Тоесть обратите внимание на тот факт что именно генерация страницы занимает все время , как раз все свистелки и сами знаете что и влияет на скорость загрузки вашего сайта. Время соединения с базой данных и время выполнения запросов 0.151 в первом примере.
Скорость загрузки главной страницы
Время выполнения: 0.656 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.569 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.151 с
время обработки XML: 0.036 с
Количество запросов: 48.
Компрессия: Отключено.
Кэширование: Отключено.

Скорость загрузки страницы - главная-shop-категории с картинками. (всего 54 категории)
Время выполнения: 0.970 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.886 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.184 с
время обработки XML: 0.099 с
Количество запросов: 51.
Компрессия: Отключено.
Кэширование: Отключено.

Скорость загрузки страницы - главня -shop - категории с картинками - покатегория с картинками (всего 36 подкатегорий)
Время выполнения: 0.852 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.769 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.191 с
время обработки XML: 0.052 с
Количество запросов: 52.
Компрессия: Отключено.
Кэширование: Отключено.
Пример как выглядят картинки категорий на сайте
К сожалению шаблон не расчитан на много категорий поэтому сьехал.

Установил CMS на хостинг залил 19700 категорий и офигел! Связка nginx+апач
2000Mhz - 2gb озу - 50GB HDD , VPS. Работает быстрее чем на локальной машине под денвером!
Кому интересно ссылку на сайт дам в личку.
Время выполнения: 0.160 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.145 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.011 с
время обработки XML: 0.015 с
Использовано памяти: 3.77 Мб.
Количество запросов: 48.
Компрессия: Отключено.
Кэширование: Отключено.

Продолжаю проводить тест HostCms 6.0.6 версия малый бизнес. Хочу посоветовать всем ресурс стресс-теста вашего сайта, http://loadimpact.com/ заодно проверите свой хостинг на стрессоустойчивость.
LoadImpact — интернет-сервис симулирующий нарастающее увлечение посещений (трафика) и нагрузку на сайт, отображая скорость открытия сайта в зависимости от количества одновременного подключения пользователей.
В момент теста , а это 20-30 хостов одновременно при 37000 категорий (в скором времени будет 50.000 и около 100.000 товаров) вот какие данные получил.

Время выполнения: 0.381 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.313 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.077 с
время обработки XML: 0.059 с
Использовано памяти: 6.36 Мб.
Количество запросов: 48.
Компрессия: Отключено.
Кэширование: Отключено.

При слабой нагрузке которая есть сейчас
Время выполнения: 0.168 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.154 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.026 с
время обработки XML: 0.016 с
Использовано памяти: 6.36 Мб.
Количество запросов: 48.
Компрессия: Отключено.
Кэширование: Отключено.

Оффтоп. Народ кому нибудь интересно нет? А то я тут сам с собой разговариваю. Стоит дальше продолжать нет?

интересно! продолжай)

Залил 65000 категорий , из замеченных изменений увеличилось потребление памяти на 1-2 мегабайта, в зависимости от того какие категории открываются,видимо фото категорий жрут память. Система ведет себя стабильно, никаких глюков и тормозов нигде не замечено. При коннекте из Токио 20-21 пользователей одновременно.
[23:12]   Initializing test...
[23:12]   Target system located in Unknown
[23:12]   Booting load generators...
[23:12]   Waiting for load generators...100%
[23:12]    * Tokyo, JP online
[23:12]   Deploying test config...100%
[23:12]    * Tokyo, JP ready
[23:12]   Running...33%
Время выполнения: 0.229 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.214 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.010 с
время обработки XML: 0.019 с
Использовано памяти: 8.29 Мб.
Количество запросов: 52.
Компрессия: Отключено.
Кэширование: Отключено.

По данным LoadImpact сайт грузится от 817.45ms и до 1.41s

Жду когда в соседней теме ответят по запрету индексации. И попробую загрузить 100.000 товаров.
Планируется добавить 1-2 миллиона но боюсь места на хостинге не хватит.

avtozakup,
поинтересней будет когда загрузишь более 5000 товаров и доп. свойств к ним )))

alexpimnev,
Думаю сегодня залью,если с тегом noindex помогут, не хочу чтобы яша с гуглом мне насыпали ссылок на самом деле категории тоже жрут не хило, в любом случае Hostcms показывает пока лучшие результаты по сравнению с другими системами. Написал бы на каких системах тестировал но боюсь это будет скрытой рекламой.

В общем залил 22813 товаров с картинками и описанием, что не понравилось так это когда чистишь корзину ajax parser eror просто достал, а так скорость сайта практически не изменилась разве что количество запросов к базе данных немного увеличилось. С доп свойствами есть свой гемморой не охота возиться если честно
Время выполнения: 0.457 с, из них
время загрузки модулей: 0.000 с
время генерации содержания страницы: 0.442 с
время соединения с СУБД: 0.000 с
время выбора БД: 0.000 с
время выполнения запросов: 0.146 с
время обработки XML: 0.021 с
Использовано памяти: 4.29 Мб.
Количество запросов: 223.
Компрессия: Отключено.
Кэширование: Отключено.

avtozakup,
сколько товаров выводите на страницу?