Первый рейтинг скорости русскоязычных CMS

Автор: Андрей Котельников 

Третий СПИК по части CMS если и не отличался качественно новым форматом секций и составом участников, то порадовал всех, кто имеет отношение к разработке и использованию CMS, интересным исследованием. Его в секции «Платформы разработки и управления интернет-проектами» представил Константин Малов из Хостинг-Центра РБК. Идея заключалась в том, что на реальных «живых» серверах хостинга производилось тестирование популярных CMS – «большой тройки» из коммерческих русскоязычных (1С-Битрикс, Netcat, UMI.CMS) и Joomla, как наиболее распространенная из бесплатных. Идея сама по себе очень хороша, т.к. найти подобные тесты можно только среди OpenSource систем, которые ничего не боятся, а собственные тесты платных систем объективностью, как правило, не обременены.

Ценность исследования заключается в том, что впервые мы получили объективные данные о скорости работы CMS. Правда, они были представлены в таком виде, что не позволяют сделать определенных выводов в пользу той или иной CMS (например, на сравнительных диаграммах отсутствовали показатели самой распространенной в России CMS 1С-Битрикс). Но, к счастью, результаты не засекречены и позволяют сделать более интересный анализ.

Итак, сравнение проводилось в виде синтетического теста на скорость формирования страниц с нагрузкой и без. В качестве генератора искусственной нагрузки использовался Apache Bench, который создает определенное количество запросов с заданной одновременностью. Результаты были представлены в виде следующих диаграмм.

Рис. 1 "Скорость формирования страниц системой управления сайтом (с нагрузкой и без)"

n- общее количество запросов в секунду, которое будет совершено; c- количество одновременных запросов в секунду; по оси Y - время выполенения запроса (в секундах)

Показатели 1С-Битрикс были отражены на отдельном слайде - сравнивались показатели Битрикса самого с собой в разных состояниях (без кэша, с автокэшированием и всей страницы).

Рис. 2 "Влияние кэширования на скорость в 1С-Битрикс"

Понятно, что когда кэшируется вся страница, показатель времени выполнения запроса уже характеризует не столько саму систему, сколько скорость работы самого сервера. Поэтому для итогового рейтинга всех CMS воспользуемся показателями 1С-Битрикса с автокэшированием и данными, снятыми с других систем. В исследовании не было приведено данных об использовании такого кэширования во время тестирования, но справедливо предположить, что если таковое есть, то оно было включено и у других систем. 

Рис. 3 "Итоговый рейтинг сравнительного тестирования скорости CMS"

  В цифрах результаты выглядят следующим образом (время выполнения запросов в секундах):

Это означает, что при равных условиях скорость формирования страниц различными системами может отличаться более чем в 2 раза. Понятно, что идеальный показатель в этой таблице был бы равен нулю. Соответственно, чем  меньше время выполнения запросов, тем о более высокой сравнительной скорости можно говорить для конкретного продукта. Как видно из результатов теста, наиболее быстрой из тестируемых систем себя показала UMI.CMS. Хуже всех показатели у Netcat - более чем в 2 раза.

Собственно говоря, данная методика тестирования - самый простой способ измерить скорость работы той или иной CMS. При этом важно отметить, что он показателен именно с точки зрения сравнения различных систем, но не для вычисления реальных нагрузок, которая каждая может выдержать. Он также не дает возможности делать выводы об узких местах той или иной системы.  Полученные результаты могут быть полезны в следующих случаях:

• Для потенциальных владельцев сайтов такой рейтинг важен при выборе конкретного продукта из нескольких альтернатив.
• Разработчикам CMS для оценки характеристики скорости в сравнении с другими CMS, для некоторых вскрывает глубинные проблемы в архитектуре, влияющие на скорость. 

И напоследок хочется отметить следующее. Как я уже говорил выше, подобных сравнительных тестов коммерческих CMS да еще и от независимого исследователя в Рунете нет. Это по-своему характеризует отечественные продукты - разработчики боятся открытых сравнений друг с другом. Но страдают от этого в конечном итоге их пользователи, для которых процесс выбора CMS превращается в поиск и анализ разрозненной коммерческой информации. Именно об этом были темы кулуарных бесед на СПИКе после презентации исследования - многие не поняли, почему же не были все-таки проранжированы места по скорости, когда есть реальные цифры, а также по каким причинам Битрикс не попал в общее сравнение с конкурентами. По поводу несделанных выводов - возможно, их не было из соображений политкорректности, а, может, просто потому, что у докладчика оставалось очень мало времени в секции. Что касается Битрикса, то в конце выступления прозвучало некоторое объяснение: при той сложности функционала, который есть у этой системы, скорость не может/не должна быть ее коньком. Меня также сильно удивили показатели NetCat - по ощущениям представлялось, что это довольно быстрая система. Возможно, тут дело в кэшировании, которого NetСat вроде бы не использует.

Отсюда вывод - такие исследования помогают разработчикам CMS увидеть слабые места своего продукта и определить направления оптимизации. Объективное сравнение ведущих продуктов помогает и владельцам/разработчикам сайтов выбрать наиболее адекватное решение под свои задачи, ресурсы.И чем больше будет проводиться таких тестов, тем более взвешенно и аргументированно мы сможем сравнивать и более рационально делать выбор в чью-либо пользу.

Скачать оригинал презентации К.Малова на СПИК-2008 >>