Platform V Works: Overload — инструмент нагрузочного тестирования от «СберТех» для крупных ИТ-ландшафтов.
Поддерживает сценарии и совместимость с JMeter, Locust, Gatling, что облегчает перенос тестов. Использует low-code и IDE для подготовки тестов, централизованное управление и интеграцию с CI/CD через API.
Максимальная эффективность достигается при наличии зрелых процессов разработки, мониторинга и релизных пайплайнов.
Запись скриптов
Overload реализует функцию записи через браузерное расширение с помощью WebDriver. Поддерживаются браузеры Google Chrome и SberBrowser.
Реализация рекордера в виде расширения для браузера несколько проигрывает формату полновесного компонента платформы, т.к. ограничивается круг поддерживаемых браузеров и их версий, а также снижаются возможности по реализации удобного пользовательского интерфейса для работы с функционалом.
Помимо http/https протокола Overload поддерживает разработку скриптов для взаимодействия через gRPC, WebSocket, Kafka. Но для них функция записи отсутствует.
Отладка скриптов
Студия Overload — это расширение Visual Studio Code (VS Code) для создания, редактирования и отладки скриптов
Соответственно, реализация студии как части VS Code позволяет использовать широкие возможности по отладке. Из интересных особенностей стоит отметить возможность просмотра текущих значений глобальных и локальных переменных, дебаггер и использование брейкпоинтов. В части параметризации — генерацию случайных значений для разного типа данных.
Студия разработки предлагает пользователям более плотную работу с кодом скриптов, что с одной стороны увеличивает гибкость отладки, но с другой стороны повышает порог вхождения в инструмент и усложняет восприятие реализуемой логики.
Версионирование скриптов также обеспечивается возможностями VS Code.
Подготовка сценария тестирования
В Overload для создания сценариев тестирования (или профилей, в терминологии инструмента) используется калькулятор ступеней нагрузки. Вы задаете необходимые временные и количественные параметры, определяющие характер сценария в целом, и параметры нагрузки для каждого отдельного скрипта (операции) в частности.
К недостаткам можно отнести отсутствие графического отображения получившихся шагов теста для всех типов скриптов и недостаточную понятность подразделения операций на типы и их роль в общем сценарии.
Сценарии можно создавать на базе скриптов из JMeter, Gatling, Locust. Дальнейшая работа со сценариями и их запуск производятся в отдельном веб-приложении платформы. Но целостной картины управления сценарием, таким образом, не получается, т.к. настройки распределены между двумя компонентами.
Запуск теста
Overload выделяется глубокой проработкой функционала отложенных запусков в частности и планирования запусков в принципе по каким-либо календарным расписаниям. Валидация сценариев отдельно не предусмотрена.
Отслеживание хода тестирования
При просмотре запущенного теста предоставляется базовая информация о запуске. Подробные сведения визуализируются через предварительно настроенную систему визуализации данных Grafana. Соответственно, непосредственно в составе платформы Overload этот функционал мониторинга отсутствует.
Изменение нагрузки во время теста осуществляется через настройку шагов теста (ступеней нагрузки) в структуре профиля, что позволяет адаптировать интенсивность без перезапуска.
Анализ результатов
Результаты теста доступны для анализа в формате отчетов и протоколов. Протоколы формируются при помощи механики конструктора, когда у пользователя есть возможность самостоятельно определять содержимое документа. Блок анализа предлагает к заполнению перед формированием протокола дополнительные поля о ходе теста, чтобы платформа выработала итоговое заключение и рекомендации по итогам теста.
Протокол формируется для одного запуска, поэтому сравнить результаты двух и более тестов между собой в таком формате возможности нет.
