Platform V Corax — это программный брокер сообщений, представляющий собой распределенную, отказоустойчивую и масштабируемую систему, предназначенную для передачи данных с высокой пропускной способностью. Решение ориентировано на обработку больших объемов данных и построено по модели «публикация — подписка» (publish–subscribe).
Передача сообщений осуществляется от производителей (Producer) к подписчикам (Consumer) через логические каналы — топики. Для получения данных потребитель должен подписаться на соответствующий топик, в который публикуются сообщения, что обеспечивает асинхронное взаимодействие между компонентами системы.
Состав решения
Platform V Corax (KFK) включает единый программный компонент Corax (KFKA), который, в свою очередь, состоит из нескольких ключевых модулей:
- Apache ZooKeeper используется для синхронизации состояния между брокерами и управления кластером.
- Apache Kafka отвечает за хранение, прием и передачу сообщений между компонентами системы.
- Corax Schema Registry обеспечивает контроль схем данных (AVRO и JSON) при записи сообщений в топики.
- Corax UI представляет собой веб-интерфейс для администрирования, мониторинга и управления компонентами системы.
Функциональные возможности
Система поддерживает запись сообщений в топики и их последующее чтение потребителями, обеспечивая асинхронный обмен данными между приложениями.
Обеспечивается высокая отказоустойчивость, включая сохранение доступности данных при отказе отдельных узлов и их сохранность даже при полной остановке кластера.
Реализованы механизмы балансировки нагрузки и перераспределения партиций между узлами, что позволяет эффективно использовать ресурсы кластера.
Аудит и управление доступом
Система интегрируется с компонентами аудита и фиксирует ключевые операции, включая создание и удаление топиков, управление ACL-списками и изменение конфигурации.
Поддерживается управление consumer-группами, смещениями (offsets), квотированием и параметрами авторизации, что обеспечивает контроль доступа и безопасность работы системы.
Мониторинг и администрирование
Для мониторинга используются события, передаваемые по протоколу JMX, что позволяет отслеживать состояние системы и ее производительность.
Предусмотрены инструменты администрирования для выполнения операций, таких как создание и удаление топиков, управление ACL, изменение конфигурации, увеличение фактора репликации и анализ смещений сообщений.
Заключение
Platform V Corax представляет собой инфраструктурный компонент для построения распределенных систем обмена сообщениями на базе технологий Kafka. Решение обеспечивает передачу данных между компонентами, масштабируемость и контроль состояния кластера.
Система ориентирована на использование в высоконагруженных средах, где требуется надежная доставка сообщений, управление потоками данных и централизованное администрирование.