Реализация драйвера для брокера сообщений Kafka в фреймворке userver

Многие современные сервисы реализуются в концепции микросервисной архитектуры: функциональность приложения делится на части, для каждой из которых создаётся отдельный сервис-компонента. С одной стороны, в сравнении с монолитной архитектурой, микросервисная привносит много удобств в процесс разработки и поддержки сервисов, но с другой – такой подход требует мощных инфраструктурных инструментов: библиотек и протоколов для взаимодействия между любыми двумя частями сервиса, мониторинга состояния каждой его компоненты, а также сервисов для асинхронной обработки событий, производимых микросервисами (например, логов, запросов на запуск задачи или событий, связанных с действием пользователя). Для асинхронной обработки событий часто используются очереди сообщений или платформы для стриминговой (потоковой) обработки данных. На данный момент наиболее широкоиспользуемым сервисом для потоковой обработки данных является Apache Kafka. Kafka предоставляет две основные независимые сущности, через которые происходит взаимодействие между пользователями и надёжным хранилищем распределённых append-only логов: продьюсеры, которые могут посылать произвольные сообщения в различные топики, и консьюмеры, которые могут подписываться на чтение определённого набора топиков. В данной работе будет описана реализация драйвера для Apache Kafka в userver. userver – высокопроизводительный асинхронный Open Source C++ фреймворк, использующийся для написания микросервисов в Яндекс.Go, а также некоторых сервисов вне Яндекса.