Микросервисная архитектура на примере инференса моделей машинного обучения в реальном времени

В данной работе рассматривается применение микросервисной архитектуры для реализации проекта, реализующего выдачу предсказаний моделей ”классического” машинного обучения в реальном времени. Уникальность решения состоит в использовании in-memory хранилища данных Apache Arrow Plasma, которое позволяет избежать издержек на десериализацию данных и передачу их по сети, в результате обеспечивая высокую общую скорость ответов моделей-микросервисов, полностью написанных на Python. В работе описывается реализация всех компонентов предложенной архитектуры, в том числе: загрузчика данных в хранилище, предсказывающих моделей, а также подключаемых пакетов. Рассматриваются результаты нагрузочного тестирования архитектуры, а также сравнивается производительность Plasma с существующими аналогами – Redis, PostgreSQL Ключевые слова: Microservices, Machine Learning, Inference, Apache Arrow, In-memory storage Plasma, Python, Kubernetes, gRPC, Apache Hadoop, Kafka.