Нейросетевое ранжирование для персональных рекомендаций

Данная работа представляет реализацию универсального open-source фреймворка для удобной работы с нейросетевыми моделями, написанными на PyTorch, с упором на модели нейросетевого ранжирования. Библиотека предоставляет Scikit-learn API для работы с моделями, представляющее из себя «fit-predict» интерфейс для обучения и предсказания, а также поддержку Pandas DataFrame в качестве формата входных данных. Фреймворк упрощает запуск обучения и предсказания, не требуя создания специфичных для PyTorch сущностей вручную, а также беря на себя часть обработки входных данных, например, кодирование категориальных фичей и работу с категориями, отсутствующими в обучающем наборе данных. Библиотека позволяет без дополнительного написания кода работать с произвольными наборами данных, не требуя указания каких-либо конфигураций или описания признаков, все производится внутри фреймворка. Важной частью также является расширяемость написанной библиотеки, для добавления новых архитектур необходимо лишь реализовать несколько однотипных абстрактных методов в добавок к стандартным методам PyTorch моделей. На текущий момент реализованы архитектуры DCNv2 и FinalNet. Данный фреймворк позволит упростить работу для исследователей, желающих быстро проверить очередную гипотезу, а также для инженеров, которые смогут пользоваться любыми нейросетевыми моделями в удобном «fit-predict» интерфейсе и без необходимости писать специфичные циклы для обучения и предсказания. Также в будущем подобный фреймворк может стать некоторым подобием централизованного хаба для моделей нейросетевого ранжирования, который можно будет использовать для сравнения качества различных архитектур. Главным ограничением при этом является объем данных, подающийся на вход моделям, что в случае инференса решается его реализацией по батчам.