Мультилейбловая классификация научных статей: определение области знания на основе текста аннотации при помощи машинного обучения

В настоящее время публикация научных работ в Интернете вместо печатных журналов становится все более популярной. Присвоение тематических меток статьям могло бы расширить и улучшить возможности поиска. Ручная разметка практически невозможна из-за большого количества статей, уже опубликованных и продолжающих публиковаться каждый день. Таким образом, для классификации необходим автоматический инструмент. Разработка алгоритма присвоения меток представляет интерес также и с исследовательской точки зрения, поскольку означает решение задачи мультилейбловой несбалансированной классификации. Данное исследование охватывает ~2 миллиона текстов аннотаций, из которых более 200 тысяч относятся к самому большому классу и только ~4 тысячи — к самому маленькому. В данной работе рассматривается несколько методов классификации текстов. Один элемент может иметь произвольное количество меток. Всего представлено 200 уникальных меток и тысячи их комбинаций. Мы решили провести бинарную классификацию для каждой метки и объединить результаты, чтобы получить финальной список. Лучшей стратегией оказалась векторизация методом TF-IDF + использование классификатора Support Vector Machine. Эта стратегия превзошла даже трансформер типа BERT (приведены возможные объяснения этих результатов). Она обеспечивает следующие метрики: доля верных ответов — 0.99, полнота — 0.61, точность — 0,62. (Средние значения для всех меток) Учитывая количество классов, несбалансированность данных и ошибки разметки, мы считаем, что получили удовлетворительные результаты. Предварительно обученные TF-IDF и SVM модели были использованы для разработки веб-сервиса, который дает возможность протестировать наш алгоритм присвоения тематических меток.