Сравнительный анализ подходов к классификации коротких предметно-ориентированных текстов на мобильных устройствах с использованием нейронных проекций

Развитие рынка смартфонов и распространение машинного обучения привело к тому, что все больше компаний начинают использовать модели машинного обучения в своих мобильных приложениях. Например, распознавание речи на мобильных телефонах, Google Smart Reply и различные задачи, связанные с пониманием разговорного языка. Кроме того, часто использование глубоких нейронных сетей на мобильных устройствах является нецелесообразным, поскольку подобные огромные модели не предназначены для работы в условиях ограниченной памяти, которая доступную на подобных устройствах. Для решения этой проблемы был придуман ProjectionNet framework. Он демонстрирует новую архитектуру для обучения компактных нейронных сетей, в которой компактная модель "проекция" обучается совместно с громоздкой нейронной сетью "тренером". Однако существует не так много работ, исследующих поведение "проекций" в комбинации с различными большими нейронными сетями для задач классификации коротких текстов в контексте конкретной предметно-ориентированной области. Поэтому целью данной работы является сравнение моделей, полученных с использованием различных глубоких нейросетей, сжатых с помощью нейронных проекций, на нескольких наборах данных для задачи классификации и состоящих из коротких текстов. Для этого мы реализуем различные комбинации современных подходов к классификации текстов и проекционных сетей. Совместно обучаем на выбранных наборах данных. И в заключение приводим сравнительный анализ полученных комбинаций. Работа содержит 50 страниц, 11 рисунков, 12 таблиц, 43 источника и 1 приложение.