Методы обучения с учителем для определения некомпозициональных именных групп

Композициональность именных групп является индикатором того, насколько точно смысл всей фразы может быть описан через семантические свойства её частей и их грамматическую связь. В случае, если семантическое значение сочетания не совпадает со значениями его компонент, оно называется некомпозициональным. Примерами некомпозициональных фраз могут являться такие идиомы, как "бархатная революция" и "тёмная лошадка". Умение выделять такие фразы принесет ощутимую пользу в ряде прикладных задач, в частности, в машинном переводе. Ранее проблема определения композициональности решалась с помощью применения математических операций с векторами слов, полученных из моделей дистрибутивной семантики. В отличие от предыдущих работ, напрямую не использующих концепт обучения, мы формулируем эту задачу как классификацию и представляем различные известные алгоритмы обучения с учителем, получая значимое улучшение качества предсказаний на известных примерах по сравнению с прошлыми методами. Также представлен датасет именных групп структуры прил.-сущ. и сущ.-сущ. для русского языка, первый подобный для славянских языков. С помощью аналогичных методов классификации мы получаем базовые результаты качества предсказания, сравнимые с англоязычными аналогами.