Автоматическое определение типов вопросительных предложений русского языка

В данной работе рассматривается автоматическая типологизация вопросительных предложений русского языка, естественный первый шаг в построении вопросно-ответной системы. Типология вопросительных предложений была разработана с опорой на классификацию А.Грэсера. Корпус в 2008 вопросов был вручную составлен и размечен в соответствии с типологией. На первом этапе, был построен классификатор на основе метода регулярных выражений. Данная модель позволила достичь показателя в 52.7% (микро) точности. Полученный результат использовался как базовый для следующего этапа. Далее несколько широко применяемых методов машинного обучения (логистическая регрессия, метод опорных векторов, наивный байесовский классификатор) были протестированы с использованием тестового корпуса, размеченного внешним экспертом, с использованием двух наборов классов (подробного - 23, и упрощенного - 14). Данные были представлены в формате символьных би/триграмм и словесных уни/би/триграмм. Наилучшие результаты были достигнуты моделью на основе метода опорных векторов, с точностью в 65.3% для подробной и 68.7% для упрощённой классификации соответственно, данный алгоритм стал базовым для заключительного этапа. На заключительном этапе, данные были модифицированы сужением типологии до 13 классов, расширением корпуса и увеличением репрезентативности некоторых типов вопросов. Было использовано комбинированное представление предложений (распределенные представления языковых единиц и бинарные признаки на основе регулярных выражений) вкупе с алгоритмом глубинного обучения с учителем (свёрточная нейронная сеть). Алгоритм сравнивался с базовой моделью, показавшую 60.22% точности на новых данных. Максимальная точность в 72.38% была достигнута свёрточной нейронной сетью.