Сервис для распознавания родного языка автора на основе английских эссе

В рамках данной магистерской диссертации рассматривается задача определения родного языка автора текста, основываясь на английских эссе, для чего строится модель, основанная на методах машинного обучения. В качестве данных для обучения модели используется корпус TOEFL 11: A Corpus of Non-Native English, созданный специально для задачи определения родного языка автора. Целью работы является построение модели, точность которой превзойдет ранее достигнутые результаты, для чего используется метод опорных векторов, хорошо зарекомендовавший себя для решения задачи. В работе также рассматривается перспективный подход к задаче определения родного языка ранее не используемый – сверточные нейронные сети. Особое внимание также уделяется представлению текстовых данных в векторном формате, для чего используется несколько различных перспективных подходов – метрика TF/IDF, Word2Vec and vocabulary construction. В рамках данной работы была проведена серия экспериментов с использованием различных методов векторизации и предварительной обработки тренировочной выборки для метода опорных векторов и сверточных нейронных сетей. Метод опорных векторов при использовании метрики TF/IDF, униграмм и биграмм, а также при определенной конфигурации обработки данных для обучения и параметров SVM показал точность 84.16%, превышающую достигнутые прежде результаты других авторов, также использующих корпус TOEFL 11. Сверточные нейронные сети обычно используются для обработки и классификации изображений, однако, благодаря подходу Y. Kim, использованному в данной работе, их применения стало доступным для работы с текстовыми данными. Подход показал достойные результаты – максимальная достигнутая точность модели при использовании данного подхода составила 75.15%. Сверточные нейронные сети продемонстрировали применимость метода для решения задачи определения родного языка автора текста и перспективность дальнейших исследований.