Автоматическая оценка эссе

Автоматическая оценка эссе представляет собой специализированные алгоритмы и компьютерные программы, предназначенные для оценивания сочинений, написанных в различных академических целях. Это метод оценки знаний, предполагающий использование методов обработки естественного языка, и его цель - классификация большого набора текстуальных данных в некоторое конечное количество категорий, соотносящихся с определёнными оценками. Несмотря на активное изучение данной темы за рубежом, в России автоматическая оценка сочинений не освещалась. Целью данного исследования являлась разработка алгоритма автоматической оценки на материале сочинений Единого Государственного экзамена, написанных учащимися одиннадцатого класса. Для обучения различных алгоритмов машинного обучения были собран материал, состоящий из 213 сочинений учащихся 11 классов. Инструментом для обработки данного материала послужит язык программирования Python. При предобработке и выделении признаков текстов для последующего обучения были выбраны такие параметры, как упоминание именованных сущностей, орфография, использование сложных слов, использование разнообразных частей речи и другие. Из методов машинного обучения были выбраны линейная регрессия и несколько классификаторов: наивный байесовский классификатор, деревья решений, метод ближайших соседей и ансамбльные методы AdaBoost и Gradient Tree Boosting. В результате эксперимента было выявлено, что наилучшим образом себя продемонстрировал Градиентный Бустинг, показавший результат верности 0,85. Был построен оптимальный алгоритм машинного обучения для автоматической оценки сочинений на русском языке. Представленная работа послужит базой для дальнейших исследований по данной теме, так как в ней описывается выделение важных текстуальных признаков, а также проводится сравнение различных моделей машинного обучения.