Автоматическая оценка эссе на английском языке с заранее заданными критериями проверки

Данная работа посвящена разработке системы автоматической оценки эссе по нескольким критериям с использованием современных моделей машинного обучения. Актуальность темы обусловлена необходимостью повышения объективности и эффективности проверки письменных работ, в частности в контексте заданий с открытым ответом, таких как эссе на экзаменах по английскому языку. В работе проведён всесторонний анализ современных подходов к автоматизированной оценке письменной речи, рассмотрены существующие архитектуры нейронных сетей, включая предобученные трансформерные модели семейства BERT и генеративные большие языковые модели. Выявлено, что наилучшие результаты достигаются при использовании нейронной сети с BERT-кодировщиком, которые демонстрируют высокую точность при минимальных ресурсных затратах. При этом генеративные модели, несмотря на более длительное время инференса, обладают потенциалом для генерации объяснений и обратной связи к выставленным оценкам. В рамках эксперимента был реализован прототип системы оценки, обученной на корпусе работ по заданию №37 ЕГЭ по английскому языку. Особое внимание уделено проблеме несбалансированности выборки и высокой тематической вариативности текстов, что было учтено при построении и обучении моделей. Разработанное решение продемонстрировало высокую точность предсказаний и может быть эффективно использовано в образовательной практике. Результаты исследования показывают, что автоматическая многокритериальная оценка эссе может быть реализована с помощью компактных и быстрых моделей, обеспечивающих сопоставимое с экспертной проверкой качество. Предложенный подход может быть интегрирован в существующие образовательные платформы и способствовать снижению нагрузки на педагогов, повышению скорости и объективности оценки письменных заданий.