Методы обработки текстовых данных для ускорения обучения языковых моделей с помощью обучения по плану

Современные системы обработки естественного языка активно используют глубо- кие нейронные сети (BERT, GPT-3), которые требуют значительных ресурсов для их обучения. За последние годы было разработано множество подходов для решения данной проблемы. Одним из них является обучение по плану. Данный метод состо- ит из двух составляющих: оценки сложности тренировочных данных и алгоритма их семплирования. Основной целью данной работы является исследование метрик оцен- ки сложности текстовых данных в контексте обучения по плану и влияния данного метода ускорения обучения на скорость сходимости языковых моделей на задачах пре- добучения и классификации. В процессе исследований было предложено и адаптиро- вано несколько подходов из разных областей математики. Также были реализованы производительные алгоритмы вычисления найденных метрик на больших объемах данных в несколько десятков миллионов тренировочных примеров. Объемный набор экспериментов на задачах предобучения и классификации выявил наиболее эффек- тивные метрики для использования в обучении по плану. В то же время было уста- новлено, что обучение по плану негативно влияет на скорость сходимости на задаче предобучения, однако не уступает базовому подходу (обучению без плана) на задаче классификации. Также был рассмотрен важный частный случай обучения языковой модели на шумном наборе тренировочных данных. Сравнительный анализ показал ускорение обучения до двух раз для достижения 95% итоговой точности модели при применении обучения по плану с наиболее эффективной метрикой. Ключевые слова: обработка естественного языка, обучение по плану, теория ин- формации, оценка сложности текстовых данных