Алгоритмы сэмплирования текстовых данных для ускорения обучения языковых моделей при помощи обучения по плану

Современные методы обработки естественного языка основаны на глубоком обучении, а используемые нейронные сети имеют от нескольких миллионов до сотен миллиардов параметров, что приводит к тому, что время их тренировки и количество требуемых вычислительных ресурсов очень высоко. На данный момент существует несколько способов для решения данной проблемы, одним из которых явлется обучение по пла- ну. Обучение по плану состоит из двух основных частей: алгоритма сэмплирования данных и способа оценки их сложности. Целью данной работы является исследование сэмплирующих алгоритмов, а также их влияния на время, необходимое для обучения нейронных сетей. В процессе исследований было разработано несколько различных сэмплирующих алгоритмов с различными особенностями, а также проведено большое количество экспериментов на задачах классификации, машинного перевода и восста- новление маскированных частей. В результате экспериментов было установлено, что обучение по плану не даёт прироста скорости обучения, а на некоторых задачах да- же замедляет его. Также были проведены эксперименты с различной токенизацией текстов и было показано, что она не влияет на результаты. Ключевые слова: обработка естественного языка, обучение по плану, сэмплирова- ние.