Непрерывное обучение в задачах обработки текстов

Современные модели машинного обучения для задач распознавания естественного языка используют нейронные сети. Такие модели обычно обучаются в два этапа. На первом этапе они используют корпус из неразмеченных данных для обучения языковой модели. Затем такие модели дообучают уже на размеченных данных для решения тех или иных задач. В этой работе, я сравню два сценария для обучения модели, которая решает задачу распознавания токенов неопределённости в биомедицинских текстах. Сначала я дообучу доменные языковые модели SciBERT и BioBERT которые были изначально обучены на наборе неразмеченных биомедицинских текстов. Далее я дообучу обычную языковую модель BERT на датасете распознавания токенов неопределённости на Википедии. Далее я произведу адаптацию домена этой модели для уже биомедицинских текстах. Я показываю, что доменно-специфичные модели (SciBERT и BioBERT) хоть и показывают лучшее качество, однако этот прирост не всегда является статистически значимым.