Перенос обучения в задачах извлечения информации

С недавних пор техника переноса обучения (Transfer Learning) стала повсеместно применяться при решении различных задач из области обработки естественного языка (NLP). Подход межъязыкового переноса обучения (Cross-Lingual Transfer Learning, CLTL), который заключается в переносе обучения между текстами на разных языках оказывается крайне уместным при работе с размеченными текстовыми данными, объем которых мал. В рамках данной магистерской диссертации был исследован подход Cross-Lingual Transfer Learning на задачах извлечения именованных сущностей (NER) и извлечения отношений (RE) с использованием различных наборов данных на шести языках. В работе рассмотрены как более простые (Word2Vec), так и более современные (BERT, LaBSE, XLM-R) архитектуры моделей машинного обучения. В исследовании показана эффективность метода межъязыкового переноса обучения в сравнении с обучением только на одном языке. В рамках работы был реализован Python фреймворк, позволяющий проводить эксперименты с подходом CLTL на задачах извлечения именованных сущностей и извлечения отношений. Ключевые слова: машинное обучение, обработка естественного языка, извлечение именованных сущностей, извлечение отношений, межъязыковой перенос обучения.