Методы совместного обучения глубоких структурных моделей

За последние несколько лет модели на основе комбинации нейронных сетей, обладающих высокой обобщающей и выразительными способностями, и графических моделей, которые позволяют в явном виде учесть структуру предсказания, достигли впечатляющих результатов в таких практических задачах, как семантическая сегментация, распознавание позы и последовательности рукописных символов. Наиболее распространенный способ настройки параметров структурных моделей представляет собой многостадийную процедуру, подразумевающую раздельное обучение компонент. Такая процедура является затратной поскольку предполагает обучение каждой компоненты до сходимости и перебор гиперпараметров. Процедура совместного обучения, предполагающая обучение всех компонент модели в один этап, является более удобной, но часто приводит к худшим результатам из-за повышения сложности оптимизации. В этой работе мы исследуем проблемы совместного обучения глубоких структурных моделей в контексте задач распознавания рукописных символов, бинарной сегментации и разбиения предложений на семантические блоки, и предлагаем методы позволяющие сделать совместное обучение возможным и более эффективным с точки зрения финальной метрики качества. Мы проводим сравнение предложенных и стандартных методов на наборах данных Stanford OCR, CoNLL chunking и Weizmann Horses и показываем, что предложенные техники подходят для совместного обучения и позволяют достичь лучших результатов в сравнении со стандартными методами использующими многостадийную процедуру.