Трансформер с адаптивным механизмом внимания для моделирования исходного кода

С момента своего появления Трансформер установил новый уровень качества в различных задачах обработки естественного языка. Он спроектирован для работы с последовательными данными, так как естественный язык обычно хорошо представим в виде последовательности токенов. При решении задач, связанных с исходным кодом, модели приходится работать с языком программирования и в таком случае более важно использовать внутреннюю структуру программ в виде дерева. В данной работе мы исследуем способы внедрения информации о структуре в компоненты Трансформера. Мы интегрируем два различных типа адаптивного механизма в слой внимания, чтобы более точно учитывать зависимости во входных данных. Первый из них, адаптивный механизм внимания с учетом последовательности, приводит к лучшему качеству работы. Второй, адаптивный механизм внимания с учетом структуры дерева, приводит к качеству немного ниже, но использует значительно меньшую долю токенов во входной последовательности.