Нейронные сети для обработки исходного кода программNeural networks for source code processing

В последние годы нейронные сети достигли высокого качества в задачах обработки сложно структурированных данных: изображений, текстов, звука и видео. Успех нейронных сетей в этих задачах, в числе прочего, обосновывается возможностью выбора архитектуры нейросети, учитывающей особенности конкретного вида данных. В данной работе исследуются возможности адаптации рекуррентных нейронных сетей и архитектуры "Трансформер" для обработки исходного кода программ, обладающего такими свойствами, как четкая синтаксическая структура, наличие понятия переменных и большие словари идентификаторов. В частности, разработан механизм динамических векторных представлений для обработки переменных в рекуррентных нейронных сетях, проведено эмпирическое исследование методов учета синтаксической структуры кода в архитектуре "Трансформер" и предложена простая в реализации техника предобработки кода для обработки редких идентификаторов. Разработанные методы и проведенные эмпирические исследования позволяет повысить качество решения ряда прикладных задач обработки исходного кода: поиск и исправление неправильно использованной переменной в коде, именование функций и автодополнение кода.