Построение векторных представлений для изменений программного кода

В области разработки программного обеспечения существует множество задач, непосредственно связанных с изменениями программного кода. В их число входят такие задачи, как исправление ошибок программного кода, генерация сообщений к коммитам, классификация изменений и прочее. Существует много исследований, которые пытаются автоматизировать процесс выполнения этих задач, в том числе используя машинное обучение. Последние исследования в области обработки естественного языка показывают, что лучше всего задачи из этой области решаются путем обучения без учителя глубокой нейросетевой модели на большом объеме неразмеченного текста и последующего дообучения на конкретную задачу, возникающую в области обработки естественного языка. Учитывая схожесть естественного языка с программным кодом, в данной работе предлагается подход к решению задач, связанных с изменениями программного кода. Данный подход состоит в обучении без учителя нейросетевой модели извлекать признаки из изменений программного кода и формировать из этих признаков векторные представления изменений, которые потом могут использоваться для решения различных задач, в которых необходима обработка и понимание изменений программного кода на семантическом уровне. Результаты, показанные данным подходом на задачах исправления ошибок программного кода и генерации сообщений к коммитам, показывают способность модели извлекать семантически значимые признаки из изменений программного кода и эффективно представлять их в численном виде. Ключевые слова: изменения программного кода, векторные представления, эмбеддинги, машинное обучение, глубокое обучение.