Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Машинное обучение восстанавливает и описывает эмпирические зависимости в данных. Классические примеры приложений машинного обучения, как правило, связаны с предсказанием скалярных величин в задачах регрессии и классификации. В то же время, в приложениях зачастую возникает необходимость предсказания совокупности взаимозависимых скалярных величин (например, совокупность слов в предложении или совокупность меток классов в маске сегментации). Структурная переменная - собирательный термин для такого рода целевых переменных, а подраздел машинного обучения, связанный с предсказанием структурных переменных, называется структурным предсказанием. Работа со структурными переменными накладывает ряд ограничений, связанных с комбинаторным ростом числа возможных предсказаний. Данная работа исследует калибровочные функции в задаче структурного предсказания, позволяя получить гарантии обучения без предположения о состоятельности целевой функции. Помимо этого, в рамках вероятностного подхода, разработаны градиентные оценки для работы со скрытыми структурными переменными в виде перестановок или подмножеств, а также рассмотрен ряд практических приложений.

Большинство современных нейронных сетей используют в своей архитектуре те или иные техники нормализации, к примеру, пакетную нормализацию (batch normalization), что эмпирически позволяет стабилизировать обучение и добиться лучшего качества. Главным следствием нормализации является масштабная инвариантность параметров, предшествующих слоям нормализации. В данной работе приводится подробное экспериментальное и теоретическое исследование влияния свойства масштабной инвариантности на динамику обучения и ландшафт функции потерь нормализованных нейросетевых моделей. В первой части работы раскрывается эффект периодического поведения динамики обучения с использованием нормализации и сокращения веса. Во второй части работы анализируются три режима обучения масштабно-инвариантных нейронных сетей на сфере, что позволяет выделить ряд особенностей внутреннего устройства ландшафта функции потерь.

Несмотря на широкую популярность вероятностного подхода в современных применениях глубокого обучения, область применимости существующих методов вероятностного вывода остается существенно ограничена. Главной целью данной работы является расширение инструментария для работы с современными вероятностными моделями. В работе было разработано два обобщения существующих методов обучения вероятностных моделей. Первый предложенный метод позволил открыть и исследовать два новых режима работы модели вариационного дропаута – режим разреживания параметров, полезный для алгоритмов сжатия модели, и режим дисперсионных сетей, устойчивый к состязательным атакам. Второй предложенный в работе метод, Дважды Полунеявный Стохастический Вариационный Вывод (DSIVI), является универсальным методом вероятностного вывода, имеющим самую широкую область применимости среди существующих аналогов. DSIVI может быть использован для обучения и оценки вероятностных моделей, использующих полунеявные распределения, а также для ускорения работы с моделями, использующими вероятностные распределения вида смеси.

В последние годы нейронные сети достигли высокого качества в задачах обработки сложно структурированных данных: изображений, текстов, звука и видео. Успех нейронных сетей в этих задачах, в числе прочего, обосновывается возможностью выбора архитектуры нейросети, учитывающей особенности конкретного вида данных. В данной работе исследуются возможности адаптации рекуррентных нейронных сетей и архитектуры "Трансформер" для обработки исходного кода программ, обладающего такими свойствами, как четкая синтаксическая структура, наличие понятия переменных и большие словари идентификаторов. В частности, разработан механизм динамических векторных представлений для обработки переменных в рекуррентных нейронных сетях, проведено эмпирическое исследование методов учета синтаксической структуры кода в архитектуре "Трансформер" и предложена простая в реализации техника предобработки кода для обработки редких идентификаторов. Разработанные методы и проведенные эмпирические исследования позволяет повысить качество решения ряда прикладных задач обработки исходного кода: поиск и исправление неправильно использованной переменной в коде, именование функций и автодополнение кода.

В данной работе рассматривается проблема получения нейронных сетей высокого качества при наличии ограничений на размеры модели на этапе ее применения. Подобного рода ограничения могут возникать, например, при использовании нейросетей в пользовательских приложениях, которые не должны занимать слишком много памяти на устройствах. В первой части работы развиваются методы разреживания нейросетей для рекуррентных архитектур и показывается, что аккуратный учет особенностей рекуррентности, большого входного словаря и гейтовой структуры позволяет добиться лучшего сжатия моделей и повышает их интерпретируемость. Во второй части работы исследуется зависимость качества ансамбля нейросетей от числа сетей в нем и их размеров и показывается, что при ограниченном бюджете по памяти ансамбль из нескольких сетей меньшего размера показывает более высокие результаты, чем одна большая нейросеть. В работе также выявляются степенные законы в поведении качества ансамбля, которые позволяют эффективно предсказывать оптимальное деление бюджета по памяти на несколько нейросетей.

Современные глубокие нейронные сети требуют сбор больших массивов данных, и использование больших моделей. Однако, такие модели требуют много энергии даже на этапе предсказания и поэтому не подходят для устройств с низким энергопотреблением, а сбор и разметка данных, это крайне медленный и дорогостоящий процесс. Чтобы решить эти проблемы, можно применять модели, которые используют априорные знания. Данная работа посвящена способам внедрения априорных знаний в модели глубокого обучения. Понятие "априорные знания" происходит от латинской фразы a priori (из того, что было до) и обозначает информацию, независимую от рассматриваемого набора данных. Априорные знания могут быть использованы в алгоритме машинного обучения, чтобы улучшить его качество, уменьшить вычислительный бюджет, повысить скорость обучения и т.д. Целью этой работы является разработка механизмов интеграции априорных знаний и использование этих механизмов для улучшения моделей глубокого обучения.

Машинное обучение позволяет решить все новые и новые задачи, но одновременно с этим растут требования к вычислительным ресурсам как для обучения моделей, так и для применения обученных моделей на практике. Данная диссертация посвящена использованию тензорных разложений (обобщения матричных низкоранговых разложений на многомерные массивы) для ускорения и сжатия нейронных сетей и марковских случайных полей. В работе показано, что при помощи параметризации линейных слоев сверточных нейронных сетей низкоранговыми тензорами можно достичь существенного сжатия моделей без потери качества; предложена модель машинного обучения, позволяющая эффективно учитывать полиномиальные взаимодействия признаков высоких порядков; и получен метод оценки нормировочной константы марковского случайного поля существенно опережающий аналоги по точности работы. Также в работе предложен метод автоматического риманова дифференцирования для многообразия тензоров и матриц низкого ранга и реализована библиотека для работы с разложением в тензорный поезд поддерживающая автоматическое риманово дифференцирование, которая позволит упростить дальнейшие разработки на стыке машинного обучения и тензорных методов.

В течение последних нескольких лет машинное обучение начало использоваться на разных этапах решения задачи поиска лекарств: поиске новых биологических мишеней, поиске активных молекулярных структур, прогнозировании биологических и физико-химических свойств. В диссертации рассмотрены три задачи, встречающиеся при поиске лекарств генеративными моделями: условная генерация, обучение распределению и оптимизация молекулярных свойств. В задаче обучения распределению мы стремимся создать новые молекулярные структуры из того же распределения, что и обучающая выборка. Полученные выборки молекулярных структур можно использовать для предобучения предсказательных моделей без учителя или ранжирования сгенерированных молекул в соответствии с некоторой функцией качества (виртуальный скрининг). В задаче условной генерации модели порождают молекулы с заданными свойствами — такой подход позволяет сузить химическое пространство до желаемого класса молекулярных структур. Целью задачи оптимизации молекулярных свойств является обнаружение молекул с максимально возможным значением функции качества. Например, такая функция качества может быть предсказательной моделью активности против заданной биологической мишени. Для каждой из обозначенных выше задач мы предлагаем новые модели машинного обучения.

В представленной работе используется формализм Байесовской статистики для улучшения существующих моделей глубокого обучения различными способами. Основываясь на технике дважды-стохастического вариационного вывода, данная работа предлагает две вероятностные модели для глубоких дискриминативных сетей. Первая модель позволяет получить структурированную разреженность сверточных нейронных сетей (CNN) и, как следствие, их ускорение. Вторая модель улучшает оценку неопределенности в задаче классификации с помощью общепринятых архитектур CNN. Также в работе рассматриваются генеративные модели глубинного обучения. Рассматривая проблему генерации с точки зрения методов Монте Карло с Марковскими цепями (MCMC), в настоящей работе предлагается алгоритм, который улучшает производительность генеративных соревновательных сетей (GAN). А именно, в работе предлагается неявный алгоритм Метрополиса-Гастингса и проводится его асимптотический анализ. Этот алгоритм можно рассматривать как адаптацию обычного алгоритма Метрополиса-Гастингса на случай когда предложное распределение задано неявно, а целевое распределение эмпирически.

Диссертационная работа посвящена задаче повышения вычислительной эффективности и интерпретируемости популярной модели компьютерного зрения, свёрточной нейронной сети. Используется предположение, что свёрточные сети пространственно избыточны, то есть применение части слоёв сети в некоторых пространственных позициях не является необходимым для получения высокого качества работы. Разработан перфорированный свёрточный слой, позволяющий пространственно варьировать и снижать объём вычислений. Метод адаптивного времени вычислений, предложенный ранее для рекуррентной нейронной сети, применён к пространственной адаптации числа слоёв свёрточной нейронной сети под конкретный объект. Также построена вероятностная модель пространственной адаптации числа слоёв свёрточной нейронной сети и предложен способ её обучения.