Построение архитектуры глубокой нейронной сети с помощью решётки формальных понятий

В данной работе рассматривается проблема построения модели нейронной сети, в случае, когда отсутствует априорная информация о её архитектуре. Подбор подходящей архитектуры сети – важная часть обучения модели, поскольку она сильно влияет на итоговый результат классификации. Если архитектура слишком маленькая, то полученная точность классификации не будет высокой, а если большая, то модель, скорее всего, переобучится на обучающей выборке. В работе предлагается подход, основанный на рассмотрении связей между замкнутыми подмножествами в наборе данных. Он базируется на предположении о наличии связи между сложностью архитектуры нейронной сети и глубиной решётки формальных понятий в имеющемся контексте. Преимуществом такого подхода является возможность исключения лишних узлов и рёбер, за счёт выбора только качественных формальных понятий. Другим преимуществом является возможность преобучения сети, с использованием интерпретации нейронов как признаковых описаний соответствующих понятий. В рамках исследования рассматриваются два основных типа моделей архитектуры, первый тип основан на классическом определении формального понятия, а второй – на понятии, построенном с помощью монотонного соответствия Галуа. Для каждого типа был произведён сравнительный эмпирический анализ различных метрик и алгоритмов построения архитектуры, в результате чего была выбрана оптимальная структура для проведения дальнейших экспериментов. Помимо этого, исследовалось преимущество преобучения нейронной сети против случайного назначения весов рёбрам. Лучшие модели нейронной сети, построенной по диаграмме решётки формальных понятий, сравнивались с другими методами классификации, на различных наборах реальных данных (с варьирующимся размером, плотностью и количеством классов). Практическое сравнение показало возможность использования построенных моделей, выявило сильные и слабые стороны разработанных методов.