Методы анализа формальных понятий как инструмент проектирования архитектуры нейронных сетей для неигровых персонажей в Unity

Для исследования возможностей применения анализа формальных понятий в области глубокого обучения с подкреплением мы взяли задачу обучения неигрового персонажа (НИП) определённым, желаемым для нас действиям. В основе обучения лежала модель нейронной сети. К её построению мы применили анализ формальных понятий (АФП). Для того, чтобы исследовать преимущества такой модели, нами был проведён ряд экспериментов в обучающей среде, с различными моделями нейросетей (4 разные архитектуры), которые в результате обучения в качестве выходного значения, выдавали действие, ведущее к наибольшему вознаграждению в текущем состоянии. В первой и второй главах данной работы представлены теоретические основы обучения с подкреплением, анализа формальных понятий и описаны основные компоненты учебной среды, участвующие в процессе обучения с подкреплением на платформе Юнити. В третьей главе представлены результаты обучения четырёх разных моделей нейронных сетей, выполнению поставленной задачи в учебной среде. Проведено сравнение с результатами, полученными, при использовании нейросети основанной на методе анализа формальных понятий. Результат нашей работы показал, что нейронная сеть, основанная на анализе формальных понятий, успешно решает поставленную задачу и, при увеличении времени на каждый обучающий эпизод, количество эпизодов в целом, необходимых для достижения цели обучения становится минимальным, в сравнении с тремя другими моделями нейронных сетей.