Исследование свойства инвариантности к масштабу ландшафта функции потерь

В данной работе проводится эмпирическаая проверка существования свойства инвариантности к масштабу ландшафта функции потерь для экспериментальной постановки, используемой в области глубокого обучения. Поскольку существующие теоретические выводы не могут быть применены к большим моделям машинного обучения на практике, а представленные эксперименты включают только специфичный набор моделей, в настоящей работе мы восполняем этот пробел и исследуем, как общие подходы и методы обучения влияют на масштабную инвариантность в глубоких нейронных сетях, исследуя точную форму кривой обучения. Исследуемое свойство может иметь практическое применение в реальных задачах. Действительно, если форма кривой обучения линейна при некоторых преобразованиях, то ее наклон характеризует потенциальную емкость модели и может быть оценен по небольшому числу обучающих объектов. Таким образом, мы можем сравнивать модели без трудоемкого обучения по всему набору данных. Вследствие этого метод может быть применен для предварительного анализа полученных данных и выбора модели.