Нейросетевые архитектуры на основе Transformer для табличных данных

На сегодняшний день методы глубинного обучения предоставляют передовое качество для широкого круга задач. За годы исследований с архитектурами нейронных сетей были разработаны модели, специализирующиеся на определенных задачах или целых областях: например, рекуррентные нейронные сети и сети Transformer для области обработки естественного языка, свёрточные нейронные сети для задач компьютерного зрения и пр. Одной из областей, где подобной спецификации архитектуры не произошло – область работы с табличными данными, где до сих пор используются полносвязные нейронные сети и стандартным подходом являются недифференцируемые модели, такие как градиентные бустинги над решающими деревьями. Этот факт, вместе с общей тенденцией использования сетей Transformer за пределами обработки естественного языка, поднимает вопрос о применимости сетей Transformer для табличных данных. В настоящей работе исследуется эта возможность, а также изучаеются стандартные для таких сетей модификаций для привнесения в модель необходимых предпосылок. Предлагаемый нами подход T-Transformer на ряде датасетов показывает качество лучше, чем модели CatBoost, TabNet или полносвязные нейронные сети. T-Transformer в среднем не требует большого числа параметров, предлагая при этом конкурентоспособное качество. В работе также приводится анализ интерпретируемости предлагаемого подхода.