Применение нейронной сети Transformer в некоторых задачах компьютерной алгебры

В 2019 году Гийом Лампле и Франсуа Шартон предложили оригинальную идею применения нейронных сетей в задачах символьного интегрирования и решения дифференциальных уравнений. В данной работе мы развиваем их подход в применении к другим проблемам компьютерной алгебры: вычислению пределов и задаче выбора оптимальной последовательности шагов системами компьютерной алгебры. На первом этапе для задачи вычисления пределов некоторых элементарных функций мы строим оригинальный набор данных, состоящий из пар строк вида пример-ответ. После этого успешно обучаем нейронную сеть Трансформер для этой задачи. На втором этапе на примере задачи вычисления пределов строим эффективные (в терминах бинарного классификатора) векторные представления последовательных шагов канонического решения. Наши результаты свидетельствуют, что найденные векторные представления могут быть использованы для оптимизации систем компьютерной алгебры, в частности, с помощью методов обучения с подкреплением.