Рассказываем о лидерах Осенней постерной сессии!

В течение учебного года в МИЭМе проходит несколько проектных сессий, один из важных форматов при этом – постерный, он позволяет проектным командам в режиме неформального профессионального общения получить обратную связь от гостей и экспертов. В данном материале мы расскажем вам о работах, которые набрали наибольшее количество симпатий посетителей и экспертов осенней сессии, прошедшей 11 ноября.

Проект №2122 «Теоретическое исследование сверхпроводника SrB3C3»

Исследователи: Тимофей Савенков и Мария Казанцева
Консультант: Лю Дунюем 
Руководитель: Васенко Андрей Сергеевича
 

«Цели нашего исследования — изучение зонной структуры и фононного спектра, а также повышение критической температуры сверхпроводника посредством легирования другими материалами. Мы рассчитываем с помощью суперкомпьютера интересующие нас концентрации примесей в сверхпроводнике SrB3C3, на основании полученных данных мы строим и анализируем графики и модели разных зависимостей, показывающие, как изменяются свойства сверхпроводника - его критическая температура, зонная структура, энергии состояний. В данный момент визуализирована возможность существования сверхпроводников для таких соединений как: SrB3C3, SrRbB6C6, RbB3C3, SrYB6C6 и YB3C3. Данные моделирования позволяют понять, в каких из соединений возможна сверхпроводимость. Дальнейшая цель — найти оптимальное соотношение элементов друг к другу, позволяющее достичь наивысшей критической температуры существования сверхпроводимости» — поделились авторы проекта.

Проект №2234 «Исследование по улучшению эффективности архитектур нейронных сетей для обработки последовательностей, включая большие языковые модели»

Исследователи: Александр Рожкин и Павел Алексеев Руководитель: Андрей Аргаткин
 

«Суть проекта — исследование линейных альтернатив трансформеру с целью превзойти его по скорости и эффективности. Основная проблема классического трансформера заключается в квадратичной зависимости вычислительной сложности от длины входной последовательности. Несмотря на высокое качество результатов, такая архитектура работает медленно и требует значительных вычислительных ресурсов. Переход к линейному режиму работы позволил бы существенно снизить нагрузку на систему, уменьшить потребление памяти и сократить затраты. На данный момент существует множество линейных архитектур, предлагающих решения этой проблемы. Однако у них есть свои ограничения: низкоуровневые реализации, работающие только на последних поколениях видеокарт и ограничение некоторых моделей авторегрессионным режимом, когда внимание рассчитывается лишь к предыдущим токенам. В нашем проекте мы устраняем эти недостатки: изучаем существующие подходы, формулируем и проверяем гипотезы через эксперименты, а также развиваем собственный фреймворк. Наши реализации на PyTorch достигают скорости генерации токенов, в несколько раз превосходящей трансформерные модели с FlashAttention-2 на больших длинах последовательности, при этом не уступают им по качеству и используемой памяти. На практике эту архитектуру можно будет применять во всех системах, но она будет особенна востребована там, где есть ограничения по вычислительным способностям» — поделились авторы проекта. Подробнее о работе читайте в статье: openreview.net/forum?id=RttNumxC1t