Специалисты Инобра ВШЭ подтвердили эрудицию GigaChat в области социальных наук
Мультимодальная нейросетевая модель Сбера под наблюдением экспертной комиссии из ВШЭ успешно сдала ЕГЭ по обществознанию. GigaChat выполнил все задания экзамена и набрал 67 баллов.
Такой результат превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 году (56,4 балла).
Об этом в рамках конференции AIJ 2023 рассказал вице-президент «Цифровых поверхностей “Салют”» Сбербанка Денис Филиппов.
В ходе испытаний проверялись способности обновленной версии GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.
Для проведения эксперимента был выбран предмет обществознание — школьная дисциплина, которая дает знания в области экономики, юриспруденции, социальных наук. Таким образом, успешная сдача этого экзамена свидетельствует о высокой степени зрелости модели в вопросах осведомленности о социальных нормах, экономических и юридических законах.
Для проверки знаний GigaChat использовались только актуальные тестовые задания 2024 года, размещенные на сайте ФИПИ. Перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели. Ответы GigaChat проверил сперва независимый эксперт НИУ ВШЭ, а затем — экспертная комиссия Института образования ВШЭ. Оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих (открытых) заданий.
Денис Филиппов, вице-президент «Цифровых поверхностей “Салют”» Сбербанка
«Для нас важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека: способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна. Для такой оценки хорошо подходят тесты, используемые в системе образования, включая ЕГЭ. Результаты экзамена говорят о том, что GigaChat хорошо эрудирован в области социальных наук. Значит, наш искусственный интеллект “понимает” основные законы общества и ориентируется в вопросах морали. Это еще одно свидетельство того, что наш сервис можно использовать для решения реальных задач, связанных с фактологией: достаточно в естественной форме задать вопрос, и GigaChat выдаст точный ответ или поможет разобраться в сложной теме».
Евгений Терентьев, директор Института образования ВШЭ
«Наши эксперты оценивали знания GigaChat независимо от исследовательских и инженерных команд Сбера. Мы проверяли ответы так же, как если бы их давал обычный выпускник школы. По результатам видно, что нейросетевая модель не только обладает достаточным уровнем фактических знаний, но также способна логически мыслить и выбирать лучшее решение из возможных».
Эксперимент, аналогичный проведенному совместно с ВШЭ, скоро сможет повторить каждый желающий: разработчики GigaChat готовят к публикации на GitHub специальный скрипт. Он позволит «одной кнопкой», без необходимости вручную вбивать тексты заданий, протестировать, как нейросетевая модель Сбера сдает ЕГЭ.
Вам также может быть интересно:
Быть, а не казаться: как вырастить из ИИ профессионала
Пока ученые спорят о пользе и вреде искусственного интеллекта, молодежь активно осваивает и интегрирует нейросети в свою жизнь, приспосабливая нашу реальность к новым условиям. О том, как дообучить LLM, чтобы они смогли служить полноценными ассистентами в профессиональной среде, обсудили в Вышке на воркшопе «Большие языковые модели в науке и в жизни».
Нижегородская Вышка запускает программу ДПО в сфере интеллектуальной собственности и ИИ
Сегодня тема искусственного интеллекта выходит за пределы IT. Нейросети развиваются с огромной скоростью, и это порождает целый ряд правовых споров. Юристам необходимо обладать достаточной компетентностью в этой области. НИУ ВШЭ реагирует на запрос современности и запускает новую актуальную программу профессиональной переподготовки.
Центр ИИ Вышки помогает стране и Сберу развивать AI-технологии
Сбер оценил экономический эффект от сотрудничества с исследовательскими центрами в сфере искусственного интеллекта в 1,1 млрд рублей. Одним из партнеров Сбера с 2021 года является Центр ИИ Высшей школы экономики. Всего в рамках этого партнерства успешно реализовано 19 проектов.
Нейросети всевластья: ИИ распутывает клубок взаимоотношений людей, эльфов и хоббитов
3 января родился один из самых популярных писателей прошлого века Джон Рональд Руэл Толкин. Исследователи из НИУ ВШЭ, AIRI и МИСИC использовали машинное обучение для исследования социальных связей между персонажами его вселенной Средиземья. Ученые считают, что этот подход найдет применение во многих сферах за пределами литературы. Результаты работы опубликованы в IEEE Xplore.
«Теперь нам с этим жить»: как прорывные технологии меняют образование
Научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие представители университета приняли участие в четвертой конференции о людях и технологиях в образовании Yet another Conference on Education (YaC/e-2023), организованной «Яндексом» совместно с Томским госуниверситетом. На конференции обсуждались различные аспекты применения в обучении искусственного интеллекта и других прорывных технологий, а также вопросы выбора профессионального пути и взаимодействия университетов с работодателями.
«Нейросеть — явление, которое двигает мир вперед»
4 сентября в НИУ ВШЭ на Покровке состоялся фестиваль нейросетевого искусства ARTificial Fest. Его организаторами выступили факультет креативных индустрий ВШЭ, HSE Career и студенческая организация «Чистый лист». Посетить праздник смогли не только студенты и сотрудники Вышки, но и все интересующиеся слиянием машинных алгоритмов с искусством.
Управлять роботом может каждый — на фестивале в НИУ ВШЭ
27 апреля в атриуме корпуса Вышки на Покровском бульваре состоится фестиваль робототехники факультета компьютерных наук. Партнером события выступил Сбер, а соорганизаторами — «Яндекс» и Национальная ассоциация участников рынка робототехники (НАУРР).
Ученые НИУ ВШЭ совместно с Yandex Cloud разработали нейросеть для предсказания Эль-Ниньо
Команда специалистов из Высшей школы экономики и Школы анализа данных «Яндекса» совместно с облачной платформой Yandex Cloud разработали нейросеть для предсказания климатического феномена Эль-Ниньо. Новый алгоритм помогает точнее прогнозировать изменение средней температуры океанических вод на поверхности, которое способно вызывать природные бедствия в отдельных регионах мира. Сейчас модель уже предсказывает Эль-Ниньо на 1,5 года вперед, а в будущем срок прогноза ученые планируют увеличить до 2 лет.
В Музее Набокова открылась выставка картин, созданных нейросетью в соавторстве с учеными ВШЭ
В Музее Владимира Набокова в Санкт-Петербурге открылась выставка Nabokov Clip Art. В экспозиции представлены визуализированные с помощью нейросети CLIP от OpenAI цитаты из произведений писателя. Авторами концепции выступили доцент школы лингвистики московской Вышки, исследователь Центра цифровых гуманитарных исследований НИУ ВШЭ Борис Орехов и лингвист, эксперт по творчеству Набокова Любовь Каракуц-Бородина.
«Не надо бояться, что искусственный интеллект вытеснит людей»
Какое значение для студентов имеет кейс-практика, каково быть «женщиной в IT» и почему в Сбербанке не боятся, что людей заменит искусственный интеллект — рассказывает Ксения Тотьмянина, выпускница экономфака, а ныне управляющий директор в Центре развития компетенций по исследованию данных Сбербанка.