Бакалавриат 2025/2026

Трансформеры и большие языковые модели

Статус: Курс по выбору (Прикладной анализ данных и искусственный интеллект)

Кто читает: Департамент информатики

Где читается: Школа информатики, физики и технологий

Когда читается: 4-й курс, 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Рюмин Дмитрий Александрович

Язык: русский

Кредиты: 5

Контактные часы: 40

Программа дисциплины

Аннотация

Большие языковые модели (LLM) стали важным направлением в области искусственного интеллекта и компьютерной лингвистики. Они используются для генерации текста, перевода, ответов на вопросы и многих других задач обработки естественного языка. Современные LLM, такие как GPT-3, LLaMa, Mistral могут генерировать связные и качественные тексты. Одним из типичных сценариев использования LLM являются вопросно-ответные системы, в которых языковая модель выступает в качестве эксперта для ответа на вопросы пользователя. Однако, в порожденных моделью ответах на вопросы встречаются так называемые галлюцинации - случаи генерации выдуманных фактов, событий и концепций. Одним из способов борьбы с этими проблемами является использование информационно-поисковых систем, из которых извлекаются релевантные вопросу фрагменты текста, которые подаются в качестве подсказки / помощи в языковые модели. В курсе будут рассмотрены современные подходы к информационному поиску и поиску ответов на вопросы на основе LLM, а также современная технология комбинирования LLM .