Бакалавриат 2025/2026

Трансформеры и большие языковые модели

Статус: Курс по выбору (Прикладной анализ данных и искусственный интеллект)

Кто читает: Департамент информатики

Где читается: Школа информатики, физики и технологий

Когда читается: 4-й курс, 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Язык: русский

Кредиты: 5

Контактные часы: 40

Программа дисциплины

Аннотация

Данная дисциплина представляет собой полный цикл изучения больших языковых моделей — от классических основ NLP до проектирования промышленных LLM-систем. Дисциплина начинается с эволюции методов представления текста, от векторизации на основе статистики до современных контекстуальных эмбеддингов и ключевых архитектур (RNN, Attention, Трансформер). Слушатели детально изучат фреймворк обучения и дообучения LLM, включая передовые техники выравнивания (RLHF, DPO) и архитектурные инновации (MoE, reasoning). Особый фокус сделан на практическом применении LLM как инструмента: построении RAG-систем, создании AI-агентов, а также на критически важных аспектах промышленного развертывания. Дисциплина охватывает методы ускорения инференса (квантизация, FlashAttention), работу с инференс-серверами, мониторинг и оценку качества.