Методы Монте - Карло и МЛ – Учебные курсы – Национальный исследовательский университет «Высшая школа экономики»

Бакалавриат 2024/2025

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Статус: Курс обязательный (Прикладной анализ данных и искусственный интеллект)

Направление: 01.03.02. Прикладная математика и информатика

Где читается: Школа информатики, физики и технологий

Когда читается: 3-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Рюмин Дмитрий Александрович

Язык: русский

Кредиты: 4

Контактные часы: 64

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина посвящена углубленному изучению стохастических методов и их фундаментальной роли в современных задачах машинного обучения. Изучение дисциплины начинается с основ вероятностного моделирования и численных методов, раскрывая мощь подхода Монте-Карло для решения задач, недоступных для аналитических решений, — от численного интегрирования и байесовского вывода до оценки неопределенности. Особое внимание уделяется продвинутым алгоритмам, таким как Марковские цепи Монте-Карло (MCMC), и их практической реализации с использованием фреймворка PyTorch. Студенты исследуют применение этих методов в ключевых областях искусственного интеллекта: обработке естественного языка (NLP), компьютерном зрении (CV) и обработке речи. Дисциплина носит выраженную практическую направленность, охватывая оптимизацию гиперпараметров, работу с мультимодальными данными (например, с использованием моделей типа CLIP) и масштабирование стохастических алгоритмов для промышленных задач. Программа завершается обзором современных трендов, подготавливая специалистов к решению сложных проблем в условиях неопределенности и к участию в актуальных научных исследованиях.

Цель освоения дисциплины

Сформировать глубокое понимание теоретических основ методов Монте-Карло, их связи с теорией вероятностей и областей применения в машинном обучении.
Освоить ключевые алгоритмы стохастического моделирования, включая методы сэмплирования, MCMC (Метрополиса-Хастингса, Гиббса) и их вариации.
Научиться применять методы Монте-Карло для решения практических задач в NLP, CV и speech enhancement, включая оценку неопределенности предсказаний моделей.
Получить практические навыки использования методов Монте-Карло для оптимизационных задач: настройки гиперпараметров, байесовской оптимизации и работы с многозадачными моделями.
Познакомиться с подходами к масштабированию стохастических методов для больших данных и моделей, а также с их интеграцией в промышленные ML-пайплайны.

Планируемые результаты обучения

Развить навыки работы с различными типами данных, включая текстовые, аудио- и визуальные данные, с целью их анализа с использованием методов Монте-Карло.
Применять методы Монте-Карло для повышения надежности и точности нейросетевых моделей, а также для оценки доверительных интервалов и вероятностных предсказаний.
Приобрести навыки оптимизации процесса обучения нейросетевых моделей с использованием методов Монте-Карло, включая стохастическую оптимизацию и байесовскую оптимизацию гиперпараметров.
Углубить знания в областях обработки естественного языка, речевых технологий и компьютерного зрения, с акцентом на применение методов Монте-Карло для решения сложных задач.
Развить способность к проведению самостоятельных исследований и разработке решений на основе методов Монте-Карло, включая работу с большими данными.
Сформировать умение интегрировать методы Монте-Карло в современные архитектуры глубокого машинного обучения и адаптировать эти методы для решения реальных прикладных задач.
Углубить знания в областях обработки естественного языка, речевых технологий и компьютерного зрения, с акцентом на применение методов Монте-Карло.
Развить способность к проведению самостоятельных исследований и разработке решений на основе методов Монте-Карло.
Разрабатывать и реализовывать алгоритмы Монте-Карло, включая Марковские цепи Монте-Карло и сэмплирование, для моделирования, оптимизации и оценки неопределенности в задачах машинного обучения.
Применять методы Монте-Карло для улучшения надежности нейросетевых моделей, включая оценку доверительных интервалов и вероятностных предсказаний, особенно в задачах обработки естественного языка, речевых технологий и компьютерного зрения.
Оптимизировать обучение нейросетевых моделей с использованием методов Монте-Карло, применяя стохастическую оптимизацию и байесовскую оптимизацию гиперпараметров для повышения производительности моделей.
Использовать современные библиотеки глубокого машинного обучения, такие как PyTorch, TorchAudio, Timm и Vit-Pytorch, для разработки и тестирования сложных нейросетевых моделей.
Проводить самостоятельные исследования и разработки в области методов Монте-Карло, решая сложные задачи и улучшая модели для реальных приложений.
Интегрировать методы Монте-Карло в существующие архитектуры глубокого машинного обучения, адаптируя их для различных задач, связанных с обработкой естественного языка, речевыми технологиями и компьютерным зрением.
Работать с большими объемами данных, масштабируя методы Монте-Карло и эффективно управляя вычислительными ресурсами для выполнения задач машинного обучения.
Проводить исследования и разработки в области методов Монте-Карло, решая сложные задачи и улучшая модели для реальных приложений.
Использовать библиотеки глубокого машинного обучения, такие как PyTorch, TorchAudio, Timm и Vit-Pytorch, для разработки и тестирования сложных нейросетевых моделей.
Анализировать и интегрировать данные из различных модальностей (тексты, изображения, аудиосигналы), применяя методы Монте-Карло для повышения точности и надежности моделей.
Оптимизировать обучение нейросетевых моделей с использованием методов Монте-Карло, применяя стохастическую оптимизацию и байесовскую оптимизацию гиперпараметров.
Применять знания Монте-Карло для улучшения надежности нейросетевых моделей, включая оценку доверительных интервалов и вероятностных предсказаний, особенно в задачах обработки естественного языка, речевых технологий и компьютерного зрения.
Разрабатывать алгоритмы Монте-Карло, включая Марковские цепи Монте-Карло и сэмплирование, для моделирования, оптимизации и оценки неопределенности в задачах машинного обучения.
Реализовывать алгоритмы Монте-Карло, включая Марковские цепи Монте-Карло и сэмплирование, для моделирования, оптимизации и оценки неопределенности в задачах машинного обучения.
Сформировать знание интегрировать методы Монте-Карло в современные архитектуры глубокого машинного обучения и адаптировать эти методы для решения реальных прикладных задач.
Углубить знания в областях обработки естественного языка, речевых технологий.
Освоить современные инструменты и библиотеки для глубокого обучения, такие как PyTorch, Transformers, TorchAudio, Timm и Vit-Pytorch с целью эффективной разработки и тестирования моделей машинного обучения.