Self-supervised Learning

2024/2025

Academic Year

RUS

Instruction in Russian

Category 'Best Course for Broadening Horizons and Diversity of Knowledge and Skills'

Category 'Best Course for New Knowledge and Skills'

Delivered at:

Big Data and Information Retrieval School

Course type:

Elective course

When:

4 year, 1, 2 module

Instructors

Гончаров Михаил Юрьевич

Munkhoeva, Marina L.

Программа дисциплины

Аннотация

Self-supervised learning (SSL) — это широко используемый подход в машинном обучении, который требует минимальных знаний о домене данных и использует данные без дорогостоящей разметки для обучения полезных представлений. Полученные представления затем легко адаптируются для различных конечных задач, что позволяет создавать универсальные базовые модели. В ходе курса вы получите прочные знания о современных методах предобучения нейронных сетей, узнаете основные идеи и концепции, теорию, лежащую в их основе, и их связь с классическими алгоритмами снижения размерности. Курс охватит ключевые аспекты контрастивных и генеративных подходов в предобучении. Вы реализуете и обучите некоторые из самых актуальных методов, а также примените их к конечным задачам, таким как классификация, сегментация, обнаружение аномалий и трансферное обучение. Мы также обсудим открытые исследовательские вопросы, такие как dimensional collapse и task-agnostic оценка качества представлений. Хотя основное внимание будет уделено работе с изображениями, мы также коснемся таких доменов, как графы и тексты, с использованием графовых нейронных сетей и трансформеров. Кроме того, мы изучим практические применения в области медицинских снимков. Разберемся как предобучать модели на изображениях компьютерной томографии и рентгенографии, а затем адаптировать их для сегментации и классификации патологий, а также для обнаружения аномалий. Курс включает 2 практических задания и практический проект. Помимо желания разобраться в SSL, для успешного прохождения курса необходимы - Знание основ линейной алгебры, математического анализа и теории вероятностей - Базовые знания машинного обучения и концепций глубокого обучения - Python + PyTorch

Цель освоения дисциплины

• Понимать основные принципы self-supervised learning (SSL)
• Применять SSL методы к реальным задачам
• Уметь оценивать SSL методы на конечных задачах
• Уметь критически анализировать и сравнивать SSL методы

Планируемые результаты обучения

• Знать и уметь реализовывать современные SSL методы
• Знать теоретическую связь с классическими методами обучения представлений
• Уметь исследовать и разрабатывать решения на основе SSL методов для новых приложений

Содержание учебной дисциплины

• Введение. Обзорная лекция.
• Оценивание SSL моделей.
• SSL методы в визуальном домене I.
• SSL методы в визуальном домене II.
• SSL методы в визуальном домене III.
• Теоретическое понимание SSL методов (Спектральные методы; взгляд с точки зрения теории информации).
• Self-supervision in NLP and multimodality (CLIP).
• SSL в медицинском домене.
• Graph representation learning.
• Открытые проблемы.

Элементы контроля

• Домашнее задание
  Имплементация различных претекст задач. Сравнительный анализ переносимости и обобщаемости получаемых представлений на другие датасеты и конечные задачи. Имплементация и обучение двух SSL методов, представляющих разные классы методов (например, VICReg vs MAE). Изучение их поведения на датасете большей размерности. Сравнительный анализ на двух конечных задачах. Анализ влияния параметров обучения (размер батча, интенсивность аугментаций, т.д.) на качество получаемых представлений. Визуализация получаемых представлений.
• Проект
  Экзамен проходит в формате защиты проекта, который студенты выполняют в группах по три человека.

Промежуточная аттестация

• 2024/2025 2nd module
  Итог = Округление(0.5 * ДЗ + 0.5 * П), где ДЗ — кумулятивная оценка за все домашние задания, рассчитываемая по формуле ДЗ = 0.3 * ДЗ1 + 0.7 * ДЗ2, а П — оценка за проект, вычисляемая как П = (0.5 * ПО + 0.5 * ПИ), где ПО - общая оценка группы и ПИ - индивидуальная оценка.

Список литературы

Рекомендуемая основная литература

• Bengio, Y., Courville, A., & Vincent, P. (2012). Representation Learning: A Review and New Perspectives. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1206.5538

Рекомендуемая дополнительная литература

• Yang, Y. (2016). Temporal Data Mining Via Unsupervised Ensemble Learning. Elsevier.