• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2023/2024

Глубинное обучение в обработке звука

Лучший по критерию «Новизна полученных знаний»
Направление: 01.03.02. Прикладная математика и информатика
Когда читается: 4-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для всех кампусов НИУ ВШЭ
Язык: русский
Кредиты: 5
Контактные часы: 56

Программа дисциплины

Аннотация

Задача обработки звука, в частности человеческого голоса, представляет большой интерес в индустрии. В данном курсе будут рассмотрены в основном современные нейросетевые подходы для таких фундаментальных задач как распознавание и генерация голоса. Так же будут рассмотрены такие задачи как распознавание ключевых слов, голосовая биометрия, определение тишины, audio style transfer и генерация музыки.
Цель освоения дисциплины

Цель освоения дисциплины

  • Понимать как физически устроен звук, его характеристики и разные цифровые представления
  • Разбираться в современных подходах распознавания речи
  • Уметь написать и обучить нейронную сеть для распознавания речи и детекции ключевых слов
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать про верификацию и идентификацию голоса
  • Разбираться в современных подходах синтеза речи.
  • Уметь написать и обучить нейронную сеть для синтеза голоса из текста
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Цифровое представление звука
  • Распознавание речи (ASR) I
  • Распознавание речи (ASR) II
  • Синтез голоса (Vocoders)
  • Выделение отдельных источников звука (Source Separation) I
  • Выделение отдельных источников звука (Source Separation) II
  • Синтез голоса (TTS)
  • Верификация и идентификация голоса I (Speaker Verification)
  • Верификация и идентификация голоса II (Anti-Spoofing)
  • Преобразование голоса (VC)
  • Генерация музыки
  • Гостевые лекции
Элементы контроля

Элементы контроля

  • неблокирующий Домашние задания
  • неблокирующий Экзамен
    Формат экзамена: устный.
Промежуточная аттестация

Промежуточная аттестация

  • 2023/2024 учебный год 2 модуль
    0.7 * Домашние задания + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Chan, W., Jaitly, N., Le, Q. V., & Vinyals, O. (2015). Listen, Attend and Spell.
  • Hannun, A., Case, C., Casper, J., Catanzaro, B., Diamos, G., Elsen, E., Prenger, R., Satheesh, S., Sengupta, S., Coates, A., & Ng, A. Y. (2014). Deep Speech: Scaling up end-to-end speech recognition.

Рекомендуемая дополнительная литература

  • Graves, A., Fernàndez, S., Gomez, F., & Schmidhuber, J. (2017). Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.163BBE7B