Глубинное обучение в обработке звука

2021/2022

Учебный год

RUS

Обучение ведется на русском языке

5

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс по выбору

Когда читается:

4-й курс, 1, 2 модуль

Преподаватели

Иванов Даниил Никитич

Маркович Александр

Таболов Тамерлан Казбулатович

Программа дисциплины

Аннотация

Задача обработки звука, в частности человеческого голоса, представляет большой интерес в индустрии. В данном курсе будут рассмотрены в основном современные нейросетевые подходы для таких фундаментальных задач как распознавание и генерация голоса. Так же будут рассмотрены такие задачи как распознавание ключевых слов, голосовая биометрия, определение тишины, audio style transfer и генерация музыки.

Цель освоения дисциплины

• Понимать как физически устроен звук, его характеристики и разные цифровые представления
• Разбираться в современных подходах распознавания речи
• Уметь написать и обучить нейронную сеть для распознавания речи и детекции ключевых слов

Планируемые результаты обучения

• Знать про верификацию и идентификацию голоса
• Разбираться в современных подходах синтеза речи.
• Уметь написать и обучить нейронную сеть для синтеза голоса из текста

Содержание учебной дисциплины

• Цифровое представление звука
• Распознавание речи (ASR) I
• Распознавание речи (ASR) II
• Верификация и идентификация голоса (Bio)
• Детекция ключевых слов (KWS + VAD)
• Преобразование голоса (VC)
• Синтез голоса (TTS)
• Синтез голоса (Vocoders)
• Генерация музыки
• Denoising, Speaker Diarization
• Self-supervision in audio and speech
• Презентации проектов студентов

Элементы контроля

• Домашние задания
• Проект
• Экзамен

Промежуточная аттестация

• 2021/2022 учебный год 2 модуль
  0.15 * Проект + 0.7 * Домашние задания + 0.15 * Экзамен

Список литературы

Рекомендуемая основная литература

• Chan, W., Jaitly, N., Le, Q. V., & Vinyals, O. (2015). Listen, Attend and Spell.
• Hannun, A., Case, C., Casper, J., Catanzaro, B., Diamos, G., Elsen, E., Prenger, R., Satheesh, S., Sengupta, S., Coates, A., & Ng, A. Y. (2014). Deep Speech: Scaling up end-to-end speech recognition.

Рекомендуемая дополнительная литература

• Graves, A., Fernàndez, S., Gomez, F., & Schmidhuber, J. (2017). Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.163BBE7B