Бакалавриат
2023/2024
Введение в классическую теорию информации
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс обязательный (Физика)
Направление:
03.03.02. Физика
Где читается:
Факультет физики
Когда читается:
3-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Молотков Сергей Николаевич
Язык:
русский
Кредиты:
3
Контактные часы:
48
Программа дисциплины
Аннотация
Данный курс является подготовительным для курса “Введение в квантовую информатику”. В курсе рассматриваются основные понятия и структуры классической теории информации. Приводится необходимый математический аппарат. Рассматриваются такие понятия как информация Шеннона, теоремы кодирования источника, теоремы кодирования дискретных и непрерывных каналов с шумом. Кратко рассматривается применение теоретико-информационных методов в классической криптографии.
Цель освоения дисциплины
- В семестровом курсе «Введение в классическую теорию информации» изучаются фундаментальные основы теории информации, необходимые для понимания теории квантовой информации и методов квантовой криптографии
Планируемые результаты обучения
- Применяет физические методы теоретического и экспериментального исследования, методы математического анализа и моделирования для постановки задач по развитию, внедрению и коммерциализации новых наукоемких технологий.
- Представляет результаты проведенных физико-математических и прикладных исследований в виде конкретных рекомендаций, выраженных в терминах предметной области
- Использует знания современных проблем и новейших достижений физики в научно-исследовательской работе
- Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию
- Проводит научные эксперименты и/или теоретические (аналитические и имитационные) исследования для их решения поставленных профессиональных задач
- Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию.
Содержание учебной дисциплины
- 1) Введение. Что такое информация? Чем измерять количество информации? Связь количества информации со случайностью -- качественные соображения.
- 2) Что такое кодирование – эвристическое рассмотрение. Пример кодирования - с бернуллиевской схемой испытаний – подбрасывание несимметричной “монетки”. Бинарная энтропийная функция Шеннона как мера случайности
- 3) Математический аппарат теории информации. Энтропия, совместная и условная энтропии Шеннона. Цепочечное правило, связь совместной, условной и взаимной информаций. Качественная интерпретация энтропий
- 4) Относительная энтропия, связь со взаимной информацией. Условная взаимная информация и условная относительная энтропия.
- 5) Выпуклые и вогнутые функции, неравенство Йенсена (Jensen). Применение неравенства для доказательства положительности энтропии, выпуклости по входным вероятностям взаимной энтропии
- 6) Понятие типичных последовательностей, свойство асимптотической равнораспределенности. Свойства типичных последовательностей, связь с энтропией.
- 7) Сжатие данных, связь с типичными последовательностями, средняя длина кодового слова при нумерации типичных последовательностей
- 8) Понятие классического дискретного канала связи без памяти
Элементы контроля
- КонтрольнаяЗнания студентов оцениваются в ходе двух контрольных работ по материалам каждого модуля и итогового экзамена. Контрольные состоят из одной письменной задачи, а экзамен включает в себя два устных вопроса и беседу по тематике дисциплины. Каждый элемент оценивается по 10-балльной шкале, а итоговая оценка определяется по формуле 20% К1 + 20 % К2 + 60% Э, где К1 и К2 - оценки за первую и вторую контрольную, а Э - оценка за устный экзамен.
- Экзамен
