Introduction to the classical theory of information

2022/2023

Academic Year

RUS

Instruction in Russian

4

ECTS credits

Delivered at:

Joint Department of Quantum Technologies with Prokhorov General Physics Institute (RAS)

Course type:

Elective course

When:

3 year, 1, 2 module

Instructor

Молотков Сергей Николаевич

Программа дисциплины

Аннотация

Данный курс является подготовительным для курса “Введение в квантовую информатику”. В курсе рассматриваются основные понятия и структуры классической теории информации. Приводится необходимый математический аппарат. Рассматриваются такие понятия как информация Шеннона, теоремы кодирования источника, теоремы кодирования дискретных и непрерывных каналов с шумом. Кратко рассматривается применение теоретико-информационных методов в классической криптографии.

Цель освоения дисциплины

• В семестровом курсе «Введение в классическую теорию информации» изучаются фундаментальные основы теории информации, необходимые для понимания теории квантовой информации и методов квантовой криптографии

Планируемые результаты обучения

• Применяет физические методы теоретического и экспериментального исследования, методы математического анализа и моделирования для постановки задач по развитию, внедрению и коммерциализации новых наукоемких технологий.
• Представляет результаты проведенных физико-математических и прикладных исследований в виде конкретных рекомендаций, выраженных в терминах предметной области
• Использует знания современных проблем и новейших достижений физики в научно-исследовательской работе
• Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию
• Проводит научные эксперименты и/или теоретические (аналитические и имитационные) исследования для их решения поставленных профессиональных задач
• Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию.

Содержание учебной дисциплины

• 1) Введение. Что такое информация? Чем измерять количество информации? Связь количества информации со случайностью -- качественные соображения.
• 2) Что такое кодирование – эвристическое рассмотрение. Пример кодирования - с бернуллиевской схемой испытаний – подбрасывание несимметричной “монетки”. Бинарная энтропийная функция Шеннона как мера случайности
• 3) Математический аппарат теории информации. Энтропия, совместная и условная энтропии Шеннона. Цепочечное правило, связь совместной, условной и взаимной информаций. Качественная интерпретация энтропий
• 4) Относительная энтропия, связь со взаимной информацией. Условная взаимная информация и условная относительная энтропия.
• 5) Выпуклые и вогнутые функции, неравенство Йенсена (Jensen). Применение неравенства для доказательства положительности энтропии, выпуклости по входным вероятностям взаимной энтропии
• 6) Понятие типичных последовательностей, свойство асимптотической равнораспределенности. Свойства типичных последовательностей, связь с энтропией.
• 7) Сжатие данных, связь с типичными последовательностями, средняя длина кодового слова при нумерации типичных последовательностей
• 8) Понятие классического дискретного канала связи без памяти

Элементы контроля

• Домашнее задание
• Экзамен

Промежуточная аттестация

• 2022/2023 учебный год 2 модуль
  0.5 * Экзамен + 0.5 * Домашнее задание

Список литературы

Рекомендуемая основная литература

• Механика и молекулярная физика в курсе общей физики, Ландау, Л. Д., 2017

Рекомендуемая дополнительная литература

• Теория информации и надежная связь, Галлагер, Р., 1974