Теория вероятностей и математическая статистика

Бакалавриат 2020/2021

Статус: Курс обязательный (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1-4 модуль

Формат изучения: без онлайн-курса

Преподаватели: Арутюнян Лаврентин Мартунович, Зеленов Георгий Ильич, Косов Егор Дмитриевич, Промыслов Валентин Валерьевич, Хузиева Алина Эдуардовна, Яруллин Рамиль Ильдарович

Язык: русский

Кредиты: 9

Контактные часы: 144

Полная версия программы учебной дисциплины

Аннотация

Цель освоения дисциплины «Теория вероятностей и математическая статистика» — познакомить слушателей с основными понятиями, фактами и методами теории вероятностей и математической статистики, а также с их возможными приложениями для статистической обработки реальных данных. В результате освоения дисциплины студент должен: • Знать основные понятия теории вероятностей и математической статистики, их основные результаты и математические методы анализа. • Уметь применять математические методы и модели к анализу случайных явлений для их адекватного описания и понимания. • Владеть навыками решения стандартных задач теории вероятностей и математической статистики, а также применением основных аналитических инструментов для анализа вероятностных и статистических задач.

Цель освоения дисциплины

познакомить слушателей с основными понятиями, фактами и методами теории вероятностей и математической статистики, а также с их возможными приложениями для статистической обработки реальных данных

Планируемые результаты обучения

Знать основные понятия теории вероятностей и математической статистики, их основные результаты и математические методы анализа
Уметь применять математические методы и модели к анализу случайных явлений для их адекватного описания и понимания
Владеть навыками решения стандартных задач теории вероятностей и математической статистики, а также уметь применять основные аналитические инструменты для анализа вероятностных и статистических задач

Содержание учебной дисциплины

Дискретные вероятностные пространства
Теория вероятностей как наука о случайных явлениях. Принцип устойчивости частот в природе. Вероятностное пространство как математическая модель эксперимента со случайными исходами. Дискретное вероятностное пространство (Ω,P). Простейшие свойства вероятности. Классическая модель вероятностного пространства, основные примеры. Условные вероятности. Формула полной вероятности и формула Байеса. Пример применения: задача о последнем пассажире в задаче о сумаcшедшей старушке. Независимость событий на вероятностном пространстве. Попарная независимость и независимость в совокупности. Пример Бернштейна. Независимость событий, связанных с последним и предпоследним пассажиром, в задаче о сумаcшедшей старушке.
Случайные величины в дискретных вероятностных пространствах
Случайные величины в дискретных вероятностных пространствах. Распределение случайной величины, основные примеры дискретных распределений случайных величин. Независимость случайных величин. Математическое ожидание случайной величины и его основные свойства. Дисперсия случайной величины, ковариация двух случайных величин. Их основные свойства. Дисперсия суммы независимых случайных величин.
Закон больших чисел
Неравенства Маркова и Чебышева. Закон больших чисел и его смысл. Сходимость по вероятности и сходимость с вероятностью 1. Их эквивалентность для дискретных вероятностных пространств. Схема испытаний Бернулли. Аппроксимация биномиального распределения: теорема Пуассона и теорема Муавра-Лапласа (б/д). Интерпретация теоремы Муавра-Лапласа, как оценки скорости сходимости в законе больших чисел для схемы Бернулли. Неравенство Чернова для вероятности уклонения от среднего в схеме Бернулли. Сравнение оценок скорости убывания вероятности уклонения от среднего в схеме Бернулли по неравенству Чернова и по неравенству Чебышева.
Общее понятие вероятностного пространства
Общее понятие вероятностного пространства. Тройка Колмогорова (Ω,F,P). Вероятностные меры на прямой. Борелевская сигма-алгебра, доказательства существования. Функция распределения вероятностной меры на прямой, лемма о ее трех основных свойствах. Примеры функций распределения. Теорема Каратеодори о продолжении вероятностной меры (б/д). Взаимная однозначность функций распределения на прямой и вероятностных мер (только идея доказательства). Классификация вероятностных мер на прямой по функциям распределения: дискретные, абсолютно непрерывные, сингулярные. Основные примеры распределений. Теорема Лебега о представлении произвольной функции распределения (без док-ва).
Непрерывные случайные величины
Случайные величины и векторы в общих вероятностных пространствах. Понятие измеримости и его смысл. Борелевская сигма-алгебра в Rn. Эквивалентные определения случайной величины и случайного вектора. Индикаторы и константы как простейшие случайные величины. Действия над случайными величинами и векторами. Борелевские функции. Непрерывные функции как борелевские. Арифметические операции над случайными величинами, взятие пределов и точных верхних/нижних граней у последовательностей случайных величин. Построение математического ожидания в общем случае. Простые случайные величины, определение математического ожидания для них и доказательство его основных свойств. Неотрицательные случайные величины, приближение простыми (явный вид последовательности), доказательство корректности определения математического ожидания. Определение математического ожидания в произвольном случае. Независимость случайных величин в общем случае. Критерий независимости (без док-ва). Независимость случайных векторов. Лемма о независимости функций от независимых случайных величин или векторов. Теорема о математическом ожидании произведения независимых случайных величин. Функция распределения и распределение случайной величины. Формулы подсчета математических ожиданий. Подсчет с помощью рядов в дискретном случае. Функция распределения вероятностной меры в Rn, n>1, ее основные свойства. Теорема о взаимной однозначности мер и функций распределения (б/д). Понятие плотности многомерного распределения. Совместное распределение конечного набора случайных величин (распределение случайного вектора). Совместная функция распределения, совместная плотность, их вычисление в случае независимости. Формула вычисления математического ожидания функций от случайных величин в случае наличия совместной плотности. Формула свертки для плотности суммы независимых случайных величин. Примеры вычисления. Дисперсия, ковариация и коэффициент корреляции. Лемма об их основных свойствах. Дисперсия суммы независимых случайных величин. Математическое ожидание и матрица ковариаций случайного вектора. Симметричность и неотрицательная определенность матрицы ковариаций.
Сходимости случайных величин
Виды сходимостей случайных величин: с вероятностью 1, по вероятности, в среднем порядка p>0, по распределению. Критерий сходимости с вероятностью 1. Теорема о взаимоотношении различных видов сходимостей. Достаточное условие сходимости почти наверное для последовательности случайных величин. Усиленный закон больших чисел для случайных величин с конечным четвертым моментом. Усиленный закон больших чисел в форме Колмогорова (б/д). Смысл усиленного закона больших чисел. Предельный переход под знаком математического ожидания. Теорема о монотонной сходимости, лемма Фату и теорема Лебега о мажорируемой сходимости.
Характеристические функции
Характеристические функции случайных величин. Их основные свойства. Примеры вычислений характеристических функций: биномиальное и экспоненциальное распределения. Пример вычисления распределения суммы независимых пуассоновских случайных величин с помощью характеристических функций. Теорема единственности для характеристических функций случайных величин. Вычисление характеристической функции для стандартной случайной величины. Следствие: распределение суммы независимых нормальных случайных величин. Формула обращения для нахождения плотности (б/д). Теорема о производных характеристической функции. Характеристические функции случайных векторов (совместная характеристическая функция). Критерий независимости набора случайных величин для характеристических функций. Теорема непрерывности для характеристических функций (б/д).
Предельные теоремы
Центральная предельная теорема для независимых одинаково распределенных случайных величин. Пример применения. Скорость сходимости в ЦПТ: теорема Берри - Эссеена (б/д). Сходимости случайных векторов: с вероятностью 1, по вероятности, по распределению. Эквивалентное определение сходимости по распределению для случайных величин (б/д). Взаимосвязь многомерной сходимости и одномерных сходимостей координат. Лемма о существовании подпоследовательности, сходящейся п.н., если последовательность сходится по вероятности. Теорема о наследовании сходимости. Лемма Слуцкого. Примеры применения леммы Слуцкого и теоремы о наследовании сходимости
Многомерное нормальное распределение
Гауссовские случайные векторы (многомерное нормальное распределение). Теорема о трех эквивалентных определениях. Следствия: смысл параметров, корректность определения, линейные преобразования. Критерий независимости компонент гауссовского вектора. Теорема о плотности гауссовского случайного вектора. Многомерная центральная предельная теорема (б/д).
Основные понятия математической статистики
Основная задача математической статистики. Понятия наблюдения и выборки. Эмпирическое распределение и эмпирическая функция распределения. Обоснованность основной задачи математической статистики и теорема Гливенко--Кантелли. Параметрическая статистическая модель. Статистики и оценки. Общая идея построения хороших статистик, примеры: выборочные усреднения, порядковые статистики, выборочные квантили. Основные свойства оценок: несмещенность, состоятельность, сильная состоятельность, асимптотическая нормальность.
Методы построения оценок
Метод моментов, состоятельность оценки метода моментов. Выборочные квантили и выборочная медиана. Лемма Шеффе о сходимости по распределению при условии сходимости плотностей. Теорема об асимптотической нормальности выборочной квантили (только идея док-ва). Метод максимального правдоподобия. Примеры. Экстремальное свойство правдоподобия. Теорема о существовании состоятельного решения уравнения правдоподобия. Состоятельность оценки максимального правдоподобия. Асимптотическая эффективность оценки максимального правдоподобия (б/д).
Сравнение оценок и эффективные оценки
Сравнение оценок, функция потерь и функция риска. Подходы к сравнению оценок: равномерный, байесовский, минимаксный, асимптотический. Понятие обобщенной плотности для дискретных распределений. Условия регулярности параметрического семейства распределений. Неравенство Рао--Крамера и эффективные оценки. Критерий эффективности оценки.
Условное математическое ожидание
Условное математическое ожидание: определение и явная формула для вычисления в случае, если случайная величина условие имеет дискретное распределение. Условное математическое ожидание E(X|Y=y), связь с E(X|Y). Условное распределение и условная плотность. Вычисление условного математического ожидания с помощью условной плотности (б/д). Теорема о достаточном условии существования условной плотности. Основные свойства условного математического ожидания, свойства условного математического ожидания E(X|Y=y)
Байесовские и оптимальные оценки
Теорема о наилучшем квадратичном прогнозе. Байесовская оценка, априорные и апостериорные плотности. Теорема о байесовской оценке, ее оптимальность в байесовском подходе к сравнению оценок. Достаточные статистики, теорема Колмогорова-Блэкуэлла-Рао об улучшении несмещенной оценки. Полные статистики, теорема об оптимальной оценке. Критерий факторизации Неймана-Фишера и уравнение несмещенности. Экспоненциальные семейства распределений, теорема о полной достаточной статистике в экспоненциальных семействах.
Доверительные интервалы
Доверительные интервалы и доверительные области. Метод центральной статистики. Асимптотические доверительные интервалы. Построение асимптотических доверительных интервалов с помощью асимптотически нормальных оценок. Примеры.
Линейная регрессионная модель
Линейная регрессионная модель. Оценка по методу наименьших квадратов, ее основные свойства. Несмещенная оценка для параметра дисперсии в линейной регрессионной модели. Линейная гауссовская модель. Распределения хи-квадрат, Стьюдента и Фишера. Теорема об ортогональных разложениях гауссовского случайного вектора. Доверительные интервалы и эллипсоиды для параметров гауссовской линейной модели.
Проверка статистических гипотез
Проверка статистических гипотез: общие принципы и основные понятия (критерий, уровень значимости, альтернативы, ошибки первого и второго родов, функция мощности). Сравнения критериев: равномерно наиболее мощные критерии. Несмещенность и состоятельность статистического критерия. Лемма Неймана--Пирсона для проверки простых гипотез. Построение с ее помощью наиболее мощных критериев. Семейства с монотонным отношением правдоподобия. Монотонность функции мощности для таких семейств. Теорема о монотонном отношении правдоподобия. Линейные гипотезы в линейной гауссовской модели. F-критерий для проверки линейной гипотезы в гауссовской линейной модели, его свойства. Пример: проверка однородности двух нормальных выборок. Обобщенный (условный) метод наименьших квадратов, вычисление статистики для F-критерия с его помощью. Пример: проверка однородности для k нормальных выборок.
Критерии согласия
Критерии согласия в дискретном случае. Статистика хи-квадрат Пирсона в полиномиальной схеме Бернулли с m исходами. Теорема Пирсона о предельном распределении статистики хи-квадрат. Критерий согласия хи-квадрат, его состоятельность. Проверка о принадлежности дискретного распределения параметрическому семейству. Идея применения метода максимального правдоподобия и обобщенная статистика хи-квадрат. Теорема о предельном распределении этой статистики в условиях регулярности (б/д). Параметрический критерий хи-квадрат. Критерии согласия в непрерывном случае. Теорема Колмогорова (формулировка) и распределение Колмогорова. Доказательство первой части теоремы Колмогорова. Критерий Колмогорова и его свойства.

Элементы контроля

Контрольная работа 1
Коллоквиум 1
Контрольная работа 2
Коллоквиум 2
Домашнее задание 1
Экзамен 1
Контрольная работа 3
Коллоквиум 3
Контрольная работа 4
Коллоквиум 4
Домашнее задание 2
Экзамен 2
Для пилотного потока: Экзамен письменный через Zoom. Экзамен длится 2 астрономических часа. Во время экзамена разрешено только смотреть в условия задач и писать на листах бумаги, которые были чистыми до начала экзамена. Кажется важным лишь то, чтобы студент вовремя сдал свою работу. Иначе будет считаться, что экзамен пропущен по уважительной причине. Для основного потока: Экзамен проходит с прокторингом через Examus в системе Moodle. Студенты получают задание, решают на бумаге, в конце загружают фотографии/сканы решений. Во время экзамена разрешено только смотреть в условия задач и писать на листах бумаги, которые были чистыми до начала экзамена. В частности, нельзя отлучаться от рабочего места. Если у студента случился обрыв связи продолжительностью менее пяти минут, он может продолжить написание экзамена (дополнительное время при этом не предоставляется). Если случился обрыв связи продолжительностью дольше 5 минут, то считается, что студент пропустил экзамен. В этом случае ему будет предоставлена вторая попытка сдать экзамен с увеличением сложности задач в течение недели с момента данного экзамена. по завершении работы листы фотографируются с помощью телефона, файл переносится на ПК удобным способом, с ПК загружается в Экзамус.

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
Накопленная оценка 1-го этапа рассчитывается по формуле: Накоп1=Округление(1/7*ДЗ1+3/7*(КЛ1+КЛ2)+3/7*max(10,КР1+КР2)). Оценка промежуточного контроля 1-го этапа рассчитывается по формуле: Пром1=Округление(0.7*Накоп1+0.3*Экз1) - итоговая оценка за 1-2 модули.
Промежуточная аттестация (4 модуль)
Накопленная оценка 2-го этапа рассчитывается по формуле: Накоп2=Округление(10/17*Пром1 + 7/17*[2/7*(КЛ3+КЛ4)+ 3/7*min(10,КР3+КР4)+2/7*ДЗ2]). Результирующая оценка по учебной дисциплине рассчитывается по следующей формуле: Итог=Округление(0.85*Накоп2 + 0.15*Экз2) - итоговая оценка по дисциплине

Программа дисциплины