Неопределённость и нечёткость при анализе данных и принятии решений

Магистратура 2019/2020

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Науки о данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент математики

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Преподаватели: Лепский Александр Евгеньевич

Прогр. обучения: Науки о данных

Язык: русский

Кредиты: 4

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

Дисциплина «Неопределенность и нечеткость при анализе данных и принятии решений» структурно состоит из двух частей. Первая часть посвящена обучению навыкам работы с нечеткими данными. Во второй части рассматриваются различные виды неопределенности, которые могут возникнуть при принятии решений и анализе данных. В целом данный курс позиционируется в рамках сравнительно нового научного направления «обобщенной теории информации» (G.J. Klir). Обобщение классической теории информации осуществляется в двух направлениях. Первое связано с обобщением понятия множества – от классического понятия множества, где каждый элемент некоторого универсума либо принадлежит данному множеству, либо – нет, до понятия нечеткого множества, в котором все элементы универсума принадлежат данному множеству с некоторой степенью. Второе – обобщением понятия меры: от классического понятия меры множества (например, вероятностной меры) с сильной аксиомой аддитивности, до понятия монотонной (в общем случае неаддитивной) меры. Например, одной из популярных (и сложных) задач финансовой аналитики является прогнозирования курса валют или акций на валютной или фондовой бирже соответственно. Классическим инструментом прогнозирования является регрессионный анализ. При этом если для анализа используются точечные данные курса (например, цены закрытия) за некоторый предшествующий период времени, то могут быть применены классические методы регрессионного анализа. Но вместо точечных данных можно рассматривать интервалы курсов за периоды торгов или более сложные – нечеткие данные. В этом случае могут быть использованы методы нечеткого регрессионного анализа. С другой стороны, поведение курса валют или акций характеризуется большой степенью неопределенности, зависящей от ряда трудно формализуемых и трудно предсказуемых факторов: политических, психологических, макроэкономических и пр. В этом случае чаще всего приходится полагаться на экспертные оценки. Но небольшое количество экспертных оценок, их возможная зависимость, противоречивость, различная степень надежности, исключают построение надежных статистических оценок. Поэтому такую информацию удобно представлять с помощью монотонных мер или с помощью других моделей в рамках более общей теории неточных вероятностей (imprecise probabilities). Монотонные меры не требуют своего задания на множестве (алгебре) всех подмножеств элементарных событий в отличие от вероятностной меры. Поэтому с их помощью можно моделировать ситуации отсутствия информации, ситуации, когда субъект (эксперт, классификатор, метод кластеризации и т.д.) готов определять степень принадлежности истинной альтернативы только некоторым (но не всем!) подмножествам (например, принадлежность образа объединению некоторых классов). Все эти и многие другие вопросы будут рассмотрены в анонсируемой дисциплине. Основными темами курса являются: - нечеткие множества и операции над ними; - нечеткие отношения; - принцип обобщения Заде и нечеткие числа, сравнение нечетких чисел; - принятие решений при нечетких данных; - нечеткая классификация и кластеризация; - нечеткая регрессия; - виды неопределенности при принятии решений и анализе данных; - монотонные меры и основные классы монотонных мер; - моделирование неопределенности при принятии решений; - интегралы по монотонной мере, как универсальные агрегаторы информации; - измерение неопределенности в теории неточных вероятностей.

Цель освоения дисциплины

Целями освоения дисциплины «Неопределенность и нечеткость при анализе данных и принятии решений» являются ознакомление студентов с основными положениями и прикладными возможностями применительно к анализу данных и принятию решений теории нечетких множеств, теории свидетельств и др. теорий моделирования неопределенности.
В результате освоения дисциплины студент должен: - знать основные подходы описания неопределенности в рамках различных теорий неточных вероятностей и теории нечетких множеств; - иметь представление об оценивании риска и принятии решений в условиях нечеткой, неточной и неполной информации; - иметь навыки (приобрести опыт) решения некоторых задач описания неопределенности в рамках теории нечетких множеств и теорий неточных вероятностей и их применения при анализе данных и принятии решений.

Планируемые результаты обучения

студент должен уметь выполнять основные операции над нечеткими множествами (НМ), иметь понятие о степени размытия НМ
студент должен иметь представления об основных типах нечетких отношений
студент должен уметь выполнять срезовые операции над нечеткими числами, иметь представления о возможностях и ограничениях операций с нечеткими числами
студент должен иметь представления об основных числовых характеристиках нечетких чисел
студент должен иметь представления о способах сравнения нечетких чисел
студент должен иметь представления о различных подходах и постановках задачи нечеткой регрессии
студент должен иметь представления об общей постановке задачи многокритериальной оптимизации и особенностях ее решения с нечеткими данными.
студент должен иметь представления о нечетком разбиении множества и основных подходах к решению задач нечеткой кластеризации и классификации.
студент должен иметь представления о монотонной мере и об интегралах по монотонной мере
студент должен иметь представления об основных положениях теории Демпстера-Шейфера, функциях доверия и правдоподобия, правилах комбинирования свидетельств, методе дисконтирования и пр.
студент должен иметь представления о о способах оценивания неопределенности в рамках теорий неточных вероятностей, мере конфликта и пр.

Содержание учебной дисциплины

Тема 1. Нечеткие множества и операции над ними
1. Определение и способы задания нечетких множеств (НМ). Основные понятия теории НМ. 2. Алгебраические операции над НМ и их свойства. 3. Способы построения функций принадлежности НМ. 4. Определение расстояния между НМ. Основные способы определения степени размытия НМ. Применения степени размытия в задачах обработки изображений и анализа согласованности позиций экспертов.
Тема 2. Обобщение операций над нечеткими множествами
5. Понятие t-нормы и t-конормы. Генерация t-норм и t-конорм. Примеры применения. 6. Понятие инвертора (нечеткого отрицания). Описание инверторов в терминах генерирующих функций.
Тема 3. Нечеткие отношения
7. Понятие нечетких отношений (НО) и способы их задания. Операции над НО. Понятие композиции бинарных НО и ее свойств. Примеры. 8. Определения рефлексивных, симметричных и транзитивных НО на декартовом квадрате. Понятие транзитивного замыкания НО. Примеры. 9. Различные виды НО порядка. Критерий предпорядка, связь с отношением неразмытого порядка. 10. Понятие НО подобия, различия и сходства. Связь НО различия с ультраметрикой. Приложение: анализ нечеткого отношения согласованности рекомендаций финансовых аналитиков.
Тема 4. Принцип обобщения Заде и нечеткие числа
11. Принцип обобщения Заде и его применения. 12. Понятие нечетких чисел (НЧ) и операций над ними. Теорема о связи выпуклости НЧ с выпуклостью срезов. Общий вид и примеры НЧ. 13. Основное аналитическое свойство НЧ. Правила интервальной арифметики. Арифметические операции над НЧ и их свойства. 14. Нечеткие функции, уравнения, системы. Примеры.
Тема 5. Числовые характеристики и расстояния между нечеткими числами
15. Числовые характеристики нечетких чисел. 16. Метрики на множестве нечетких чисел.
Тема 6. Сравнение нечетких чисел
17. Сравнение случайных величин. Основные способы сравнения (ранжирования) НЧ. 18. Применение НЧ в анализе нечетких социальных сетей.
Тема 7. Нечеткая регрессия
Нечеткая регрессия 19. Классическая задача регрессии и линейная регрессия с нечеткими параметрами. 20. Линейная регрессия с нечеткими данными.
Тема 8. Принятие решений при нечетких данных
17. Общая постановка многокритериальной задачи принятия решений при нечетких данных и методы решений. 18. Модель взвешенной суммы и ее нечеткий аналог. Метод TOPSIS и его нечеткий аналог.
Тема 9. Нечеткая классификация и кластеризация
19. Нечеткая классификация: нечеткие классы – четкие объекты, нечеткие классы – нечеткие объекты. Аксиоматика мер близости нечетких множеств. 20. Нечеткая кластеризация: нечеткий алгоритм c-средних, нечеткий алгоритм Густафсона-Кесселя, возможностный нечеткий алгоритм c-средних.
Тема 10. Задачи принятия решений, приводящие к моделям неточных вероятностей
21. Неопределенность при принятии решений. 22. Задачи, приводящие к моделям неточных вероятностей. Кредальные множества. 23. Модели принятия решений на основе теории неточных вероятностей. Парадокс Эллсберга.
Тема 12. Теория свидетельств Демпстера-Шейфера
27. Меры доверия и правдоподобия. 28. Правила комбинирования свидетельств. 29. Метод дисконтирования. 30. Применение теории свидетельств к анализу экспертной информации, агрегированию классификаторов и т.д.
Тема 11. Монотонные меры
24. Монотонные меры. Верхние и нижние вероятности. Емкости Шоке. Преобразование Мебиуса. 25. Интегралы по монотонным мерам: интегралы Шоке и Сугено. 26. Применение интегралов Шоке и Сугено для агрегирования информации.
Тема 13. Элементы теории возможностей
31. Меры необходимости и возможности и их свойства. 32. Интерпретации и применения мер возможности и необходимости.
Тема 14. Измерение неопределенности в теории неточных вероятностей.
33. Классические меры неопределенности: энтропия Шеннона и мера Хартли. 34. Виды неопределенности в теории неточных вероятностей: конфликт и неспецифичность, их измерение (максимальная и минимальная энтропия, обобщенная мера Хартли).

Элементы контроля

Домашнее задание
В домашнем задании предлагается разобрать один из методов работы с нечеткими данными и/или в условиях неопределенности по статейному материалу, применить этот метод к реальным и/или тестовым данным, презентовать результаты исследования.
Экзамен
На экзамене студенту предлагается письменно ответить на ряд вопросов теоретически-практического содержания, в ходе выполнения которых необходимо продемонстрировать как владение теоретическим материалом по курсу, так и навыки решения практических задач.

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
Предварительная итоговая оценка ОИтог вычисляется с учетом неокругленных оценок, полученных при защите домашнего задания ОДз и на экзамене ОЭкз, по формуле ОИтог = 0,4•ОДз + 0,6•ОЭкз. Окончательная итоговая оценка получается после округления предварительной.

Программа дисциплины