Магистратура 2020/2021

Неопределённость и нечёткость при анализе данных и принятии решений

Статус: Курс по выбору (Науки о данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент математики

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Преподаватели: Лепский Александр Евгеньевич

Прогр. обучения: Науки о данных

Язык: русский

Кредиты: 4

Контактные часы: 56

Программа дисциплины

Аннотация

Дисциплина «Неопределенность и нечеткость при анализе данных и принятии решений» структурно состоит из двух частей. Первая часть посвящена обучению навыкам работы с нечеткими данными. Во второй части рассматриваются некоторые модели описания неопределенности, возникающие при принятии решений и анализе данных. В целом данный курс позиционируется в рамках сравнительно нового научного направления «обобщенной теории информации» (G.J. Klir). Обобщение классической теории информации осуществляется в двух направлениях. Первое связано с обобщением понятия множества – от классического понятия множества, где каждый элемент некоторого универсума либо принадлежит данному множеству, либо – нет, до понятия нечеткого множества, в котором все элементы универсума принадлежат данному множеству с некоторой степенью. Второе – обобщением понятия меры: от классического понятия меры множества (например, вероятностной меры) с сильной аксиомой аддитивности, до понятия монотонной (в общем случае неаддитивной) меры. Например, одной из популярных (и сложных) задач финансовой аналитики является прогнозирования курса валют или акций на валютной или фондовой бирже соответственно. Классическим инструментом прогнозирования является регрессионный анализ. При этом если для анализа используются точечные данные курса (например, цены закрытия) за некоторый предшествующий период времени, то могут быть применены классические методы регрессионного анализа. Но вместо точечных данных можно рассматривать интервалы курсов за периоды торгов или более сложные – нечеткие данные. В этом случае могут быть использованы методы нечеткого регрессионного анализа. С другой стороны, поведение курса валют или акций характеризуется большой степенью неопределенности, зависящей от ряда трудно формализуемых и трудно предсказуемых факторов: политических, психологических, макроэкономических и пр. В этом случае чаще всего приходится полагаться на экспертные оценки. Но небольшое количество экспертных оценок, их возможная зависимость, противоречивость, различная степень надежности, исключают построение надежных статистических оценок. Поэтому такую информацию удобно представлять с помощью монотонных мер или с помощью других моделей в рамках более общей теории неточных вероятностей (imprecise probabilities). Монотонные меры не требуют своего задания на множестве (алгебре) всех подмножеств элементарных событий в отличие от вероятностной меры. Поэтому с их помощью можно моделировать ситуации отсутствия информации, ситуации, когда субъект (эксперт, классификатор, метод кластеризации и т.д.) готов определять степень принадлежности истинной альтернативы только некоторым (но не всем!) подмножествам (например, принадлежность образа объединению некоторых классов). Все эти и многие другие вопросы будут рассмотрены в анонсируемой дисциплине. Основными темами курса являются: - нечеткие множества и операции над ними; - нечеткие отношения; - принцип обобщения Заде и нечеткие числа, сравнение нечетких чисел; - принятие решений при нечетких данных; - нечеткая классификация и кластеризация; - нечеткая регрессия; - виды неопределенности при принятии решений и анализе данных; - монотонные меры и основные классы монотонных мер; - элементы теории свидетельств (функций доверия); - моделирование неопределенности при принятии решений.

Цель освоения дисциплины

• Целями освоения дисциплины «Неопределенность и нечеткость при анализе данных и принятии решений» являются ознакомление студентов с основными положениями и прикладными возможностями применительно к анализу данных и принятию решений теории нечетких множеств, теории свидетельств и некоторых др. теорий моделирования неопределенности.

Планируемые результаты обучения

• студент должен знать определение нечеткого множества (НМ) и классические операции над нечеткими множествами, способы задания НМ, привести примеры, иметь представление о способах оценивания функции принадлежности, владеть понятием степени размытия НМ и уметь оценивать эту степень.
• студент должен иметь представление о способах обобщения операций над НМ
• студент должен иметь представление о нечетких отношениях (НО) и операциях над ними, специальных видах бинарных НО (порядка, подобия, различия и пр.)
• студент должен знать понятие нечеткого числа (НЧ), уметь выполнять операции с НЧ с помощью правил интервальной арифметики через срезовые множества
• студент должен иметь представление об основных характеристиках нечетких чисел и способах введения метрик на множестве нечетких чисел
• студент должен иметь представление о способах сравнения нечетких чисел
• студент должен иметь представления о постановках задачи регрессии с нечеткими данными или с нечеткими параметрами
• студент должен иметь представление об общей постановке многокритериальной задачи принятия решений с нечеткими данными и возможных способах ее решения
• студент должен иметь представление об основных постановках задач нечеткой классификации и кластеризации, а также о существующих способах решения этих задач
• студент должен уметь привести примеры задач, приводящих к понятию неточных вероятностей, должен иметь представление о кредальном множестве и моделях принятия решений в рамках неточных вероятностей
• студент должен иметь представление об основных положениях теории свидетельств
• студент должен иметь представление об основах нечеткого логического вывода
• студент должен иметь представление о классических и обобщенных мерах неопределенности
• студент должен знать понятие монотонной меры,, иметь представление о некоторых классах мер в рамках описания неопределенности

Содержание учебной дисциплины

• Нечеткие множества и операции над ними
  Определение и способы задания нечетких множеств (НМ). Основные понятия теории НМ. Алгебраические операции над НМ и их свойства. Способы построения функций принадлежности НМ. Определение расстояния между НМ. Основные способы определения степени размытия НМ. Применения степени размытия в задачах обработки изображений и анализа согласованности позиций экспертов.
• Обобщение операций над нечеткими множествами
  Понятие t-нормы и t-конормы. Генерация t-норм и t-конорм. Примеры применения. Понятие инвертора (нечеткого отрицания). Описание инверторов в терминах генерирующих функций.
• Нечеткие отношения
  Понятие нечетких отношений (НО) и способы их задания. Операции над НО. Понятие композиции Определения рефлексивных, симметричных и транзитивных НО на декартовом квадрате. Понятие транзитивного замыкания НО. Примеры. Различные виды НО порядка. Критерий предпорядка, связь с отношением неразмытого порядка. Понятие НО подобия, различия и сходства. Связь НО различия с ультраметрикой. Приложение: анализ нечеткого отношения согласованности рекомендаций финансовых аналитиков.
• Принцип обобщения Заде и нечеткие числа
  Принцип обобщения Заде и его применения. Понятие нечетких чисел (НЧ) и операций над ними. Теорема о связи выпукло-сти НЧ с выпуклостью срезов. Общий вид и примеры НЧ. Основное аналитическое свойство НЧ. Правила интервальной арифметики. Арифметические операции над НЧ и их свойства. Нечеткие функции, уравнения, системы. Примеры.
• Числовые характеристики и расстояния между нечеткими числами
  Числовые характеристики нечетких чисел. Метрики на множестве нечетких чисел.
• Сравнение нечетких чисел
  Сравнение случайных величин. Основные способы сравнения (ранжирования) НЧ. Применение НЧ в анализе нечетких социальных сетей.
• Нечеткая регрессия
  Классическая задача регрессии и линейная регрессия с нечеткими параметрами. Линейная регрессия с нечеткими данными.
• Принятие решений при нечетких данных
  Общая постановка многокритериальной задачи принятия решений при нечетких данных и методы решений. Модель взвешенной суммы и ее нечеткий аналог. Метод TOPSIS и его нечеткий аналог.
• Нечеткая классификация и кластеризация
  Нечеткая классификация: нечеткие классы – четкие объекты, нечеткие классы – нечеткие объекты. Аксиоматика мер близости нечетких множеств. Нечеткая кластеризация: нечеткий алгоритм c-средних, нечеткий алгоритм Густафсона-Кесселя, возможностный нечеткий алгоритм c-средних.
• Элементы нечеткого логического вывода
  Логические нечеткие высказывания. Понятие нечеткой импликации. Нечеткие и лингвистические переменные. Нечеткие правила дедуктивного вывода. Нечеткое моделирование.
• Задачи принятия решений, приводящие к моделям неточных вероятностей
  Неопределенность при принятии решений. Задачи, приводящие к моделям неточных вероятностей. Кредальные множества. Модели принятия решений на основе теории неточных вероятностей. Парадокс Эллсберга.
• Теория свидетельств Демпстера-Шейфера
  Меры доверия и правдоподобия. Правила комбинирования свидетельств. Метод дисконтирования. Применение теории свидетельств к анализу экспертной информации, агрегиро-ванию классификаторов и т.д.
• Монотонные меры
  Монотонные меры. Верхние и нижние вероятности. Емкости Шоке. Преобразование Мебиуса. Интегралы по монотонным мерам: интегралы Шоке и Сугено. Применение интегралов Шоке и Сугено для агрегирования информации.
• Оценивание неопределенности и противоречивости в теории функций доверия
  Классические меры неопределенности: энтропия Шеннона и мера Хартли. Меры неопределенности в теории функций доверия. Меры противоречивости (конфликта) в теории функций доверия.

Элементы контроля

• Домашнее задание
  В домашнем задании предлагается разобрать один из методов работы с нечеткими данными и/или в условиях неопределенности по статейному материалу, применить этот метод к реальным и/или тестовым данным, презентовать результаты исследования на семинаре. Домашнее задание выдается в начале 2-го модуля, защита (презентация) - в конце 2-го модуля (дистанционно).
• экзамен
  проводится онлайн

Промежуточная аттестация

• Промежуточная аттестация (2 модуль)
  0.4 * Домашнее задание + 0.6 * экзамен

Список литературы

Рекомендуемая основная литература

• Uncertainty and information : foundations of generalized information theory, Klir, G. J., 2006
• Wang X., Ruan D., Kerre E.E. Mathematics of Fuzziness – Basic Issues. – Berlin Heidelberg: Springer-Verlag, 2009.
• Обработка нечеткой информации в системах принятия решений, Борисов, А. Н., 1989

Рекомендуемая дополнительная литература

• Fuzzy cluster analysis : methods for classification, data analysis and image recognition, Hoppner, F., 2000
• Linguistic fuzzy logic methods in social sciences, Arfi, B., 2010
• Statistical methods for fuzzy data, Viertl, R., 2011
• Введение в теорию нечетких множеств, Кофман, А., 1982
• Модели поддержки принятия решений в инвестиционной деятельности на основе аппарата нечетких множеств, Чернов, В. Г., 2007
• Нечеткие множества в задачах распознавания: вероятностный аспект принадлежности и канонический на..., Кудреватых, С. И., 1988
• Нечеткие множества в моделях управления и искусственного интеллекта, , 1986
• Нечеткие множества и нейронные сети : учеб. пособие, Яхъяева, Г. Э., 2012
• Принятие решений в неопределенности : правила и предубеждения, Канеман, Д., 2005
• Проблемы принятия решений при нечеткой исходной информации, Орловский, С. А., 1981