Объяснимый ИИ

2026/2027

ID 1209987

Статус: Маго-лего

Кто читает: Департамент информатики

Где читается: Школа информатики, физики и технологий

Охват аудитории: для своего кампуса

Преподаватели: Иванова Яна Викторовна

Язык: русский

Кредиты: 3

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Данная дисциплина посвящена всестороннему изучению методов объяснимого искусственного интеллекта (XAI), необходимых для интерпретации и повышения доверия к сложным моделям машинного обучения. В рамках курса рассматривается широкий спектр подходов: от пост-хок методов определения важности признаков (LIME, SHAP, Integrated Gradients) до интерпретируемых архитектур (EBM, ProtoPNets) и современных техник анализа больших языковых моделей и механизмов внимания. Целью освоения дисциплины является формирование у студентов системного понимания принципов объяснимости, практических навыков применения соответствующих инструментов и способности критически оценивать качество получаемых объяснений для решения задач в таких областях, как медицина и финансы.

Цель освоения дисциплины

Формирование у обучающихся системного понимания принципов и методов обеспечения интерпретируемости систем искусственного интеллекта и приобретение практических навыков применения методов объяснения для анализа и повышения доверия к моделям машинного обучения, включая большие языковые модели и генеративные архитектуры.

Планируемые результаты обучения

Классифицирует методы объяснения по таксономическим признакам и определяет подходящий тип объяснения для конкретной задачи и аудитории.
Строит интерпретируемые модели, извлекает и визуализирует правила принятия решений, оценивая компромисс между интерпретируемостью и точностью.
Вычисляет SHAP-значения, LIME-объяснения и gradient-based атрибуции для моделей разных типов, интерпретируя вклад отдельных признаков в предсказание.
Генерирует контрфактические объяснения для индивидуальных предсказаний, формулируя рекомендации по изменению атрибутов и оценивая их реалистичность и этические риски.
Визуализирует и интерпретирует механизмы внимания в трансформерных моделях, применяя концептуальные объяснения для проверки гипотез о поведении модели. Применяет методы probing и activation patching для анализа внутренних представлений LLM, формулируя гипотезы о внутренних механизмах на основе эмпирического анализа.
Выявляет потенциальную предвзятость модели с использованием методов объяснения и оценивает риски приватности, связанные с раскрытием объяснений.
Разрабатывает и защищает проект применения XAI для задачи с высокими ставками, обосновывая выбранные методы и анализируя их ограничения.