Проектирование взаимодействия для AR/VR

2019/2020

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Статус: Общеуниверситетский факультатив

Кто читает: Департамент программной инженерии

Когда читается: 2-4 модуль

Преподаватели: Манахов Павел Алексеевич

Язык: русский

Кредиты: 6

Контактные часы: 86

Полная версия программы учебной дисциплины

Аннотация

Цель данного междисциплинарного курса – познакомить студентов с процессом проектирования интерфейсов приложений дополненной и виртуальной реальности. Большая часть теоретических и практических занятий посвящена итеративному проектированию взаимодействия, которое подразумевает замкнутый сходящийся к оптимальному решению процесс: 1. Предложение нескольких альтернативных вариантов пространственного интерфейса/доработка выбранного варианта. 2. Создание/модификация интерактивного прототипа на Unity. 3. Проведение оценки пользовательского опыта (UX). 4. Анализ результатов оценки и возврат к первому шагу с новыми знаниями.

Цель освоения дисциплины

Познакомить студентов с процессом проектирования интерфейсов приложений дополненной и виртуальной реальности

Планируемые результаты обучения

Иметь представление о том, что включает в себя проектирование взаимодействия, как дисциплина
Понимать, что такое дополненная, виртуальная, смешанная и расширенная реальности
Понимать, что такое иммерсивные технологии
Знать области применения иммерсивных технологий
Знать тренды развития иммерсивных технологий
Понимать, что такое пользовательский интерфейс и 3D-интерфейс
Понимать, что такое контекст использования
Понимать, что такое пользовательский опыт и юзабилити
Понимать модель процесса проектирования цифрового продукта Марка Хазензахла
Знать целеориентированный процесс проектирования
Понимать необходимость прототипирования
Знать классификацию методов прототипирования интерфейсов XR-приложений
Иметь представление о том, как создаются интерактивные прототипы XR-приложений
Иметь навыки создания интерактивных прототипов на Unity
Знать базовый синтаксис языка C#
Знать особенности С# 8.0 Знать особенности С# 8.0
Уметь использовать шаблон проектирования Entity Component System
Понимать, что такое модальность ввода/вывода
Знать классификацию устройств ввода/вывода, используемых в 3D-интерфейсах
Знать механизмы восприятия глубины
Иметь представление о современных технологиях позиционного отслеживания
Понимать, что такое AR Cloud
Понимать, что такое имплицитное человеко-компьютерное взаимодействие
Понимать, что такое паттерны и техники взаимодействия
Понимать, что такое парадигма взаимодействия
Иметь представление о современных парадигмах взаимодействия для XR и областях их применения
Знать тренды развития 3D-интерфейсов
Уметь искать лучшие практики проектирования для заданного типа интерфейса и предметной области
Знать лучшие практики проектирования интерфейсов для мобильного AR
Знать лучшие практики проектирования интерфейсов для иммерсивных устройств
Понимать, что такое юзабилити-цели
Знать современный подход к выбору юзабилити-целей
Понимать, что такое пространство решений дизайн-задачи
Понимать необходимость исследования пространства решений
Понимать разницу между концептуальным и детальным проектированием
Знать различные техники активизации творческого мышления
Уметь применять метод мозгового штурма
Знать различные способы представления интерактивного дизайна
Иметь навыки проектирования 3D-интерфейса для заданного контекста использования
Иметь навыки описания решения в виде дизайн-спецификации
Понимать, что такое исследовательский вопрос
Знать классификацию методов исследования пользователей и юзабилити-оценки
Уметь описывать группы пользователей в виде персонажей
Уметь описывать взаимодействие в виде сценариев
Знать различные способы поиска респондентов для качественных исследований
Иметь навыки поиска респондентов
Иметь навыки формирования критериев поиска респондентов
Понимать модель взаимодействия Д. Нормана
Понимать, что такое юзабилити-проблема
Понимать, что такое интерфейсная идиома
Знать классификацию проблем взаимодействия
Знать различные способы сбора данных качественных исследований
Иметь навыки планирования юзабилити-исследования
Уметь применять различные техники модерации юзабилити-тестирований
Иметь навыки проведения юзабилити-тестирования
Иметь навыки анализа данных юзабилити-исследования
Иметь навыки оформления результатов юзабилити-исследования в виде отчета
Знать различные особенности проведения юзабилити-тестирования XR-приложений
Знать анатомические особенности движения человека
Понимать, как поза человека влияет на возникновение усталости
Понимать теории, объясняющие причины возникновения укачивания
Иметь представление о методах оценки физического комфорта пользователя
Иметь представление о веб-фреймфорках и библиотеках, используемых для реализации 3D-интерфейсов
Иметь представление о нативных фреймфорках и библиотеках, используемых для реализации 3D-интерфейсов

Содержание учебной дисциплины

Проектирование взаимодействия для AR/VR: введение
Проектирование взаимодействия и его место среди других дисциплин. Понятия дополненной, смешанной, виртуальной и расширенной реальности (AR/MR/VR/XR). История развития и современное состояние иммерсивных технологий. Области их применения (use cases). Тренды развития иммерсивных технологий. Структура курса.
Базовые понятия и процесс проектирования взаимодействия
Понятие «пользовательского интерфейса». Понятие «пространственного интерфейса» (3D-интерфейса). Понятие «взаимодействия». Понятие «контекста использования». Понятие «пользовательского опыта». Понятие «юзабилити». Модель Марка Хазензахла. Целеориентированный процесс проектирования.
Обзор инструментов и техник прототипирования
Важность прототипирования. Классификация методов прототипирования иммерсивных приложений. Техники прототипирования, не требующие вычислительных устройств. Bodystorming. Инструменты, позволяющие создавать прототипы без необходимости писать код. Профессиональные инструменты прототипирования.
Основы программирования на C#
Обзор языковых средств: типы данных; инструкции, выражения и операторы; массивы и коллекции; итераторы; классы и структуры; интерфейсы и наследование; обобщённые типы и методы; делегаты и события; пространства имен. Понятия управляемого и неуправляемого кода.
Устройства ввода/вывода информации
Понятие «модальности» взаимодействия. Восприятие человеком глубины. Конфликт вергенции-аккомодации. Обзор модальностей компьютер-человек и устройств вывода. Классификация технологий трекинга. Обзор модальностей человек-компьютер и устройств ввода. Понятие «имплицитного человеко-машинного взаимодействия».
Обзор интерфейсов современных XR-платформ
Понятие «парадигмы взаимодействия». Обзор современных парадигм взаимодействия для XR.
Обзор паттернов и лучших практик проектирования
Классификация паттернов и техник взаимодействия. Паттерны и лучшие практики проектирования пространственных интерфейсов.
Проектирование взаимодействия: исследование пространства решений
Понятие «юзабилити-целей». Почему важно исследовать пространство решений. Процесс синтеза и отбора решений. Концептуальное и детальное проектирование. Методы активизации творческого мышления. Способы представления решений.
Введение в пользовательские исследования
Понятие «исследовательского вопроса». Классификация методов исследования пользователей и юзабилити-оценки. Моделирование пользователей и взаимодействия. Персонажи Алана Купера. Контекстные сценарии. Способы поиска респондентов для качественных исследований. Критерии рекрутинга.
Основы юзабилити-оценки
Как люди взаимодействуют с цифровыми продуктами: семь этапов действия Д. Нормана. Понятие «юзабилити-проблемы». Другие типы проблем взаимодействия.
Юзабилити-тестирование: подготовка
План юзабилити-тестирования. Техники сбора данных для качественных исследований.
Юзабилити-тестирование: проведение и анализ данных
Обзор техник модерации юзабилити-тестирований. Проведение юзабилити-тестов. Анализ юзабилити-данных.
Особенности тестирования XR-приложений
Особенности связанные с: физической средой и оборудованием, техниками сбора данных, модерацией, опытом пользователей.
Эргономические особенности проектирования пространственных интерфейсов
Анатомические особенности движения человека. Поза человека и ее влияние на возникновение усталости. Теории, объясняющие причины возникновения морской болезни (укачивания). Методы оценки физического комфорта пользователя.
Обзор средств разработки интерфейсов XR-приложений
Платформы и используемые в них фреймворки и библиотеки; обзор технологий трекинга.
Обзор инструментов и техник прототипирования (семинары, 3 модуль)
Проектирование взаимодействия: исследование пространства решений (семинары, 4 модуль)
Юзабилити-тестирование: подготовка (семинары, 4 модуль)
Юзабилити-тестирование: проведение и анализ данных (семинары, 4 модуль)

Элементы контроля

Домашнее задание 1 (ДЗ1)
Задание заключается в подготовке программного прототипа на Unity для Windows/macOS. Студентами выдается описание пользовательского интерфейса и поведения приложения, которое необходимо реализовать.
Домашнее задание 2 (ДЗ2)
Задание заключается в подготовке Unity-прототипа с использованием AR-библиотеки для одной из нескольких конфигураций DIY-оборудования. Студентами выдается описание пользовательского интерфейса и поведения приложения, которое необходимо реализовать.
Командный проект (КП1)
Командный проект 2 (КП2)
Командный проект 3 (КП3)
Командный проект 4 (КП4)
Командный проект 5 (КП5)
Экзамен (Э)
Устный экзамен, 2 вопроса. Экзамен проводится в устной форме (2 теоретических вопроса) с помощью Skype (https://join.skype.com/o2iNF4vYkNdp). Номера билетов распределяются случайно и будут сообщены преподавателем в момент начала экзамена. При подготовке ответов на вопрос студенты могут пользоваться любыми источниками, при ответе — ничем. На подготовку первому человеку дается 20 минут, далее студенты отвечают по очереди (о последовательности выступлений будет сообщено отдельно). Если студент не подключается через 1 минуту после ответа предыдущего, он отправляется в конец списка. Если студент не подключается через 5 минут после ответа последнего студента, это считается неявкой. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка Skype. Для участия в экзамене студент обязан: явиться на экзамен согласно расписанию и следить, когда подойдет его очередь отвечать; при ответе включить камеру и микрофон (не касается тех студентов, с которыми отсутствие такой возможности было обговорено заранее). Кратковременным нарушением связи во время экзамена считается нарушение связи менее 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи студент не может продолжить участие в экзамене.
Занятия (З)

Промежуточная аттестация

Промежуточная аттестация (4 модуль)
0.05 * Домашнее задание 1 (ДЗ1) + 0.05 * Домашнее задание 2 (ДЗ2) + 0.15 * Занятия (З) + 0.1 * Командный проект (КП1) + 0.05 * Командный проект 2 (КП2) + 0.1 * Командный проект 3 (КП3) + 0.1 * Командный проект 4 (КП4) + 0.1 * Командный проект 5 (КП5) + 0.3 * Экзамен (Э)

Программа дисциплины