- A
- A
- A
- АБB
- АБB
- АБB
- А
- А
- А
- А
- А
«Это была очень нетривиальная задача для всех служб университета»
В июле завершилась первая сессия НИУ ВШЭ, которая прошла полностью в дистанционном формате. Специалисты дирекции по онлайн-обучению и Цифрового блока рассказали «Вышке для своих», как готовились к сессии и с какими проблемами столкнулись.
«Мы отдавали себе отчет, что это абсолютно новый опыт организации экзаменов для подавляющего большинства подразделений»
Центр прокторинга: Руководитель центра
Для Центра прокторинга сессия началась гораздо раньше июня: уже в апреле мы начали готовить прокторов из числа преподавателей, согласовывать формат проведения экзаменов, а также проводить экзамены и контрольные работы, которые были запланированы до начала сессии.
Многие подразделения запланировали экзамены и контрольные работы заранее, что позволило «обкатать» процесс и подготовить студентов к основной сессии.
Конечно, мы отдавали себе отчет, что это абсолютно новый опыт организации экзаменов для подавляющего большинства подразделений, что у коллег возникает много тревог и сомнений, и что большая часть их вопросов — из-за недостатка информированности.
Чтобы снизить уровень обеспокоенности, сотрудники Центра прокторинга провели серию вебинаров для сотрудников всех кампусов Вышки и для отдельных факультетов (по запросу), на которых подробно рассказывали о самом прокторинге и особенностях процедуры проведения экзаменов.
Как Вышка пережила карантин
Конечно, главными участниками процесса оставались студенты ВШЭ. Для них были разработаны не только подробные текстовые и видео-инструкции, но и комментарии в формате «вопрос – ответ» на самые проблемные кейсы, материалы в визуальном формате, а также записан отдельно обучающий ролик, чтобы студенты смогли зафиксировать основные моменты.
Нам было очень важно вовремя реагировать на запросы сдающих. Многие сотрудники дирекции сами были студентами Вышки и понимали эмоциональную атмосферу, которая присутствовала при организации этой сессии.
Мы заключили дополнительный договор с исполнителем услуг по прокторингу — НИУ ВШЭ вместе с ведущими вузами страны выбрали платформу Examus. При этом, можно сказать, мы работали в ситуации большой неопределенности — и поскольку возникало много вопросов и к техническим деталям, и к организационным, мы действовали сообща с коллегами из Цифрового блока и коллегами из Examus.
В июне всем студентам ВШЭ было предложено пройти предварительные тестовые экзамены с прокторингом для проверки функционала компьютера и адаптации к системе.
Студенты Вышки в основном сдавали экзамены в письменном и устном формате, а не в формате тестов. Именно под этот академический формат были адаптированы базовые инструкции по прокторингу, а также разработаны новые методические комплекты материалов для проведения не только экзаменов сессии, но и ГИА онлайн. Для оптимальной организации бизнес-процесса подразделения назначили ответственных сотрудников, которые отвечали за процесс на стороне факультетов и взаимодействовали с сотрудниками Центра прокторинга.
«Нам удалось подготовить 204 человека, из которых 195 стали прокторами в этой сессии»
Центр вычислительных наук об образовании: Заместитель руководителя центра
Центр вычислительных наук об образовании: аналитик
Чем могут помочь психометрики в трудную минуту? Мы с коллегами занимались обучением будущих прокторов. В мае и начале июня нам удалось подготовить 204 человека, из которых 195 стали прокторами в этой сессии.
Мы постоянно обновляли материалы на сайте дирекции, структурировали вопросы и ответы, и, конечно, опыт «психометрической науки» пришелся как нельзя кстати.
С 30 мая по 25 июня 2020 года проходило обучение синхронных прокторов НИУ ВШЭ. Их готовили ежедневно и индивидуально. Обучение синхронных прокторов состояло из теоретической части (текстовые и видео-инструкции), а также индивидуального обучающего тренинга.
«Мы предложили бизнес-процесс, позволяющий обеспечить удобную и объективную проверку»
Центр вычислительных наук об образовании: Руководитель центра
Центр вычислительных наук совместно с Центром развития образовательных технологий разработал регламент по проверке письменных работ студентов, сдававших внутренний экзамен по английскому языку.
Мы предложили бизнес-процесс, позволяющий обеспечить удобную и объективную проверку. Экзамен включал две части: письменную, которая проверялась преподавателями, и тестовую, которая проверялась автоматически компьютером.
Письменные работы студентов были анонимизированы, автоматически отсортированы по образовательным программам и распределены по преподавателям для проверки. После проверки эти результаты были автоматически сшиты с результатами тестирования студентов.
Наш коллега Евгений Глазунов разработал специальный скрипт, который позволил максимально исключить риски, связанные с человеческим фактором, например, описки в заполнении ведомостей, которых может быть много в таких широкомасштабных экзаменах, выполняющихся в короткие сроки.
В настоящий момент мы занимаемся углубленной психометрической аналитикой полученных результатов, которая будет полезна коллегам из Школы иностранных языков в улучшении преподавания и повышении качества экзаменов.
С 10 июня по 3 июля на платформе дистанционных испытаний НИУ ВШЭ с использованием системы Examus было проведено 495 экзаменов. Самая большая нагрузка на информационные системы, обеспечивающие проведение экзаменов с прокторингом, была с 15 по 18 июня.
В этот период почти 17 тысяч студентов участвовали в экзаменах с прокторингом. Это примерно половина от всех студентов, приступивших к сдаче экзамена за весь период.
«Я очень благодарен всем преподавателям и менеджерам, которые были в эти моменты со студентами и поддерживали их»
Дирекция по онлайн-обучению: Менеджер
Так как экзамены предполагали существенное увеличение одновременно сдающих студентов и в целом высокую значимость процедуры для экзаменуемых, мы изменили наш подход к сопровождению.
Мы пересмотрели и скорректировали регламенты работы с обращениями, сконцентрировашись на том, чтобы помочь максимально оперативно и как можно большему количеству студентов. Мы выполняли роль первой линии поддержки по вопросам, связанным с функционированием Examus.
Был расширен объем доступного места в хелпдеске, так что теперь мы в состоянии хранить историю переписки по всем поступающим обращениям даже в случае массовых обращений, сопровождаемых большим количеством скриншотов, чтобы более оперативно и полно помогать нашим адресатам.
К сожалению, на момент сессии мы столкнулись с интенсивными онлайн-атаками на критически важные сервисы. Тем не менее все участники с честью справились с ситуацией, и я очень благодарен всем, кто потратил огромное количество сил на исправление ситуации — преподавателям и менеджерам, которые были в эти моменты со студентами и поддерживали их.
«Мы понимали, какая ответственность ложилась на нас, когда отвечали на срочные обращения студентов на горячую линию»
Дирекция по онлайн-обучению: Менеджер
Центр прокторинга: Менеджер
Центр прокторинга: Менеджер
Служба поддержки в эти три недели была организована посменно. Мы дежурили фактически полные сутки: диспетчеры, технические специалисты, а также менеджеры Дирекции по онлайн-обучению.
Мы понимали, какая ответственность ложилась на нас, когда отвечали на срочные обращения студентов на горячую линию. Нам всегда важно быть на связи — а здесь важно было не только своевременно отреагировать и дать ответ на вопрос, но и оказать эмоциональную поддержку нашим студентам и преподавателям.
В связи со значительным увеличением количества обращений в службу поддержки мы привлекли дополнительных сотрудников, для которых было организовано обучение по работе в новой среде. На протяжении всей сессии регулярно создавались и обновлялись рабочие инструкции для автоматизации процессов. В помощь студентам на экзаменационной платформе был создан специальный раздел, содержащий ответы на часто задаваемые вопросы.
Мы также отвечали на запросы иностранных абитуриентов, которых было немало, что помогло нам создать базу англоязычных ответов для дальнейшей автоматизации обработки повторных обращений.
Благодаря оперативной работе коллег из Цифрового блока в период сессии был значительно улучшен функционал системы в области формирования отчетов по результатам экзаменов.
«Подготовка к проведению сессии началась еще в марте»
Управление цифровизации образования: Начальник управления
Подготовка к проведению сессии началась еще в марте, когда стало окончательно понятно, что экзамены в этом году будут принимать в онлайн-формате. Для этого использовалась связка из системы Moodle и прокторинга компании Examus.
Основная сложность состояла в том, чтобы правильно кластеризовать Moodle. Мы подбирали оптимальную конфигурацию серверов, продумывали архитектуру и пришли к выводам, что среди имеющихся вариантов такое решение наиболее оптимальное.
Еще одна задача с которой нам пришлось столкнуться – вопрос производительности, который стоит всегда остро, особенно если это не плавный прирост, а резкое увеличение нагрузки. Сессия является именно таким мероприятием — за короткий период времени нагрузка на систему возрастает многократно.
Цифровой блок, понимая всю серьезность ситуации, проводил работы, чтобы получить максимум из имеющихся ресурсов и настроить сбалансированную конфигурацию, которая сможет поддержать необходимое число экзаменуемых. В итоге ряд сервисов ВШЭ был размещен в облачном хранилище компании Яндекс. Таким образом удалось масштабировать корпоративные мощности в 10 раз и обеспечить бесперебойное подключение до 10 тыс. экзаменуемых одновременно.
Мы заранее готовились, чтобы все технические решения были выверены и протестированы надлежащим образом и по этой причине на вторую линию поддержки по ИТ-вопросам в общей сложности поступило всего 30 обращений при более чем 40 тыс. экзаменуемых. Все были обработаны — с каждым случаем разбирались в индивидуальном порядке.
Кроме технологических задач оперативно были проведены функциональные доработки системы по запросам дирекции по онлайн-обучению, в частности, доработки по формированию отчетов по результатам экзаменов. Это потребовалось для поддержки комфортной работы дирекции с системой в такой непростой период.
«В течение трех недель июня нужно провести онлайн-экзаменов в три раза больше, чем раньше проводилось в год»
Дирекция по онлайн-обучению: Директор по онлайн обучению
В апреле-мае учебные офисы заявили об участии более 40 тыс. студентов в дистанционных испытаниях.
Это очень большая цифра. В переводе на язык задач это означало следующее: в течение трех недель июня нужно провести онлайн-экзаменов в три раза больше, чем раньше проводилось в год. То есть за оставшиеся полтора месяца до экзаменов нужно было изменить информационные системы и бизнес-процессы, чтобы обеспечить их качество при взрывном масштабировании.
Это точно не делали пока ни в одном российском университете, по итогам мы можем оценить масштабы: системой прокторинга Examus на сегодня пользуются 89 российских вузов. В июне, с учетом сессии, вступительных экзаменов для иностранных абитуриентов и т.п., в ВШЭ прошло 85,5 тыс. часов экзаменов с прокторингом.
Это в два раза больше, чем во всех других 88 вузах, использующих Examus, вместе взятых.
Это была очень нетривиальная задача для всех служб университета, но, во-первых, университету не привыкать отвечать на масштабные вызовы, во-вторых, это задача важная: онлайн-форматы постепенно становятся обычной университетской практикой, и качество образования напрямую связано с достоверностью и качеством оценивания.
ВШЭ сейчас имеет уникальный опыт организации массового онлайн-экзамена, и нам еще предстоит детально проанализировать разные его аспекты.