Как Вышка автоматизирует проверку экзаменов
Во время летней сессии Школа иностранных языков и Центр вычислительных наук об образовании запустили пилотный проект по автоматизированной проверке студенческих экзаменов. Руководитель Школы иностранных языков Екатерина Колесникова, руководитель Центра вычислительных наук об образовании Дмитрий Аббакумов и его заместитель Дарья Кравченко рассказали об организации работы и дальнейших перспективах проекта.
О старте проекта
Дмитрий: От университета был запрос, чтобы компетенции нашего Центра распространялись не только на онлайн-курсы, но и на другие сферы. Мы можем оценивать качество измерительных материалов, можем проводить анализ эффективности инструментов оценивания и предлагать научно-обоснованные корректировки для улучшения этой системы. Также мы можем делать аналитику того, как в целом проходит процесс обучения, с какими трудностями сталкиваются студенты.
Екатерина: Пандемия не столько поставила новые задачи, сколько показала, какие инновации требуют скорейшего внедрения, чтобы сделать систему обучения английскому языку в Университете более устойчивой к неопределенности. В чём-то перемены, которые произошли за последние полгода – залог стабильного развития. Весной стало очевидным, что в условиях дистанционной сессии требуется не просто компьютеризированный тест, а онлайн-экзамен на платформе, не привязанный к физическому пространству.
О поставленной задаче и возникших сложностях
Екатерина: Задача оказалась непростой и требовала решения целого комплекса вопросов, связанных с разработкой структуры и содержания самого теста, построения организационной модели его проведения, дизайна матрицы коммуникации со всеми участниками (а это более 10 000 человек).
Трудности были как систематические, свойственные группе студентов, например, из определенного кампуса, так и индивидуальные, когда конкретному человеку что-то не давалось
Сложным стал этап планирования содержания и спецификации теста с учётом онлайн-формата. За короткое время пришлось существенно расширить ранее планируемый банк заданий ШИЯ, увеличить количество уникальных вариантов с учётом возможностей платформы, резервных дней и особого подхода к организации экзамена для ребят с ограниченными возможностями здоровья.
На самом первом этапе важно было убедить коллег в том, что мы не станем переносить экзамен, а готовы уже в начале пандемического апреля «сесть в онлайн-лодку без вёсел». Пришлось полагаться на то, что каждый из нас в нужный момент не подведет и сообразит, как построить новый для него процесс, сможет спокойно урегулировать сложную ситуацию. Или просто не ляжет спать в час ночи, а будет работать до утра, чтобы вовремя загрузить на платформу материалы для следующего потока.
Мы понимали, что высокопрофессиональные сотрудники с нужными компетенциями для реализации такого проекта в ШИЯ и Дирекции по онлайн-обучению есть. Но при таких масштабах экзамена важно было помочь коллегам почувствовать себя командой, работающей под задачу и по спортивному принципу «каждый готов выкладываться, чтобы мяч на наше поле не упал».
О том, что было сделано
Дмитрий: Сначала мы собрали всю информацию и представили ее в виде визуального дашборда на одном из заседаний Школы. Руководители направлений и образовательных программ встретили его с большим интересом, потому что там можно было увидеть данные по своим студентам.
Этот старт был удачным, и тогда нам предложили начать подготовку к масштабной задаче — провести экзамен на 8 000 студентов полностью онлайн. Риски были высоки еще и потому, что начался карантин.
Дарья: Все тесты для студентов были размещены на платформе Moodle. Там есть две системы оценивания: автоматизированная, которая позволяет автоматически проверять задания, и полуавтоматизированная — это проверка студенческих эссе самими преподавателями. Письменные работы загружались на Диск вручную, а затем специальный скрипт, который мы разработали, сортировал эссе по папкам в соответствии с образовательной программой.
У каждого преподавателя была специальная ссылка, по которой он мог войти и начать проверку. После этого преподаватель выставлял балл за письменную часть в автоматизированную ведомость, а она уже считала итоговую оценку. Несмотря на то, что экзамен длился всего четыре дня, мы смогли обеспечить работу всей этой огромной системы, чтобы преподавателям было удобно ей пользоваться.
Дмитрий: Мы обеспечили анонимность проверки, преподаватели не знали, где чья работа, у каждого студента был свой цифровой ID. Это важно, потому что полная анонимизация – гарантия максимальной объективности проверки.
Мы провели предварительное обучение для преподавателей, подготовили видеоинструкции для работы с нашей системой. Позже мы составили опрос преподавателей, который показал, что 85% довольны таким форматом проведения экзамена.
Екатерина: Мы понимали степень ответственности перед университетом и хотели, чтобы ШИЯ ВШЭ стала первым и, как видится, единственным в России создателем онлайн-экзамена по английскому языку для вуза. Этот экзамен был проведен по выверенным стандартизированным материалам, с прокторингом и аналитикой на 8500 студентов и четыре кампуса. Москва, Санкт-Петербург, Пермь и Нижний Новгород не чувствовали географической и временной разницы. Все руководители подразделений синхронизировали работу своих команд.
О перспективах развития проекта
Дмитрий: Благодаря этому пилоту мы выходим на новый проект, который начнётся с сентября. Он будет касаться разработки автоматизированного входного тестирования для Школы иностранных языков. Центр вычислительных наук об образовании будет отвечать за методологию внедрения специальной аналитической системы, которая будет «вести» студента с момента поступления на образовательную программу до выпуска. Проект грандиозный!