• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Состоялась IV международная летняя школа «Теория и практика разработки тестов»

С 23 по 29 июля в учебном центре НИУ ВШЭ «Вороново» состоялась IV ежегодная летняя школа «Теория и практика разработки тестов». На этот раз организаторы школы — Центр мониторинга качества образования Института образования НИУ ВШЭ —  устроили погружение в проблемы обеспечения качества инструментов оценивания, пригласив экспертов по идеологииEvidenceCenteredDesign, по системам оценивания качества тестов и по разработке заданий, оцениваемых экспертами. Участниками школы стали более 30 человек из разных городов России, а также из Казахстана, Киргизии, Беларуси, Азербайджана, Италии.

Первый, русскоязычный, трек школы был целиком посвящен новой, набирающей популярность идеологии разработки тестов: EvidenceCenteredDesign(ECD). Занятия на треке вел эксперт Всемирного Банка Марк Зелман и преподаватели Института образования НИУ ВШЭ Екатерина Орел и Ирина Брун, на практике создающие инструментыоценивания в рамках ECD. Устоявшемуся переводу термина «EvidenceCenteredDesign» на русский язык еще только предстоит появиться, поскольку все имеющие хождение русскоязычные варианты переводов встречают критику. Между тем, ECD представляет собой целостную идеологию разработки инструментов оценивания, в центре которой находится обеспечение валидности инструмента на всех этапах его разработки.

На втором треке, который проходил на английском языке, состоялось два курса. Первый из них вел Бас Хемкер из Института педагогичексих измерений СИТО (Нидерланды). Он рассказывал о мировых системах экспертизы качества тестов. Бас Хемкер не только руководит одним из центров CITO, но и является членом голландского комитета по оцениванию качества тестов COTAN. Поэтому он подробно рассказал о самых крупных системах оценивания качества тестов (EFPA; COTAN; APA, AERA&NCMI; ITC; ETS; AEA-Europe), описал, как на практике работает система оценивания качества теста COTAN, и с помощью каких методов разработчики тестов из CITOполучают доказательства надежности и валидности своих инструментов.

На втором курсе второго трека профессор Кэрол Майфорд из Университета Чикаго учила слушателей технологиям разработки performance-baseditems, к которым относятся задания, оценивающие результаты выступлений или проектной деятельности учащихся, а также все типы устных экзаменов и заданий открытого типа. Иными словами, это все типы заданий, требующие оценивания экспертами.

Чтобы полноценно охватить материал предлагаемых к изучению тем, на летней школе предусмотреночень интенсивный режим занятий. С 9.00 до 18.00 слушатели с перерывами на обед и кофе находятся на занятиях преподавателей школы, а после ужина работают в группах над собственными проектами, защита которых проходит в последний день. Как и в прошлые годы, в середине школы состоялся вечер национальной культуры — праздник, на котором преподаватели и слушатели школы творчески рассказывали о родных городах и странах и могли пообщаться в неформальной обстановке. Один из дней был посвящен мастер-классам по темам летней школы, которые слушатели обоих треков посещали вместе.

Подводя итоги учебы, руководитель Летней школы Елена Карданова сказала: «В течение года мы много работаем, чтобы наша Летняя школа, во-первых, оставалась ежегодным мероприятием, а во-вторых, соответствовала международному уровню. Все это оказалось возможным в этом году благодарятому, что руководство Института образования поддержало наш проект не только идейно, но и финансово. Теперь, после защиты учебных проектов, уже можно сказать, что четвертая Летняя школа прошла успешно. Мы благодарим наших приглашенных экспертов, которые в буквальном смысле с утра до вечера делились своими знаниями и опытом, и наших слушателей, которые активно участвовали в работе треков и, надеемся, станут применять полученные навыки в собственной профессиональной практике».

 

Отзывы участников летней школы


Айдана Шилибекова, заместитель директора Центра педагогических измерений АОО «Назарбаев Интеллектуальные Школы» (Казахстан)

С какими задачами Вы ехали на школу?

Когда мы с коллегами смотрели программу Летней школы, нас очень заинтересовалитемыECD и performance-basedtasks. Я выбрала слушать второй трек.

Решены ли задачи?

Для меня был новым тот обзор, который представил Бас Хемкер. Мы слышали о мировых стандартах оценивания, но такого подробного сравнения систем стандартов с анализом того, на что нацелена каждая из них, у нас не было. Бас дал очень хорошие сопроводительные материалы. Заданиями типа performance-basedtasks мы уже занимаемся, думаю, что по результатам обучения в школе какие-то моменты мы можем улучшить. Нас очень интересуют вопросы валидности, как избегать субъективизма в оценивании.

Какие темы были бы интересны в следующий раз?

На сегодняшний день для нас актуальны вопрос персонализации оцениваний— адаптивные тесты, индивидуальные результаты. И вопросы формирующего оценивания тожеочень актуальны, потому что для нашей практики, практикипостсоветстких стран, это вопросы принципиальные.

 

Егор Дорохов, специалист отдела исследований и разработок Лаборатории гуманитарных технологий, студент 6-го курса факультета психологии МГУ

С какими задачами Вы ехали на школу?

Мне было интересно понять, что такое модель ECD. Я выбирал трек, потому что он на русском, трек на английском был бы мне тяжел. Я хотел посмотреть на еще один вариант подходов к построению тестов.

Решены ли задачи?

Я понял, что ECDэто не новый тип построения теста, как я думал раньше, а новый  тип размышлений о психометрике. Эта модель построена как хорошая обоснованная модель над известными системами построения тестов. Я полностью оправдал свои ожидания, свой познавательный интерес.

Какие темы были бы интересны в следующий раз?

Мне было бы интересно, если бы Летняя школа была посвященаIRT, чтобы была практика того, как считать. С нуля и до какого-то ощутимого уровня применения. И еще мне была интересна тема второго трека, который в этот раз прошел на английском, — про стандарты оценивания.

 

Татьяна Чабан, начальник отдела мониторинга качества образования КГКСУ «Центр оценки качества образования» (Красноярск)

С какими задачами Вы ехали на школу?

Мы с коллегами как раз подошли к тому моменту, когда появилась необходимостьизмерять не столько предметные навыки– федерация все это уже измеряет, – сколько навыки, которые в стандартах называются метапредметными и отчасти личностными — сотрудничество, например. У нас пока нет никаких подходов, как это делать, я хотела посмотреть, как это делают другие.

Решены ли задачи?

Путь, каким идут люди, измеряя метапредметные навыки, прояснился. Стало ясно, как к этому подходить. Понятно, что это потребует серьезного погружения в литературу. Нам было интересно узнать, что Вышка начала делать проект «4К», посмотреть какие шаги делают, какие ресурсы для этого нужны или с кем можно сотрудничать.

Какие темы были бы интересны в следующий раз?

Сложный вопрос, надо специально задуматься.

 

Ксения Миронова, научный сотрудник ФГБНУ ПИ РАО

С какими задачами Вы ехали на школу?

Я занимаюсь изданием учебных книг, связанных споэзией, и программой обучения дошкольников китайскому языку и культуре Китая. Передо мной стоят задачи по разработке инструментов формирующего оценивания, которые помогали бы прояснять для школьников смысл стихотворений из школьной программы.Второй проект, которым я занимаюсь, это создание инструментов для оценки понимания китайского языка.

Решены ли задачи?

Мне была очень интересна тема разработки заданий типа performance-based, потому что этот тип заданий чаще всего используется в формирующем оценивании.

Какие темы были бы интересны в следующий раз?

Мне интересны вопросы интерактивного компьютерного формирующего оценивания. На будущее есть идея сделать тест формирующего оценивания в компьютерной форме.