Контроль и оценивание в образовании

2022/2023

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Институт образования

Статус:

Курс по выбору

Когда читается:

4-й курс, 1, 2 модуль

Преподаватель

Антипкина Инна Вениаминовна

Программа дисциплины

Аннотация

Курс разработан и преподается профессиональными психометриками. Психометрика – это наука об инструментах оценивания. Понимание принципов разработки заданий, умение провести базовую экспертизу теста, практика по разработке рубрик оценивания помогут учителям выстроить эффективную систему оценивания в своих классах и включиться в более широкий контекст вопросов оценивания: эффективнее готовить учащихся к проверочным работам, экзаменам высоких ставок, работать с тестовой тревожностью учащихся. Курс содержит три укрупненных практических блока тем. 1. Формирующее оценивание и все, что с ним связано. В этом блоке мы обсуждаем эмоциональные трудности оценивания. Знакомимся с концепцией «климата ошибки» (error climate). Разбираем разные подходы к формирующему оцениванию. Большое внимание уделяем деятельностным заданиям (performance-based assessment), для которых учимся разрабатывать рубрики оценивания. Деятельностные задания – это большая часть заданий текущего школьного оценивания, для которых требуется участие оценщика-эксперта: сочинения, презентации, проекты. Умение разрабатывать качественные, справедливые, полные, ясные и удобные для понимания и применения критерии (рубрики оценивания) – главный образовательный результат этого блока. 2. Разработка тестовых заданий. В этой части участники курса знакомятся с правилами разработки тестовых заданий, типами тестов по задачам и интерпретации. Работа построена от знакомства с типичными ошибками, через экспертизу типовых тестов к разработке собственных заданий. В рамках работы с тестовыми заданиями мы также посмотрим на системы оценивания в разных странах, познакомимся с международными исследованиями. 3. Основы психометрического анализа. В этой части курса учителя научатся проводить простой анализ тестов в рамках классической теории тестирования в программе Excel. Участники курса увидят, как психометрические характеристики задания трудность и дискриминативность позволяют находить проблемные задания. Смогут обосновать качество инструментов. Они также узнают требования к качеству теста.

Цель освоения дисциплины

• Справедливо оценивать деятельностные задания с помощью самостоятельно разработанных рубрик оценивания
• Давать содержательную обратную связь
• Создавать тестовые задания разных форматов и ориентированных на разные когнитивные процессы (запоминание, применение, анализ, синтез).
• Проводить анализ данных тестирования методами классической теории тестирования: оценить трудность и дискриминативность заданий теста, оценить надежность теста.
• Работать с документацией «внешних» тестов и использовать ее для подготовки учащихся к тестированию и для корректировки программ обучения.
• Провести экспертизу контрольно-измерительных материалов и исправить недостатки в инструкциях, формулировках заданий, композиции теста.

Планируемые результаты обучения

• Навык анализа целей и задач конкретного тестирования
• Применение таксономии для создания спецификации
• Различие НОРТ и КОРТ оценивания
• Разработка заданий разных форматов.
• Создание рубрики оценивания: холистической или аналитической.
• Умение выявлять искажения в заданиях, которые могут быть источником несправедливого оценивания.
• Умение описать "минимально-компетентного учащегося"
• Умение оценить надежность теста, трудность и дискриминативность тестовых заданий, а также выявление потенциальных проблем.
• Умение рассчитать описательные характеристики результатов оценивания. Построение гистограммы. Описание графиков.
• Классифицировать виды оценивания в соответствии с целями и интерпретацией результатов
• Проводить психометрический анализ данных тестирования методами классической теории тестирования: оценивать трудность и дискриминативность заданий теста, оценивать надежность теста.
• Провести экспертизу контрольно-измерительных материалов и исправить недостатки в инструкциях, формулировках заданий, композиции теста.
• Работать с документацией «внешних» тестов и использовать ее для подготовки учащихся к тестированию и для корректировки программ обучения.

Содержание учебной дисциплины

• Занятие 1
• Занятие 2
• Занятие 3
• Занятие 4
• Занятие 5
• Занятие 6
• Занятие 7
• Занятие 8
• Занятие 9
• Занятие 10
• Четыре группы целей тестирования. НОРТ и КОРТ. Создание теста. История оценивания в педагогике.

Элементы контроля

• Домашние задания
  Домашние задания направлены на отработку основных тем курса. Более подробные формулировки будут представлены в ходе курса. Возможны изменения. 1. Найти НАУЧНУЮ статью, описывающую одну из проблем оценивания. Подготовить краткое саммари с описанием главных результатов. Написать, почему считаете статью важной и как она может дополнить вашу (и коллег) практику преподавания. Критерии оценивания: 1. Статья является результатом исследования. 2. Саммари емкое, но полное. 3. Прослежены исследования, предшествующие и продолжающие это исследование (кратко дан контекст). 4. Выбор статьи аргументирован. Каждый пункт оценивается в 2 балла. Дополнительные 2 балла соответствуют критерию: голосование одногруппников; каждый участник курса сможет проголосовать за три наиболее понравившиеся работы. Топ-5 получат дополнительные 2 балла. 2. Описать по заданному плану деятельностное задание, по которому будем составлять рубрики. Критерии оценивания: 1) описаны все пункты списка. 2) критерии ясные и однозначные 3) критерии положительно сформулированы 4) критерии отражают учебные задачи и цели 5) критерии только важные, исключены второстепенные признаки и банальности критерии выбраны. Каждый пункт оценивается 0-1-2 3. Для предложенного деятельностного задания (с учетом обратной связи, полученной 26.09) выбрать систему оценивания и написать рубрику 4. подготовить презентацию об экзамене высоких ставок в (на выбор: Англия, Китай, США), международном сравнительном образовательном исследовании. Критерии: 1. Отражены сходства и различия между Россией и выбранной страной (для МСИ – отражены сравнения в эффектах на систему в России и другой стране/странах); 2. Оценивание описано полно (теоретическая рамка, цели и задачи, разработчик, форматы, кто оценивает, как часто проводится, на чем отражается – роль в культуре) 3. Использованы научные публикации. 4. Фрагменты информации сопоставлены с использованными источниками (научными и популярными). Оценивается 0-1-2. Для повышения оценки может использоваться критерий 5. Приведены вадидизационные исследования о качестве материалов. 5. Написать по своей (?) теме два задания с множественным выбором, два на сопоставление, два на краткий ответ, два с выбором нескольких вариантов. Взаимное оценивание (по 3 человека). Критерии оценивания: 1. Все задания записаны верно (6 баллов – без ошибок, 5 баллов – незначительные орфографические или пунктуационные недочеты в одном задании, 4-3-2-1 балла – большее количество недочетов или более серьезные ошибки в других заданиях. 2. Взаимное оценивание (работ троих других участников) проведено верно. За это можно 0-4 балла. 6. Провести анализ и подготовить краткий отчет по шаблону. Критерии: выполнены все расчеты без ошибок. (0-3), результаты интерпретированы верно (0-3), исправления предложены верно (0-2).
• Итоговый тест
  Итоговый тест по всем темам курса

Промежуточная аттестация

• 2022/2023 учебный год 2 модуль
  0.3 * Домашние задания + 0.3 * Итоговый тест + 0.4 * Домашние задания

Список литературы

Рекомендуемая основная литература

• Malcolm L. Van Blerkom. (2017). Measurement and Statistics for Teachers: Vol. Second edition. Routledge.

Рекомендуемая дополнительная литература

• Improving teachers’ comprehension of Curriculum-Based Measurement progress-monitoring graphs. (2019). Journal of Learning Disabilities, 52(5), 413–427.