Магистратура
2020/2021
Психометрические теории и анализ тестовых заданий
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс обязательный (Измерения в психологии и образовании)
Направление:
37.04.01. Психология
Кто читает:
Институт образования
Где читается:
Институт образования
Когда читается:
1-й курс, 2-4 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Антипкина Инна Вениаминовна,
Иванова Алина Евгеньевна,
Карданова Елена Юрьевна,
Федерякин Денис Александрович
Прогр. обучения:
Измерения в психологии и образовании
Язык:
русский
Кредиты:
6
Контактные часы:
78
Программа дисциплины
Аннотация
Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Цель освоения дисциплины
- Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
- Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.
Планируемые результаты обучения
- проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
- знать основы классической теории тестирования
- оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
- знать основы современной теории тестирования IRT
- использовать в анализе основные модели IRT
- применять методы оценивания параметров модели
- оценивать соответствие модели данным
- проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
- применять дихотомические модели IRT
- правильно применять политомические модели IRT
- владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
- исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
- выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
- владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
Содержание учебной дисциплины
- Тема 1. Основы классической теории тестированияПредпосылки классической теории тестирования (КТТ). Структура наблюдаемого тестового балла. Определение истинного тестового балла. Определение ошибки измере-ния. Основные уравнения КТТ. Концепция надежности в КТТ. Процедуры и методы вычисления надежности ре-зультатов тестирования (формула Кронбаха; формула Кьюдера-Ричардсона; формула Спирмена-Брауна). Вычисление ошибки измерения истинного тестового балла. Построе-ние доверительных интервалов для исходных тестовых баллов. Концепция валидности в КТТ. Виды валидности. Процедуры исследования валидности теста.
- Тема 2. Анализ тестовых заданий в рамках классической теории тестированияХарактеристики тестовых заданий в КТТ. Оценивание трудности, дифференцирую-щей способности и валидности задания. Интерпретация значений параметров. Компьютерные программы оценивания параметров в рамках КТТ.
- Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестированияПредставление результатов тестирования. Нормирование и шкалирование результа-тов тестирования. z-шкала и шкалы, полученные ее преобразованием. Шкала проценти-лей. Проверка параллельности вариантов. Методы выравнивания результатов в КТТ. Анализ диффиренцирующей способности заданий (DIF). Методы установления пороговых баллов.
- Тема 5. Основные математические модели IRT. Модели Рашаделей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Обоснование полезных свойств и преимуществ IRT по сравнению с классической теорией тестирования.Свойства и преимущества моделей Раша.
- Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.Недостатки и ограничения классический теории тестирования. Принципы измерения латентных переменных в рамках IRT и их применение для конкретных задач измерений в образовании и психологии. Преимущества IRT по сравнению с классической теорией тестирования. История развития IRT. Основные предположения IRT. Характеристическая кривая задания.
- Тема 6. Методы оценивания параметров моделейСвойства оценок. Различные методы оценивания параметров. Метод максимального правдоподобия и его вариации. Оценивание мер испытуемых. Оценивание параметров заданий. Оценивание ошибки измерения. Сравнение различных методов оценивания параметров. Компьютерные программы оценивания параметров IRT моделей.
- Тема 7. Оценивание адекватности эмпирических данных модели измерения.Проверка основных предположений IRT и свойств IRT моделей (одномерность, ло-кальная независимость). Исследование согласия экспериментальных данных тестирования с используемой моделью измерения. Статистики согласия, основанные на стандартизированных остатках (уклонениях). Свойства статистик согласия и их распределений. Анализ согласия по заданиям теста. Анализ согласия ответов испытуемых. Примеры анализа согласия эмпирических данных с моделью измерения. Причины неадекватности эмпирических данных используемой модели измерения. Эмпирические характеристические кривые заданий и их сравнение с теоретическими (модельными) характеристическими кривыми. Обоснование выбора модели измерения по результатам анализа адекватности эмпи-рических данных.
- Тема 8. Общий анализ теста в рамках IRTАнализ теста, состоящего из дихотомических заданий. Общая схема анализа. Проверка выполнения основных предположений IRT: размерность, локальная независимость, согласие с моделью измерения, инвариантность оценок параметров. Точность измерений. Обоснование валидности конструкта. Исследование однородности выборок и проверка различных гипотез тестирования. Шкалирование результатов тестирования. Представление и интерпретация результатов тестирования. Представление результатов анализа.
- Тема 9. Дихотомические модели IRT. Выбор моделиДихотомические модели IRT: однопараметрическая модель (дихотомическая модель Раша); двух- и трехпараметрические модели Бирнбаума. Свойства моделей и их парамет-ров. Области применения. Сравнение моделей и их свойств. Статистические критерии выбора модели измере-ния.
- Тема10. Основные политомические модели IRTПолитомические модели IRT: Partial Credit Model, Rating Scale Model, Generalized Partial Credit Model,Graded-Response Model. Свойства моделей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Компьютерные программы, работающие с политомическими моделями IRT.
- Тема 11. Измерения в психологии с использованием шкал ЛикертаОсобенности рейтинговых шкал. Rating Scale Model и ее свойства. Анализ данных в рамках RSM. Применение IRT моделирования для разработки психологических методик, построе-ния шкал, исследования их психометрических свойств – исследование размерности, функционирование категорий, оптимизация числа ответных категорий. Исследование стилей ответов респондентов.
- Тема 12. Анализ измерительных свойств заданий в IRT.Характеристическая кривая задания (дихотомического и политомического) и ее свойства. Функционирование категорий задания, оцениваемого политомически. Оптимизация схемы оценивания политомических заданий различных форм. Примеры анализа по-литомических заданий. Информационная функция задания теста (дихотомического и политомического) и ее свойства. Информационная функция теста и ее свойства. Вклад различных заданий в из-мерение латентной черты. Связь информационной функции теста и ошибки измерения. Эффективность теста как измерительного инструмента. Сравнение эффективности двух тестов. Конструирование теста с наперед заданными свойствами при наличии банка заданий. Конструирование критериально-ориентированного теста с заданным проходным баллом.
- Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.Выравнивание результатов, полученных по отчасти различным наборам заданий и, возможно, в разное время. Условия выравнивания. Методы и процедуры выравнивания. Горизонтальное и вертикальное выравнивание. Измерение прогресса. Различное функционирование заданий по отношению к различным группам испытуемых Методы идентификации таких заданий(DIF анализ). Методы установления проходного балла. Методы установления пороговых оценок (benchmarks). Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
- Тема 14. Общий анализ теста. Представление результатовОсобенности анализа теста при наличии политомических заданий. Исследование размерности теста. Анализ функционирования заданий, оцениваемых политомически. Исследование совместного функционирования дихотомических и политомических заданий. Исследование совместного функционирования заданий различных форм. Представление резуьтатов анализа различным группам пользователей.
- Тема 15. Измерение латентных переменных в социальных и экономических сферах.Математические модели и технология обработки информации применительно к за-дачам управления в социальных и экономических сферах. Методика измерения латентных переменных с помощью IRT моделирования. Математические модели для данных на номинальной шкале. Применение IRT моделирования для анализа данных многокритериального монито-ринга и построения единого интегрального показателя.
Промежуточная аттестация
- Промежуточная аттестация (4 модуль)0.5 * Домашние проекты + 0.2 * Контрольная + 0.3 * Экзамен
Список литературы
Рекомендуемая основная литература
- Introduction to classical and modern test theory, Crocker, L., 2008
Рекомендуемая дополнительная литература
- Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
- Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
- George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
- Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
- Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
- Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
- Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
- Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
- Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
- Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
- Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009