• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2020/2021

Психометрические теории и анализ тестовых заданий

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс обязательный (Измерения в психологии и образовании)
Направление: 37.04.01. Психология
Когда читается: 1-й курс, 2-4 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для своего кампуса
Прогр. обучения: Измерения в психологии и образовании
Язык: русский
Кредиты: 6
Контактные часы: 78

Программа дисциплины

Аннотация

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Цель освоения дисциплины

Цель освоения дисциплины

  • Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
  • Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.
Планируемые результаты обучения

Планируемые результаты обучения

  • проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
  • знать основы классической теории тестирования
  • оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
  • знать основы современной теории тестирования IRT
  • использовать в анализе основные модели IRT
  • применять методы оценивания параметров модели
  • оценивать соответствие модели данным
  • проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
  • применять дихотомические модели IRT
  • правильно применять политомические модели IRT
  • владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
  • исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
  • выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
  • владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Тема 1. Основы классической теории тестирования
    Предпосылки классической теории тестирования (КТТ). Структура наблюдаемого тестового балла. Определение истинного тестового балла. Определение ошибки измере-ния. Основные уравнения КТТ. Концепция надежности в КТТ. Процедуры и методы вычисления надежности ре-зультатов тестирования (формула Кронбаха; формула Кьюдера-Ричардсона; формула Спирмена-Брауна). Вычисление ошибки измерения истинного тестового балла. Построе-ние доверительных интервалов для исходных тестовых баллов. Концепция валидности в КТТ. Виды валидности. Процедуры исследования валидности теста.
  • Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
    Характеристики тестовых заданий в КТТ. Оценивание трудности, дифференцирую-щей способности и валидности задания. Интерпретация значений параметров. Компьютерные программы оценивания параметров в рамках КТТ.
  • Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
    Представление результатов тестирования. Нормирование и шкалирование результа-тов тестирования. z-шкала и шкалы, полученные ее преобразованием. Шкала проценти-лей. Проверка параллельности вариантов. Методы выравнивания результатов в КТТ. Анализ диффиренцирующей способности заданий (DIF). Методы установления пороговых баллов.
  • Тема 5. Основные математические модели IRT. Модели Раша
    делей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Обоснование полезных свойств и преимуществ IRT по сравнению с классической теорией тестирования.Свойства и преимущества моделей Раша.
  • Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
    Недостатки и ограничения классический теории тестирования. Принципы измерения латентных переменных в рамках IRT и их применение для конкретных задач измерений в образовании и психологии. Преимущества IRT по сравнению с классической теорией тестирования. История развития IRT. Основные предположения IRT. Характеристическая кривая задания.
  • Тема 6. Методы оценивания параметров моделей
    Свойства оценок. Различные методы оценивания параметров. Метод максимального правдоподобия и его вариации. Оценивание мер испытуемых. Оценивание параметров заданий. Оценивание ошибки измерения. Сравнение различных методов оценивания параметров. Компьютерные программы оценивания параметров IRT моделей.
  • Тема 7. Оценивание адекватности эмпирических данных модели измерения.
    Проверка основных предположений IRT и свойств IRT моделей (одномерность, ло-кальная независимость). Исследование согласия экспериментальных данных тестирования с используемой моделью измерения. Статистики согласия, основанные на стандартизированных остатках (уклонениях). Свойства статистик согласия и их распределений. Анализ согласия по заданиям теста. Анализ согласия ответов испытуемых. Примеры анализа согласия эмпирических данных с моделью измерения. Причины неадекватности эмпирических данных используемой модели измерения. Эмпирические характеристические кривые заданий и их сравнение с теоретическими (модельными) характеристическими кривыми. Обоснование выбора модели измерения по результатам анализа адекватности эмпи-рических данных.
  • Тема 8. Общий анализ теста в рамках IRT
    Анализ теста, состоящего из дихотомических заданий. Общая схема анализа. Проверка выполнения основных предположений IRT: размерность, локальная независимость, согласие с моделью измерения, инвариантность оценок параметров. Точность измерений. Обоснование валидности конструкта. Исследование однородности выборок и проверка различных гипотез тестирования. Шкалирование результатов тестирования. Представление и интерпретация результатов тестирования. Представление результатов анализа.
  • Тема 9. Дихотомические модели IRT. Выбор модели
    Дихотомические модели IRT: однопараметрическая модель (дихотомическая модель Раша); двух- и трехпараметрические модели Бирнбаума. Свойства моделей и их парамет-ров. Области применения. Сравнение моделей и их свойств. Статистические критерии выбора модели измере-ния.
  • Тема10. Основные политомические модели IRT
    Политомические модели IRT: Partial Credit Model, Rating Scale Model, Generalized Partial Credit Model,Graded-Response Model. Свойства моделей. Параметры моделей и их интерпретация. Области применения различных моделей. Сравнение моделей и их свойств. Выбор модели измерения. Компьютерные программы, работающие с политомическими моделями IRT.
  • Тема 11. Измерения в психологии с использованием шкал Ликерта
    Особенности рейтинговых шкал. Rating Scale Model и ее свойства. Анализ данных в рамках RSM. Применение IRT моделирования для разработки психологических методик, построе-ния шкал, исследования их психометрических свойств – исследование размерности, функционирование категорий, оптимизация числа ответных категорий. Исследование стилей ответов респондентов.
  • Тема 12. Анализ измерительных свойств заданий в IRT.
    Характеристическая кривая задания (дихотомического и политомического) и ее свойства. Функционирование категорий задания, оцениваемого политомически. Оптимизация схемы оценивания политомических заданий различных форм. Примеры анализа по-литомических заданий. Информационная функция задания теста (дихотомического и политомического) и ее свойства. Информационная функция теста и ее свойства. Вклад различных заданий в из-мерение латентной черты. Связь информационной функции теста и ошибки измерения. Эффективность теста как измерительного инструмента. Сравнение эффективности двух тестов. Конструирование теста с наперед заданными свойствами при наличии банка заданий. Конструирование критериально-ориентированного теста с заданным проходным баллом.
  • Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
    Выравнивание результатов, полученных по отчасти различным наборам заданий и, возможно, в разное время. Условия выравнивания. Методы и процедуры выравнивания. Горизонтальное и вертикальное выравнивание. Измерение прогресса. Различное функционирование заданий по отношению к различным группам испытуемых Методы идентификации таких заданий(DIF анализ). Методы установления проходного балла. Методы установления пороговых оценок (benchmarks). Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
  • Тема 14. Общий анализ теста. Представление результатов
    Особенности анализа теста при наличии политомических заданий. Исследование размерности теста. Анализ функционирования заданий, оцениваемых политомически. Исследование совместного функционирования дихотомических и политомических заданий. Исследование совместного функционирования заданий различных форм. Представление резуьтатов анализа различным группам пользователей.
  • Тема 15. Измерение латентных переменных в социальных и экономических сферах.
    Математические модели и технология обработки информации применительно к за-дачам управления в социальных и экономических сферах. Методика измерения латентных переменных с помощью IRT моделирования. Математические модели для данных на номинальной шкале. Применение IRT моделирования для анализа данных многокритериального монито-ринга и построения единого интегрального показателя.
Элементы контроля

Элементы контроля

  • неблокирующий Домашние проекты
  • неблокирующий Контрольная
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.5 * Домашние проекты + 0.2 * Контрольная + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Introduction to classical and modern test theory, Crocker, L., 2008

Рекомендуемая дополнительная литература

  • Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
  • Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
  • George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
  • Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
  • Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
  • Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
  • Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
  • Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
  • Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
  • Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
  • Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009