• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2021/2022

Психометрические теории и анализ тестовых заданий

Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс обязательный (Обучение и оценивание как наука)
Направление: 37.04.01. Психология
Когда читается: 1-й курс, 2-4 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для всех кампусов НИУ ВШЭ
Прогр. обучения: Обучение и оценивание как наука
Язык: английский
Кредиты: 9
Контактные часы: 90

Course Syllabus

Abstract

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Learning Objectives

Learning Objectives

  • Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
  • Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.
Expected Learning Outcomes

Expected Learning Outcomes

  • владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
  • владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
  • выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
  • знать основы классической теории тестирования
  • знать основы современной теории тестирования IRT
  • использовать в анализе основные модели IRT
  • исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
  • оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
  • оценивать соответствие модели данным
  • правильно применять политомические модели IRT
  • применять дихотомические модели IRT
  • применять методы оценивания параметров модели
  • проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
  • проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
Course Contents

Course Contents

  • Тема 1. Основы классической теории тестирования
  • Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
  • Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
  • Тема 5. Основные математические модели IRT. Модели Раша
  • Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
  • Тема 6. Методы оценивания параметров моделей
  • Тема 7. Оценивание адекватности эмпирических данных модели измерения.
  • Тема 8. Общий анализ теста в рамках IRT
  • Тема 9. Дихотомические модели IRT. Выбор модели
  • Тема10. Основные политомические модели IRT
  • Тема 11. Измерения в психологии с использованием шкал Ликерта
  • Тема 12. Анализ измерительных свойств заданий в IRT.
  • Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
  • Тема 14. Общий анализ теста. Представление результатов
  • Тема 15. Измерение латентных переменных в социальных и экономических сферах.
Assessment Elements

Assessment Elements

  • non-blocking Домашние проекты
  • non-blocking Контрольная
  • non-blocking Экзамен
Interim Assessment

Interim Assessment

  • 2021/2022 4th module
    0.3 * Экзамен + 0.2 * Контрольная + 0.5 * Домашние проекты
Bibliography

Bibliography

Recommended Core Bibliography

  • Introduction to classical and modern test theory, Crocker, L., 2008

Recommended Additional Bibliography

  • Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
  • Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
  • George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
  • Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
  • Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
  • Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
  • Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
  • Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
  • Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
  • Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
  • Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009