• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site
Master 2021/2022

Psychometric Theories and Analysis of Test Items

Category 'Best Course for Career Development'
Category 'Best Course for Broadening Horizons and Diversity of Knowledge and Skills'
Category 'Best Course for New Knowledge and Skills'
Type: Compulsory course (Science of Learning and Assessment)
Area of studies: Psychology
When: 1 year, 2-4 module
Mode of studies: offline
Open to: students of all HSE University campuses
Instructors: Dmitry Abbakumov, Inna Antipkina, Alina Ivanova, Elena Kardanova
Master’s programme: Science of Learning and Assessment
Language: English
ECTS credits: 9
Contact hours: 90

Course Syllabus

Abstract

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Learning Objectives

Learning Objectives

  • Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
  • Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.
Expected Learning Outcomes

Expected Learning Outcomes

  • владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
  • владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
  • выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
  • знать основы классической теории тестирования
  • знать основы современной теории тестирования IRT
  • использовать в анализе основные модели IRT
  • исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
  • оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
  • оценивать соответствие модели данным
  • правильно применять политомические модели IRT
  • применять дихотомические модели IRT
  • применять методы оценивания параметров модели
  • проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
  • проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
Course Contents

Course Contents

  • Тема 1. Основы классической теории тестирования
  • Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
  • Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
  • Тема 5. Основные математические модели IRT. Модели Раша
  • Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
  • Тема 6. Методы оценивания параметров моделей
  • Тема 7. Оценивание адекватности эмпирических данных модели измерения.
  • Тема 8. Общий анализ теста в рамках IRT
  • Тема 9. Дихотомические модели IRT. Выбор модели
  • Тема10. Основные политомические модели IRT
  • Тема 11. Измерения в психологии с использованием шкал Ликерта
  • Тема 12. Анализ измерительных свойств заданий в IRT.
  • Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
  • Тема 14. Общий анализ теста. Представление результатов
  • Тема 15. Измерение латентных переменных в социальных и экономических сферах.
Assessment Elements

Assessment Elements

  • non-blocking Домашние проекты
  • non-blocking Контрольная
  • non-blocking Экзамен
Interim Assessment

Interim Assessment

  • 2021/2022 4th module
    0.3 * Экзамен + 0.2 * Контрольная + 0.5 * Домашние проекты
Bibliography

Bibliography

Recommended Core Bibliography

  • Introduction to classical and modern test theory, Crocker, L., 2008

Recommended Additional Bibliography

  • Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
  • Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
  • George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
  • Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
  • Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
  • Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
  • Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
  • Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
  • Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
  • Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
  • Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009