• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2021/2022

Психометрические теории и анализ тестовых заданий

Статус: Курс обязательный (Измерения в психологии и образовании)
Направление: 37.04.01. Психология
Когда читается: 2-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для своего кампуса
Прогр. обучения: Измерения в психологии и образовании
Язык: русский
Кредиты: 3

Программа дисциплины

Аннотация

Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Цель освоения дисциплины

Цель освоения дисциплины

  • Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
Планируемые результаты обучения

Планируемые результаты обучения

  • В результате освоения темы студент должен знать продвинутые модели современной теории тестирования
  • В результате освоения темы студент должен уметь выбирать наиболее подходящие психометрические модели под поставленные задачи
  • В результате освоения темы студент должен уметь ориентироваться в потоке научной информации для поиска нужных математических моделей и методов анализа для решения психометрических проблем
  • В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R
  • В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в социальных науках
  • В результате освоения темы студент должен уметь проводить анализ сложных измерений
  • В результате освоения темы студент должен уметь оценивать качество сложных измерений с точки зрения различных подходов к измерениям
  • В результате освоения темы студент должен знать основы компьютерного тестирования
  • В результате освоения темы студент должен знать IRT-модели, направленные на классификацию респондентов и заданий
  • В результате освоения темы студент должен знать способы моделирования изменений латентных конструктов во времени
  • В результате освоения темы студент должен знать современные психометрические парадигмы
  • В результате освоения темы студент должен владеть практическими навыками использования нестандартных методов для анализа конкретных инструментов оценивания в социальных науках
  • В результате освоения темы студент должен знать основы байесовской статистики и психометрики
  • В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения R и WinBUGS
  • В результате освоения темы студент должен обладать навыками разработки новых психометрических моделей, учитывающих контекст ситуации измерения
  • В результате освоения темы студент должен знать способы анализа сопоставимости заданий
  • В результате освоения темы студент должен знать способы преодоления несопоставимости задний
  • В результате освоения темы студент должен владеть практическими навыками анализа результатов сложных измерений с применением программного обеспечения
  • В результате освоения темы студент должен знать различные способы установления пороговых баллов
  • В результате освоения темы студент должен уметь выбирать наиболее подходящие психометрические методы под поставленные задачи
  • В результате освоения темы студент должен знать основные виды искажений результатов тестирования
  • В результате освоения темы студент должен знать основные методы выявления искажений результатов тестирования
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Методы установления пороговых баллов
  • Искажения результатов в тестированиях и методы их выявления
  • IRT как частный случай GLMM (HGLM)
    случайные эффекты и фиксированные эффекты. Формулирование IRT-моделей как частного случая GLMM: вложенные элементы и элементы фасетов, методы оценки параметров, дизайн-матрица, достаточная статистика в GLMM. Обобщения IRT-моделей на многомерные случаи через парадигму GLMM: between-item многомерность. Экспланаторные модели IRT: модель латентной регрессии и Latent Linear Test model (LLTM). Многоуровневые IRT модели. Модели с пересеченными случайными эффектами и Random Item модели IRT: LLTM+e. Экспланаторные 2PL модели. Использование пакетов lme4 и TAM среды R для расчета IRT-моделей.
  • Сетевая психометрика
    Основные концепты современной сетевой психометрики. Новые подходы к валидности и предсказанию наблюдаемого поведения. Модели графов. Модель Изинга и Раш-модель – их сходства и различия. Гауссовская графовая модель и факторный анализ. Экспланаторные сетевые модели. Пакетs psychonetrics и qgraph среды R для расчета и визуализации сетевых психометрических моделей.
  • Введение в адаптивное компьютерное тестирование
    Введение в компьютерное тестирование (КТ). Модели КТ: Линейное тестирование, Случайный выбор заданий, LOFT, Многоступенчатое тестирование, Компьютерное адаптивное тестирование. КАТ: структура, механизмы, практические проблемы. Правила ядра КАТ: начало, следующий вопрос, начисление баллов, остановка. Симуляционные исследования. Использование симуляций для определения пара-метров КАТ: варьирование правил КАТ для выбора оптимальных правил. Дизайн симуляционного исследования. Анализ результатов симуляций. Пакет catR для проведения симуляций.
  • Многомерные модели современной теории тестирования, сходства и различия CFA и IRT, политомические модели IRT
    Разные подходы к моделированию многомерности данных. Between & within-item многомерность. Within-item многмоерность: Компенсаторные и некомпенсаторные многомерные модели IRT. Моделирование бифакторных структур: тестлет-модели и моделирование локальной зависимости заданий. Модели с факторами второго порядка. Политомические модели с сопредельной и кумулятивной функцией связи. Сходство и различие CFA и IRT. Использование пакетов TAM, lavaan и lme4 среды R для расчета многомерных IRT-моделей.
  • Дифференцированное функционирование заданий
    Дифференцированное функционирование заданий и измерительная инвариантность. DIF и MI в 1PL и 2PL моделях - тест отношения правдоподобий. Относительность DIF. Другие методы выявления DIF: метод Мантеля-Хенцеля и логистической регрессии. Методы преодоления DIF: игнорирование, удаление, расщепление и моделирование. Дифференцированное функционирование дистракторов. Дифференцированное функционирование категорий. Дифференцированное функционирование теста.
  • Категориальные и порядковые латентные переменные: модели латентной смеси распределений, когнитивные диагностические модели и анализ латентных классов
    Альтернативный подход к латентным переменным: категориальные латентные переменные. Введение в анализ латентных классов и анализ латентных профилей. Структурированный анализ латентных классов в психометрических данных: введение в модели когнитивной диагностики. Совмещение интервальных и категориальных латентных переменных: Модели латентной смеси распределений. Использование пакетов psychomix и poLCA и CDM.
  • Вертикальное выравнивание. Измерение прогресса. Модели роста
    Вертикальное вырывание. Связывание шкал. Принципы и проблемы выравнивания. Подходы к моделированию роста. Рост как количественное и качественное изменение. Модели количественного изменения: модели латентного роста из факторного анализа, модель Андерсена, симплексная модель (модель Embertson, модель Jöreskog), экспланаторные IRT-модели роста (линейная и полиномиальная). Модели качественного изменения: Latent Transition Analysis. Совместное моделирование количественного и качественного изменения: Latent Mixture Growth models. Saltus model. Использование различных пакетов R для решения задачи моделирования роста.
  • Байесовский подход в психометрике
    Байесовская вероятность и статистика. Байесовский поход в теории IRT. Моделирование сложных конструктов с помощью байесовских сетей. Оценивание параметров методами EM и МСМС. Критерии для оценки и сравнения моделей в байесовском подходе. Использование WinBUGS.
Элементы контроля

Элементы контроля

  • неблокирующий Оценка за первый год обучения
  • неблокирующий Экзамен
  • неблокирующий Текущий контроль
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (2 модуль)
    0.5 * Оценка за первый год обучения + 0.3 * Текущий контроль + 0.2 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • A gentle introduction to Bayesian analysis: Applications to developmental research. (2014). Child Development, 85, 842–860. https://doi.org/10.1111/cdev.12169
  • A. F. M. Smith, & A. E. Gelfand. (1992). Bayesian Statistics without tears: A sampling-resampling perspective.
  • Akihito Kamata. (2002). Procedure to Perform Item Response Analysis by Hierarchical Generalized Linear Model.
  • Andrew Gelman, Xiao-li Meng, & Hal Stern. (1996). Posterior Predictive Assessment of Model Fitness Via Realized Discrepancies.
  • Becker, K. A., Bergstrom, B. A., Practical Assessment, & Research. (2019). Test Administration Models. Practical Assessment, Research, and Evaluation.
  • Brunner, M., Nagy, G., & Wilhelm, O. (2012). A Tutorial on Hierarchically Structured Constructs. Journal of Personality, 80(4), 796–846. https://doi.org/10.1111/j.1467-6494.2011.00749.x
  • Conor V. Dolan, Raoul P. P. P. Grasman, Jelte M. Wicherts, Hilde M. Huizenga, & Maartje E. J. Raijmakers. (2006). A dynamical model of general intelligence: the positive manifold of intelligence by mutualism. Psychological Review.
  • David Magis, & Gilles Raîche. (2012). Random Generation of Response Patterns under Computerized Adaptive Testing with the R Package catR. Journal of Statistical Software, 48(8).
  • David Magis, & Juan Ramon Barrada. (2017). Computerized Adaptive Testing with R: Recent Updates of the Package catR. Journal of Statistical Software, 76(1), 1–19. https://doi.org/10.18637/jss.v076.c01
  • De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F., & Partchev, I. (2011). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R. Journal of Statistical Software, i12.
  • De Champlain, A. F. (1999). An Overview of Nonlinear Factor Analysis and Its Relationship to Item Response Theory. Statistical Report. LSAC Research Report Series.
  • Gelman, A., & Shalizi, C. R. (2010). Philosophy and the practice of Bayesian statistics. https://doi.org/10.1111/j.2044-8317.2011.02037.x
  • George, A. C., & Robitzsch, A. (2015). Cognitive Diagnosis Models in R: A didactic. Tutorials in Quantitative Methods for Psychology, 11(3), 189–205. https://doi.org/10.20982/tqmp.11.3.p189
  • Hannah Frick, Carolin Strobl, Fredrich Leisch, & Achim Zeileis. (2012). Flexible Rasch Mixture Models with Package psychomix. Journal of Statistical Software, 48(7).
  • Isabel Maia, Milton Severo, & Ana Cristina Santos. (2020). Application of the mixture item response theory model to the Self-Administered Food Security Survey Module for Children. PLoS ONE, 15(1), e0228099. https://doi.org/10.1371/journal.pone.0228099
  • Justyna Brzezińska. (2018). Latent Class Analysis in the Evaluation of Items in Survey Research. Econometrics. Advances in Applied Data Analysis, 22(3), 55–65. https://doi.org/10.15611/eada.2018.3.04
  • Marsman, M., Borsboom, D., Kruis, J., Epskamp, S., van Bork, R., Waldorp, L. J., Maas, H. L. J. van der, & Maris, G. (2017). An Introduction to Network Psychometrics: Relating Ising Network Models to Item Response Theory Models. Multivariate Behavioral Research ; Volume 53, Issue 1, Page 15-35 ; ISSN 0027-3171 1532-7906. https://doi.org/10.1080/00273171.2017.1379379
  • McGuire, L. W. (2010). Practical Formulations of the Latent Growth Item Response Model.
  • Paul De Boeck, Marjan Bakker, Robert Zwitser, Michel Nivard, Abe Hofman, Francis Tuerlinckx, & Ivailo Partchev. (2011). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R. Journal of Statistical Software, 39(12).
  • Paul W. Holland, & Howard Wainer. (2009). Differential Item Functioning. Routledge.
  • R. Philip Chalmers. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6).
  • Roy Levy, & Robert J. Mislevy. (2016). Bayesian Psychometric Modeling. Chapman and Hall/CRC.
  • Stephen P. Brooks, & Gareth O. Roberts. (1997). Assessing Convergence of Markov Chain Monte Carlo Algorithms.
  • Terry E. Duncan, Susan C. Duncan, & Lisa A. Strycker. (2006). An Introduction to Latent Variable Growth Curve Modeling : Concepts, Issues, and Application, Second Edition. Routledge.
  • Thompson, N. A., Weiss, D. A., Practical Assessment, & Research. (2019). A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research, and Evaluation.
  • Tutz, G. (2020). A Taxonomy of Polytomous Item Response Models.
  • Vandemeulebroecke, M., Bornkamp, B., Krahnke, T., Mielke, J., Monsch, A., & Quarg, P. (2017). A Longitudinal Item Response Theory Model to Characterize Cognition Over Time in Elderly Subjects. https://doi.org/10.1002/psp4.12219
  • Wanichtanom, R. (2001). Methods of Detecting Differential Item Functioning: A Comparison of Item Response Theory and Confirmatory Factor Analysis. Psychology Theses & Dissertations.
  • Wim Van den Noortgate, Paul De Boeck, & Michel Meulders. (2003). Cross-Classification Multilevel Logistic Models in Psychometrics. Journal of Educational and Behavioral Statistics, 4, 369.
  • Yanping Duan, Borui Shang, Wei Liang, Min Yang, & Walter Brehm. (2020). Psychosocial profiles of physical activity fluctuation in office employees: A latent profile analysis. PLoS ONE, 15(1), e0227182. https://doi.org/10.1371/journal.pone.0227182

Рекомендуемая дополнительная литература

  • A.M. Hol. (2006). A cat with personality and attitude : computerized adaptive testing of personality and attitude attributes with polytomous items.
  • Ackerman, T. A. (1994). Using Multidimensional Item Response Theory to Understand What Items and Tests Are Measuring. Applied Measurement in Education, 7(4), 255. https://doi.org/10.1207/s15324818ame0704_1
  • Burgos, J. G. (2010). Bayesian Methods in Psychological Research: The case of IRT. International Journal of Psychological Research, 3(1), 164–176.
  • Bürkner, P.-C. (2019). Bayesian Item Response Modeling in R with brms and Stan.
  • David Magis, Duanli Yan, & Alina A. von Davier. (2017). Computerized Adaptive and Multistage Testing with R : Using Packages CatR and MstR. Springer.
  • Epskamp, S., Maris, G. K. J., Waldorp, L. J., & Borsboom, D. (2016). Network Psychometrics.
  • Explanatory item response models: a generalized linear and nonlinear approach. (2005). Journal of Educational Measurement, 42(3), 303–307. https://doi.org/10.1111/j.1745-3984.2005.00016.x
  • Frank Rijmen, Paul De Boeck, & K. U. Leuven. (2002). The random weights linear logistic test model.
  • Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2014). Bayesian Data Analysis (Vol. Third edition). Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1763244
  • Halil Ibrahim SARI, Hasibe YAHSI SARI, & Anne Corinne HUGGINS MANLEY. (2016). Computer Adaptive Multistage Testing: Practical Issues, Challenges and Principles. Journal of Measurement and Evaluation in Education and Psychology, 7(2), 388–406. https://doi.org/10.21031/epod.280183
  • Han Bao, & Robert J. Mislevy. (n.d.). LOCAL DEPENDENCE - 1- Running head: ASSESSING LOCAL DEPENDENCE IN BUILDING EXPLANATION TASKS Assessing Local Item Dependence in Building Explanation Tasks An Application of the Multidimensional Random Coefficients Multinomial Logit Item Bundle Model. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5E21519B
  • Jorge González, & Marie Wiberg. (2017). Applying Test Equating Methods : Using R (Vol. 1ST ed. 2017). Springer.
  • Keith A. Markus, & Denny Borsboom. (2013). Frontiers of Test Validity Theory : Measurement, Causation, and Meaning. Routledge.
  • Kruschke, J. K. . V. (DE-588)143634666, (DE-627)662785142, (DE-576)346169313, aut. (2015). Doing Bayesian data analysis a tutorial with R, JAGS, and Stan John K. Kruschke, Dept. of Psychological and Brain Sciences, Indiana University, Bloomington.
  • Lanza, S. T. (2016). Latent Class Analysis for Developmental Research. https://doi.org/10.1111/cdep.12163
  • Lanza, S. T., & Cooper, B. R. (2016). Latent Class Analysis for Developmental Research. Child Development Perspectives, 10(1), 59–64. https://doi.org/10.1111/cdep.12163
  • Levy, R. (2016). Advances in Bayesian Modeling in Educational Research. Educational Psychologist, 51(3/4), 368–380. https://doi.org/10.1080/00461520.2016.1207540
  • Li, H. (2016). Estimation of Q-matrix for DINA Model Using the Constrained Generalized DINA Framework. https://doi.org/10.7916/D88W3DB2
  • Linda M. Collins, & Stephanie T. Lanza. (2010). Latent Class and Latent Transition Analysis : With Applications in the Social, Behavioral, and Health Sciences. Wiley.
  • McElreath, R. (2016). Statistical Rethinking : A Bayesian Course with Examples in R and Stan. Boca Raton: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1338291
  • Paek, I., & Cho, S.-J. (2014). A Note on Parameter Estimate Comparability: Across Latent Classes in Mixture IRT Modeling. https://doi.org/10.1177/0146621614549651
  • Purwo Susongko, Mobinta Kusuma, & Heru Widiatmo. (2019). Using Rasch Model to Detect Differential Person Functioning and Cheating Behavior in Natural Sciences Learning Achievement Test. Jurnal Penelitian Dan Pembelajaran IPA, 5(2), 94–111. https://doi.org/10.30870/jppi.v5i2.5945
  • Purya Baghaei, & Klaus D. Kubinger. (2014). Linear Logistic Test Modeling with R.
  • Raymond J. Adams, Mark Wilson, & Margaret Wu. (1997). Multilevel Item Response Models: An Approach to Errors in Variables Regression. Journal of Educational and Behavioral Statistics, 1, 47.
  • Reckase, M. (2009). Multidimensional Item Response Theory. Dordrecht: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=287869
  • Roy Levy. (2009). The Rise of Markov Chain Monte Carlo Estimation for Psychometric Modeling. Journal of Probability and Statistics, 2009. https://doi.org/10.1155/2009/537139
  • SORGENTE, A., LANZ, M., SERIDO, J., TAGLIABUE, S., & SHIM, S. (2019). Latent Transition Analysis: Guidelines and an Application to Emerging Adults’ Social Development. TPM: Testing, Psychometrics, Methodology in Applied Psychology, 26(1), 39–72. https://doi.org/10.4473/TPM26.1.3
  • Tijmstra, J., Bolsinova, M., & Jeon, M. (2018). General mixture item response models with different item response structures: Exposition with an application to Likert scales. https://doi.org/10.3758/s13428-017-0997-0
  • Vermunt, J. K. (2010). Latent Class Modeling with Covariates: Two Improved Three-Step Approaches. https://doi.org/10.1093/pan/mpq025
  • Wenchao Ma, & Jimmy de la Torre. (2020). GDINA: An R Package for Cognitive Diagnosis Modeling. Journal of Statistical Software, 93(1), 1–26. https://doi.org/10.18637/jss.v093.i14
  • Xiuyun Wu, Richard Sawatzky, Wilma Hopman, Nancy Mayo, Tolulope T. Sajobi, Juxin Liu, Jerilynn Prior, Alexandra Papaioannou, Robert G. Josse, Tanveer Towheed, K. Shawn Davison, & Lisa M. Lix. (2017). Latent variable mixture models to test for differential item functioning: a population-based analysis. Health and Quality of Life Outcomes, 15(1), 1–13. https://doi.org/10.1186/s12955-017-0674-0