Аспирантура 2021/2022

Разработка инструментов измерения

Статус: Курс по выбору

Направление: 44.06.01. Образование и педагогические науки

Кто читает: Институт образования

Когда читается: 1-й курс, 1 семестр

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Авдеева Светлана Михайловна, Брун Ирина Викторовна, Канонир Татьяна, Карданова Елена Юрьевна, Осин Евгений Николаевич, Тюменева Юлия Алексеевна

Язык: русский

Кредиты: 4

Контактные часы: 56

Программа дисциплины

Аннотация

Дисциплина «Разработка инструментов измерения» направлена на формирование концептуального понимания классического и современного подходов к валидности инструментария, а также понимания ключевых этапов и принципов разработки измерительных инструментов. В результате освоения дисциплины аспиранты познакомятся с историей развития области измерений и связанными концепциями, например, с развитием понятия валидности; познакомятся с принципами разработки измерительных инструментов. Дисциплина также затрагивает темы использования соответствующей статистики тестовых заданий для выявления плохо функционирующих заданий; проверки надежности тестового балла, ошибки измерения и одномерности с использованием классических психометрических методов; возможности корректировки инструмента с целью максимально повысить одномерность и надежность и минимизировать ошибку измерения. В рамках этой дисциплины аспиранты познакомятся с моделью Раша, 1-, 2- и 3-параметрической IRT-моделью для моделирования дихотомических ответных данных. Для успешного освоения данной дисциплины требуется понимание принципов научного дизайна исследований, а также знание основных статистических понятий.

Цель освоения дисциплины

• Целью освоения дисциплины является изучение фундаментальных основ разработки инструментов измерения. В частности, аспиранты познакомятся с историей развития области измерений и связанных с ней концепций. Дисциплина направлена на формирование концептуального понимания классического и современного подходов к валидности инструментария, а также понимания ключевых этапов и принципов разработки измерительных инструментов

Планируемые результаты обучения

• Может аргументировано обосновать валидность инструмента. Способен проанализировать и аргументировано представить разные подходы к оцениванию валидности.
• Может разработать утверждения/задания для инструмента измерения или адаптировать уже существующий инструмент.
• Может спланировать и провести когнитивную лабораторию для разрабатываемого/адаптируемого инструмента.
• Может сравнить классическую теорию тестирования и современные методы.
• Различает различные виды оценивания и их цели. Различает разные шкалы.
• Способен применить классическую теорию тестирования при разработке/адаптации инструмента.
• Способен применить современные методы для анализа качества инструмента.

Содержание учебной дисциплины

• Введение в теорию измерений
• Развитие представлений о валидности
• Разработка и моделирование тестовых заданий с выбором ответа
• Классическая теория тестирования
• Введение в современные методы

Элементы контроля

• Участие в дисскусиях на семинарах
• Групповой проект
• Презентация результатов группового проекта

Промежуточная аттестация

• 2021/2022 учебный год I семестр
  0.2 * Участие в дисскусиях на семинарах + 0.3 * Презентация результатов группового проекта + 0.5 * Групповой проект

Список литературы

Рекомендуемая основная литература

• Cheung, F. M., Van de Vijver, A. J. R. (Fons), & Leong, F. T. L. (2011). Toward a new approach to the study of personality in culture. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.98AEBDE4
• Cronbach, L. J., & California Univ., L. A. C. for the S. of E. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. CSE Report 643. Center for Research on Evaluation Standards and Student Testing CRESST. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED483410
• Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399–412. https://doi.org/10.1111/bjop.12046

Рекомендуемая дополнительная литература

• Allalouf, A., Rapp, J., & Stoller, R. (2009). Which Item Types are Better Suited to the Linking of Verbal Adapted Tests? International Journal of Testing, 9(2), 92–107. https://doi.org/10.1080/15305050902880686
• Behrens, J. T., Mislevy, R. J., Bauer, M., Williamson, D. M., & Levy, R. (2004). Introduction to Evidence Centered Design and Lessons Learned From Its Application in a Global E-Learning Program. International Journal of Testing, 4(4), 295–301. https://doi.org/10.1207/s15327574ijt0404_1
• Gierl, M. J., Lai, H., Pugh, D., Touchie, C., Boulais, A.-P., & De Champlain, A. (2016). Evaluating the Psychometric Characteristics of Generated Multiple-Choice Test Items. Applied Measurement in Education, 29(3), 196–210. https://doi.org/10.1080/08957347.2016.1171768
• Kim, Y. J., Almond, R. G., & Shute, V. J. (2016). Applying Evidence-Centered Design for the Development of Game-Based Assessments in Physics Playground. International Journal of Testing, 16(2), 142–163. https://doi.org/10.1080/15305058.2015.1108322
• Ludlow, L. H., Matz-Costa, C., Johnson, C., Brown, M., Besen, E., & James, J. B. (2014). Measuring Engagement in Later Life Activities: Rasch-Based Scenario Scales for Work, Caregiving, Informal Helping, and Volunteering. Measurement & Evaluation in Counseling & Development, 47(2), 127–149. https://doi.org/10.1177/0748175614522273
• Reckase, M. (2009). Multidimensional Item Response Theory. Dordrecht: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=287869
• Turilova-Miščenko, T., & Raščevska, M. (2011). Scientific Concepts Test in Latvian and Russian language: Evidence for reliability and validity. Baltic Journal of Psychology, 12(1), 73–83. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=asn&AN=71875931
• Using multivariate statistics, Tabachnick, B. G., 2007
• Теория и практика конструирования педагогических тестов : учеб. пособие, Челышкова, М. Б., 2002