• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Версия для слабовидящихЛичный кабинет сотрудника ВШЭПоиск
2019/2020

Экспертиза качества тестов, опросников и других инструментов оценивания

Статус: Маго-лего
Когда читается: 3, 4 модуль
Язык: русский
Кредиты: 3

Программа дисциплины

Аннотация

Предлагаемый курс призван повысить психометрическую компетентность у тех студентов магистратуры (в частности, будущих психологов, педагогов, специалистов отделов кадров, социологов, экономистов и исследователей из разных областей науки), кто предполагает работать с тестами, опросниками, методиками оценивания. Под «работой с тестами» понимается использование их в профессиональной деятельности или в исследовательских целях (например, при написании магистерской диссертации), создание или адаптация инструментов, анализ их функционирования и результатов, полученных с их помощью. От качества измерений зависит справедливость и точность принимаемых по итогам оценивания решений. В России сегодня наблюдается дефицит специалистов-психометриков. В обществе не хватает поддержки работы психометриков, недостает понимания важности использования качественных инструментов измерения.
Цель освоения дисциплины

Цель освоения дисциплины

  • Цель факультатива: научиться базовой методологии разработки тестов и экспертизе качества тестов, опросников и других инструментов измерения.
Результаты освоения дисциплины

Результаты освоения дисциплины

  • Умение применять стандарты тестирования для экспертизы качества тестов и опросников
  • Умение проводить базовый анализ теста в рамках классической теории тестирования
  • Умение проводить адаптацию опросников и тестов с учетом требований методологии
  • Умение выстроить работу с экспертами, задействованными в разработке и анализе тестов и опросников
  • Понимание специфики оценивания в разных областях деятельности: сильные и слабые стороны методов
Содержание учебной дисциплины

Содержание учебной дисциплины

  • История экспертизы качества тестов. Основные этапы развития психометрики в мире и в России. Обзор стандартов для измерений в социальных науках. Этапы разработки тестов и опросников.
  • Основы классической теории тестирования. Надежность и валидность.
    Понятия надежности и валидности, трудность и дискриминативность заданий. Базовые статистические концепции. Анализ.
  • Специфика оценивания в отдельных областях (психология, образование, оценка персоала, проведение научных исследований)
    Специфика оценивания в образовании. Национальные и межстрановые проекты. Связь между оценкой в образовании и образовательной политикой. Специфика оценивания в психологии. Специфика оценивания персонала. Стандарт оценивания персонала. Стандарт центра оценки.
  • Локализация и адаптация измерительных инструментов. Опросники и их особенности.
    Требования к адаптации и локализации тестов Построение дизайна адаптационных работ, отчетная документация. Нарушение требований адаптации и локализации в практике пользователей тестов. Разнообразие типов и форм опросников. Ответные шкалы. Методы предварительного оценивания опросника (рецензирование экспертами, фокус-группы, когнитивные лаборатории, апробации).
  • Роль экспертов в психометрике. Эксперты-разработчики. Эксперты-рейтеры. Роль экспертов при шкалировании результатов.
    Роль экспертов на разных этапах разработки инструмента: разработка инструмента, анализ функционирования заданий, интерпретация результатов. Эксперты-рейтеры (оценивании результатов), важность «межэкспертной надежности». Тренинг рейтеров. Требования к процедурам работы рейтеров. Разбор кейсов оценивания работы рейтеров при оценивании языковых компетенций.
Элементы контроля

Элементы контроля

  • неблокирующий Проект
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.6 * Проект + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • A. Evers, J. Muñiz, C. Hagemeister, A. Høstmælingen, P. Lindley, A. Sjöberg, & D. Bartram. (2013). Assessing the Quality of Tests: Revision of the EFPA Review Model. https://doi.org/10.7334/psicothema2013.97
  • Barrett, P. (2017). The EFPA Test-Review Model: When Good Intentions Meet a Methodological Thought Disorder. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.36A1C741
  • Evers, A., Muñiz, J., Hagemeister, C., Høtmælingen, A., Lindley, P., Sjöbergr, A., & Bartram, D. (2013). Assessing the quality of tests: revision of the EFPA review model. Psicothema, 25(3), 283–291. https://doi.org/10.7334/psicothema2013.97
  • Morera, O. F., & Stokes, S. M. (2016). Coefficient α as a Measure of Test Score Reliability: Review of 3 Popular Misconceptions. American Journal of Public Health, 106(3), 458. https://doi.org/10.2105/AJPH.2015.302993
  • Muñiz, J., & Fonseca-Pedrero, E. (2019). Ten steps for test development. Psicothema, 31(1), 7–16. https://doi.org/10.7334/psicothema2018.291

Рекомендуемая дополнительная литература

  • Abdullah Al Fraidan. (2019). New test-taking patterns and their effect on language test validity. Language Testing in Asia, (1), 1. https://doi.org/10.1186/s40468-019-0088-5
  • Bichi, A. A., & Talib, R. (2018). Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7(2), 142–151. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=EJ1183755
  • Helena Hollis, Marina Rachitskiy, & Leslie van der Leer. (2019). The development and face validity testing of the Open Test of Information Literacy with context-specific add-ons: OTIL. Liber Quarterly: The Journal of European Research Libraries, (1), 1. https://doi.org/10.18352/lq.10264