2019/2020
Экспертиза качества тестов, опросников и других инструментов оценивания
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Маго-лего
Кто читает:
Институт образования
Когда читается:
3, 4 модуль
Язык:
русский
Кредиты:
3
Контактные часы:
44
Программа дисциплины
Аннотация
Предлагаемый курс призван повысить психометрическую компетентность у тех студентов магистратуры (в частности, будущих психологов, педагогов, специалистов отделов кадров, социологов, экономистов и исследователей из разных областей науки), кто предполагает работать с тестами, опросниками, методиками оценивания. Под «работой с тестами» понимается использование их в профессиональной деятельности или в исследовательских целях (например, при написании магистерской диссертации), создание или адаптация инструментов, анализ их функционирования и результатов, полученных с их помощью. От качества измерений зависит справедливость и точность принимаемых по итогам оценивания решений. В России сегодня наблюдается дефицит специалистов-психометриков. В обществе не хватает поддержки работы психометриков, недостает понимания важности использования качественных инструментов измерения.
Цель освоения дисциплины
- Цель факультатива: научиться базовой методологии разработки тестов и экспертизе качества тестов, опросников и других инструментов измерения.
Планируемые результаты обучения
- Умение применять стандарты тестирования для экспертизы качества тестов и опросников
- Умение проводить базовый анализ теста в рамках классической теории тестирования
- Умение проводить адаптацию опросников и тестов с учетом требований методологии
- Умение выстроить работу с экспертами, задействованными в разработке и анализе тестов и опросников
- Понимание специфики оценивания в разных областях деятельности: сильные и слабые стороны методов
Содержание учебной дисциплины
- Стандарты для измерений в социальных науках. Этапы разработки тестов и опросников.Что такое конструкт. Как операционализируют конструкты. Теоретические рамки тестов и опросников. Создать свой с нуля или адаптировать существующий: плюсы и минусы подходов. Правила адаптации инструментов. Обзор стандартов оценивания.
- Психометрический анализ тестовых заданий в КТТ (классической теории тестирования).Базовые статистические концепции. Понятия надежности и валидности, трудность и дискриминативность заданий. Анализ дистракторов. Отчет по результатам анализа теста.
- Специфика оценивания в отдельных областях (психология, образование, оценка персоала, проведение научных исследований)Специфика оценивания в образовании. Национальные и межстрановые проекты. Связь между оценкой в образовании и образовательной политикой. Специфика оценивания в психологии. Специфика оценивания персонала. Стандарт оценивания персонала. Стандарт центра оценки.
- Локализация и адаптация измерительных инструментов. Опросники и их особенности.Требования к адаптации и локализации тестов Построение дизайна адаптационных работ, отчетная документация. Нарушение требований адаптации и локализации в практике пользователей тестов. Разнообразие типов и форм опросников. Ответные шкалы. Методы предварительного оценивания опросника (рецензирование экспертами, фокус-группы, когнитивные лаборатории, апробации).
- Роль экспертов в психометрике. Эксперты-разработчики. Эксперты-рейтеры. Роль экспертов при шкалировании результатов.Роль экспертов на разных этапах разработки инструмента: разработка инструмента, анализ функционирования заданий, интерпретация результатов. Эксперты-рейтеры (оценивании результатов), важность «межэкспертной надежности». Тренинг рейтеров. Требования к процедурам работы рейтеров. Разбор кейсов оценивания работы рейтеров при оценивании языковых компетенций.
Список литературы
Рекомендуемая основная литература
- A. Evers, J. Muñiz, C. Hagemeister, A. Høstmælingen, P. Lindley, A. Sjöberg, & D. Bartram. (2013). Assessing the Quality of Tests: Revision of the EFPA Review Model. https://doi.org/10.7334/psicothema2013.97
- Barrett, P. (2017). The EFPA Test-Review Model: When Good Intentions Meet a Methodological Thought Disorder. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.36A1C741
- Evers, A., Muñiz, J., Hagemeister, C., Høtmælingen, A., Lindley, P., Sjöbergr, A., & Bartram, D. (2013). Assessing the quality of tests: revision of the EFPA review model. Psicothema, 25(3), 283–291. https://doi.org/10.7334/psicothema2013.97
- Morera, O. F., & Stokes, S. M. (2016). Coefficient α as a Measure of Test Score Reliability: Review of 3 Popular Misconceptions. American Journal of Public Health, 106(3), 458. https://doi.org/10.2105/AJPH.2015.302993
- Muñiz, J., & Fonseca-Pedrero, E. (2019). Ten steps for test development. Psicothema, 31(1), 7–16. https://doi.org/10.7334/psicothema2018.291
Рекомендуемая дополнительная литература
- Abdullah Al Fraidan. (2019). New test-taking patterns and their effect on language test validity. Language Testing in Asia, (1), 1. https://doi.org/10.1186/s40468-019-0088-5
- Bichi, A. A., & Talib, R. (2018). Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7(2), 142–151. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=EJ1183755
- Helena Hollis, Marina Rachitskiy, & Leslie van der Leer. (2019). The development and face validity testing of the Open Test of Information Literacy with context-specific add-ons: OTIL. Liber Quarterly: The Journal of European Research Libraries, (1), 1. https://doi.org/10.18352/lq.10264