Измерения в психологии и образовании

Аспирантура 2018/2019

Статус: Курс по выбору

Направление: 44.06.01. Образование и педагогические науки

Кто читает: Институт образования

Когда читается: 2-й курс, 1 семестр

Формат изучения: без онлайн-курса

Преподаватели: Тюменева Юлия Алексеевна

Язык: русский

Кредиты: 3

Контактные часы: 36

Полная версия программы учебной дисциплины

Аннотация

Дисциплина направлена на то, чтобы дать представление об основных принципах измерений в социальных науках. Акцент делается на использовании инструмента оценки как необходимо звена внутри всего исследовательского процесса, подчиняющегося замыслу и логике последнего. В рамках дисциплины рассматриваются вопросы выбора конструкта и операционального определения для измерения, связи шкалы измерения с возможностями обработки данных. Также рассматривается классическая теория тестирования и понятия валидности и надежности инструмента оценки. Отдельная тема посвящена условиям проведения тестирования и вопросам администрирования, подсчету баллов и интерпретации тестовых показателей. Освоение дисциплины позволит аспирантам осознанно выбирать инструменты оценки для своих исследований.

Цель освоения дисциплины

Обеспечить аспирантов прочным пониманием принципов измерения в социальных науках: роли выбора конструкта и операционального определения для измерения, связи шкалы измерения с возможностями обработки данных, основными положениями классической теории тестирования; необходимых требований к измерению в той или иной тестовой ситуации и в связи с предназначением инструмента измерения
Выработать представление об этапах и необходимых процедурах валидизации инструмента оценки
Сформировать умение видеть разработку или использование инструмента оценки как необходимо звена внутри всего исследовательского процесса, подчиняющегося замыслу и логике последнего

Планируемые результаты обучения

Знать методологические основания различных подходов к измерению в социальных науках
Уметь различать операциональное определение от теоретического конструкта и предлагать различные варианты операционализации
Иметь навыки (приобрести опыт) проводить психометрический анализ инструмента в рамках классической теории тестирования, используя пакеты программ SPSS, Iteman
Знать основные психометрические процедуры, необходимые для проведения и/или оценки проведенного измерения, конструирования инструментария измерения, а также для оценки научного статуса используемых методик и процедур
Уметь выделять психометрические требования для измерительных процедур в соответствии с задачами их применения
Иметь навыки делать интерпретации психометрического анализа и определять условия пригодности использования инструмента
Знать основные типы измерительных инструментов и процедур, цели и особенности их применения
Знать роль и место измерения и анализа данных в едином процессе взаимодействия с людьми, принимающими решения в той или иной области (образовании, социальной политике, управлении персоналом и пр.)
Уметь делать психометрический анализ инструмента в рамках классической теории тестирования, используя пакеты программ SPSS, Iteman
Знать этические нормы и правила, регулирующие исследовательскую и оценочную деятельность
Уметь видеть исследовательские шаги, необходимые для обоснования надежности и валидности инструмента измерения
Иметь навыки писать отчет и докладывать результаты исследований надежности и валидности измерительных инструментов
Знать основные положения классическая теория тестирования: истинный балл, тестовый балл, ошибка измерения
Уметь конструировать и анализировать тестовые задания
Анализировать связь валидности и надежности измерения
Уметь проводить комплексную оценку заданий
Иметь навыки работы с программой Iteman
Уметь проводить анализ заданий с помощью Iteman и интерпретации
Знать процедуры подсчета баллов при разных форматах теста
Уметь собирать данных для выравнивания
Уметь писать отчет и докладывать результаты исследований надежности и валидности измерительных инструментов
Знать роль и место измерений и анализа данных в едином процессе взаимодействия с людьми, принимающими решения в той или иной области (образовании, социальной политике, управлении персоналом и пр.)

Содержание учебной дисциплины

Тема 1 Проблема измерения в социальных науках.
Специфика исследований в психологии и социальных науках в отличие от иссле-дований в точных (естественных) науках. Теоретические конструкты и операциональные определения. Формулировка эмпи-рических вопросов: необходимость операционализации теоретических положений. Кри-терии хорошей операционализации. Последствия принятия конкретного операционального определения для последу-ющего измерения и обработки результатов. Концептуализация – необходимый шаг для обобщения и экспликации выводов ис-следования. Излишне широкая и излишне ограниченные концептуализации. Ограниче-ния и некорректность концептуализации. Роль теории в эмпирическом исследовании. Формальные и неформальные теории. Последствия теоретического анализа для последующего эмпирического исследования.
Тема 2. Базовые компоненты измерения – шкалы и язык статистического анализа.
Непрерывные и дискретные переменные. Понятие о шкале измерения. Виды шкал: номинальная, порядковая, интервальная, шкала отношений. Графики распределения. До-пустимые статистики в каждой шкале: описание среднегрупповых данных, возможность сравнения индивида с группой, измерение взаимосвязи в каждой шкале. Сравнительная характеристика шкал измерения. Язык описательной статистики. Описательная статистика: меры центральной тен-денции (мода, медиана, среднее арифметическое) и меры изменчивости (разброс, откло-нение, среднее отклонение, стандартное отклонение). Общее представление о корреляции и корреляционных процедурах. Вопросы, на которые может ответить корреляционное исследование. Оценка корреляции: графическая и математическая, коэффициент корреляции. Специфика оценки корреляционной связи в различных шкалах измерения. Толкование корреляции. Корреляционная связь и связь причинно-следственная. Коэффициент детерминации. Регрессионный анализ. Линия регрессии. Допущения, свя-занные с применением и толкование регрессии.
Тема 3. Статистики для измерения в социальных науках.
Частотное распределение. Нормальная кривая. Скошенные распределения. Нормальная кривая и вероятность. Выборка, ошибки выборки. Стандартная ошибка измерения. Доверительные интервалы. Z-показатели, линейные преобразования. Процентильные нормы. Нормализация и нелинейные преобразования.
Тема 4. Классическая теория тестирования
Основные положения классическая теория тестирования: истинный балл, тестовый балл, ошибка измерения. Определения интервалов для истинного балла. Конструирование и анализ тестовых заданий. Обзор тестовых заданий. Систематически и несистематические ошибки и их источники.
Тема 5. Надежность и валидность измерения.
Понятие о надежности – как одной из основных психометрических характеристик измерения. Интерпретация надежности измерения как надежности тестовых показателей. Модель истинных баллов. Индекс надежности и коэффициент надежности. Ошибка из-мерения – показатель точности измерения. Альтернативные определения истинного балла и ошибки измерения. Надежность как согласованность показателей. Виды надежности. Ретестовая надежность. Надежность расщепленных половин. Надежность, установленная методом эквивалентных форм. Внутренняя согласованность тестовых показателей. Надежность оценок наблюдателей или экспертов – как особый вид надежности, применяемый в ситуации слабоструктурированных инструментов измерения (проективные тесты, интервью, наблюдения, экспертная оценка и пр.). Коэффициенты надежности для критериально-ориентированных тестов. Понятие о валидности – как одной из основных психометрических характеристик измерения. Интерпретация валидности как целостной характеристики измерения. Аспекты валидности: очевидная, критериальная, конструктная, содержательная. Методы оценки различных аспектов валидности. Статистические процедуры для предсказания и классификации: частная корреляция, множественная регрессия, дискриминантный анализ. Bias в отборе. Базовые термины. Группы меньшинств. Психометрические определения bias. Процедуры справедливого отбора. Критика моделей. Факторный анализ. Факторы и факторные нагрузки. Ротация. Коррелирующие факторы. Число факторов. Уникальные вклады. Эксплоративный и конфирматорный факторный анализ. Связь валидности и надежности измерения.
Тема 6. Анализ заданий и теория «задание-ответ
Обзор тестовых заданий. Конструирование и анализ тестовых заданий. Трудность, дискриминативность заданий. Комплексная оценка заданий. Характеристическая кривая задания. Знакомство с программой Iteman. Анализ заданий с помощью Iteman и интерпретация.
Тема 7. Подсчет баллов и интерпретация тестовых показателей. Композит-ные баллы и интерпретация.
Процедуры подсчета баллов при разных форматах теста. Интерпретация тестовых показателей. Сырые, процентильные, стандартные показатели. Нормальное распределение и нормирование. Нормы. Выравнивание баллов для различных тестов. Определение выравнивания. Сбор данных для выравнивания. Выравнивание в IRT подходе. Вертикальное выравнивание. Что такое композитные баллы? Смысл их использования и примеры из международных сравнительных исследований. Специфика подсчета композитного балла. Взвешивание компонентов. Надежность.
Тема 8. Условия проведения тестирования. Администрирование и этика тестирования.
Источники систематических ошибок измерения. Условия проведение тестирования и диапазоны их изменчивости. Валидность тестовых баллов и условия тестирования. Разработка Руководства к инструменту оценки. Процедуры для администрации те-ста. Типы администрирования. Влияние условий, в которых проводится тестирование. Стандартизация. Специальные мероприятия по обеспечению тестирования в особых группах респондентов. Обеспечение мотивации тестируемых. Тестирование как социальные отношения. Компьютер как тестирующий. Мошенничества при тестировании. Обес-печение безопасности теста и результатов тестирования. Отчет. Этическиепроблемы связанные с отбором, процедурой, обработкой, интерпретацией, хранением информацией и отчетом.

Элементы контроля

Активность на лекциях и семинарах
Выполнение домашних заданий
Выполнение контрольных работ
Итоговый тест

Промежуточная аттестация

Промежуточная аттестация (I семестр)
0.2 * Выполнение домашних заданий + 0.3 * Выполнение контрольных работ + 0.5 * Итоговый тест

Программа дисциплины