Эффект оценщика: почему результаты программы развития навыков молодежи с ментальными нарушениями оказались отрицательными?

Иван Смекалин и Данила Иванов рассказали об эффекте оценщика в социальных программах на семинаре МЛ ИСИ 22 апреля

Photo by Unseen Studio on Unsplash

22 апреля в Международной лаборатории социальной интеграции прошел семинар «Эффект оценщика: почему результаты программы развития навыков молодежи с ментальными нарушениями оказались отрицательными?». Сотрудник МЛ ИСИ Данила Иванов и исследователь социального воздействия НКО Иван Смекалин на примере программы развития трудовых навыков молодых людей с ментальными нарушениями разобрали эффект оценщика – явление дефляции оценок с течением времени.

Данные записей об оценках развития навыков участников программы (название программы и название фонда организатора намеренно анонимизированы) за 2023 год показывают, что успешность участников программы к последнему занятию становится ниже, чем на первом. При этом, снижение статистически значимо как по суммарной оценке, так и по ряду отдельных навыков. В качестве допущения авторы отталкиваются от идеи о том, что программа не может снижать уровень развития навыков своих участников (т.е. контр-интуитивно считать, что уровень владения навыком может быть выше в начале обучения, чем в конце). Более того, подкреплением данной идеи служил тот факт, что оценивание происходило по абсолютной шкале. Следовательно, речь идёт о смещении в оценке. В частности, после детального анализа ряда источников смещений, авторы актуализировали эффект оценщика.

Эффект оценщика состоит в том, что после продолжительного опыта общения с участником, наставник начинает оценивать не навыки сами по себе, а степень их прироста относительно прошлых периодов: вместо использования шкалы как абсолютной, она начинает использоваться как относительная. Так, средние оценки в разрезе количества посещений программы показывают, что на протяжении первых двадцати рабочий смен у большинства участников наблюдается рост оценок, близкий к линейному. Однако, после периода роста начинается период разочарования, когда оценки начинают снижаться – предполагается, что разочарование и утомление является следствием того, что от процесса научения наставники ожидают линейного стабильного роста, тогда как на практике прирост компетенций по навыкам имеет тенденцию сильно замедляться после n-ного случая. Это явление можно объяснить через смещение со стороны оценщика. 

В ходе дискуссии ведущий научный сотрудник МЛ ИСИ Дарья Присяжнюк указала на возможность триангуляции оценок с помощью вовлечения самих участников программы и их семей в процесс оценки, а также использования не только количественных методов, но и качественных. Дальнейшее обсуждение с профессионалами из сферы социальной поддержки людей с ментальными нарушениями, включая представителей фонда «Даунсайд Ап», затронуло различные проявления эффекта оценщика и понимание социального воздействия программы за рамками развития навыков.

Видеозапись семинара доступна по ссылке