Методология СОП и интерпретация результатов
Общие рекомендации
Как РАБОТАТЬ С ОБРАТНОЙ СВЯЗЬЮ СТУДЕНТОВ
1. Не стесняйтесь радоваться успехам. Студенты комментируют не только недостатки, но и достоинства преподавателя и дисциплины. И комментарии об успешных практиках преподавания, оперативной обратной связи и доступной подаче материала помогут понять, что вы движетесь в правильном направлении.
2. Учитывайте массовость, распространённость мнений. Если в развёрнутых комментариях студенты пишут многократко об одном и том же в разных выражениях, то, вероятно, мнение действительно разделяется большим количеством учащихся. К однократным замечаниям же можно отнестись просто как к личному мнению, что, однако, автоматически не умаляет их значимости, если там присутствует аргументация.
Работа с оценками по дисциплинам
Дисциплины с промежуточной аттестацией
Числовые оценки (от 1 = «полностью не согласен» до 5 = «полностью согласен» + «Затрудняюсь ответить»):
- Мне интересно изучать данный учебный курс
- Содержание этого курса показалось мне новым, не пересекающимся с изученным мной ранее
- Я понимаю, для чего изучаю данный учебный курс и как он мне может пригодиться в будущем
- Мне сложно изучать данный учебный курс
Текстовые комментарии (развёрнутые ответы):
- Что показалось вам полезным в содержании и организации данного курса (эффективные подходы, интересные темы, формы контроля, значимость для определенных практических задач и т.д.)
- Что бы вы предложили изменить в содержании и организации данного курса (чего не хватило, что показалось лишним или неэффективным и т.д.)
Как интерпретировать оценки по дисциплинам
1. Следует очень четко разделять оценки по дисциплинам и преподавательские оценки. Если преподавательские оценки позволяют оценить свое педагогическое мастерство в целом, то оценки по дисциплинам помогают оценить каждый из аспектов ее содержания и организации. Даже при удачных преподавательских оценках некоторые элементы организации дисциплины — например, набор элементов контроля и темы курса — могут вызвать трудности у студентов, и тогда надо поработать над содержанием курса. Справедливо и обратное — даже удачные темы и элементы контроля по дисциплине могут не привести к желаемым результатам из-за проблем с подачей материала или непрозрачной системой оценивания. Поэтому смотрите на эти два вида оценок отдельно — они помогут вам понять, где нужно работать над программой дисциплины, а где — над вашими собственными педагогическими техниками.
2. Рассматривайте каждый критерий оценки дисциплин отдельно. Если преподавательские оценки часто сводятся к одному среднему значению, то числовые результаты СОП по дисциплинам практически всегда выводятся каждый отдельно. Это помогает точечно выделять точки роста для работы над дисциплиной — возможно, где-то стоит поработать над созданием практических элементов контроля для повышения практической полезности курса, а где-то — только над тематическим планом, чтобы дисциплина выгодно отличалась от всего, что студенты ранее проходили на образовательной программе.
3. Не воспринимайте высокую сложность как идеал, к которому нужно стремиться. Если все остальные критерии оценки дисциплин построены по максимизаторской логике («чем больше, тем лучше»), то сложность не следует воспринимать именно так — если она слишком высокая или слишком низкая — это свидетельствует о том, что явно не учтен (в ту или иную сторону) бэкграунд студентов при реализации курса. При работе над дисциплиной старайтесь держать сложность на «среднем» или «выше среднего» уровне — так вы дадите вызов студентам и сохраните их интерес.
Мне кажется, что это очень важный инструмент для оценки качества преподавания. Вышка — один из немногих российских вузов, который так серьезно относится к мнению студентов о прослушанных курсах. На мой взгляд, [СОП] поощряет преподавателей постоянно обновлять собственные курсы и искать пути их улучшения. Очень важна обратная связь.
При работе над содержанием курса я в большей мере ориентируюсь на комментарии студентов в рамках СОП, поскольку этот инструмент оценки завязан на курсе, а не на преподавателе
Работа с личными преподавательскими оценками
Преподаватели
Числовые оценки (от 1 = «полностью не согласен» до 5 = «полностью согласен» + «Затрудняюсь ответить»):
- Ясность требований, предъявляемых к студентам
- Ясность и последовательность изложения материала
- Контакт преподавателя с аудиторией
- Возможность внеаудиторного общения по учебным и научным вопросам
Текстовые комментарии (развёрнутые ответы):
- Что вам нравится в работе данного преподавателя (успешные практики и форматы, стиль взаимодействия и др.)
- Что бы вы предложили изменить в работе данного преподавателя (чего не хватает, что кажется лишним и т.д.)
Как интерпретировать преподавательские оценки
1. Помните, что оценки роли преподавателя надо воспринимать отдельно от оценки дисциплин. Для студентов вы — не только автор дисциплины, но и проводник в мир новых знаний в целом. Поэтому каждый элемент дисциплины сопровождается вашей большой работой: организация элемента контроля (например, эссе) — вашими подробными пояснениями к критериям, ответами на вопросы и качеством проверки; набор тем курса — качеством ваших презентаций и вообще подачи материала. Поэтому старайтесь разделить в комментариях студентов рассуждения о содержании дисциплины и о вашей собственной работе с ней — это поможет понять, как именно вы справились с ее организацией, и определить фронт работ над собственными преподавательскими техниками.
2. Обратите особое внимание на критерии коммуникации и комментарии студентов по ним. Зачастую студенты оценивают не содержание материала, а то, как он был подан вами и как вы справились с сопровождением обучения — то есть, как вы объясняли критерии заданий, оценки студентов или как вы отвечали на вопросы по ходу занятий. Работа над этими аспектами позволит открыть глаза будущих студентов на реальное содержание дисциплины и получить высокие оценки.
В работе преподавателя очень много неопределенности. Содержание курса, характер заданий, соотношение разных тем и форм работы — все это определяем мы сами. Учиться приходится на практике: ни один курс педагогики не расскажет, что хорошо работает именно для этой дисциплины и этих студентов, а что не очень. Поэтому я никогда не уверен в том, каким получается результат, и только обратная связь от студентов помогает понять, что мой курс для кого-то оказался интересным и полезным.
Осин Евгений Николаевич
Департамент психологии: Доцент (из материала для университетского издания «Вышка для своих»
Работа с оценками по онлайн-курсам
Онлайн-курсы
Числовые оценки (от 1 = «полностью не согласен» до 5 = «полностью согласен» + «Затрудняюсь ответить»):
- Я понимаю, для чего смотрю материалы данного онлайн-курса и как это мне может пригодиться в будущем
- Мне интересно смотреть материалы данного онлайн-курса
- Содержание тем этого онлайн-курса показалось мне новым, не пересекающимся с изученным мной ранее
- Требования и задания, предъявляемые к проходящим данный онлайн-курс, ясны и понятны
- Материал в данном онлайн-курсе изложен ясно и последовательно
- Мне сложно смотреть материалы и выполнять задания в рамках данного онлайн-курса
Текстовые комментарии (развёрнутые ответы):
- Замечания и предложения относительно организации данного онлайн-курса
Как интерпретировать обратную связь по онлайн-курсам
1. Если дисциплина предполагает и обычные занятия, и прохождение онлайн-курса — подумайте, как он помог студентам развить темы дисциплины. Онлайн-курсы могут давать как для дополнения уже раскрытых на курсе тем, так и для того, чтобы рассказать вам о чем-то совсем новом по дисциплине. Поэтому по оценкам студентов вы можете посмотреть, как именно онлайн-курс помог им расширить знания по предмету (например, дал теоретическую базу для практического курса) или получить новые навыки. Так вы поймете, был ли курс полезен в целом и стоит ли его давать студентам в будущем.
2. Посмотрите, как студенты оценили качество организации онлайн-курса. Онлайн-курсы публикуются на разных платформах со своими техническими особенностями. Обратите особое внимание на комментарии студентов о том, как работают эти системы, какие возможности они предоставляют и как эти возможности помогают в освоении тем курса (или мешают этому). Так вы сможете оценить, нужно ли использовать курсы с таких платформ в будущем и как нужно работать с функционалом этих платформ.
3. Не воспринимайте высокую сложность как идеал, к которому нужно стремиться. Если все остальные критерии оценки дисциплин построены по максимизаторской логике («чем больше, тем лучше»), то сложность не следует воспринимать именно так — если она слишком высокая или слишком низкая — это свидетельствует о том, что явно не учтен (в ту или иную сторону) бэкграунд студентов при реализации курса. При работе над дисциплиной старайтесь держать сложность на «среднем» или «выше среднего» уровне — так вы дадите вызов студентам и сохраните их интерес.
Получая от студентов комментарии по результатам оценки, есть возможность скорректировать механику проведения занятий, обратить внимание на недочеты благодаря конструктивной критике или понять, какой из приемов и форматов преподавания студенты оценили лучше. Каждые полгода стараюсь оценить для себя, насколько удачно прошли занятия с той или иной группой на разных факультетах, сравниваю с тем, как вел занятия ранее.
Считаю, что результаты СОП помогают преподавателям регулярно «сверять часы» со студентами. Студенческая оценка преподавания — не просто необходимый инструмент формирования обратной связи, это также стимул для преподавателей становиться лучше, регулярно подбирать более подходящие механики работы. И вообще, важно развивать культуру обратной связи, ведь преподаватель регулярно оценивает студентов разными формами контроля, а студент не всегда может и готов открыто дать фидбек о преподавателе.
Благодаря многокритериальной системе оценивания преподавателей предоставляется возможность для самоанализа, развития, усовершенствования применяемых механик преподавания. Высокие оценки говорят о том, что двигаюсь в правильном направлении. И да, это просто приятно.
Макшанчиков Константин Николаевич
Департамент теоретической экономики: Старший преподаватель (из материала для университетского издания «Вышка для своих»)
Элементы практической подготовки
Элементы практической подготовки
Числовые оценки (от 1 = «полностью не согласен» до 5 = «полностью согласен» + «Затрудняюсь ответить»):
- Я понимаю, для чего работал над данным элементом практической подготовки и как этот опыт мне может пригодиться в будущем
- Опыт работы над элементом практической подготовки был интересен для меня
- В рамках работы над элементом практической подготовки я смог применить новые знания и навыки
- При выполнении задач в рамках элемента практической подготовки мне пригодились знания, которые я получил(-а) во время предыдущего обучения на образовательной программе
- Я понимаю, как результат моей работы в рамках элемента практической подготовки используется или будет использоваться в дальнейшем для решения прикладных или исследовательских задач
- Процесс промежуточной аттестации по элементу практической подготовки (публичная защита или заочное выставление итоговой оценки по работе) был организован качественно
- Мне было сложно выполнять задачи в рамках работы над элементом практической подготовки
Текстовые комментарии (развёрнутые ответы):
- Что показалось вам полезным в опыте участия в данном элементе практической подготовки
- Что бы вы предложили изменить в содержании и организации данного элемента практической подготовки
Как интерпретировать обратную связь по ЭПП
1. Подумайте о том, какие дополнительные прикладные навыки удаётся развивать в рамках ЭПП. Курсовая работа, проекты и практика направлены на формирование у студентов практических навыков, полезных для работы в одной или нескольких индустриях. Даже если работа носит теоретический характер, нужно понимать, какие аналитические способности она развивает. Постарайтесь заложить конкретные цели в дизайн ЭПП и на основе оценок студентов сделать вывод о том, насколько удалось их достичь и как этот элемент сочетается с основной образовательной программой.
2. Рассмотрите, как студенты оценили качество организации работы по ЭПП. Работа над ЭПП часто предполагает тесное взаимодействие с научным руководителем, руководителем проекта или практики. Внимательно ознакомьтесь с обратной связью студентов в комментариях, чтобы узнать, насколько выбранный формат руководства соответствовал потребностям студентов и формату ЭПП. Например, удачен ли был выбор периодичности консультаций, степень вовлечённости руководителя в работу студентов, формата распределения ролей по проекту и т.д.
3. Не воспринимайте высокую сложность как идеал, к которому нужно стремиться. Если все остальные критерии оценки построены по максимизаторской логике («чем больше, тем лучше»), то сложность не следует воспринимать именно так — если она слишком высокая или слишком низкая — это свидетельствует о том, что явно не учтен (в ту или иную сторону) бэкграунд студентов при реализации ЭПП. В дальнейшей работе старайтесь удерживать сложность на «среднем» или «выше среднего» уровне — так вы дадите вызов студентам и сохраните их интерес.
Вместо заключения
Волнительно ждать результатов, всегда читаю все комментарии, учитываю любое замечание, похвалу или претензию. Если могу, исправляю это в своем преподавании, в курсах или в отношении к студентам.
Это очень важный инструмент обратной связи, я бы даже сказала, что ему надо уделять еще больше внимания и постоянно улучшать этот процесс. Это дает стимулы совершенствоваться, через этот канал студенты безопасно и анонимно могут передать все свои сожаления, недовольства и претензии о проделанной преподавателями работе. На основе этих оценок необходимо совершенствовать образовательные программы и наполнение курсов. Да, у такого инструмента тоже есть свои минусы, как и у любого другого, но, в моих глазах, они не перевешивают выгоды.
Для меня это неотъемлемая часть работы, это дает понимание того, в каком направлении надо двигаться, что исправлять, а что развивать. Это дает мне уверенность в том, что я все делаю правильно или, наоборот, что какие-то эксперименты не удались, и в следующий раз это надо обязательно исправлять. Без этого я не смогла бы улучшать существующие курсы и создавать новые. А еще сложно переоценить ту поддержку, которую я получаю через комментарии, которые оставляют студенты о моей работе. Она по-настоящему дает мне силы двигаться дальше
Порецкова Анастасия Анатольевна
Доцент департамента политики и управления, Академический руководитель образовательной программы «Политология» ФСН НИУ ВШЭ (из материала для университетского издания «Вышка для своих»)
Савин Никита Юрьевич
Доцент Школы коммуникаций, академический руководитель образовательной программы «Коммуникации в государственных структурах и НКО» (из материала для университетского издания «Вышка для своих»)