• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Анализ факторов качества образования

Приоритетные направления развития: социология, гуманитарные науки
2014

Направление 1 - Сравнительное исследование  готовности к обучению и качества подготовки студентов вузов в странах БРИК (Проект  Супертест)

Целью  настоящего исследования является проведение сравнительного исследования готовности студентов стран БРИК к обучению в вузе (в частности, студентов технических специальностей), а также качества их подготовки по истечении двух лет обучения в вузе. Целью исследования в 2014 г. являлась разработка инструментария для исследования качества подготовки по математике и физике студентов технических специальностей вузов России и Китая.

Задачи научного исследования в 2014 г.:
  1. разработка инструментов, позволяющих оценить готовность студентов к обучению в вузе и качество их подготовки на третьем курсе;
  2. проведение апробации разработанных инструментов и психометрического анализа характеристик заданий на российской и китайской выборках.

Объект исследования: студенты инженерных специальностей вузов России и Китая.

Предмет исследования: качество подготовки студентов по математике и физике, а также уровень их критического мышления.

Используемые методы

Для разработки инструментов оценивания применялся экспертно-ориентированный метод, который позволяет создавать тесты  на основе существующих банков заданий. Задания для тестов были предоставлены странами участницами – Россией, Китаем и США. Все задания были переведены на английский, а впоследствии на языки стран.

Работа с экспертами включала в себя два этапа. На первом этапе эксперты из России и Китая оценивали тематические области, которые могут быть включены в тест. Им предлагалось оценить, насколько важны данные тематические области для дисциплины в целом, для продолжения обучения и для работы по специальности. На втором этапе в соответствии с отобранными областями был составлен список заданий. Экспертам предлагалось оценить, насколько хорошо эти задания оценивают выбранную область. Таким образом, на основании оценок экспертов был  сформирован набор заданий, который вошел в пилотную версию теста.

Эмпирическая база исследования

Пилотное исследование было проведено в России и Китае в октябре – ноябре 2014 года. В исследовании приняли участие более 5000 студентов из 21 университета.

Результаты работы:

В рамках исследования были  разработаны и апробированы несколько инструментов:

  1. Для студентов 1-го курса обучения разработан инструмент, позволяющий оценить уровень общих когнитивных навыков (по физике и математике), а также критическое мышление.
  2. Для студентов 3-го года обучения разработан инструмент по этим же областям.
  3. Разработаны контекстные опросники для студентов вузов, преподавателей и администрации.

При разработке инструментов и опросников использовались банки заданий по этим областям, предоставленные странами БРИК и США. Тест критического мышления предоставлен ETS (Educational Testing Service), США. В ходе работы по проекту данный тест был переведен и адаптирован для применения на российской выборке.

В 2015 г. на основе результатов исследования 2014 г. будет проведено сравнительное исследование готовности к обучению в вузе студентов российских вузов и студентов вузов стран БРИК, а также сравнительное исследование качества их подготовки по окончании базового цикла обучения (после двух лет обучения в вузе), анализ факторов, связанных с уровнем готовности студентов к обучению в вузе и качества подготовки в течение первых двух лет обучения в России и других странах-участницах.

Направление 2. Изучение связи между характеристиками школы, семьи и индивидуальными характеристиками учащихся старших классов и их академическими результатами и образовательными траекториями

Цель работы:

В рамках направления решались следующие задачи:

  • изучить подходы к определению социально-экономического статуса учеников или их семей. Рассмотреть, как разница в подходах может отражаться на результатах исследований;
  • выделить факторы, связанные с развитием позитивного отношения к математике и естественным наукам;
  • оценить влияние сверстников на академические достижения и выбор образовательных траекторий

Используемые методы:

Для решения первой задачи проведен анализ литературы с описанием исследований, использовавших разные операнды СЭС. Для решения второй задачи использована серия регрессионных моделей (МНК). Для решения третьей задачи проведен сетевой анализ и логистическая регрессия.

Эмпирическая база исследования:

Исследование построено на данных лонгитюда, проведенного с использованием методологии и инструментария международных обследований TIMSS-2011, PISA-2012 и разработанного в 2012 г. сотрудниками НИУ ВШЭ исследования жизненных траекторий молодежи (Tracing Study)

Результаты работы:

Исследование первого вопроса показало, что используемые в социологии и экономике образования показатели СЭС семьи, несмотря на устоявшиеся концептуальную базу и набор индикаторов и шкал, дают достаточно противоречивые результаты. Связано это, во-первых, с особенностями респондентов: дети школьного возраста плохо знают уровень образования родителей, - во-вторых, с особенностями используемых шкал: очень дробная шкала в вопросе про количество книг дома сложна для восприятия и снижает согласованность ответов родителей и детей, - в третьих, с социальным контекстом места проведения опроса: вопрос про профессию родителей показывает наиболее высокую согласованность, но есть трудности с межстрановыми сравнениями. Можно сказать, проведенный анализ показал, что практические исследования в образовании нуждаются в пересмотре распространенных и принимаемых по умолчанию индикаторов и шкал. Необходим поиск новых операндов СЭС.

Исследование второго вопроса выявило, что снижение самооценки детей по математике связано с некоторыми внешкольными характеристиками учащихся: полом и СЭС семьи ребенка. С другой стороны, было показано, что школа также имеет значение для самооценки. Во-первых, школьный контекст может влиять на самооценку по предмету, в частности обучение в «сильном» классе негативно влияет на самооценку «слабых» учащихся. Во-вторых, учительские практики, такие как дифференциация заданий в зависимости от способностей учеников может привести к усилению эффекта «большой рыбы в маленьком пруду» для учеников с невысокими (в сравнении с классом) личными достижениями. Эти результаты представляются важными, так имеющиеся исследования показывают наличие связи между самооценкой учащихся и их академическими достижениями. Если на первую группу факторов школа повлиять не может, то определение школьного контекста (распределение учеников по классам) и выбор практик преподавания – те инструменты, которые могут быть использованы для создания положительной самооценки по предмету, что может привести к росту мотивации и увеличению академических результатов детей.

Исследование третьего вопроса показало различие в эффектах сверстников на образовательные достижения и выбор образовательной траектории учащимся. В случае с образовательными достижениями это различие имеет предметную специфику. Например, оценка учащегося за 1е полугодие по алгебре связана только со средней оценкой по предмету в классе, но не со средними оценками его значимых (референтных) одноклассников. По физике оценка учащегося показывает положительную связь не только со средним баллом в классе, но также со средними оценками значимых одноклассников, даже при учете фиксированных эффектов класса. При объяснении выбора учащимся технической специальности значение имеет не доля одноклассников, планирующих поступление на техническую специальность, а социальные характеристики значимых для ученика одноклассников, планирующих поступать на техническую специальность. Наличие значимого одноклассника, выбирающего техническую специальность и имеющего центральное положение в сети, увеличивает шанс выбора учащимся технической специальности. Полученные результаты показывают, что измерение эффекта сверстников обычно используемым способом через «среднее в классе» может давать смещенные оценки и свидетельствуют о важности при объяснении происходящего в школе учитывать в анализе особенности социальной сети детей.

Направление 3 - Сравнительное международное исследование представлений и убеждений учителей математики об обучении математике в основной школе

Цель работы:

Качество преподавания непосредственно связано с достижениями учащихся. Этим объясняется возросший интерес к учителю и увеличение количества сравнительных исследований учителей. Особое место в школьном образовании отводится математике. В данной работе описаны результаты международного сравнительного исследования убеждений учителей математики основной школы об эффективном преподавании и обучении математике.

Цель исследования - проведение сравнительного анализа убеждений и представлений российского учителя математики и учителя математики из других стран.

Объект исследования - учителя математики средней школы (5-9 класс).

Предмет исследования: убеждения, представления и практики учителей математики.

Эмпирическая база исследования:

В качестве инструмента для проведения исследования используется опросник исследования NorBA (сравнительное исследование математического образования в странах Северной Балтики (Латвия, Литва, Финляндия, Швеция, Норвегия)), в котором особый акцент сделан на внутренние установки учителя математики по отношению к математике как науке, обучению математике, собственной практике. Одной из ключевых задач проекта являлось проведение исследования по валидизации анкеты NorBA как инструмента межстранового сравнительного исследования.

В качестве эмпирической базы исследования использовалась база данных международного исследования NorBA и данные, полученные в ходе собственного качественного исследования.

Используемые методы:

Методология исследования включает в себя методы математической статистики (корреляционные исследования, дисперсионный анализ, структурное моделирование, факторный анализ – конфирматорный и исследовательский), методы современной теории тестирования IRT, методы качественного исследования (полуструктурированное интервью).

Выборку исследования составили 390 учителей из Латвии (из них 95 – учителя, для которых русский язык является родным); 332 учителя из 15 регионов Эстонии (из них 92 – учителя, для которых русский язык является родным) и 1096 учителей математики из России (выборка репрезентативна генеральной совокупности учителей основной школы Красноярского края.

Результаты работы: 

Было проведено всестороннее исследование опросника NorBA, включающее в себя исследование надежности и валидности (конструктной и критериальной). Исследование включало в себя анализ размерности и психометрических качеств теста с помощью методов IRT, исследование инвариантности факторной структуры теста с помощью конфирматорного факторного анализа и IRT, исследование критериальной валидности, а так же качественное исследование соответствия результатов анкеты теоретическому описанию конструктов «конструктивизм» и «традиционализм». По результатам анализа опросник можно считать удовлетворяющим требованиям валидности и надежности.

Далее было осуществлено сравнительное исследование убеждений учителей математики в трех странах: России, Эстонии и Латвии. Отдельное внимание было уделено сравнению русскоговорящих учителей математики Эстонии и Латвии и их российских коллег. Результаты исследования  показали, что различия в убеждениях учителей разных стран статистически значимы по всем шкалам, участвовавшим в анализе. В основном  учителя реализуют свои убеждения в ежедневной практике в классах.  Российские учителя демонстрируют значимо более высокий уровень конструктивизма, в то время как эстонские учителя совмещают в рамках преподавания оба подхода - конструктивистский и традиционный. Российские учителя и эстонские русскоязычные преподаватели гораздо более схожи в своих убеждениях об эффективном преподавании математики, чем российские учителя и латвийские русскоязычные преподаватели.

Результаты исследования помогут точнее оценить ситуацию в общеобразовательной школе и спрогнозировать ее развитие.

Направление 4 - Решение контекстных задач: роль предметных знаний, общих когнитивных способностей и учительских факторов 

Цель работы

В рамках данного направления были поставлены следующие три задачи:

  1. Первая задача заключалась в определении трудностей решения математических задач с обыденным контекстом. Являются ли эти трудности специфическими, связанными с особенностями именно этих заданий, или они носят более общий характер, но стали очевидными из-за  необычности «обыденного» контекста этих заданий для российских школьников?
  2. Популярность идеи о необходимости оценивать умение школьников использовать математику, изучаемую в школе, в повседневном контексте привела к наполнению учебников и итоговых тестов специальными заданиями, т.н. «реалистичными», «обыденными», «контекстными» и пр. Хотя декларируется приблизительно одна и та же цель этих заданий – проверить, умеет ли школьник использовать математические идеи и процедуры в контексте реальной жизни – по своим параметрам эти задания серьезно разнятся, так что неясно на каком основании считается что они оценивают, то что декларируется.  Основной причиной разрозненности оценочных заданий мы видим отсутствие теоретической модели таких заданий, которая легла в основание их спецификации, и поэтому в этом направлении была поставлена задача построить эту модель.
  3. Последняя задача в рамках этого направления касалась проверки предположения о наличии специфичных практик преподавания математики, которые определенным образом были бы связаны с умением ученика использовать школьные знания в неакадемическом контексте.

Используемые методы:

Для решения первой задачи был использован экспериментальный метод, в ходе которого был детально записан процесс решения двух задач учениками. Каждый испытуемый должен был решить две математические задачи с обыденным контекстом, комментируя процесс решения вслух. Далее был проведен качественный анализ полученных протоколов (т.н. thinking aloud protocols), который позволил выявить  ошибки, носящие и общий характер, и специфичные для данных задач.

Для   решения второй задачи в рамках этого направления был использован теоретический анализ. А для решения третьей задачи были использованы регрессионный анализ, метод хи-квадрата.

Эмпирическая база исследования:

В ходе решения первой задачи исследования был проведен эксперимент, в котором приняло участие 60 учащихся 8-10 классов (7 мальчиков и 53 девочки). Аудиозаписи процесса решения задач были транскрибированы и проанализированы.

Третья часть исследования была построена на данных исследования, проведенного с использованием методологии и инструментария международных обследований TIMSS-2011 и PISA-2012. В данном случае способность применить школьные знания в неакадемическом контексте рассматривалась как результаты ученика в тестах PISA и TIMSS.

Результаты работы:

В результате качественного анализа ошибок показано, что при решении математических задач с обыденным контекстом часть трудностей была связана с требованиями моделирования – специфическими для этих заданий. Однако подавляющая часть ошибок была связана с дефицитами более общего характера: умения работать с чертежами и рисунками, стратегий решения новых задач, и установки на проверку и проблематизацию собственных рассуждений.

Для решения второй поставленной задачи данного направления была предложения модель, основанная на ключевых параметрах повседневной проблемы, где для решения может использоваться математика. В качестве модельных параметров заданий предлагается:  1) обыденная, семантика; 2) новизна, нетипичность; 3) ситуативная значимость вопроса; 4) относительно жесткая структура; 5) необходимость специфических математических знаний для решения. Было показано, как могут использоваться параметры для сравнения концептуально близких заданий  с заданиями на перенос математических знаний в повседневный контекст.

Наконец, был проведен анализ учительских практик по математике в классах с высокими и низкими результатами PISA. Предполагалось, что способность учащихся применять знания в неакадемическом контексте связана со специфичными практиками преподавания математики в школе. Однако результаты исследования не выявили отдельных конкретных практик, специфичных для разных групп учащихся.

Публикации по проекту:


Zakharov A., Carnoy M., Loyalka P. Which teaching practices improve student performance on highstakes exams? Evidence from Russia // International Journal of Educational Development. 2014. No. 36. P. 13-21. doi
Khavenson T., Solovyeva A. Relationship between the Unified State Exam and Higher Education Performance / Пер. с рус. // Educational studies. 2014
Carnoy M., Khavenson T., Costa L., Fonseca I., Marotta L. Is Brazilian Education Improving? A Comparative Foray Using PISA and SAEB Brazil Test Scores / NRU Higher School of Economics. Series EDU "Education". 2014. No. 22.
Ларина Г. С., Кузьмина Ю. В. Стало ли российское образование эффективнее за восемь лет? (на данных международного исследования PISA) // В кн.: XIV Апрельская международная научная конференция по проблемам развития экономики и общества: в 4-х книгах. Книга 4 / Отв. ред.: Е. Г. Ясин. М. : Издательский дом НИУ ВШЭ, 2014. С. 565-574.
Carnoy M., Вальдман А. И. How well do you need to know it to use it? / NRU Higher School of Economics. Series EDU "Education". 2014.
Carnoy M., Froumin I., Loyalka P. K., Tilak J. B. The concept of public goods, the state, and higher education finance: a view from the BRICs // Higher Education. 2014. Vol. 68. No. 3, Published online: 25 February 2014. P. 359-378. doi
Tyumeneva Y. A., Kuzmina Y., Kardanova E. IRT Analysis And Validation Of The Grit Scale: A Russian Investigation / NRU Higher School of Economics. Series PSY "Psychology". 2014. No. WP BRP 24/PSY/2014.

См. также

Ключевые слова