Кузьмина Ю.В. Ларина Г.С . Международная лаборатория анализа образовательной политики НИУ ВШЭ

1. Международная конференция «Российское образование в зеркале международных сравнительных исследований» Возможно ли оценить эффективность образования в стране с помощью сравнительных международных мониторингов?(на примере международного исследования PISA) Кузьмина Ю.В. Ларина Г.С. Международная лаборатория анализа образовательной политики НИУ ВШЭ Москва, 2013

2. Что такое PISA? • PISA – Programme for International Student Assessment • Цель – оценить, обладают ли учащиеся, получившие общее обязательное образование, теми знаниями и умениями, которые необходимы для полноценного функционирования в обществе. • Участники – 15-летние подростки • Измерение достижений по трем основным направлениям: • Чтение (2000 и 2009) • Математика (2003 и 2012) • Естественнонаучные дисциплины (2006)

3. Состав российской выборки

4. Могут ли результаты PISA быть использованы для измерения эффективности образования? Варианты интерпретации результатов PISA для оценки динамики эффективности образовательной системы (в порядке углубления анализа): • Динамика результатов (средних, по уровням, процентилям и т.п.) • Динамика эффекта индивидуальных и школьных факторов на результаты (изменялось ли влияние этих факторов, увеличился или уменьшился разрыв между детьми с высоким СЭС и низким СЭС, между мальчиками и девочками, между школьниками из школ из разных населенных пунктов и т.п.) • Динамика эффекта одного года обучения (грейд-эффекта) • Факторы, которые могут изменить эффективность одного года обучения

5. Динамика средних баллов PISA в России

6. Динамика эффекта СЭС на достижения

7. Динамика различий в результатах между мальчиками и девочками

8. Эффект одного года обучения • Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым) • Но прямое сравнение невозможно по следующим причинам: • Эффект взросления • Разное время старта школьного обучения • Общее и профессиональное образование

9. Метод исследования • Метод: Propensity Score Matching (PSM), метод «ближайшего соседства». Использование данного метода позволяет оценить эффект одного года обучения за счет рассмотрения нескольких ковариат. • Ковариаты: возраст, СЭС, индекс образовательных ресурсов, профессиональный статус и образование родителей, индекс культурных ресурсов семьи. • Эффект дополнительного года обучения считался для всейвыборки и для исключительно общеобразовательной выборки отдельно

10. Распределение школьников относительно «пороговой точки»

11. Грейд-эффект для всей выборки Динамика результатов PISA Грейд-эффект

12. Отбор для оценки грейд-эффекта для общеобразовательных школ • Чтобы оценить эффект дополнительного года обучения исключительно в школьном образовании, RD анализ был проведен на ограниченной выборке: • Исходя из фактической траектории 10-классников были рассчитаны вероятности ребенка продолжить обучение в общеобразовательной школе • 9-классники с высокой вероятностью (больше среднего) продолжить обучение в школе, отбирались в эту выборку • Независимые переменные – СЭС и пол 9-классники с высокой вероятностью остаться в школе 10-классники в школе

13. Грейд-эффект для общеобразовательных школ Вся выборка Общеобразовательная траектория

14. Основные выводы • Вклад школы в развитие функциональной грамотности (эффект одного года обучения) уменьшился по результатам 2009 года. • В 2009 году увеличился разрыв в результатах между школьникам с низким и высоким СЭС, что может свидетельствовать о снижении эффективности школьной системы для обеспечения образовательного равенства. В области читательской грамотности увеличился так же разрыв между мальчиками и девочками.

15. Основные выводы • В области математики обнаружен самый большой эффект одного года обучения, по сравнению с другими сферами. Возможно, что российская школьная система в большей степени ориентирована на формирование функциональной грамотности в области математики, чем чтения и естественных наук. • Наибольший разрыв между эффектом одного года для всей выборки и общеобразовательных школ зафиксирован в области математики, что говорит о том, что в профессиональных школах в области математики происходит снижение навыков, приобретенных в средней школе.