ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 20 10

1. Исследование качества инженерного образования в пермских вузах с помощью метода нелинейных главных компонент Докладчик: Теплых Григорий Васильевич 2 ноября 2010 года ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 2010

2. Исследование университета Стэнфорда • В 2009 году по инициативе университета Стэнфорда проведено исследование качества высшего инженерного образования в странах БРИК. • В России оно охватило несколько городов, в т.ч. Пермь – 6 факультетов в 2 вузах (ПГТУ и ПГУ – оба национальные исследовательские университеты) • Основной инструмент – анкетирование студентов • Получено 339 анкет студентов, отобрано 263 • Каждая из анкет содержала порядка 200 вопросов • Цель исследования – оценка качества высшего образования в пермских вузах с точки зрения студентов с помощью инструментария снижения пространства категориальных показателей (NLPCA)

3. Стейкхолдеры в высшем образовании Работодатели • Высшее образование – сложный многосторонний процесс, задевающий различные стороны • Студенты – объект и субъект процесса, их отношение к образованию связано с психологическими моментами • Это наиболее трудный для исследования стейкхолдер Высшее образование Среднее образование Государство Общество Студенты

4. Измерение качества высшего образования • Качество высшего образования – сложная и многосторонняя категория, у неё нет единого определения (Harvey, Green) • При этом реальное управление качеством требует точных и эффективных методик его измерения • Всё большую популярность приобретают концепции, где необходимо учитывать мнение студентов • Высшее образование - «чистый сервис», удовлетворённость студентов имеет большое значение (Oldfield and Baron) • Двухуровневая система, платное обучение стимулируют борьбу вузов за студентов (Voss, Gruber, Szmigin, Joseph) • Студенты становятся более требовательными к вузам и избирательными в их выборе. Общение студентов даёт при этом сильный опосредованный эффект (Marzo-Navarro).

5. Проблема оценки качества образования • Нет одного или нескольких показателей, которые могли бы однозначно приняты за оценку качества высшего образования студентами • Нельзя найти показатель оценки, имеющий при этом естественную количественную природу • Относительно простой метод – анкетирование студентов, но и он имеет ряд недостатков • Невозможность выделения наиболее важных вопросов, истинная природа качества образования априори неизвестна и может иметь скрытый характер и быть «под вопросами» • Множество исследуемых показателей (сформулированных в виде вопросов), имеющих различную статистическую природу • Коррелированность показателей между собой

6. Основная проблема анализа анкет • Большинство вопросов анкеты характеризуется не количественными (Numerical), а качественными (категориальными) показателями: • Номинальные (Nominal) • «Какой уровень образования вы получаете?» • «На каком факультете вы учитесь?» • Порядковые или ординальные (Ordinal) • «Оцените по 5-балльной шкале, насколько изменились ваши профессиональные навыки за время учёбы в вузе?» • Однако измерение качества образования означает количественную оценку, что ведёт к необходимости квантификации качественных переменных

7. Квантификация качественных показателей • Квантификация зависит от типа факторов Singlenominal multiple nominal Numerical Ordinal • Рассматривая качественные факторы по отдельности, нет объективных алгоритмов их квантификации • На практике распространены экспертные оценки • Однако можно решить проблему в рамках некой другой задачи

8. Снижение размерности пространства данных • Проблему множества и коррелированности показателей может решить статистический инструментарий снижения размерности • Он позволяет перейти от множества показателей, к небольшому числу интегральных индикаторов, сохраняя максимум исходной информации об объектах наблюдения

9. Снижение размерности пространства данных • Анкетные показатели носят в основном качественный характер (ранговый или номинальный). Обычный МГК работает только т с количественными факторами • Как инструмент в социально-экономических исследованиях очень слабое распространение и известность получил метод нелинейных главных компонент (NLPCA), разработанный в рамках систем Gifiв университете Лейдена (1970-1990-е гг.) • Метод допускает различные типы показателей • NLPCA заданным оптимальным образом не только рассчитывает главные компоненты, но и параллельно квантифицирует качественные переменные

10. Nonlinear Principal Component Analysis • Существует несколько пониманий NLPCA • Нейросетевое воплощение • МГК с учётом нелинейных функций (Salinelli) • Категориальные переменные (в рамках систем Gifi) • NLPCA в рамках систем Gifi разработан в рамках проекта «Нелинейный многомерный анализ», в школе Лейдена(de Leeuw). , занимающейся им с 1968 года.Albert Gifi – псевдоним группы • Важная особенность Gifi-систем – акцент на категориальную природу данных

11. Ядро Gifi систем Общая задача– минимизация функциипотерь X – матрица (N×p) объектов в свёрнутом p-мерном пространстве (содержит главные компоненты) Yj – матрица (Lj×p) переменной j, содержащая координаты (квантификации) всех Lj её категорий в p-мерном пространстве, j = 1,…,J. Gj– матрица смежности (N×Lj) для j-й исходной переменной, j = 1,…,J.Определяет к какой из категорий относятся каждый объект (Gj= 1 или 0) Матрицы X и Yj априори неизвестны

12. Категориальные данные в системах Gifi • В системах Gifi неизвестны как исходные значения факторов Yj, так и интегральные показатели X • Известны только взаимосвязь между ними Gj – на основе отнесения объектов к той или иной категории • Кроме того, возможны дополнительные условия: • Естественные условия центрированности и ортонормированности • Ограничения, связанные с типов переменных Если G km = 1,k-йобъект относится к категории m-й переменной J-й

13. Ограничения первого порядка • Для исключения решения X, Yj = 0 необходимы условия центрированности и ортонормированности • Решение задачи позволяет одновременно найти как значения главных компонент (Х), так и значения самих квантифицированных переменных (Yj) • Учёт типа переменных заставляет дополнительно наложить ограничение 1-го ранга на матрицы Yj • Вектор qjсодержит квантификации j-йпеременной • Вектор βjсодержит веса, с которыми j-япеременная входит в расчёт главных компонент

14. Ограничения на категориальные переменные • Ограничения 1 ранга позволяют учесть тип факторов, что связано с дополнительными ограничениями на qj • Количественные переменные • Порядковые переменные • Простые номинальные переменные. Нет ограничений на qj. • Множественные номинальные переменные. В этом случае нет никаких ограничений даже на Yj , т.е. одна переменная может иметь разные квантификации для разных компонент • Выбор типа переменной зависит не только от природы данных, но и от логики исследования

15. Процедура расчёта главных компонент • Одновременный расчёт матриц X, Yj и корректировка вектора qj требуют два итерационных цикла в ходе решения задачи • Процедура построения компонент (процедуры CatPCA, Princals): • Инициализация исходной матрицы X • Расчёт матриц Yj • Оценка векторов нагрузки βj • Оценка векторов квантификации qj • Пересчёт значений qj в зависимости от типа переменной • Обновление матриц Yj • Расчёт матрицы конечных индикаторов X • Центрирование и ортонормализация X • Проверка критерия сходимости • Подобная процедура имеет общий характер, в частности, можно показать, что в её рамках можно воспроизвести обычный метод главных компонент (если все переменные количественные) Цикл 1 Цикл 2

16. Предварительный анализ и выбор факторов • Для дальнейшего анализа выбрано 37 показателей, сформированных на основе анкетных вопросов • Исходные факторы объединены в три группы : • Студенческая активность и успеваемость – объективные в целом характеристики, связанные с учебной успеваемостью, общественной активностью, работой и т.п. (14 факторов) • Субъективное отношение к образовательным процессам в вузе. «Насколько качественное образование дают мои специальность, факультет, вуз?» (8 факторов) • Оценка изменения знаний, навыков и умений за время обучение в вузе. Группа отражает субъективные ощущения студентов о полученном образовании. (15 факторов) • NLPCA проводится отдельно по каждой группе

17. 1 группа факторов (студенческая активность и успеваемость)

18. Квантификация переменных по 1 группе факторов

19. 1 группа факторов Координаты матрицы нагрузок в пространстве главных компонент

20. 1 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам

21. 2 группа факторов (отношение студента к факультету и процессу обучения на нём)

22. Квантификация переменных по 2 группе факторов

23. 2 группа факторов Координаты матрицы нагрузок в пространстве главных компонент

24. 2 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам

25. 3 группа факторов (оценками студентами изменения своих знаний, навыков и умений за период обучения)

26. Квантификация переменных по 3 группе факторов

27. 3 группа факторов Координаты матрицы нагрузок в пространстве главных компонент

28. 3 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам

29. Расчёт и интерпретация главных компонент

30. Выводы по интерпретации компонент • С позиции отношения к студенческой активности выполняется следующее правило: общая вузовская активность > учёба > общественная деятельность > работа • Самый значимый критерий активности студента – его общая вузовская активность. При этом она определяется как некие «сверх усилия» студентов, связывается с их участием в дополнительных программах, необязательной учебной и вне учебной деятельностью и т.д. • В плане оценки факультета (ГК 2.1) студентов более всего волнует качество подготовки со стороны работодателей • На втором месте по субъективной оценке для студентов стоит моментпрактичности, специализированности, прикладного характера образования (ГК 2.2 и ГК 3.2) • Субъективная оценка студентами качества образования может быть достаточно полно выражена в 2-3 интегральных критериях

31. Квантификация номинальных переменных • 5 переменных (из 1 группы факторов) связаны с участием в необязательных учебных программах (семинары, курсы) • По разным факторам получены схожие квантификации • Общая зависимость: «1» (участие в программе) > «4» (не было возможности) > «3» (не было желания) > «2» (не знал, что есть в вузе) • Соотношения легко объяснимы, переменные прямо отражают студенческую учебную активность

32. Квантификация ординальных переменных • 15 переменных (3 группа факторов) отражают оценку студентами изменения своих знаний, навыков и умений за период обучения • Квантификация всех переменных имеет схожий вид – всё большее возрастаниезначения при росте качественной оценки • Студенты, лучше оценивающие результат своего обучения, сильнее отличаются по своему статистическому профилю от «общей массы», нежели студенты с худшей самооценкой

33. Разброс объектов наблюдения по ГК 3 группа факторов 2 группа факторов • Не наблюдается крупных явных кластеров • Обратная связь ГК22 и разброса ГК21 – студенты, делающие акцент на специализации и практичности образования, более умеренны и схожи в оценке факультета и качества образования

34. Разброс объектов наблюдения по ГК • Отсутствие кластеров «хорошо» в статистическом смысле – интегральность компонент позволила в заметной степени устранить влияние дискретности значений отдельных категориальных переменных • Компоненты можно использовать как количественные переменные для дальнейших исследований качества образования • Дополнительный анализ анализирует связи ГК с внешними характеристиками, не входящими в их расчёт (факультет, демографические признаки и т.п.). • Близость объектов и их кластеризация в p-мерном пространстве слабо связана с этими свойствами

35. Анализ компонент по факультетам. Рейтинг. • Компоненты ГК21 и ГК 31 в наибольшей степени связаны с оценкой студентами качества образования на факультете • Имеет смысл построить рейтинг факультетов пермских вузов • Результаты не вполне согласуются с обыденным мнением: так, выпускники ЭТФ весьма востребованы на рынке труда, а физический факультет малопривлекателен для поступающих • Студенты факультетов прикладной технической направленности в целом хуже оценивают качество подготовки по специальности

36. Анализ ГК по оплате и ступеням обучения • Магистры уделяют много внимания учёбе, бакалавры – мало, работе • Студенты более высокой ступени обучения хуже оценивают свой факультет и качество образования (ГК.2.1 и ГК.3.1) • Студенты в рамках 2-уровневой системы менее склонны (ГК.2.2) акцентировать внимание на практической части своего обучения • Коммерческие студенты менее активны и успешны во всех сферах деятельности и склонны оценивать хуже качество образования

37. ГК в разрезе социальных характеристик • Гендерные различия влияют на характер активности студентов, но не влияют на оценку качества образования • Заметно влияние семейных условий (образование отца, доход семьи) на оценку значимости практичности образования (ГК.2.2), а также на оценку эффективности полученного образования (ГК.3.1)

38. Анализ главных компонент в иных аспектах • Студенты, работающие по специальности, гораздо лучше оценивают свой факультет и качество своего образования • Абитуриенты, набравшие большие баллы по математике и (особенно!) по русскому языку, как более активны в учёбе, так и лучше оценивают свой факультет и качество образования • Средняя зарплата студентов слабо связана с оценкой качества образования и больше отражает направленность их активности

39. Выводы • NLPCA (Gifi)удобен для свёртки категориальных данных. Это перспективный метод социально-экономических исследований • В настоящей работе осуществлена оценка качества высшего образования в пермских вузах со стороны студентов • Выделены основные латентные характеристики качества высшего образования в виде главных компонент • На первом места для студента стоит общая оценка образования, на второй – практичность, специализированность подготовки • Субъективное отношение студентов к качеству образования в целом описывается 2-3 интегральными характеристиками • Проанализирована их связь с исходными факторами и внешними характеристиками студентов • Студенты факультетов с более прикладной технической подготовкой оценивают качество образование заметно хуже • На оценку качества образования оказываются заметное влияние уровень получаемого образования и семейный фактор, слабое влияние – пол и работа

40. Перспективы исследования • Количественные измерения такой сложной категории как качество высшее образование позволяют продолжить и углубить наши исследования в этой области в дальнейшем • Пространственный и межвременной анализ данных • Взаимосвязь оценок образования различных стейкхолдеров • Связь субъективных оценок с социально-экономической средой и условиями обучения • Насколько оценка студентов отражает реальные условия обучения на факультете, возможности и перспективы трудоустройства • Влияют ли различия студентов по отношению к качеству образования на их будущую производительность труда, качество человеческого капитала, социально-культурное развитие и т.д. • Возможность (для руководства университета) управления субъективным восприятием качества образования