Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

COMPARATIVE ESTIMATION OF UNIVERSITIES PERFORMANCE BASED ON CLASSIFICATION ANALYSIS METHODS

Khalafyan A.A. 1 Koshkarov A.A. 1 Pelipenko E.Yu. 1
1 Federal Budgetary Educational Institution of Higher Education Kuban State University
This paper proposes the method of universities rating construction, which is based on the similarity analysis among them as the points of the metric multidimensional space when the numeric values of performance indicators are given. The universities similarity (difference) is determined by the distance between them, according to the principle – the smaller the distance, the greater the similarity. To compile the universities ranking it is suggested to use the reference institution that accumulates the best properties of comparable universities. Rating equals to the rank at universities ordered by their proximity to the hypothetical reference university. The method is simple to implement, as it is based on the standard statistical package procedures. Its full automation is possible through the macros of the used modules. The standardization of indicators makes it possible to estimate the performance of any nature objects, including the structural units of higher education institutions in quantitative terms, measured in different scales and with different units of measurements. The universities rating of the Southern Federal District on their performance indicators for 2015 is constructed as an example.
efficiency
universities
criterion
an object
rating
ranging
similarity
distance
classification analysis
1. Antipina I.O. Mehanizmy nezavisimoj ocenki kachestva obrazovanija // Innovacionnye proekty i programmy v obrazovanii. 2015. T. 4. рр. 12–16.
2. Borisov V.A. Metodicheskij podhod k ocenke dejatelnosti medicinskih uchrezhdenij regionalnogo zdravoohranenija na osnove formirovanija kompjuternoj informacionnoj sistemy / V.A. Borisov, G.V. Popova // Sistemnyj analiz i upravlenie v biomedicinskih sistemah. 2016. T. 15. no. 1. рр. 183–190.
3. Informacionno-analiticheskie materialy po rezultatam provedenija monitoringa jeffektivnosti obrazovatelnyh organizacij vysshego obrazovanija [Jelektronnyj resurs]. Rezhim dostupa: http://indicators.miccedu.ru/monitoring/ (15.04.2016).
4. Peregoudov F.I., Tarasenko F.P. Introduction to system analysis. Moscow: Higher School, 1989.
5. Khalafyan A.A. STATISTICA 6. Statistical analysis of the data, Moscow: Binom, 2010.
6. Khalafyan AA Computer data analysis as a tool in the sports analyst / A.A. Khalafyan, T.V. Buschueva, A.G. Minasyan // Physical Culture, Sport – Science and Practice. Krasnodar. 2016. no. 2. рр. 52–57.
7. Chernenkij A.V. Principy ocenki i ranzhirovanija strukturnyh podrazdelenij vuza // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2016. no. 116. рр. 1327–1339.
8. Chernoruckij I.G. Metody prinjatija reshenij / I.G. Chernoruckij – SPb.: BHVPeterburg, 2005. 416 р.: il.

В настоящее время стала актуальной проблема оценки эффективности учреждений – медицинских организаций, вузов, школ и т.д. c последующим составлением их рейтинга [1, 2, 7]. Следуя словам Галилея «измеряй все, поддающееся измерению, и сделай таким все, не поддающееся измерению», разрабатываются критерии по оценке эффективности не только самих вузов, но и структурных подразделений – факультетов, кафедр, а также их сотрудников. Не будем касаться методики выбора критериев оценки эффективности – над этой важной проблемой работает достаточно большое количество специалистов. Ограничимся исследованием другой, не менее значимой проблемы ранжирования объектов «измерения» в соответствии со значениями совокупности показателей, характеризующих их качество.

Краткий обзор методов

Пусть заданы m объектов О1, О2, …, Оm и совокупность n количественных показателей Q1, Q2, …, Qn, определяющих их качественные характеристики, которые назовем критериями. Значение j-го критерия, соответствующее i-му объекту, обозначим как qij, halafyan01.wmf halafyan02.wmf Критерии Qj обладают тем свойством, что если объект Оk предпочтительнее объекта Оl (Оk f Оl), то qkj > (или <) qlj, где f знак предпочтения. Знак > используем в том случае, если предпочтению соответствует большее значение критерия, знак <, если предпочтению соответствует меньшее значение критерия. Требуется ранжировать объекты по степени предпочтения относительно всех критериев Qj, halafyan03.wmf, что по сути эквивалентно составлению их рейтинга.

Данная задача на вид проста, но зачастую сложен метод её решения, так как он зависит от характера и количества как объектов Оi, так и от характера и количества критериев Qj. На практике редки случаи, в которых объекты Оi оцениваются одним критерием, что даст возможность их ранжирования простым сравнением (упорядочиванием) значений критерия. Наиболее вероятен случай, когда критериев несколько и объекты будут несравнимыми, образуя так называемое множество Парето, когда один объект лучше других по одному критерию, но хуже по другим. Рассмотрим наиболее известные подходы к решению этой «многокритериальной» задачи.

1. Сведение к «однокритериальной» задаче. Вводится так называемый интегральный критерий Qs, который представляет собой скалярную функцию от критериев Qj, halafyan04.wmf [4]:

halafyan05.wmf (1)

где aj – веса, которые отражают относительный вклад частных критериев Qj в интегральный критерий; sj – коэффициент, позволяющий перейти к безразмерным величинам от Qj. При этом, так как критериям соответствуют различные характеры предпочтения, весу aj присваивается знак (+), если предпочтению соответствует максимальное значение критерия, и знак (–) в противном случае.

Тогда «многокритериальная» задача ранжирования сводится к «однокритериальной» задаче – упорядочиванию (ранжированию) объектов в соответствии со значениями интегрального критерия по принципу – чем больше значение интегрального критерия Qs, тем предпочтительнее объект:

Оk f Оl, если Qs(Оk) > Qs(Оl),

а значит, и выше его место (рейтинг).

К сожалению, данный способ имеет один существенный недостаток – не формализована процедура выбора весовых коэффициентов. Веса выбираются экспертом «потолочным» методом, поэтому их значения весьма субъективны. Учитывая, что при этом интегральный критерий Qs очень чувствителен к изменению весов, велика вероятность получения ошибочного решения задачи. К данному подходу можно отнести и широко известные методы Саати и Коггера и Ю, также предполагающие нахождение весовых коэффициентов [6].

2. Из всех критериев Q1, Q2, …, Qn выбирается основной, или главный, критерий Qосн и далее используется как интегральный критерий Qs. Естественно, такое упрощение значительно облегчит вычислительные процедуры, но можно ли будет считать полученный результат решением задачи, или в какой-то степени близким к нему? Наверняка в большинстве случаев ответ будет отрицательным. Данный подход может иметь место только в том случае, если выбранный критерий значительно доминирует по важности над остальными и по значимости превосходит их все вместе взятые.

3. Зачастую, чтобы избежать необходимости оптимизации интегрального критерия (1), как аддитивной функции слагаемых, имеющих различные размерности, критерии Qi переводят в балльную шкалу и далее переходят к простому суммированию (вычитанию) баллов, т.е. интегральный критерий Qs представляет собою измерение в балльной шкале. Предпочтительнее будет тот объект, которому соответствует наибольшее количество баллов. Но и такой подход не лишен принципиальных недостатков – переход от более сильных количественных шкал (интервальной, отношений) к балльной, являющейся более слабой порядковой шкалой, сопровождается большой потерей информации о свойствах объектов, что в итоге приведет к неверному решению задачи. К тому же, если придерживаться определенной математической строгости, операция суммирования в порядковых шкалах не определена.

Метрический подход

Ранжирование объектов (составление их рейтинга) предполагает их сравнение. Рассмотрим метод сравнения, если известны числовые значения критериев, характеризующих качество объектов, основанный на их представлении как точек n-мерного пространства и определении сходства (различия) между ними посредством расстояний метрических пространств.

Представим значения критериев qij, halafyan06.wmf; halafyan07.wmf в виде таблицы (матрицы) с числом строк, равным количеству объектов m, и количеством столбцов, равным n:

halafyan08.wmf (2)

Строки матрицы соответствуют объектам Oi, столбцы – критериям Qj. Такое представление позволяет нам рассматривать объекты Oi как точки (векторы) многомерного пространства в системе координат Q1, Q2, …, Qn, с координатами qi1, qi2, …, qin и оценивать расстояние между ними при помощи одной из метрик, реализованных в модуле Кластерный анализ пакета STATISTICA [5], в частности посредством евклидова расстояния:

dе(Oi, Oj) = (Σк (qiк – qjк)2)1/2. (3)

Для возможности ранжирования объектов введем в рассмотрение гипотетически наилучший объект (эталонный) и обозначим его halafyan09.wmf. Определяя минимальные или максимальные значения по столбцам, в зависимости от характера предпочтения соответствующего критерия найдем наилучшие значения каждого критерия, которые и будут координатами halafyan10.wmf (halafyan11.wmf) вектора halafyan12.wmf,

halafyan13.wmf halafyan14.wmf (4)

Вычисляя парные расстояния между объектами О1, О2, …, Om, halafyan15.wmf, мы легко можем оценить сходство не только между ними, но и ранжировать их по расстоянию до эталонного объекта halafyan16.wmf по принципу – чем меньше расстояние, тем выше рейтинг.

Так как расстояние (3) вычисляется по исходным данным, на его значения могут сильно влиять различия между единицами измерения осей. Поэтому при вычислении расстояний по одной из приведенных формул данные следует привести к безразмерному виду нормированием (стандартизацией) столбцов матрицы Q.

Если обозначить через halafyan17.wmf, halafyan18.wmf – стандартизованные значения, то расстояние ρi между объектами Оi и halafyan19.wmf легко вычислить по формуле

halafyan20.wmf (5)

Чтобы составить рейтинги объектов, достаточно вычисленные расстояния упорядочить в порядке возрастания и поставить в соответствие каждому значению ρi, а значит, и каждому объекту Оi ранги 1, 2, …, m. Объект с рангом 1 и будет наилучшим, так как ему соответствует минимальное расстояние.

Практическая реализация метода

Как пример, определим рейтинги университетов Южного федерального округа (ЮФО) по эффективности их деятельности. Из рассмотрения исключены медицинские университеты, так как целесообразно сравнивать однородные по структуре вузы.

Значения критериев эффективности университетов взяты из информационно-аналитических материалов по результатам проведения мониторинга 2015 года деятельности образовательной организации высшего образования [3]. Представлены следующие критерии: образовательная деятельность (ОД, бал.); научно-исследовательская деятельность (НИД, тыс. руб.),; международная деятельность (МД, %); финансово-экономическая деятельность (ФЭД, тыс. руб.); заработная плата профессорско-преподавательского состава (ЗП ППС, %); трудоустройство (ТР, %); дополнительный показатель (ДП).

В табл. 1 представлены значения критериев Адыгейского государственного университета (АГУ); Астраханского государственного технического университета (АсГТУ); Астраханского государственного университета (АсГУ); Волгоградского государственного социально-педагогического университета (ВГСПУ); Волгоградского государственного архитектурно-строительного университета (ВолгГАСУ); Волгоградского государственного аграрного университета (ВолгГАУ); Волгоградского государственного технического университета (ВолгГТУ); Волгоградского государственного университета (ВолгГУ); Калмыцкого государственного университета (КГУ); Кубанского государственного университета физической культуры, спорта и туризма (КГУФКСТ); Кубанского государственного аграрного университета (КубГАУ); Кубанского государственного технологического университета (КубГТУ); Кубанского государственного университета (КубГУ); Южного федерального университета (ЮФУ); Южно-Российского государственного политехнического университета им. М.И. Платова (ЮРГПУ).

В первой строке приведены пороговые значения (ПЗ) критериев.

Естественно, не представляет сложности оценка рейтинга вузов отдельно по каждому критерию – достаточно упорядочить их по значениям критериев, например по возрастанию, и поставить им в соответствие номера 1, 2, 3, …, 15. Решим более сложную задачу – при помощи процедур кластерного анализа, реализованных в среде пакета STATISTICA, определим рейтинги университетов, по совокупности заданных значений критериев эффективности.

Таблица 1

Значения критериев для университетов

Вузы

ОД

НИД

МД

ФЭД

ЗП ППС

ТР

ДП

ПЗ

60

51,28

1

1327,57

125

70

69

АГУ

55,81

76,32

9,17

2765,05

142,78

55

7,33

АсГТУ

55,43

71,43

12,81

1418,67

125,05

80

3,4

АсГУ

58,72

26,94

9,68

1575,76

125,5

80

4,45

ВГСПУ

63,87

57,02

3,09

1101,91

122,46

80

5,77

ВолгГАСУ

54,25

62,41

3,48

1349,53

122,87

80

4,3

ВолгГАУ

50,39

142,75

1,3

1357,82

132,47

80

4,38

ВолгГТУ

56,73

533,68

7,16

1969,96

148,6

80

4,41

ВолгГУ

60,03

84,56

2,49

1514,67

130,69

75

5,35

КалмГУ

57,53

93,75

5,06

1619,9

123,07

65

4,3

КГУФКСТ

68,17

97,58

2,97

1686,36

135,83

75

8,46

КубГАУ

64,01

142,36

1,39

1423,39

126,58

80

3,92

КубГТУ

60,58

106,33

4,12

1750,27

149,97

85

3,08

КубГУ

67,38

202,62

1,63

1684,81

167,87

75

4,83

ЮФУ

71,01

378,61

4,43

1968,4

177,32

80

5,84

ЮРГПУ

53,22

147,03

2,72

1813,71

138,49

63

5,08

ЭВ

71,01

533,68

12,81

2765,05

177,32

85

8,46

В последней строке таблицы отображены значения критериев для гипотетического, несуществующего эталонного вуза (ЭВ), который аккумулировал наилучшие значения критериев по всем вузам. Так как предпочтению университетов соответствуют большие значения всех представленных в таблице критериев, то значения критериев для ЭВ представляют собою наибольшие значения столбцов таблицы, которые выделены полужирным курсивом. Из таблицы видно, что наибольшие значения ОД и ЗП ППС у ЮФУ; наибольшее значение НИД у ВолгГТУ; наибольшие значения МД и ТР у КубГТУ; наибольшее значение ФЭД у АГУ, наибольшее значение ДП у КГУФКСТ. Так как критерии – величины разного порядка и размерности, например ДП - безразмерная величина, принимающая значения не более 10, а ФЭД исчисляется в тыс. руб. и принимает значения от 1000 до 3000, столбцы таблицы были стандартизованы (нормированы).

При помощи процедуры Иерархическая классификация модуля Кластерный анализ по стандартизованным данным были вычислены парные, евклидовы расстояния между вузами, как точками многомерного (размерности 7) пространства, которые представлены в табл. 2.

Таблица симметричная, в ячейках на главной диагонали расположены расстояния между одноименными вузами, поэтому равны 0. Чем меньше расстояние, тем выше сходство между вузами по совокупности 7 критериев. Так, наибольшее сходство между двумя волгоградскими вузами ВолгГАСУ и ВолгГАУ – расстояние минимальное, равное 1,09. Наибольшее различие между КубГАУ и АГУ, расстояние максимальное, равное 5,34.

Места университетов в построенном рейтинге – полезная, но из-за «бедности» порядковой шкалы достаточно однобокая информация, так как установлен лишь порядок между ними. В то же время матрица расстояний может предоставить более полную информацию о структуре сходства и различия между объектами.

Наиболее известный метод представления матрицы расстояний при иерархической кластеризации основан на идее дендрограммы, или диаграммы дерева, которая представляет графическое изображение результатов процесса последовательной кластеризации. Из дендрограммы на рис. 1, построенной методом полной связи, следует, что изначально группу однородности (кластер) образуют 2 вуза – ВолгГАСУ и ВолгГАУ – расстояние между ними чуть более 1. При незначительном увеличении расстояния группу однородности образуют уже АсГУ и АсГТУ, расстояние между ними чуть более 1,2. При расстоянии 1,35 самостоятельный кластер образуют КубГАУ и ВолгГУ. Дальнейшее увеличение расстояния ведет к последовательному присоединению к образованным кластерам других университетов, что в итоге приводит к образованию большой группы однородности – кластера 2. Аналогичным образом группу однородности – кластер 1 образуют университеты – ВолгГТУ, ЮФУ, КубГУ и ЭВ. Интересным является кластер 3, который состоит только из двух университетов – АГУ и КГУФКСТ.

Таблица 2

Евклидовы расстояния между вузами

Вузы

Евклидово расстояние

АГУ

АсГТУ

АсГУ

ВГСПУ

ВолгГАСУ

ВолгГАУ

ВолгГТУ

ВолгГУ

КалмГУ

АГУ

0,00

5,02

4,48

5,31

5,03

5,19

4,86

4,29

3,65

Ас ГТУ

5,02

0,00

1,23

3,26

2,48

3,19

3,69

3,09

2,81

Ас ГУ

4,48

1,23

0,00

2,30

1,83

2,69

3,53

2,09

2,23

ВГСПУ

5,31

3,26

2,30

0,00

1,83

2,49

4,13

1,35

2,58

ВолгГАСУ

5,03

2,48

1,83

1,83

0,00

1,09

3,62

1,41

2,03

ВолгГАУ

5,19

3,19

2,69

2,49

1,09

0,00

3,39

1,82

2,48

ВолгГТУ

4,86

3,69

3,53

4,13

3,62

3,39

0,00

3,45

3,65

ВолгГУ

4,29

3,09

2,09

1,35

1,41

1,82

3,45

0,00

1,64

КалмГУ

3,65

2,81

2,23

2,58

2,03

2,48

3,65

1,64

0,00

КГУФКСТ

4,26

4,60

3,49

2,39

3,56

3,89

4,35

2,35

3,40

КубГАУ

5,34

3,28

2,44

1,51

1,72

2,17

3,48

1,35

2,36

КубГТУ

5,22

2,89

2,29

2,76

2,19

2,38

3,02

2,22

2,97

КубГУ

4,80

4,36

3,57

3,04

3,43

3,40

3,28

2,44

3,28

ЮФУ

5,18

5,04

4,37

4,14

4,64

4,60

3,07

3,73

4,52

ЮРГПУ

3,20

3,69

3,10

3,25

2,55

2,41

3,47

2,00

1,43

ЭВ

5,60

6,33

5,88

6,36

6,74

6,81

4,35

6,01

6,51

Продолжение табл. 2

Вузы

Евклидово расстояние

КГУФКСТ

КубГАУ

КубГТУ

КубГУ

ЮФУ

ЮРГПУ

ЭВ

Рейтинг

АГУ

4,26

5,34

5,22

4,80

5,18

3,20

5,60

6

АсГТУ

4,60

3,28

2,89

4,36

5,04

3,69

6,33

11

АсГУ

3,49

2,44

2,29

3,57

4,37

3,10

5,88

7

ВГСПУ

2,39

1,51

2,76

3,04

4,14

3,25

6,36

12

ВолгГАСУ

3,56

1,72

2,19

3,43

4,64

2,55

6,74

14

ВолгГАУ

3,89

2,17

2,38

3,40

4,60

2,41

6,81

15

ВолгГТУ

4,35

3,48

3,02

3,28

3,07

3,47

4,35

2

ВолгГУ

2,35

1,35

2,22

2,44

3,73

2,00

6,01

8

КалмГУ

3,40

2,36

2,97

3,28

4,52

1,43

6,51

13

КГУФКСТ

0,00

3,07

3,81

2,90

3,38

3,47

5,05

4

КубГАУ

3,07

0,00

1,87

2,48

3,72

2,96

6,27

9

КубГТУ

3,81

1,87

0,00

2,33

3,32

3,24

5,69

5

КубГУ

2,90

2,48

2,33

0,00

1,84

3,11

4,99

3

ЮФУ

3,38

3,72

3,32

1,84

0,00

4,32

3,39

1

ЮРГПУ

3,47

2,96

3,24

3,11

4,32

0,00

6,32

10

ЭВ

5,05

6,27

5,69

4,99

3,39

6,32

0,00

Дендрограмма иллюстрирует структурную схему сходства между объектами. Несколько другого характера информацию можно получить при помощи метода многомерного шкалирования, который позволяет объекты n-мерного пространства перенести в пространство меньшей размерности, в частности на плоскость, сохранив порядок расстояний между ними, т.е. объекты, близкие в многомерном пространстве, близки и в пространстве меньшей размерности. По-сути речь идет об изображении на плоскости пространственного расположения объектов. На диаграмме, построенной методом многомерного шкалирования (рис. 2), видно, что университеты из одного кластера локализованы в определенной части плоскости. Наиболее близко к ЭВ расположен ЮФУ, несколько дальше – ВолгГТУ, далее – КубГУ, которые в совокупности образуют кластер 1. У этих вузов наиболее высокие рейтинги. Университеты, образующие кластер 2, локализованы в левой, противоположной ЭВ части диаграммы, на небольшом удалении друг от друга, им соответствуют средние и низкие рейтинги. На достаточном отдалении от остальных университетов находится АГУ, образующий кластер 2 с КГУФКСТ.

pic_24.tif

Рис. 1. Дендрограмма классификации вузов

pic_25.tif

Рис. 2. Дендрограмма рассеяния в системе координат, измерение 1, 2

Расстояние между объектами можно рассматривать как интегральный количественный критерий, характеризующий качество объектов сравнения. Его достоинство в том, что он принимает преимущественно различные значения при сравнении объектов. Если среди объектов будет обнаружен объект, аккумулирующий наилучшие свойства других, то его и следует рассматривать как эталонный.

Недостаток интегрального критерия в том, что его значения зависят от состава объектов. Устранить этот недостаток можно, если ввести предельные, недостижимые объектами значения критериев, обозначив их критериями качества эталонного объекта. Тогда можно было бы ввести в рассмотрение коэффициент эффективности вузов, как величину, обратную расстоянию [6]. К сожалению, пороговые значения, приведенные в первой строке табл. 1, на самом деле не оправдывая свое название и являясь, по-видимому, номинальными значениями, не могут быть использованы в качестве предельных значений, так как в большинстве случаев они меньше значений показателей университетов.

Заключение

Таким образом, предложенный метод составления рейтинга объектов произвольной природы позволяет исследовать структуру их сходства при помощи процедур иерархической классификации и многомерного шкалирования. Используя расстояния до эталонного объекта с заданными предельными значениями показателей, возможно построение более информативного интегрального количественного критерия как величины обратной расстоянию. Метод прост в реализации, так как основан на использовании стандартных процедур статистических пакетов. Возможна его полная автоматизация посредством макросов используемых модулей, позволяет оценивать эффективность объектов произвольной природы, в том числе и структурных подразделений вузов – факультетов, кафедр. Метод не требует использования весовых коэффициентов, обладающих высокой степенью субъективности. Как пример при помощи рассмотренного метода составлены рейтинги университетов Южного федерального округа по эффективности их деятельности.