Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

METHODOLOGICAL MECHANISMS QUALIMETRIC EVALUATION OF THE EFFECTIVENESS OF TRAINING OF IT PROFESSIONALS IN THE UNIVERSITY

Eremina I.I. 1 Kalimullina I.F. 1 Stepanova F.G. 1
1 Branch of the Federal state Autonomous educational institution of higher professional education «Kazan (Volga) Federal University» in the city
3219 KB
In the proposed model, the authors used a comprehensive method for assessing the quality level of academic preparation of students. Complex index of competent graduates is defined as a set of indicators of the quality of the academic training of students in the disciplines that make up the mandatory minimum content of basic educational training program for graduate under the current federal state educational standards of higher education. Indicators of quality of academic preparation of students in the discipline determined by passing a student testing and ongoing assessments. Improving the objectivity of the evaluation of the educational process is largely due to the level of formalization of knowledge and theoretical generalization. Considerable heuristic possibilities in this regard related to the qualimetric approach. The main components of the approach are qualimetric measurement theory, methods of mathematical statistics and mathematical modeling. Development and substantiation qualimetric approach in the system of higher education are associated with certain difficulties, which are caused by the absence of universally recognized fundamental work in the relevant field of pedagogical knowledge and existing contradictions between supporters of the introduction of mathematical methods in the pedagogy of higher education specialists IT industry. The study authors have proposed and justified the use of qualimetric methods for analytical description of assessing the quality of IT professionals in the field of economics, the methods of mathematical modeling, in order to detect quantitative criteria for the comparative analysis of the monitoring of the educational process at the university.
qualimetry
measurement
assessment
professional competence
competence
assessment model quality academic training of students
testing
1. Bolonskij process: poisk obshhnosti evropejskih sistem vysshego obrazovanija (proekt TUNING) / Pod nauch. red. d-ra ped. nauk, prof. V.I. Bajdenko. M: Issledovatel’skij centr problem kachestva podgotovki specialistov, 2006. 211 р.
2. Vasilev V.I., Tjagunova T.N. Osnovy kvalitologii i kvalimetrii obrazovanija // Mosk. gos. un-t jekonomiki, statistiki i informatiki. M.: Izd. centr EAOI, 2007. 2804 р.
3. Dubcova M.M. O realizacii kvalimetricheskogo podhoda v reshenii problemy ocenivanija uchebnyh dostizhenij studentov vuza / M.M. Dubcova // Perspektivy nauki. 2011. no. 5(20). рр. 9–11.
4. Kozmina M.A. Pedagogicheskaja tehnologija kvalimetricheskogo ocenivanija vypusknoj kvalifikacionnoj raboty v vuze: avtoref. dis. na soiskanie uchenoj stepeni kand. pedagog.nauk / M.A. Koz’mina; Izhevsk. gos. tehn. un-t. Izhevsk, 2007. 21 р.
5. Kondratev V.V. Metodologija sistemnogo issledovanija. Kazan’: RIC «Shkola», 2007. 230 р.
6. Muhametzjanova G.V. Problemy upravlenija kachestvom podgotovki i attestacii nauchno-pedagogicheskih kadrov / G.V. Muhametzjanova, G.I. Ibragimov. Soiskatel’-pedagog: nauch.-metod. zhurn. / gl. red. V. Slastenin. M.: Sovrem. obrazovanie, 2009. no. 1. рр. 3–6.
7. Spenser Lajl M. ml., Spenser Sajn M. Kompetencii na rabote: Perevod s angl. M.: ShRRO, 2005. 384 р.

Решение проблем управления качеством высшего образования в России осуществляется в разных направлениях: развитие теоретических основ управления качеством в сфере образования (квалитология образования); стандартизация (создание государственных образовательных стандартов и систем менеджмента качества на основе международных стандартов); создание и развитие государственно-общественных механизмов управления качеством (аттестация, лицензирование, аккредитация); теоретико-методологические исследования в области оценки состояния образования и тенденций его развития. Приоритетная роль в развитии систем качества в высшей школе должна быть отведена объективному оцениванию, обеспечивающему научную основу для анализа результатов обучения, функционирования, развития систем управления качеством образования.

Для оценки качества академической подготовки студентов, осуществляемой в российских вузах в рамках комплексной проверки деятельности образовательного учреждения, а также при принятии решения об аккредитации используются различные модели. Решения, принимаемые на основе информации, полученной при использовании разных моделей, могут существенно отличаться.

Под измерением в квалиметрии понимается однозначное количественное выражение качества в единицах и масштабе выбранной шкалы измерения. В результате такого измерения определяется количественная величина качества, выраженная показателем качества. Показателями качества академической подготовки студентов являются результаты выполнения ими совокупности заданий-индикаторов, направленных на выявление знаний и умений использовать эти знания в различных ситуациях.

Цель исследования: определить методические механизмы квалиметрического оценивания эффективности подготовки ИТ-профессионалов в вузе в условиях информационной образовательной среды.

Основная часть

На сегодняшний день существует несколько моделей оценивания качества академической подготовки студентов, но все они, разумеется, имеют недостатки. Некоторые из них:

1) неустойчивость порогового значения;

2) использование только двух уровней качества («аттестован» или «не аттестован»);

3) не учитывается разное количество заданий в разделах;

4) не учитывается различный уровень сложности заданий;

5) из-за небольшого количества вопросов в тестах возникает несоответствие уровня подготовки студента требованиям государственного образовательного стандарта.

Проанализировав все эти недостатки, мы пришли к выводу, что необходимо использовать некую синтезированную модель, созданную с учетом как положительного, так и отрицательного опытов, использующую квалиметрический подход в оценке качества. При этом необходимо определить, что принять за эталон качества, как измерять отдельные свойства, составляющие качество, какие показатели включить в состав, как их оценивать. Важно, чтобы модель комплексного показателя качества учитывала значимость и допустимые пределы изменения показателей отдельных свойств в той степени, которая соответствует реальным условиям профессиональной деятельности.

Кроме того, внедрение федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) третьего поколения приводит к изменению образовательной политики и практики работы всех высших учебных заведений в соответствии с компетентностным подходом. В этих условиях понятие качества академической подготовки студентов расширяется: теперь это совокупность знаний, умений, навыков и владений – компетенции.

В предлагаемой нами модели использован комплексный метод оценки уровня качества. Комплексный показатель компетентности выпускника определяется как совокупность показателей сформированности компетенций по дисциплинам, составляющим обязательный минимум содержания основной образовательной программы подготовки выпускника по действующему ФГОС ВПО. Показатели уровня качества академической подготовки студентов по дисциплине определяются при прохождении студентом тестирований. Все задания разбиты на группы тестов в соответствии с разделами содержания дисциплин предметной подготовки. Таким образом, показатели, получаемые в результате прохождения студентом тестов, равноценны и могут принимать значения от 0 % до 100 %. Обозначим основные показатели:

● Pij – показатель теста. Определяется при прохождении выпускником тестирования по j-ой i-го блока дисциплине. Pij (0–100 %);

● в зависимости от количества часов, отводимых ФГОС ВПО на изучение, i-му блоку присваивается определенный коэффициент весомости Vi (0–1,0), j-ой дисциплине i-го цикла – Vij (0–1,0);

● показатель Sij = Pij·Vij – показатель уровня сформированности компетенций по j-ой дисциплине i-го цикла. Sij (0–100);

● показатель er01_1.wmf – показатель уровня сформированности компетенций по i-го блока. C∈(0–100);

● показатель er02_1.wmf – показатель уровня сформированности компетенций выпускника инженерного вуза.

Вес блока ООП направления подготовки определяется в соответствии с количеством часов, отводимым для его изучения ФГОС ВПО третьего поколения (табл. 1):

Определившись со структурой каждого блока ООП, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ФГОС ВПО третьего поколения и основную образовательную программу. Так, например, на профессиональный цикл отводится 95–105 зачетных единиц трудоемкости (ЗЕТ), следовательно, веса V43j каждой составляющей дисциплины в области профессионального цикла определяется, как отношение часов, отводимых для изучения дисциплины, к числу 2700 (3708 час = 2700 час + 1008 час / 108 = 75 + 28 ЗЕТ, где 1008 час (28 ЗЕТ) отводится на дисциплины по выбору) (табл. 2, рис. 2).

Такая модель не требует определения порогового значения; учитывается вес каждого цикла и дисциплины; уровни качества определяются не понятиями «аттестован» или «не аттестован», а показателем компетентности, позволяющим судить о степени компетентности или некомпетентности.

Безусловно, измеряя и оценивая качество подготовки специалиста, невозможно учесть практически бесконечное многообразие его профессионально значимых характеристик. Из этого многообразия необходимо выбрать только те свойства, которые имеют отношение к удовлетворению определенных общественных и профессиональных потребностей.

Систему параметров для квалиметрического оценивания будем определять на основе обязательного минимума содержания основной образовательной программы подготовки выпускника по действующему ФГОСу. Так как каждый блок является совокупностью дисциплин, то параметрами в нашей модели выступят именно эти дисциплины, содержание и объем которых определены в программе.

Таблица 1

Распределение часов в циклах

Название блока

ЗЕТ

min

max

Б1

Гуманитарный, социальный и экономический циклы

30

40

Б2

Математический и естественно-научный циклы

65

75

Б3

Профессиональный цикл

95

105

Б4

Физическая культура

2

2

Б5

Учебная и производственная практики

12

15

Б6

Итоговая государственная аттестация

12

12

 

Общая трудоемкость основной образовательной программы

240

erem1.wmf

Рис. 1. Модель квалиметрического оценивания качества академической подготовки выпускника инженерного вуза

eremina2a.tiferemina2b.tif

Рис. 2. Определение показателей уровня академической подготовки выпускника инженерного вуза по каждой дисциплине профессионального цикла Б3

Так как ФГОС определяет количество зачетных единиц/часов для изучения каждого блока и дисциплины в зависимости от направления, то мы остановимся на квалиметрическом оценивании качества академической подготовки выпускника направления 230700.62 – «Прикладная информатика по профилю Прикладная информатика в экономике».

Определившись со структурой каждого цикла, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ООП. Из учебного плана устанавливаем количество часов по профессиональному блоку дисциплин Б3, следовательно, веса V3j каждой составляющей компетенции в Б3 определяется, как отношение часов, отводимых для изучения дисциплины, к общему числу часов Б3. Аналогичную процедуру проделываем для остальных блоков. В результате иерархическое дерево свойств составлено, определены веса всех свойств. Следующий шаг в квалиметрическом оценивании – определение индивидуальных для каждого студента показателей по всем свойствам (компетенциям и их составляющим).

Как уже было сказано ранее, более надежной, оперативной и объективной формой педагогического контроля, по сравнению с традиционными формами, являются тесты. Их применение дает ряд преимуществ:

● единообразие процедуры проведения и оценки выполнения задания;

● объективность контроля;

● сравнимость результатов;

● возможность использования сравнительных оценок, позволяющих ранжировать обучаемых по уровню имеющихся у них знаний;

● высокая дифференцированность оценки.

Наряду с этим можно отметить сложность и трудоемкость разработки тестов и тестовых заданий и в связи с этим вероятность получения необъективных оценок в случае непрофессионально составленных тестов. Во избежание этого было принято решение определять индивидуальные показатели студента по компетенциям и их составляющим при помощи тестов системы Moodle, используемых для проведения процедуры внутривузовского тестирования студентов. С точки зрения тестирующей технологии, система обладает следующими возможностями:

● создание вопросов шести различных типов (выбор одного ответа, выбор нескольких ответов, пропуски, соответствие, перетаскивание, правда/ложь);

● указание уровня сложности вопросов;

● указание количества вопросов из всей базы вопросов, темы, уровня сложности;

● установка времени тестирования (тест без учета времени, время устанавливается на весь тест, время вычисляется в зависимости от кол-ва и сложности вопросов);

● указание порядка ответов на вопросы (студент отвечает на вопросы в произвольном порядке и может изменить свой ответ, либо студент отвечает на вопросы в заданном порядке и не может изменить свой ответ);

● указание настройки перемешивания вопросов и ответов;

● указание цены вопросов по 10-балльной системе;

● использование одних и тех же вопросов в составе разных тестов;

● создание отчетов.

Таблица 2

Веса дисциплин профессионального цикла

№ п/п

Название дисциплины

ЗЕТ

Часы

Vij

Pij

Sij

1

Теория вероятностей и математическая статистика

4

144

0,027

4

0,108

2

Дискретная математика

2

72

0,014

1

0,014

3

Теория систем и системный анализ

2

72

0,014

1

0,014

4

Информатика и программирование

5

180

0,034

4

0,135

5

Численные методы

3

108

0,020

4

0,081

6

Статистика

5

180

0,034

5

0,169

7

Интернет-технологии

4

144

0,027

3

0,081

8

Автоматизированная обработка статистических данных

4

144

0,027

4

0,108

9

Статистические пакеты

4

144

0,027

4

0,108

10

Методы оптимизации

9

324

0,061

4

0,243

11

Математическое программирование

9

324

0,061

3

0,182

12

Вычислительные системы, сети и телекоммуникации

6

216

0,041

3

0,122

13

Операционные системы

3

108

0,020

1

0,020

14

Программная инженерия

7

252

0,047

3

0,142

15

Информационные системы и технологии

6

216

0,041

4

0,162

16

Проектирование информационных систем

6

216

0,041

4,5

0,182

17

Проектный практикум

8

288

0,054

1

0,054

18

Базы данных

6

216

0,041

3

0,122

19

Информационная безопасность

3

108

0,020

1

0,020

20

Эконометрика

5

180

0,034

4

0,135

21

Введение в направление

3

108

0,020

1

0,020

22

Объектно ориентированный анализ и программирование

5

180

0,034

4

0,135

23

Технологии доступа к данным

2

72

0,014

1

0,014

24

Разработка клиентских приложений

3

108

0,020

1

0,020

25

Разработка web-приложений

5

180

0,034

5

0,169

26

Моделирование бизнес-процессов

4

144

0,027

4,5

0,122

27

Архитектура предприятия

2

72

0,014

1

0,014

28

Управление жизненным циклом информационных систем

3

108

0,020

4

0,081

29

1С-Программирование

4

144

0,027

4

0,108

30

Эффективность информационных технологий

3

108

0,020

3

0,061

31

Нечеткая логика и нейронные сети

3

108

0,020

1

0,020

32

Экономика бизнес-процессов предприятий и организаций

4

144

0,027

4

0,108

33

Пакеты прикладных программ (MathCAD)

3

108

0,020

4

0,081

34

Математические методы финансового анализа

3

108

0,020

1

0,020

 

Всего:

 

5328

1

   

Заключение

Главное достоинство системы Moodle – возможность заполнения лекциями, справочниками, ЦОР и глоссариями для подготовки студентов к тестированию. При этом подготовка и само тестирование могут быть запланированы на определенную дату и происходить централизованно, либо с возможностью продолжения и неограничены во времени и пространстве.

После завершения апробации и получения всех необходимых показателей перешли к проверке эффективности технологии квалиметрического оценивания качества академической подготовки выпускников направления «Прикладная информатика» путем сопоставления результатов тестирования экспериментальной группы и баллов, полученных студентами по завершении изучения дисциплины. Таким образом, обработка экспериментальных данных показала, что показатель профессиональной компетентности отличается от среднего значения баллов рейтинга. Более того, он демонстрирует не текущие, а остаточные знания, которыми обладает выпускник на момент окончания вуза.

Проверка на эффективность технологии квалиметрического оценивания профессиональных компетенций студентов проходила на базе Набережночелнинского института (филиала) ФГАОУ ВПО «Казанского (Приволжский) федерального университета» при оценивании компетенций. Была проведена стандартизация оценочных средств, определение надежности и валидности технологии оценивания.

Опытно-экспериментальная работа по внедрению модели и технологии квалиметрического оценивания профессиональных компетенций позволила скорректировать содержание обучения по формированию проектно-конструкторской компетенции, повысить мотивацию студентов и обеспечить объективное, валидное, ценностное уровневое представление результатов образовательной деятельности профессиональной подготовки студентов и выпускников. Эффективность результатов доказана статистическими методами обработки результатов педагогических исследований.

Рецензенты:

Розенцвайг А.К., д.т.н., профессор кафедры математических методов в экономике Набережночелнинского института (филиала) КФУ, г. Набережные Челны;

Кризский В.Н., д.ф.-м.н., профессор, доцент, кафедра автоматизации и управления Набережночелнинского института (филиала) КФУ, г. Набережные Челны.

Работа поступила в редакцию 01.04.2015.