Научный журнал
Фундаментальные исследования
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

МЕТОДИЧЕСКИЕ МЕХАНИЗМЫ КВАЛИМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ ЭФФЕКТИВНОСТИ ПОДГОТОВКИ ИТ-ПРОФЕССИОНАЛОВ В ВУЗЕ

Еремина И.И. 1 Калимуллина И.Ф. 1 Степанова Ф.Г. 1
1 ФГАОУ ВПО «Казанский (приволжский) федеральный университет» Набережночелнинский институт
В предлагаемой авторами модели использован комплексный метод оценки уровня качества академической подготовки студентов. Комплексный показатель компетентности выпускника определяется как совокупность показателей качества академической подготовки студентов по дисциплинам, составляющих обязательный минимум содержания основной образовательной программы подготовки выпускника по действующему федеральному государственному образовательному стандарту высшего профессионального образования. Показатели качества академической подготовки студентов по дисциплине определяются при прохождении студентом тестирований и текущих оценок. Повышение объективности оценки образовательного процесса во многом связано с уровнем формализации знаний и их теоретическим обобщением. Значительные эвристические возможности в этом плане связаны с квалиметрическим подходом. Основными компонентами квалиметрического подхода являются теория измерений, методы математической статистики и математическое моделирование. Разработка и обоснование квалиметрического подхода в системе высшего профессионального образования сопряжены с определенными трудностями, которые обусловлены как отсутствием фундаментальных общепризнанных работ в соответствующей области педагогического знания, так и существующими противоречиями между сторонниками внедрения математических методов в педагогике высшего профессионального образования специалистов ИТ-сферы. В результате проведенного исследования авторы предложили и обосновали применение квалиметрических методов для аналитического описания оценки качества подготовки ИТ-специалистов в области экономики, рассмотрены методы математического моделирования, с целью обнаружения количественных критериев сравнительного анализа мониторинга учебно-воспитательного процесса в вузе.
квалиметрия
измерение
оценивание
профессиональная компетентность
компетенции
модель оценивания качества академической подготовки студентов
тестирование
1. Болонский процесс: поиск общности европейских систем высшего образования (проект TUNING) / Под науч. ред. д-ра пед. наук, проф. В.И. Байденко. – М: Исследовательский центр проблем качества подготовки специалистов, 2006. – 211 с.
2. Васильев В.И., Тягунова Т.Н. Основы квалитологии и квалиметрии образования // Моск. гос. ун-т экономики, статистики и информатики. – М.: Изд. центр ЕАОИ, 2007. – 2804 с.
3. Дубцова М.М. О реализации квалиметрического подхода в решении проблемы оценивания учебных достижений студентов вуза / М.М. Дубцова // Перспективы науки. – 2011. – № 5(20). – С. 9–11.
4. Козьмина М.А. Педагогическая технология квалиметрического оценивания выпускной квалификационной работы в вузе: автореф. дис. на соискание ученой степени канд. педагог.наук / М.А. Козьмина; Ижевск. гос. техн. ун-т. – Ижевск, 2007. – 21 с.
5. Кондратьев В.В. Методология системного исследования. – Казань: РИЦ «Школа», 2007. – 230 с.
6. Мухаметзянова Г.В. Проблемы управления качеством подготовки и аттестации научно-педагогических кадров / Г.В. Мухаметзянова, Г.И. Ибрагимов. Соискатель-педагог: науч.-метод. журн. / гл. ред. В. Сластенин. – М.: Соврем. образование, – 2009. – № 1. – С. 3–6.
7. Спенсер Лайл М. мл., Спенсер Сайн М. Компетенции на работе: Перевод с англ. – М.: ШРРО, 2005. – 384 с.

Решение проблем управления качеством высшего образования в России осуществляется в разных направлениях: развитие теоретических основ управления качеством в сфере образования (квалитология образования); стандартизация (создание государственных образовательных стандартов и систем менеджмента качества на основе международных стандартов); создание и развитие государственно-общественных механизмов управления качеством (аттестация, лицензирование, аккредитация); теоретико-методологические исследования в области оценки состояния образования и тенденций его развития. Приоритетная роль в развитии систем качества в высшей школе должна быть отведена объективному оцениванию, обеспечивающему научную основу для анализа результатов обучения, функционирования, развития систем управления качеством образования.

Для оценки качества академической подготовки студентов, осуществляемой в российских вузах в рамках комплексной проверки деятельности образовательного учреждения, а также при принятии решения об аккредитации используются различные модели. Решения, принимаемые на основе информации, полученной при использовании разных моделей, могут существенно отличаться.

Под измерением в квалиметрии понимается однозначное количественное выражение качества в единицах и масштабе выбранной шкалы измерения. В результате такого измерения определяется количественная величина качества, выраженная показателем качества. Показателями качества академической подготовки студентов являются результаты выполнения ими совокупности заданий-индикаторов, направленных на выявление знаний и умений использовать эти знания в различных ситуациях.

Цель исследования: определить методические механизмы квалиметрического оценивания эффективности подготовки ИТ-профессионалов в вузе в условиях информационной образовательной среды.

Основная часть

На сегодняшний день существует несколько моделей оценивания качества академической подготовки студентов, но все они, разумеется, имеют недостатки. Некоторые из них:

1) неустойчивость порогового значения;

2) использование только двух уровней качества («аттестован» или «не аттестован»);

3) не учитывается разное количество заданий в разделах;

4) не учитывается различный уровень сложности заданий;

5) из-за небольшого количества вопросов в тестах возникает несоответствие уровня подготовки студента требованиям государственного образовательного стандарта.

Проанализировав все эти недостатки, мы пришли к выводу, что необходимо использовать некую синтезированную модель, созданную с учетом как положительного, так и отрицательного опытов, использующую квалиметрический подход в оценке качества. При этом необходимо определить, что принять за эталон качества, как измерять отдельные свойства, составляющие качество, какие показатели включить в состав, как их оценивать. Важно, чтобы модель комплексного показателя качества учитывала значимость и допустимые пределы изменения показателей отдельных свойств в той степени, которая соответствует реальным условиям профессиональной деятельности.

Кроме того, внедрение федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) третьего поколения приводит к изменению образовательной политики и практики работы всех высших учебных заведений в соответствии с компетентностным подходом. В этих условиях понятие качества академической подготовки студентов расширяется: теперь это совокупность знаний, умений, навыков и владений – компетенции.

В предлагаемой нами модели использован комплексный метод оценки уровня качества. Комплексный показатель компетентности выпускника определяется как совокупность показателей сформированности компетенций по дисциплинам, составляющим обязательный минимум содержания основной образовательной программы подготовки выпускника по действующему ФГОС ВПО. Показатели уровня качества академической подготовки студентов по дисциплине определяются при прохождении студентом тестирований. Все задания разбиты на группы тестов в соответствии с разделами содержания дисциплин предметной подготовки. Таким образом, показатели, получаемые в результате прохождения студентом тестов, равноценны и могут принимать значения от 0 % до 100 %. Обозначим основные показатели:

● Pij – показатель теста. Определяется при прохождении выпускником тестирования по j-ой i-го блока дисциплине. Pij (0–100 %);

● в зависимости от количества часов, отводимых ФГОС ВПО на изучение, i-му блоку присваивается определенный коэффициент весомости Vi (0–1,0), j-ой дисциплине i-го цикла – Vij (0–1,0);

● показатель Sij = Pij·Vij – показатель уровня сформированности компетенций по j-ой дисциплине i-го цикла. Sij (0–100);

● показатель er01_1.wmf – показатель уровня сформированности компетенций по i-го блока. C∈(0–100);

● показатель er02_1.wmf – показатель уровня сформированности компетенций выпускника инженерного вуза.

Вес блока ООП направления подготовки определяется в соответствии с количеством часов, отводимым для его изучения ФГОС ВПО третьего поколения (табл. 1):

Определившись со структурой каждого блока ООП, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ФГОС ВПО третьего поколения и основную образовательную программу. Так, например, на профессиональный цикл отводится 95–105 зачетных единиц трудоемкости (ЗЕТ), следовательно, веса V43j каждой составляющей дисциплины в области профессионального цикла определяется, как отношение часов, отводимых для изучения дисциплины, к числу 2700 (3708 час = 2700 час + 1008 час / 108 = 75 + 28 ЗЕТ, где 1008 час (28 ЗЕТ) отводится на дисциплины по выбору) (табл. 2, рис. 2).

Такая модель не требует определения порогового значения; учитывается вес каждого цикла и дисциплины; уровни качества определяются не понятиями «аттестован» или «не аттестован», а показателем компетентности, позволяющим судить о степени компетентности или некомпетентности.

Безусловно, измеряя и оценивая качество подготовки специалиста, невозможно учесть практически бесконечное многообразие его профессионально значимых характеристик. Из этого многообразия необходимо выбрать только те свойства, которые имеют отношение к удовлетворению определенных общественных и профессиональных потребностей.

Систему параметров для квалиметрического оценивания будем определять на основе обязательного минимума содержания основной образовательной программы подготовки выпускника по действующему ФГОСу. Так как каждый блок является совокупностью дисциплин, то параметрами в нашей модели выступят именно эти дисциплины, содержание и объем которых определены в программе.

Таблица 1

Распределение часов в циклах

Название блока

ЗЕТ

min

max

Б1

Гуманитарный, социальный и экономический циклы

30

40

Б2

Математический и естественно-научный циклы

65

75

Б3

Профессиональный цикл

95

105

Б4

Физическая культура

2

2

Б5

Учебная и производственная практики

12

15

Б6

Итоговая государственная аттестация

12

12

 

Общая трудоемкость основной образовательной программы

240

erem1.wmf

Рис. 1. Модель квалиметрического оценивания качества академической подготовки выпускника инженерного вуза

eremina2a.tiferemina2b.tif

Рис. 2. Определение показателей уровня академической подготовки выпускника инженерного вуза по каждой дисциплине профессионального цикла Б3

Так как ФГОС определяет количество зачетных единиц/часов для изучения каждого блока и дисциплины в зависимости от направления, то мы остановимся на квалиметрическом оценивании качества академической подготовки выпускника направления 230700.62 – «Прикладная информатика по профилю Прикладная информатика в экономике».

Определившись со структурой каждого цикла, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ООП. Из учебного плана устанавливаем количество часов по профессиональному блоку дисциплин Б3, следовательно, веса V3j каждой составляющей компетенции в Б3 определяется, как отношение часов, отводимых для изучения дисциплины, к общему числу часов Б3. Аналогичную процедуру проделываем для остальных блоков. В результате иерархическое дерево свойств составлено, определены веса всех свойств. Следующий шаг в квалиметрическом оценивании – определение индивидуальных для каждого студента показателей по всем свойствам (компетенциям и их составляющим).

Как уже было сказано ранее, более надежной, оперативной и объективной формой педагогического контроля, по сравнению с традиционными формами, являются тесты. Их применение дает ряд преимуществ:

● единообразие процедуры проведения и оценки выполнения задания;

● объективность контроля;

● сравнимость результатов;

● возможность использования сравнительных оценок, позволяющих ранжировать обучаемых по уровню имеющихся у них знаний;

● высокая дифференцированность оценки.

Наряду с этим можно отметить сложность и трудоемкость разработки тестов и тестовых заданий и в связи с этим вероятность получения необъективных оценок в случае непрофессионально составленных тестов. Во избежание этого было принято решение определять индивидуальные показатели студента по компетенциям и их составляющим при помощи тестов системы Moodle, используемых для проведения процедуры внутривузовского тестирования студентов. С точки зрения тестирующей технологии, система обладает следующими возможностями:

● создание вопросов шести различных типов (выбор одного ответа, выбор нескольких ответов, пропуски, соответствие, перетаскивание, правда/ложь);

● указание уровня сложности вопросов;

● указание количества вопросов из всей базы вопросов, темы, уровня сложности;

● установка времени тестирования (тест без учета времени, время устанавливается на весь тест, время вычисляется в зависимости от кол-ва и сложности вопросов);

● указание порядка ответов на вопросы (студент отвечает на вопросы в произвольном порядке и может изменить свой ответ, либо студент отвечает на вопросы в заданном порядке и не может изменить свой ответ);

● указание настройки перемешивания вопросов и ответов;

● указание цены вопросов по 10-балльной системе;

● использование одних и тех же вопросов в составе разных тестов;

● создание отчетов.

Таблица 2

Веса дисциплин профессионального цикла

№ п/п

Название дисциплины

ЗЕТ

Часы

Vij

Pij

Sij

1

Теория вероятностей и математическая статистика

4

144

0,027

4

0,108

2

Дискретная математика

2

72

0,014

1

0,014

3

Теория систем и системный анализ

2

72

0,014

1

0,014

4

Информатика и программирование

5

180

0,034

4

0,135

5

Численные методы

3

108

0,020

4

0,081

6

Статистика

5

180

0,034

5

0,169

7

Интернет-технологии

4

144

0,027

3

0,081

8

Автоматизированная обработка статистических данных

4

144

0,027

4

0,108

9

Статистические пакеты

4

144

0,027

4

0,108

10

Методы оптимизации

9

324

0,061

4

0,243

11

Математическое программирование

9

324

0,061

3

0,182

12

Вычислительные системы, сети и телекоммуникации

6

216

0,041

3

0,122

13

Операционные системы

3

108

0,020

1

0,020

14

Программная инженерия

7

252

0,047

3

0,142

15

Информационные системы и технологии

6

216

0,041

4

0,162

16

Проектирование информационных систем

6

216

0,041

4,5

0,182

17

Проектный практикум

8

288

0,054

1

0,054

18

Базы данных

6

216

0,041

3

0,122

19

Информационная безопасность

3

108

0,020

1

0,020

20

Эконометрика

5

180

0,034

4

0,135

21

Введение в направление

3

108

0,020

1

0,020

22

Объектно ориентированный анализ и программирование

5

180

0,034

4

0,135

23

Технологии доступа к данным

2

72

0,014

1

0,014

24

Разработка клиентских приложений

3

108

0,020

1

0,020

25

Разработка web-приложений

5

180

0,034

5

0,169

26

Моделирование бизнес-процессов

4

144

0,027

4,5

0,122

27

Архитектура предприятия

2

72

0,014

1

0,014

28

Управление жизненным циклом информационных систем

3

108

0,020

4

0,081

29

1С-Программирование

4

144

0,027

4

0,108

30

Эффективность информационных технологий

3

108

0,020

3

0,061

31

Нечеткая логика и нейронные сети

3

108

0,020

1

0,020

32

Экономика бизнес-процессов предприятий и организаций

4

144

0,027

4

0,108

33

Пакеты прикладных программ (MathCAD)

3

108

0,020

4

0,081

34

Математические методы финансового анализа

3

108

0,020

1

0,020

 

Всего:

 

5328

1

   

Заключение

Главное достоинство системы Moodle – возможность заполнения лекциями, справочниками, ЦОР и глоссариями для подготовки студентов к тестированию. При этом подготовка и само тестирование могут быть запланированы на определенную дату и происходить централизованно, либо с возможностью продолжения и неограничены во времени и пространстве.

После завершения апробации и получения всех необходимых показателей перешли к проверке эффективности технологии квалиметрического оценивания качества академической подготовки выпускников направления «Прикладная информатика» путем сопоставления результатов тестирования экспериментальной группы и баллов, полученных студентами по завершении изучения дисциплины. Таким образом, обработка экспериментальных данных показала, что показатель профессиональной компетентности отличается от среднего значения баллов рейтинга. Более того, он демонстрирует не текущие, а остаточные знания, которыми обладает выпускник на момент окончания вуза.

Проверка на эффективность технологии квалиметрического оценивания профессиональных компетенций студентов проходила на базе Набережночелнинского института (филиала) ФГАОУ ВПО «Казанского (Приволжский) федерального университета» при оценивании компетенций. Была проведена стандартизация оценочных средств, определение надежности и валидности технологии оценивания.

Опытно-экспериментальная работа по внедрению модели и технологии квалиметрического оценивания профессиональных компетенций позволила скорректировать содержание обучения по формированию проектно-конструкторской компетенции, повысить мотивацию студентов и обеспечить объективное, валидное, ценностное уровневое представление результатов образовательной деятельности профессиональной подготовки студентов и выпускников. Эффективность результатов доказана статистическими методами обработки результатов педагогических исследований.

Рецензенты:

Розенцвайг А.К., д.т.н., профессор кафедры математических методов в экономике Набережночелнинского института (филиала) КФУ, г. Набережные Челны;

Кризский В.Н., д.ф.-м.н., профессор, доцент, кафедра автоматизации и управления Набережночелнинского института (филиала) КФУ, г. Набережные Челны.

Работа поступила в редакцию 01.04.2015.


Библиографическая ссылка

Еремина И.И., Калимуллина И.Ф., Степанова Ф.Г. МЕТОДИЧЕСКИЕ МЕХАНИЗМЫ КВАЛИМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ ЭФФЕКТИВНОСТИ ПОДГОТОВКИ ИТ-ПРОФЕССИОНАЛОВ В ВУЗЕ // Фундаментальные исследования. – 2015. – № 2-13. – С. 2949-2955;
URL: https://fundamental-research.ru/ru/article/view?id=37594 (дата обращения: 28.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674