На сегодняшний день распределённые информационные образовательные системы (далее РИОС) занимают всё более существенное место в образовании как технология обучения, т.к. по многим параметрам (например, интенсификация, гибкий график обучения и т.д.) перекрывают возможности традиционных технологий обучения. Вместе с тем имеется ряд недостатков, снижающих эффективность использования этой образовательной технологии. Одним из них является достоверность оценки знаний обучаемых в различных видах контроля.
Анализ научных публикаций и диссертационных исследований, связанных с организацией обучения с помощью РИОС (Н.А. Борисов, А.Д. Демьянов, Н.М. Леонова, М.Ю. Монахов, В.И. Пименов, П.Д. Рабинович, А.В. Репьёв [3, 5, 9, 11, 12, 13, 14] и др.), позволил сделать вывод о том, что оценка знаний обучаемого предполагает использование результатов тестирования, которое проводится после изучения каждой темы (или раздела) учебного курса. Среди параметров, влияющих на достоверность оценки знаний обучаемых в РИОС, системообразующими являются время тестирования, номенклатура (соответствие требованиям к результатам обучения, содержащимся в государственных стандартах и курсе дисциплины), весовой коэффициент трудности и количество предъявляемых обучаемому задач.
Определив параметры, которые в наибольшей степени влияют на достоверность оценки знаний обучаемого в РИОС, мы провели анализ обучающих систем, используемых для организации учебного процесса в отечественных вузах, с целью определения, как в них реализовано управление временем тестирования, номенклатурой, весовым коэффициентом трудности и количеством задач.
Анализ образовательных систем, представленных в научных публикациях и диссертационных исследованиях (Б.Л. Батаков, А.В. Демьянов, В.В. Дмитриева, Н.К. Жуковская, Л.В. Зайцева, Н.М. Леонова, М.Ю. Монахов, Н.О. Прокофьева, В.И. Пименов, П.Д. Рабинович, А.В. Репьёв [1, 5, 6, 7, 8, 9, 11, 12, 13, 14] и др.) показал, что в настоящее время в отечественных учебных заведениях высшего образования наибольшее распространение получили обучающие системы адаптивного типа, характерной чертой которых является «способность» приспосабливаться к особенностям каждого обучаемого.
Анализ структуры содержательного блока компьютерно-информационной обучающей системы в исследовании Б.Л. Батакова [1, с. 15] показал, что номенклатура тестовых заданий для различных видов контроля (входной, промежуточный, итоговый) соответствует основным понятиям и разделам курса изучаемой дисциплины и определяется преподавателем.
В исследованиях А.В. Демьянова, В.В. Дмитриевой, Н.М. Леоновой, Д.А. Мальцева, М.Ю. Монахова, В.И. Пименова, А.В. Репьёва [5, 6, 9, 10, 11, 12, 14] использован тот же подход. Тест формируется из вопросов, принадлежащих различным множествам, относящимся к определенной тематике изучаемой дисциплины, задаваемой преподавателем.
Анализ функционального строения компонента «Контроль знаний» в исследовании Д.А. Мальцева [10, с. 58–59] позволяет говорить только о возможности реализации требований к результатам обучения в соответствии с содержанием курса дисциплины, определяемых преподавателем.
Таким образом, номенклатура заданий зависит полностью только от мнения преподавателя, тем самым существенно влияя на достоверность оценки знаний, умений и навыков обучаемых.
П.Д. Рабинович [13, с. 19] использует другой подход, указывая в качестве основных требований к компьютерным обучающим системам возможность реализации требований к результатам обучения не только содержания курса дисциплины, но и других нормативных документов, в частности государственных стандартов. В работе представлено описание аналитического модуля компьютерной обучающей системы (КОС), определяющего степень соответствия моделей представления знаний, отражающих эти требования. Однако в исследовании не раскрыто, каким образом этот подход используется в управлении номенклатурой заданий при формировании теста.
Рассмотрим, каким образом в анализируемых нами исследованиях реализовано управление весовым коэффициентом трудности тестовых заданий.
В исследованиях В.В. Дмитриевой имеют место два уровня сложности тестовых заданий различной тематики [6, с. 38–40]: обычный и повышенный уровни сложности. Для каждого из разделов изучаемой дисциплины есть два вида тестов: обычные и повышенного уровня сложности. Итогом такой классификации является отнесение обучаемых к одной из трёх подгрупп, каждая из которых характеризуется своим рейтингом: неуспевающие, обычный уровень успеваемости, повышенный уровень успеваемости. Каждая подгруппа характеризуется своим интервалом уровня знаний: [0, Р0], (Р0, Р1], (Р1, 1].
Н.М. Леонова, М.Ю. Монахов [9, 11] предлагают три вида заданий определенной тематики (для обучаемых с низким, средним и высоким уровнем подготовки).
Исходя из современных положений дидактики, а именно уровней усвоения содержания учебного материала, использование такого набора заданий явно недостаточно для получения системой достоверной информации о текущем уровне знаний, умений и навыков обучаемого.
А.В. Демьянов [5, с. 36–49] применяет интеллектуальный анализ ответов обучаемого, предусматривающий распознавание системой правильных, неточных, неполных и неправильных ответов. Для реализации этого метода адаптации в РИОС автор использует задания различной степени трудности, соответствующие уровням усвоения содержания учебного материала, что значительно расширяет диапазон весового коэффициента трудности тестовых заданий с двух (или трёх) до пяти (простое узнавание, опознавание, воспроизведение, применение, творческая деятельность). Таким образом, результат выполнения тестовых заданий позволяет системе более достоверно оценить уровень знаний и умений обучаемого. Однако вне поля зрения автора остаются вопросы управления номенклатурой заданий, временем тестирования и количеством предъявляемых обучаемому задач. Этот же подход реализован в исследованиях В.И. Пименова, П.Д. Рабиновича [12, 13].
Таким образом, авторами не показано, как при тестировании обучаемых в РИОС происходит управление весовым коэффициентом трудности, количеством задач и временем тестирования.
Здесь важен еще один момент: в большинстве анализируемых нами работ не представлена оценка дифференцирующей способности теста, т.е. его пригодности для оценки уровня знаний и умений обучаемых. Следовательно, можно сделать вывод – весовой коэффициент трудности заданий, входящих в тест, как правило, зависит от мнения преподавателя. Таким образом, требуется объективная, а не субъективная методика оценки пригодности теста, определяющего уровень знаний и умений обучаемого.
Количество задач в тесте также не является предметом специального внимания разработчиков рассматриваемых нами обучающих систем. Следовательно, зависит только от мнения преподавателя, тем самым существенно влияя на достоверность оценки знаний, умений и навыков обучаемых.
Время выполнения тестов в анализируемых нами образовательных системах устанавливается путем ввода ограничения. Как правило, ограничение по времени задаёт преподаватель. Таким образом, время тестирования полностью зависит от желания преподавателя, не учитывает в полной мере индивидуальные особенности обучаемых, тем самым существенно влияя на достоверность оценки их знаний, умений и навыков.
Рассмотрим алгоритмы тестирования, представленные в анализируемых нами исследованиях.
В исследованиях В.В. Дмитриевой, Н.М. Леоновой, А.В. Репьёва [6, 9, 14] в процессе тестирования k-му обучаемому предлагается задание того уровня сложности, которое соответствует степени успешности изучения k-м обучаемым предыдущего раздела дисциплины, что и отражает его текущий рейтинг. По результатам текущего тестирования определяется текущая оценка рейтинга. На основе результатов текущего тестирования классификатор формирует новое значение рейтинга обучаемого, которое будет использовано при оценке уровня знаний обучаемого по следующему разделу изучаемой дисциплины. При этом выбор необходимого уровня сложности определяется в соответствии со степенью успешности изучения k-м обучаемым предыдущего раздела дисциплины, что и отражает его текущий рейтинг.
В исследованиях М.Ю. Монахова [11] оценка знания материала РИОС оценивается также по одному параметру – доля правильно решенных задач (у) определенного уровня сложности.
Тот же подход использует В.И. Пименов [12, с. 28], считая целевым критерием ранжирования обучаемого показатель уровня усвоения учебного материала. Результат тестирования автор предлагает определять через коэффициент усвоения учебного материала, вычисляемый как отношение правильно выполненных заданий к их общему количеству.
Таким образом, в представленных алгоритмах на достоверность оценки уровня знаний обучаемого влияет только один параметр – весовой коэффициент трудности задач ‒ и не учтено влияние управляющих воздействий таких параметров как время тестирования, номенклатура и количество задач.
С учетом основных положений теории организации учебного процесса [2] предложенного перечня весового коэффициента сложности заданий и рейтинга обучаемых, на которые ориентирована работа измерительного устройства и классификатора, явно недостаточно для получения достоверной информации об уровне знаний, умений и навыков обучаемого.
А.В. Демьянов предлагает подход, в котором система контроля (тестирования) представляет собой каталог ошибок, где представлены все возможные отклонения от правильного результата [5, с. 138]. Каждый вопрос предлагается обучаемому не один раз, а до тех пор, пока обучаемый не ответит на него правильно. Коэффициент правильности ответов обучаемого подсчитывается через количество правильных и неправильных ответов, максимального количества возможных ответов на вопрос и количества вопросов в данном блоке [5, с. 59]. Таким образом вычисляется процент реально сделанных обучаемым ошибок. На наш взгляд, такой подход позволяет адаптировать процесс обучения под индивидуальные особенности обучаемого, но не позволяет в достаточной степени достоверно оценить уровень его знаний.
Предпринятый анализ обучающих систем, используемых для организации процесса обучения в отечественных вузах, позволяет сделать вывод о том, что современный адаптивный контроль знаний, реализованный в РИОС, основан на весовом коэффициенте трудности заданий. При такой ориентации теста знания обучаемых измеряются менее точно за счёт существенной недооценки или переоценки уровня знаний.
В связи с перечисленными недостатками возникает необходимость в разработке и реализации методики, обеспечивающей такую степень достоверности оценки в РИОС знаний обучаемых, которая гарантировала бы, что разница между полученной оценкой знаний обучаемого и абсолютно достоверной оценкой составляет менее одной ступени в шкале оценок.
Рецензенты:
Жигалов И.Е., д.т.н., профессор, заведующий кафедрой «Информационные системы и программная инженерия», ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых», г. Владимир;
Ланцов В.Н., д.т.н., профессор, заведующий кафедрой «Вычислительная техника», ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых», г. Владимир.