Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

THE HETEROGENEOUS COMPETENCE INDICATORS ESTIMATION: ECHNOLOGICAL ASPECTS

Ovsyanitskaya L.Y. 1
1 Ural Social-Economic Institute the affiliate of the Labour and Social Relations Academy
The paper presents an analysis of the situation related to the estimation of heterogeneous features of competence indicators in the transition to modern technologies of training and availability of computer equipment and specialized software for analytical data processing pedagogical monitoring. The possibility of the teaching performance and personal characteristics of the learner evaluation and display is demonstrated. Application of this technology makes it possible to assess the level of students in detail for each of the analyzed indicators with a limited number of questions and the answers to them. Proper use of the resulting information allows you to adjust and manage the learning process in such a way as to maximize consider specific features of the trainees even with a large group. Result of a comprehensive analysis of the data, their dynamics and trends will be strict individualization of instruction which will allow the most efficient use of time teacher and student. The result will be the preparation of high-quality, popular and competitive specialists in their field.
information technology
competence
the estimation of the competence indicators
pedagogical monitoring
1. Barseghyan, A.A. Technology Data Analysis: Data Mining, Visual Mining, Text Mining, OLAP / A.A. Barseghyan etc. St. Petersburg .: BHV-Petersburg, 2007 384 p.
2. Mayorov, A.N. Monitoring in education. Book 1 / A.N. Mayorov. St. Petersburg: «Education culture», 1998. 344 p.
3. Meshcheriakova, M.A. Quality Management training specialists in higher medical education: Author. Diss ... .d-ra ped. sciences (13.00.08). M., 2006.
4. Educational space of the school and the university: a collective monograph / ed. E.J. Nikitina. M.: VLADOS, 2014 354 p.
5. Shubin, L.B Simulation training in the system of continuous vocational training of medical staff: Author. Diss ... .kand. med. sciences (14.02.03). M., 2011.

Переход к современным технологиям обучения в условиях информатизации, доступность вычислительной техники и специализированного программного обеспечения для аналитической обработки данных делает возможным хранение и обработку практически неограниченных объемов данных педагогического мониторинга.

Рассматривая мониторинг в образовании как «систему сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированную на информационное обеспечение управления, позволяющую судить о состоянии объекта в любой момент времени и дающую прогноз его развития» [2, с. 85], приходим к выводу о том, что работа с большими группами обучающихся и разнородность получаемых данных приводят к необходимости внедрения современных методов обработки, анализа и визуализации информации.

Разработанные на сегодняшний день способы интеллектуальной обработки информации [1, с. 58] позволяют преподавателю иметь в каждый момент времени полную картину любых показателей обучаемого не только в виде абсолютных значений, но и в виде удобных для восприятия форматов данных, представляющих общие и нетривиальные закономерности и связи. Это делает оценку уровня подготовки специалиста объективной и всесторонней.

Однако, анализируя реальную ситуацию, мы видим, что, несмотря на признание необходимости осуществления эффективного педагогического управления профессиональной подготовкой врачей [3], наличие и доступность описанного выше программного обеспечения, существуют противоречия между:

– существованием доступных современных программных средств анализа данных и интеллектуальной обработки результатов, оценивающих влияние различных факторов на результат обучения с целью осуществления замкнутого педагогического управления, предполагающего контроль, оценку и коррекцию каждого этапа обучения, и использованием результатов тестирования или выполнения других контрольных заданий исключительно для проведения итоговой аттестации;

– необходимостью оценивания уровня овладения обучаемым компетенцией, которая включает в себя показатели учения, личностные и психологические характеристики человека, то есть является многомерным понятием, и итоговый результат, получаемый суммой набранных баллов или суммой произведений набранных баллов и коэффициента сложности вопроса, представляемый по одномерной шкале [4, с. 281].

Определенное количество баллов, набранное учеником при прохождении тестирования, не всегда означает гармоничность имеющихся знаний, умений и необходимых личностных характеристик. Своевременно выявленные пробелы в наличии указанных показателей способны инициировать корректировку хода обучения, а доступность и распространенность вычислительной техники для обработки результатов тестирования позволяет индивидуализировать процесс обучения.

Такие характеристики человека, как ответственность, инициативность, также не могут рассматриваться в отрыве от области приложения. Например, в настоящее время осуществляется массовый переход от бумажных к электронным носителям информации. Единственным инструментом, позволяющим подтвердить авторство и подлинность документа, является электронная подпись. Человек, использующий электронную подпись, имеет цифровой ключ. Взлом цифровой подписи невозможен, если пользователь хранит ключ в надежном месте и держит пароль в секрете.

Однако если пользователь не ознакомлен с технологией защиты данных, хранящихся в электронном виде с помощью электронной подписи, то он может вести себя крайне безответственно. Это может выражаться, например, в том, что носитель ключа электронной подписи будет доступен третьим лицам, или пароль будет также использован для аутентификации человека в социальных сетях, электронной почте. Если человек ознакомлен с последствиями подобных действий, то вести себя он будет уже более ответственно. Говоря о здравоохранении, по уровню ответственности за принятие решений эту отрасль можно сравнить с такими отраслями, как авиация, военная и ядерная энергетика [5].

Дальнейшее исследование мы проводили, исходя из следующих предположений:

1. Не существует вопросов, которые оценивали бы только определенную составляющую учения (знания, умения, навыки) или личностную характеристику. Ответ на любой задаваемый вопрос почти всегда отражает наличие и степень владения учеником теоретическими знаниями, практическими навыками и существование определенных личностных характеристик.

2. Обучение является непрерывным процессом. При освоении конкретных вопросов ученик попутно получает сопутствующие знания или овладевает дополнительными навыками. С другой стороны, любое тестирование представляет собой дискретный процесс – мы можем задать только конечное число вопросов, так как всегда ограничены такими факторами, как время тестирования или количество допустимых вопросов.

3. Компетенция – это многогранное понятие. Поэтому уровень компетенции, выраженный в виде числового значения или словесного клише, не передает всей полноты информации о студенте или ученике.

Исходя из вышесказанного, являются актуальными задачи:

– детального оценивания уровня владения учеником или студентом теоретическими знаниями, навыками, умениями и наличия личностных психологических особенностей;

– визуализация показателей учения в виде представления многомерных областей, дающих педагогу или работодателю полную картину компетенции ученика (выпускника);

– разработка доступной и легкой в применении технологии, позволяющей реализовать указанные выше задачи за минимальное время благодаря использованию возможностей вычислительной техники.

Несмотря на большое количество вариантов определений понятия компетенции, в основном под этим термином понимают совокупность показателей учения (знаний, умений, навыков) и личностных характеристик, позволяющих успешно решать поставленные задачи. Поэтому под показателями компетенции будем в дальнейшем понимать знания, умения, навыки и личностные характеристики обучаемых.

В табл. 1 представим сравнение традиционной системы тестирования и предлагаемой технологии построения областей показателей компетенции.

Таблица 1

Сравнение традиционной системы тестирования и предлагаемой технологии построения областей показателей компетенции

Традиционный вариант

Предлагаемая технология

Результат аттестации представляет собой:

Сумму баллов в целом и/или по каждой теме дисциплины отдельно

Сумму баллов как по теме каждой дисциплины, так и отдельно по каждому показателю учения или оценке личностной характеристики

Полученный результат аттестации по каждой теме:

Автономен и не связан с результатом другой темы

Существует возможность проведения анализа как внутри одной темы, так и по результатам тестирования в целом: насколько один показатель учения или оценка личностной характеристики связаны с другими

Формат представления результата аттестации:

В виде двумерной таблицы или графика

В виде многомерного куба, отражающего все требуемые параметры и связи одновременно

Оценивание разнородных показателей компетенции:

На одном графике показатели учения и личностные характеристики отображать некорректно

Корректное отображение разнородных показателей

Целью нашего исследования является количественное описание существующих связей между различными показателями обучаемого и разработка на основе интеллектуального анализа полученных результатов качественных рекомендаций по дальнейшему проведению обучения, то есть формирование педагогического управления.

Задачами являются: построение модели показателей компетенции обучаемых, нахождение возможных функциональных связей между ними и обоснование применения современных автоматизированных средств визуализации и интеллектуального анализа данных.

Постулатом нашего исследования служит полная взаимосвязь всех показателей учения и личностных характеристик ученика.

Рассмотрим формулировки вопросов, предъявляемых во время тестирования. Вопросов, которые отражают только теоретическую информацию, очень мало. Вопросов, которые отражают только умение применять знания или навыки работы без отсутствия каких-либо теоретических знаний, нет. Некоторые ответы на вопросы, помимо показателей учения, способны выявить личностные психологические характеристики.

Учитывая факт наличия в вопросе элементов теоретических знаний, практических навыков и, возможно, личностных психологических характеристик, проведем их предварительную оценку в баллах по числу оцениваемых параметров.

Введем следующее понятие:

вес показателя – это доля анализируемого показателя учения или личностной характеристики, которая присутствует в данном задаваемом вопросе или рассматриваемом материале.

Например, вес знаний в вопросе – это доля теоретических знаний, которая присутствует в данном вопросе. Вес умений в материале – это доля имеющихся умений, которая присутствует в рассматриваемом вопросе.

Обозначим вес показателя как Р. Соответственно, Pз – вес знаний, Ру – вес умений, Pн – вес навыков.

Например, в тесте присутствуют вопросы:

1. Приведите верное определение понятия «Открытый ключ электронной подписи».

2. Укажите условия хранения закрытого ключа электронной подписи.

3. Укажите возможные способы конфиденциальной передачи документа при работе в указанной системе документооборота.

Предварительно преподаватель указывает, что в ответах на вопросы содержатся показатели учения и личностные характеристики в следующих пропорциях (табл. 2).

Таблица 2

Пропорции (вес) показателей учения и личностных характеристик, содержащиеся в вопросах

Номер вопроса

Вес теоретических знаний в вопросе

Вес умений в вопросе

Вес навыков в вопросе

Вес ответственности в вопросе

Вес инициативности и творческого подхода в вопросе

1

0,6

0,3

0,1

0

0

2

0,4

0,2

0,1

0,3

0

3

0,3

0,2

0,1

0

0,4

Отметим, что для дальнейшей сходимости математических вычислений необходимо, чтобы сумма долей была равна единице. Далее мы ввели понятие

уровень показателей обучаемого – это количество теоретических знаний, умений, навыков, которые показаны обучаемым при ответе на данный вопрос. Уровень показателя вычисляется путем умножения коэффициентов Р на количество набранных по данному вопросу баллов при проверке знаний (N):

Hi = Pi∙Ni, (1)

где i – номер вопроса.

Также нам понадобится величина «Максимальный уровень владения», которая покажет уровень владения показателями учения или личностными характеристиками при всех верных ответах. Максимальный уровень владения вычисляется как

Hiмакс = Pi∙Mi, (2)

где М – максимальное количество баллов в вопросе; i – номер вопроса.

Поскольку обучение – это процесс непрерывный и имеющиеся у человека знания связаны воедино, введем понятие «область идеальных знаний (умений, навыков)» – область, состоящая из множества всех вопросов и ответов на них (выраженных в баллах), которые могут быть заданы по теме данного занятия и которые отражают владение обучаемым теоретическими знаниями (умениями, навыками) данного предмета (рис. 1).

pic_81.tif

Рис. 1. Область идеальных знаний

Коэффициентом Sиз мы обозначили площадь области идеальных знаний.

Безусловно, понятие «область идеальных знаний» является абстракцией. С подобными допущениями мы часто сталкиваемся в науке, например: «абсолютно черное тело», «абсолютно упругое тело», «идеальный газ». Теоретические обобщения позволяют отражать основные закономерности исследуемых объектов или явлений.

Область идеальных знаний никогда не будет описана полностью. Это не область знаний по данному вопросу, рассмотренная на занятиях или изученная при самостоятельной подготовке, а эталон знаний, к которому необходимо стремиться ученику.

В реальной ситуации преподаватель не в состоянии представить на занятии все желаемые темы и вопросы. Поэтому для соблюдения объективности оценивания результатов введем понятие «область максимальных знаний» – область, состоящую из множества всех вопросов и ответов на них (выраженных в баллах), которые заданы по теме реально проведенного занятия и которые отражают владение обучаемым теоретическими знаниями данного предмета (рис. 2).

Полученная область представляет для преподавателя шаблон, максимально учитывающий субъективные обстоятельства проведения занятий и позволяющий объективно оценивать результаты учеников.

Представленное изображение дает моментальное понятие типа вопроса: какой показатель учения или какая личностная характеристика доминирует в содержании вопроса (или все указанные пункты вносят примерно одинаковый вклад). В данном примере мы видим незакрашенную область, то есть область, которая выпала из нашего поля зрения при проведении занятия или выделении материала для самостоятельного обучения.

Помимо визуального анализа, преподаватель должен иметь в своем распоряжении точные значения указанных параметров.

pic_82.tif

Рис. 2. Область максимальных знаний

Величина отношения площади максимальных знаний (умений, навыков, личностных характеристик) к площади идеальных знаний (умений, навыков, личностных характеристик) может служить показателем качества формулировки вопросов в области теоретических знаний.

Нами введен термин «степень близости к идеальным знаниям (умениям, навыкам, личностным характеристикам)» – величина, показывающая, насколько вопросы, заданные в данной формулировке, отражают полноту представления теоретических знаний, представленных на занятиях по данной теме.

Обозначим указанную величину как Lи.

Lи = Sм/Sи, (3)

где Sм и Sи – площади максимальных и идеальных показателей соответственно.

Из отношения (3) мы видим, что чем больше вопросов задается по данной теме и чем детальнее формулировка вопросов отражает теоретические знания, тем полученное отношение будет ближе к единице.

После того как преподаватель сформулировал вопросы и определил содержание (вес) показателей учения и личностных качеств в них, можно переходить к обработке реальных результатов тестирования.

Отметим на плоскости значения полученных реальных результатов ответов на вопросы и обозначенных нами как уровень владения знаниями (1). Площадь полученной области реальных знаний обозначим переменной Sрз. Область реальных знаний – это область, состоящая из множества всех вопросов и ответов на них (выраженных в баллах), которая отражает реальные теоретические знания (умения, навыки, личностные характеристики) учеников по данному предмету.

Введем термин «степень близости к максимальным знаниям» и обозначим его коэффициентом Lмз.

Степень близости к максимальным знаниям – это величина, показывающая, насколько знания, показанные обучаемым ответами на вопросы данных формулировок, отражают реальное количество знаний, освоенных на занятиях или при выполнении самостоятельной работы по данной теме.

Lм = Sр/Sм, (4)

где Sр и Sм – площади реальных и максимальных показателей соответственно.

Введение этой характеристики позволит наглядно представить владение обучаемым теоретическими знаниями относительно максимально возможного показателя при конкретных количестве и формулировках вопросов данной темы.

Совместим указанные области (рис. 3).

Проанализируем полученное изображение.

1. Из трех представленных для анализа вопросов второй вопрос в большей степени отражает теоретические знания.

2. Несмотря на утверждения, сделанные в п. 1, нельзя говорить о том, что данный вопрос относится к области теоретических знаний, так как мы видим, что отношение площади максимальных знаний к идеальным достаточно далеко от единицы.

3. Абсолютно неверный ответ на второй, ориентированный в большой степени на теорию вопрос, показывает пробел обучаемого в области теоретических знаний.

4. По третьему вопросу мы видим максимально возможный результат, что говорит об усвоении обучаемым материала.

5. Невысокие полученные значения в целом могут свидетельствовать не о пробелах в знаниях обучаемого, а об отсутствии или недостаточном количестве предоставленных вопросов, отражающих теоретические знания данной темы.

Наглядное представление сводных результатов группы студентов позволяет проводить своевременную корректировку процесса обучения.

pic_83.tif

Рис. 3. Области реальных, максимальных и идеальных знаний

Далее, аналогично вышесказанному, можно представить области реальных, максимальных и идеальных умений, навыков, ответственности и других анализируемых параметров.

Выводы

1. В статье продемонстрирована возможность единства оценивания и отображения разнородных показателей учения и личностных характеристик обучаемого.

2. Применение описанной технологии позволяет, имея ограниченное количество вопросов и ответов на них, оценить уровень обучаемых детально по каждому анализируемому показателю.

3. Грамотное использование полученной информации позволяет корректировать и управлять процессом обучения таким образом, чтобы максимально учитывать индивидуальные особенности обучаемых даже при многочисленности группы.

Результатом комплексного анализа данных, их динамики и тенденций будет строгая индивидуализация обучения, которая позволит наиболее эффективно использовать время преподавателя и обучаемого. Итогом будет подготовка качественных, востребованных и конкурентоспособных в своей области специалистов.

Рецензенты:

Карпова О.Л., д.п.н., профессор кафедры связей с общественностью, права, профсоюзных и гуманитарных дисциплин, Уральский социально-экономический институт (филиал) ОУП ВПО «Академия труда и социальных отношений», г. Челябинск;

Никитина Е.Ю., д.п.н., профессор, кафедра русского языка, литературы и методики преподавания русского языка и литературы, ФГБОУ ВПО «Челябинский государственный педагогический университет», г. Челябинск.

Работа поступила в редакцию 28.10.2014.