В последние годы повышение образовательного уровня молодежи и привлечение ее в науку входит в число приоритетных задач государственного уровня. Молодежь России является наиболее восприимчивой и мобильной частью социума, поддерживающей прогрессивные реформы и претворяющей их в жизнь. Она в первую очередь развивает науку и промышленность, обеспечивает рост экономики и способствует улучшению качества жизни. Новые вызовы, связанные с глобальными изменениями в современном мире, новые цели социально-экономического развития страны требуют системного обновления, развития задач и механизмов государственной молодежной политики [3]. С целью развития творческих способностей молодежи и вовлечения ее в научно-исследовательскую деятельность проводятся мероприятия различного уровня, такие как: конкурсы научно-исследовательских работ, конференции и олимпиады, фестивали студенческого творчества, научные форумы, семинары и т.п. Они поддерживают у молодых людей интерес к науке, производству, технологической сфере и вовлекают ее в культуру технических инноваций.
Метод проектирования конкурсов научно-исследовательских работ молодежи
Практический опыт организации конкурсов научно-исследовательских работ молодежи (далее Конкурс) показал высокую заинтересованность школьников и студентов в участии в подобных мероприятиях [1]. Определим термин «Конкурс» как соревнование участников, целью которого является выделение лучших и при котором организатор заранее определяет условия соревнования: его цель, задачи, содержание, структуру и ключевые оценочные показатели. Процесс проектирования и подготовки Конкурса характеризуется высокой степенью сложности и трудоемкости. В процессе проектирования Конкурса необходимо выполнить разработку: цели и задач проведения Конкурса; комплекса мероприятий, связанных с его организацией и проведением; структуры Конкурса, этапов его проведения и условий функционирования; бизнес-процессов функционирования Конкурса и механизмов управления ими; критериев оценки конкурсных научно-исследовательских работ в виде совокупности показателей и определение их значимости; моделей и методов поддержки принятия решений при определении победителей и призеров Конкурса.
На предварительном этапе проектирования выполняется разработка общей концепции проведения Конкурса, определяются цели и задачи его проведения, формируется организационный комитет, рабочие группы оргкомитета и состав жюри (экспертных комиссий). Далее устанавливается основа топологии Конкурса: степень открытости (например, без предварительного отбора – участником может быть любой учащийся из определенной для конкретного Конкурса возрастной группы), этапность (например, заочный отбор и оценка конкурсных работ и очная оценка защиты работ). Разрабатывается положение о проведении Конкурса. При этом необходимо акцентировать внимание на ряде проблем, закономерно возникающих при организации и проведении детских и молодежных научно-исследовательских конкурсов и конференций: выбор направления и тематики исследования; способ представления работы; реферативность работы; самостоятельность выполнения научного исследования; подмена понятия «исследование» – «творчеством»; проблема отбора и оценки конкурсных работ; вариативность; объективность оценки работ. Отмеченные проблемы и пути их решения подробно рассмотрены в работе [4].
В рамках разработки комплекса мероприятий, связанных с организацией и проведением Конкурса, необходимо детально проработать два взаимосвязанных ключевых аспекта: педагогический и организационно-технический. Педагогический аспект системы связан с определением дидактических процессов при формировании цели и задач Конкурса. Организационно-технический аспект характеризует комплекс моделей, методов, аппаратных средств и программного обеспечения, используемых в процессе проведения Конкурса. Помимо этого должна быть выполнена оценка ресурсов и привлекательности условий функционирования конкурса, т.е. оценены нормативно-правовые, материально-технические, финансовые и рекламные возможности организаторов Конкурса. В процессе проектирования конкурса целесообразно разработать графическую структурно-функциональную модель, наглядно отражающую состав и назначение рабочих групп организаторов Конкурса, а также основные бизнес-процессы, связанные с деятельностью: членов оргкомитета; специалистов рабочих групп; экспертных комиссий и лиц, принимающих решения (ЛПР); инженерно-технического персонала [1]. Для снижения трудоемкости оценки конкурсных работ и минимизации возможных технических ошибок в бизнес-процесс проведения Конкурса включен интеллектуальный агент в виде информационной системы поддержки принятия решений (ИСППР). Диаграммы бизнес-процессов проведения конкурса, являющиеся компонентами функциональной модели, построенной на базе методологии SADT и реализованной в системе визуального моделирования, приведены в работе [2].
В процессе разработки критериев оценки научно-исследовательских работ, поступающих на Конкурс, необходимо определить показатели (контролируемые параметры и индикаторы) и установить степень их значимости. Для этого воспользуемся инструментом, широко используемым в системах управления качеством – диаграммой Исикавы. Она может быть построена с использованием различного программного инструментария, например, в программе Business Studio или xMind. Критерии оценки научно-исследовательских работ следует разделить на несколько групп, в соответствии с определенной на этапе предварительного проектирования структурой Конкурса. Так, например для двухэтапного Конкурса научно-исследовательских работ (НИР) с заочным и очным туром выделим три группы значимых критериев, представленных на диаграмме Исикавы (рис. 1).
Показатели качества конкурсных научно-исследовательских работ позволяют реализовать комплексную диагностику как результат научно-исследовательской деятельности (уровень знания предметной области, владение терминологией, умение оформлять выполненную работу и т.д.) и личностных качеств (умение выступить с докладом, отвечать на вопросы в процессе обсуждения и т.д.) участника Конкурса с использованием системы качественных и количественных оценок показателей [5]. Перечень критериев, структура оценочных показателей (контролируемых параметров и индикаторов), а также степень их значимости устанавливается в зависимости от условий функционирования Конкурса: нормативно-правовых, финансовых, временных, материально-технических, человеческих и др. От того, насколько правильно были определены перечень критериев и структура оценочных показателей, а также их значимость, зависит качество анализа и оценки выполненных конкурсантами научно-исследовательских работ и, как следствие, успешность Конкурса в целом.
Рис. 1. Структурная диаграмма критериев оценки конкурсных работ
На основе построенной на этапе проектирования Конкурса диаграммы Исикавы формируется матричная запись иерархической структуры оценочных показателей, обработку которых целесообразно выполнять в электронных таблицах (рис. 2).
Рис. 2. Обработка оценочных показателей в электронной таблице
Девятиуровневая лингвистическая шкала
|
Уровни лингвистической шкалы |
Значение оцениваемого показателя |
Значения функции принадлежности |
||
|
Основной диапазон измерений |
||||
|
1 |
Минимальный |
0 |
0,2 |
0,00 |
|
3 |
Низкий |
0,2 |
0,37 |
0,27 |
|
5 |
Средний |
0,37 |
0,64 |
0,49 |
|
7 |
Хороший |
0,64 |
0,8 |
0,72 |
|
9 |
Высокий |
0,8 |
1 |
0,89 |
|
Дополнительный диапазон измерений |
||||
|
2 |
Выше чем минимальный |
0,2 |
0,29 |
0,24 |
|
4 |
Выше чем низкий |
0,37 |
0,51 |
0,43 |
|
6 |
Выше чем средний |
0,64 |
0,72 |
0,68 |
|
8 |
Недостаточно высокий |
0,8 |
0,90 |
0,85 |
Для обеспечения возможности определения числовых и лингвистических значений оценочных показателей и вычисления итогового значения максимально возможного количества баллов, которое может набрать конкурсант, необходимо выбрать квалиметрические или лингвистические шкалы, например: процентную шкалу с диапазоном измерений от 0 до 100 %; временную измерительную шкалу (в минутах), целочисленную измерительную шкалу; бинарную шкалу; n-уровневую лингвистическую шкалу с основным и дополнительным диапазонами измерений. Пример девятиуровневой лингвистической шкалы с числовыми параметрами, рассчитанными на основе функции принадлежности Харрингтона, приведен в таблице.
Определим эталонное значение интегрального оценочного показателя Ψref (максимальную возможную сумму баллов) проектируемого Конкурса, проводимого в N этапов, для которых в общей структуре оценочных показателей b (контролируемых параметров и индикаторов) для каждого этапа были выделены M групп значимых критериев
(1)
где 
– приведенное к принятой оценочной шкале L эталонное значение оцениваемого показателя; α – коэффициент значимости оцениваемого показателя; W – коэффициент значимости этапа Конкурса.
При использовании в процессе оценки конкурсных работ лингвистических (оценка в качественной форме Sc) и квалиметрических (оценка в количественной (числовой) форме Sq), оценочных шкал
(2)
где q = φk(x) – значение оцениваемого показателя по k-й квалиметрической (числовой) шкале, для которой функция φk(x) тождественна измеренному значению; μk(x) – функция принадлежности для k-й лингвистической шкалы.
Выбор вида функций μk(x) во многом определяется субъективными факторами. Он в целом зависит от разработчика ИСППР при проектировании Конкурса, или, если такая возможность предусмотрена в ИСППР – от эксперта (лица, принимающего решения в процессе оценки конкурсных работ). На рис. 3 приведены примеры функций принадлежности, которые могут быть применены в оценке конкурсных работ.
Функцию принадлежности, показанную на рис. 3, а, целесообразно использовать при оценке ответов конкурсанта на вопросы экспертов. Функция принадлежности, показанная на рис. 3, б может быть использована при оценке времени доклада. Отрезок [b, c] – верхняя и нижняя граница времени, отведенного на доклад организаторами конкурса, в рамках которого оценка будет максимальной. Решения, связанные с назначением уровня значимости оценочных показателей, целесообразно принимать на основе построения диаграммы Парето (рис. 4), позволяющей визуально оценить вклад каждого из показателей в общую итоговую оценку конкурсной работы.
a б
Рис. 3. Функции принадлежности
Рис. 4. Диаграмма Парето для поддержки принятия решений
Заключение
Разработанный метод позволяет спроектировать конкурс научно-исследовательских работ молодежи с учетом ключевых объективных проблем, закономерно возникающих в ходе организации и проведения Конкурса. Метод проектирования предусматривает реализацию следующих основных этапов: постановка цели и задач конкурса, разработка модели описания бизнес-процессов Конкурса; формирование оргкомитета и состава жюри; построение структурной диаграммы критериев оценки конкурсных работ в виде диаграммы Исикавы; формирование иерархической структуры оценочных показателей, обрабатываемых средствами электронных таблиц; выбор измерительной шкалы для оценки значений контролируемых параметров и индикаторов; расчет эталонного значения интегрального оценочного показателя Конкурса; реализация процесса поддержки принятия решений о выборе весовых коэффициентов оценочных показателей на основе построения диаграммы Парето. Разработанный метод позволяет повысить объективность и сократить трудоемкость оценки конкурсных работ в процессе проведения Конкурса в среднем на 33 %.
Работа выполнена при поддержке гранта РФФИ 15-07-02393.