Научный журнал
Фундаментальные исследования
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,074

К ВОПРОСУ ОБ ОЦЕНКЕ КАЧЕСТВА ДОПОЛНИТЕЛЬНОГО ПРОФОБРАЗОВАНИЯ СПЕЦИАЛИСТОВ СОЦИАЛЬНОГО ПРОФИЛЯ НА ОСНОВЕ КВАЛИМЕТРИЧЕСКОГО ПОДХОДА

Гребенникова В.М. 1 Никитина Н.И. 2 Комарова Е.В. 2
1 Кубанский государственный университет
2 Российский государственный социальный университет
Статья посвящена актуальной проблеме теории и методики непрерывного профессионального образования специалистов социального профиля – проблеме обоснования сущности квалиметрического подхода к оценке качества дополнительного профобразования специалистов социальной сферы, а также раскрытию практических механизмов реализации данного подхода в реалиях функционирования образовательных организаций, реализующих программы курсовых подготовок повышения квалификации и профессиональной переподготовки кадров учреждений социальной инфраструктуры. В статье представлены различные подходы к трактовке понятия «качество дополнительного профобразования», приведен один из возможных вариантов математизации квалиметрического подхода. Особое внимание уделено характеристике квалиметрического мониторинга результативности профессионально-образовательного маршрута взрослого обучающегося (специалиста-практика) в системе дополнительного профобразования, а также роли тестов в процессе оценки качества реализации курсовых программ дополнительного профобразования специалистов социальной сферы. В статье рассмотрена методика получения слушателем курсовой подготовки аттестационно-диагностической оценки; приведена последовательность действий реализации квалиметрического алгоритма измерения и оценки качества курсовых программ дополнительного профобразования специалистов социальной сферы.
квалиметрический подход
менеджмент качества
дополнительное профессиональное образование
1. Жуков В.И. Философия, социология и практика современного социального образования: контекст глобализации и постреформенной модернизации в России XXI века // Социальное образование России XXI: традиции и вызовы времени, достижения и проблемы. – М.: Изд-во РГСУ, 2006. – С. 12–21.
2. Жукова Г.С., Никитина Н.И., Комарова Е.В. Квалиметрический подход в системе дополнительного профессионального образования специалистов социальной сферы: монография. – М.: Изд-во РГСУ. 2012.
3. Королев М.Ф., Полле А.Б., Романькова Н.В. Образовательные стандарты и контрольно-оценочная деятельность. – М., 1996
4. Никитина Н.И., Комарова Е.В. О реализации в системе дополнительного профессионального образования специалистов социальной сферы квалиметрического подхода // Инновации в образовании. – 2014. – № 6. – С. 68–79.
5. Никитина Н.И., Романова Е.Ю. Роль квалиметрических методов в оценке качества дополнительного профобразования специалистов социономического профиля // Человеческий капитал. – 2014. – № 6(66). – С. 76–84.
6. Поспелов Г.С., Ириков В.А. Программно-целевое планирование и управление. – М.: Сов. радио, 1976.
7. Пятирублевый Л.Г. Оценка эффективности образовательного тестирования и тестов // Труды III Всеросс. науч.-метод.. конф. «Развитие систем тестирования в России». – М.: Изд-во Центра тестирования МО РФ, 2001. – С. 26–33.
8. Шмельков А.В. Квалиметрическое моделирование результатов профессиональной подготовки авиационного персонала и управление ими в системе «Университет – колледж – авиапредприятие»: дис. ... канд. техн. наук: 05.13.10. – М.: Московский гос. техн. ун-т гражданской авиации, 2007.

В современной России стратегически актуальной стала проблематика квалитологии образования – науки и практики осуществления оценки качества образовательных систем и личностного развития обучающихся, определения социальной эффективности реформ образования, их коррекции с учетом результатов, выработки новых стратегий, направлений социального развития общества и человека, оптимизации функционирования образовательных систем различного уровня (локального, муниципального, регионального, федерального).

На современном этапе развития отечественной системы дополнительного профессионального образования (ДПО) специалистов социальной сферы (социальных работников, организаторов работы с молодежью, социальных педагогов, социальных психологов и др.) вопрос о качестве реализации программ ДПО является одним из доминирующих.

В.И. Жуков отмечает, что современная система непрерывного социального профессионального образования призвана обеспечить новое качество образования, формирующее у специалиста готовность и способность учиться на протяжении всей жизни; самостоятельно мыслить и действовать в различных ситуациях; работать в коллективе (команде), решать повседневные жизненные задачи, используя приобретенные предметные, интеллектуальные и общекультурные, общепрофессиональные умения и навыки. В результате непрерывной профессиональной подготовки у специалиста социальной сферы должно быть сформировано определенное интегральное социально-профессиональное качество, позволяющее ему не только успешно решать профессиональные задачи, но и конструктивно взаимодействовать с другими людьми при их решении [1].

В настоящее время систематическое прохождение специалистом социального профиля курсовых программ дополнительного профобразования (повышения квалификации, профессиональной переподготовки) рассматривается как одно из необходимых условий совершенствования его профессиональной компетентности, профессиональной культуры, повышения уровня его конкурентоспособности на современном рынке труда. Заметим, что для учреждений, которые реализуют программы ДПО специалистов социальной сферы, контроль качества курсовой подготовки специалистов-практиков всегда являлся одной из главных управленческих функций, в связи с чем в данных учреждениях важная роль отводилась различным контрольным, оценочно-диагностическим мероприятиям, которые позволяли бы дать объективную оценку истинных результатов профессионально-образовательного процесса, а также других ключевых позиций деятельности профессионально-образовательного учреждения с учетом ожиданий ассоциаций работодателей, профессиональных сообществ, конкретной личности и государства в целом.

В отношении сущности понятия «качество обучения в системе ДПО» нет единого мнения. Одни ученые, говоря о качестве дополнительного профобразования, подчеркивают, прежде всего, нацеленность образовательной системы учреждения, реализующего курсовые программы ДПО, на достижение качества усвоения взрослыми обучающимися (слушателями курсов, специалистами-практиками) нового профессионально-прикладного учебного материала; другие – под качеством реализации программ ДПО понимают достижение качества профессионального обучения по формированию и развитию системы компетенций и компетентностей специалиста; третьи – рассматривают качество ДПО как достижение по результатам реализации курсовых программ высокой степени развитости профессионально важных способностей, умений, навыков, личностных свойств специалиста-практика.

В данной статье мы исходим из идеи, что качество реализации программ ДПО синтезируется из следующих субкачеств:

1) субкачества потенциала слушателей курсов как взрослых обучающихся, представляющего «вход» в систему ДПО;

2) субкачества содержания курсовых программ ДПО;

3) субкачества учебно-методической базы ДПО;

4) субкачества материально-технической, лабораторной, учебно-практической базы учреждения., которое реализует программы ДПО;

5) субкачества образовательных технологий, реализуемых в системе ДПО;

6) субкачества содержательно-технологического базиса контрольных процедур;

7) субкачества профессорско-преподавательских, научно-исследовательских кадров;

8) субкачества профессионального воспитания молодых специалистов в системе ДПО;

9) субкачества управления (руководства), образовательного менеджмента в системе ДПО.

Таким образом, для интегративной оценки эффективности и результативности функционирования системы ДПО специалистов социальной сферы используются такие показатели, как:

а) качество учебного процесса (качество учебных планов и программ профессиональной переподготовки, повышения квалификации; качество учебно-методической работы и содержательно-технологического, научно-методического обеспечения образовательного процесса; качество административно-организационных и процессуально-деятельностных процессов; качество преподавательского состава: профессиональная квалификация, уровень профессиональной компетентности, включенность в научно-исследовательскую и инновационно-проектную деятельность и др.);

б) качество результатов обучения (уровень сформированности у выпускников программ ДПО различных видов компетенций специалиста социальной сферы, уровень развитости профессионально важных качеств специалиста; уровень трудоустройства выпускников системы ДПО по вновь полученной специальности, специализации в учреждения социальной сферы; уровень удовлетворенности профессионально-образовательных и личностно-развивающих запросов выпускников; уровень научных достижений – прикладных и фундаментальных – профессорско-преподавательского состава в социальной профессиональной сфере; уровень удовлетворенности работодателей качеством подготовки специалистов социальной сферы и др.).

Острая потребность в точных, объективных, сопоставимых данных о качестве дополнительного профессионального образования в условиях модернизации отечественной системы непрерывного образования актуализирует задачу разработки и обоснования квалиметрического подхода, который позволяет извлечь максимум информации из полученных количественных оценок и с математической строгостью оценить состояние исследуемых объектов.

Сегодня можно выделить следующие проблемы квалиметрии и практики технологического обеспечения измерения качества дополнительного профессионального образования:

  • во-первых, это проблемы квалиметрии по комплексной оценке, обоснованию интегрированного показателя качества, то есть создания обоснованных, корректных методов свертывания, «сжатия» показателей, отдельных частных оценок в обобщенную, комплексную характеристику объекта;
  • во-вторых, проблемы квалиметрии как синтетической измеренческой теории, которые связаны не только с задачами поиска и обоснования моделей обобщенных показателей и комплексных оценок, но и с задачами шкалирования, эталонирования, оптимизации, классификации, выбора функционального преобразования шкал;
  • в-третьих, проблемы квалиметрического проектирования образовательных процессов, объектов оценки, их свойств.

Современные подходы к проблеме квалитативизации дополнительного профобразования специалистов социального профиля в значительной мере базируются:

а) на концептуальных положениях теории педагогических измерений;

б) на концептуальных положениях дидактической тестологии;

в) на теории независимости процедур экспертных оценок;

г) на методах математической статистики;

д) на педагогической парадигме менеджмента качества функционирования образовательных систем;

е) на идеях стандартизации образовательных процессов [4; 5].

Для построения математической модели квалиметрического подхода в системе ДПО была применена методика «траекторного описания теоретического материала» в процессе программно-целевого моделирования (по Г.С. Поспелову и В.А. Ирикову [6]). В соответствии с указанной методикой каждая проблема характеризуется определенным набором результирующих показателей (RP1, RP2, ..., RPn), которые объективно отражают ее состояние в любой момент времени t.

В нашем случае результирующими показателями реализации квалиметрического подхода для оценки качества реализации курсовых программ ДПО специалистов социального профиля являются сформированные у обучающихся необходимые профессиональные компетенции (ПК) и профессионально важные качества (ПВК) личности специалиста в строгом соответствии с функционально-квалификационными требованиями и объективными запросами современного рынка труда и работодателей.

Следовательно, проблему математизации квалиметрического подхода ПМКП можно представить в виде кортежа:

0

где ОИ – объект исследования (в нашем случае – процесс развития в системе ДПО профессиональных компетенций и ПВК специалиста); RP – результирующий показатель, характеризующий состояние ОИ; PИ – исходное состояние ОИ; Pж – желаемое состояние ОИ.

Таким образом, математическая постановка проблемы имеет вид

greben01.wmf (1).

Это означает: необходимо ликвидировать расхождение между желаемым greben02.wmf и исходным greben03.wmf состоянием объекта исследования.

Для оценки качества ДПО специалистов социального профиля важен правильно реализуемый квалиметрический мониторинг.

В современной науке понятие «мониторинг» применяется в разных сферах научно-практической деятельности. Мониторинг может трактоваться и как форма организации исследования, и как способ обеспечения сферы управления своевременной и качественной информацией.

В данной статье квалиметрический мониторинг профессионально-образовательного маршрута обучающегося в системе дополнительного профобразования понимается как научно обоснованная система периодического сбора, обобщения и анализа информации посредством специализированных измерений о процессе профессионального становления, развития специалистов с целью активного воздействия на образовательный процесс для получения результатов обучения с заданными свойствами, характеристиками, параметрами, а также с целью принятия на этой основе стратегического и тактического решения. С одной стороны, данный мониторинг предназначен отслеживать целостный процесс профессионально-личностного развития/саморазвития слушателей курсовой подготовки (специалистов-практиков) в системе ДПО с позиций интересов самих взрослых обучающихся, а с другой – с позиций профессионально-образовательных задач и квалификационных компетентностных требований.

Квалиметрический мониторинг в системе ДПО необходим для обеспечения надежной обратной связи между потоками передаваемой и усваиваемой информации, для получения объективной, всесторонней информации о состоянии образовательной системы ДПО и ее подсистем, для обеспечения валидной диагностики особенностей учебного процесса в системе ДПО, выявления пробелов в образовании конкретных взрослых обучающихся, для последующей индивидуализации их обучения, для исследования процесса и результатов самообразовательной деятельности слушателей курсовой подготовки; для определения рейтинга учебных достижений каждого слушателя курсовой подготовки на основе сопоставимости результатов массового тестирования, для выявления результативности образовательного процесса в системе ДПО.

В процессе проведения квалиметрического мониторинга в системе ДПО используются:

а) количественные критерии (отождествляются с объемом используемых знаний – коэффициент усвоения учебного материала равен отношению объема учебного материала, усвоенного взрослым обучающимся в течение определенной единицы времени, к материалу, сообщенному обучающемуся за то же время; коэффициент прочности усвоения учебного материала как отношение запомнившегося материала и материала, сообщенного обучающимся в процессе обучения за определенный период);

б) качественные критерии (отождествляются со следующими уровнями: уровень понимания, осознанности и воспроизводимости знания учебного материала; уровень овладения учебным материалом (умение фактически использовать усвоенное при решении практических задач); уровень овладения интеллектуальными навыками (умение трансформировать их в зависимости от ситуации).

Квалиметрический мониторинг профессионально-образовательного маршрута обучающегося в системе ДПО позволяет реализовать технологию контрольно-оценочной деятельности качества обучения (М.Ф. Королев, А.Б. Полле, Н.В. Романькова [3]), основанную на получении аттестационно-диагностической оценки (аттестационная оценка обеспечивает констатацию достижения обучающимся определенного образовательного уровня; диагностическая оценка необходима для выявления причин недостатков в результатах обучения и их устранения в рамках коррекционной работы).

Кратко опишем суть процесса составления аттестационно-диагностической матрицы оценки знаний в ДПО (табл. 1).

Таблица 1

Структура аттестационно-диагностической матрицы оценки знаний в ДПО

Дидактические единицы конкретной учебной дисциплины (d)

Комплексные показатели (КП) освоения (d)

Единичные показатели

Шкалы оценивания

d1

КП d11; 2

ЕП d1 1.1.1; 1.1.2 и др.

Шк 1.1

d2

КП d2 1; 2

ЕП d2 2.1.1; 2.1.2 и др.

Шк 2.1

dn

КП dn 1;2

ЕП dn N.1.1; N.1.2 и др.

Шк N.1.

Преподаватель курсовой подготовки в системе ДПО разрабатывает комплексную контрольную работу по учебной дисциплине, в которую включены задания (репродуктивного, реконструктивного, преобразовательного типа) практически по всем значимым дидактическим единицам изучаемой дисциплины. Желательно, чтобы был виден алгоритм решения слушателем предложенных заданий. Общая схема структуры качества освоения дидактических единиц учебной дисциплин имеет вид, предложенный в табл. 2.

Таблица 2

Пример аттестационно-диагностической матрицы оценки знаний

Дидактическая единица

Номер обучающегося

Диагностическая оценка

1

2

3

4

5

6

7

8

9

10

d1

1

2

1

2

2

1

1

0

2

2

70

d2

2

2

2

2

2

2

2

2

2

2

100

d3

1

2

2

2

2

0

2

2

2

2

85

d4

1

2

0

2

2

1

1

0

1

2

55

d5

2

2

0

0

0

2

2

1

1

0

50

d6

0

0

0

0

0

0

0

0

0

0

0

d7

1

2

1

1

2

2

0

1

0

1

55

d8

2

2

2

1

1

0

1

2

1

1

65

Аттестационная оценка

62,5

87,5

50

62,5

68,75

50

56,25

50

56,25

62,5

60

Верное выполнение каждого задания оценим в 2 балла, за неполное или неточное выполнение задания поставим 1 балл (взрослый обучающийся старался найти путь решения), за невыполнение задания – 0 баллов.

Подсчитывая количество набранных баллов каждым обучающимся (оценка аттестационного типа), мы можем сравнивать уровни их достижений, а также, вычисляя среднее значение оценок обучающихся одной учебной группы, можем получить оценку качества обучения на межгрупповом уровне.

С другой стороны, обобщая полученные результаты по каждому признаку пользы, получим диагностическую оценку, полезную для планирования коррекционной работы. Далее заполняется матрица, столбцы которой несут необходимую информацию о достижениях каждого обучающегося, а строки – об успешности усвоения контролируемых дидактических единиц (табл. 2).

Последний столбец в табл. 2 содержит данные (в процентах) об уровне усвоения каждой дидактической единицы. Последняя строка состоит из данных (в процентах) об уровне успешности усвоения каждым взрослым обучающимся группы дидактических единиц. Крайняя правая цифра (60 %) в последней строке отражает средний уровень усвоения контролируемых дидактических единиц в исследуемой учебной группе, состоящей в приведенном примере из данных 8 обучающихся.

Анализ данных матрицы позволяет констатировать, что дидактическая единица d2 усвоена всеми обучающимися; d6, напротив, не усвоена ни одним из обучающихся.

В последнем столбце таблицы приведены средние значения уровней усвоения других d. В нижней строке приведены «рейтинговые» значения уровней усвоения каждым обучающимся, которые с использованием конкретной шкалы соответствия могут быть переведены в традиционные отметки (например, «отлично» – 86–100; «хорошо» – 56–85, «удовлетворительно» – 31–55).

Следует особо подчеркнуть, что обучающиеся № 3, 6 и 8 получат одинаковые отметки, хотя характер их достижений и недостатков различен, и, следовательно, содержание коррекционной работы для каждого из них должно различаться, если будет опираться на диагностическую оценку каждого из них.

В содержательно-технологической структуре квалиметрического мониторинга в системе ДПО особое место занимают тесты.

Методически и дидактически грамотно составленные тесты, как правило, позволяют выявлять не только уровень учебных достижений, но и структуру системы знаний обучающегося, степень ее отклонения от нормы по профилю ответов обучающегося на тестовые задания.

В соответствии с современными представлениями дидактической тестологии объективное тестирование возможно только тогда, когда образовательная информация по конкретной учебной дисциплине может быть преобразована в образовательную статистическую совокупность с обязательным выделением такого элемента, как «единица образовательной совокупности», которая обладает достаточно четким количеством статистической образовательной информации, поскольку именно количество информации может объективно определять уровень сложности задания.

По мнению Л.Г. Пятирублевого, далеко не всякая образовательная информация может быть преобразована в статистическую совокупность по причине сложности представления ее минимально допустимой дробной части в виде единицы совокупности (в большей части это относится к гуманитарным учебным дисциплинам) [7].

Особо следует подчеркнуть, что тестовые виды контроля учебных достижений слушателей курсовой подготовки должны органически дополнять традиционные формы контроля, которые реализуются на семинарских и практических занятиях, при выполнении специальных заданий в процессе стажировки, написании курсовой и выпускной работы.

Считаем целесообразным заметить, что даже в странах, в которых имеется давняя традиция тестирования, отношение к тестам неоднозначно. Так, например, в документе, опубликованном Американской ассоциацией развития науки, содержится призыв уменьшить использование для проверки качества обучения стандартизированных тестов и перейти к оценке достижений обучающихся через защиту ими оригинальных авторских междисциплинарных исследовательских проектов.

Следует заметить, что, к сожалению, в системе профобразования довольно часто используются тестовые задания, которые можно отнести к репродуктивному уровню. При реализации компетентностного подхода проектирование учебного процесса выдвигает задачу разработки и реализации тестирования продуктивного, эвристического уровней.

Необходимо отметить, что разработка так называемых компетентностных тестов, которые применяются для оценки уровня сформированности той или иной компетентности, которая распадается на совокупность отдельных компетенций, достаточна сложна. Дело в том, что существуют компетенции профессиональной деятельности специалиста социальной сферы, которые вряд ли могут быть в полной мере стандартизованы и объективно оценены по результатам выполнения тестовых заданий (например, коммуникативные компетенции; бывают случаи, когда обучающийся отлично справляется с тестовыми заданиями на знание теории коммуникации, структуру и виды общения, а в реальной практике не проявляет высокого уровня коммуникативной культуры). Также трудность тестовой проверки уровня сформированности компетентности специалиста состоит в том, что компетентность нельзя трактовать как сумму предметных (пусть даже междисциплинарных) знаний и умений. Многие компетенции проявляются только при решении реальных практических трудовых задач в определенных условиях профессиональной деятельности.

Следует особо подчеркнуть, что в процессе итоговой (комплексной) оценки уровня сформированности у выпускника программы ДПО требуемых компетенций и профессионально важных качеств личности специалиста-практика важно оценить такой показатель, как «устойчивость проявления». При оптимизации образовательных процессов в системе ДПО необходимо выявлять условия для обеспечения устойчивости применения знаний, умений, навыков, компетенций, а также поведенческую устойчивость слушателя курсовой подготовки в учебном и профессиональном (в периоды стажировки) процессах. При диагностике уровня сформированности профессиональной компетентности у выпускника программ ДПО в идеале устойчивыми должны быть все компетенции и их взаимосвязи. Однако идеальная компетентность может значительно отличаться от реальной. Очень важно диагностировать уровень устойчивости слушателя курсов в вопросах профессионального поведения.

В целом же квалиметрический алгоритм измерения и оценки качества реализации курсовых программ в системе ДПО имеет следующую последовательность действий:

1) разработка компетентностной модели качества профессиональной подготовленности выпускника конкретной программы ДПО (например, разработка и обоснование ограниченной номенклатуры инвариантных и вариативных компетенций, совокупности профессионально важных качеств специалиста – выпускника программ профессиональной переподготовки «Менеджер социальной сферы», «Менеджер образования», «Менеджер организации реабилитациии инвалидов»и др.);

2) разработка уровней иерархии выделенных компетенций и профессионально важных качеств специалиста социальной сферы с учетом их связей и соотношений между ними (например, на основе данных экспертных оценок);

3) определение на основе математических расчетов значения весовых коэффициентов показателей качества, которые определяются, исходя из реальной значимости (веса) каждой компетенции,

4) установление соответствия между дисциплинами учебного плана конкретной программы ДПО и процессуальными (содержательно-технологическими) аспектами формирования выделенных компетенций;

5) обоснование шкалы измерений по определению сформированности компетенций и ПВК (например, традиционная пятибалльная шкала; 100-балльная модульно-рейтинговая шкала и др.);

6) выбор и обоснование совокупности методов оценки показателей качества обучения в системе ДПО осуществляется, исходя из формы представления результата, и может быть индивидуальным (оценку осуществляет один преподаватель) или групповым (оценку осуществляет комиссия экспертов);

7) разработка системы диагностических, контрольно-оценочных процедур (например, методы измерения показателей качества могут быть традиционными: (тестирование, составленное на основе вариативных математических теорий дидактической тестологии), экспертными, а также проектно-исследовательскими, кейсовыми и др.);

8) нормативные значения конкретного измеряемого показателя качества определяются экспертным путем в результате глубокого анализа требований соответствующих компетенций. Они должны отражать минимально допустимый уровень профессиональной подготовки специалиста (выпускника системы ДПО), соответствующий минимальному набору требований [2; 4; 5; 8].

Резюмируя вышеизложенное, можно констатировать, что качество дополнительного профобразования специалистов социального профиля можно рассматривать как многомерный феномен, направленный на удовлетворение следующих потребностей:

а) потребностей личности взрослого обучающегося (специалиста-практика) – в адаптации к динамично изменяющимся профессиональным, социально-экономическим, общественно-политическим, нравственно-психологическим условиям жизнедеятельности в современном социуме, а также в саморазвитии;

б) потребностей профессионального сообщества – в подготовке высококвалифицированных, компетентных, профессионально культурных специалистов;

в) потребностей общества и государства в целом – в формировании социально-активных и успешно адаптирующихся к реалиям жизни граждан, ориентирующихся на общечеловеческие ценности, обеспечивающих рост национального дохода и культурного развития страны.

Статья подготовлена в рамках государственного задания Министерства образования и науки РФ № 2014/601 (код проекта 3106).

Рецензенты:

Вольхин С.Н., д.п.н., профессор, проректор по научной работе Тульского института управления и бизнеса, г. Тула;

Толстикова С.Н., д.псх.н., доцент, профессор кафедры психологии образования Института педагогики и психологии образования, Московский городской педагогический университет, г. Москва.

Работа поступила в редакцию 10.10.2014.


Библиографическая ссылка

Гребенникова В.М., Никитина Н.И., Комарова Е.В. К ВОПРОСУ ОБ ОЦЕНКЕ КАЧЕСТВА ДОПОЛНИТЕЛЬНОГО ПРОФОБРАЗОВАНИЯ СПЕЦИАЛИСТОВ СОЦИАЛЬНОГО ПРОФИЛЯ НА ОСНОВЕ КВАЛИМЕТРИЧЕСКОГО ПОДХОДА // Фундаментальные исследования. – 2014. – № 11-3. – С. 605-611;
URL: http://www.fundamental-research.ru/ru/article/view?id=35569 (дата обращения: 22.10.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074