Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

MODEL EVALUATION THE EFFECTIVENESS OF TRAINING OF THE CORPORATE PERSONNEL

Udovidchenko R.S. 1 Kireev V.S. 1
1 National Research Nuclear University MEPhI (Moscow Engineering Physics Institute)
This article is devoted to the topical theme – the development of a new comprehensive model of assessing the effectiveness of training (СME) for the use of HR-specialists. Based on the analysis of classical models Kirkpatrick, Bern, Staffbeam and Phillips was the new, unaccounted for in these models factors. The resulting factors were organized in a 2 level hierarchical model in accordance with the method of T. Saati. Obtained expert evaluations allowed the authors to assess the contribution of each factor in the efficiency value and to determine the consistency indices for each component separately and of the entire hierarchy. The authors offered the methodology for collection and calculation the values of the model component and the formula for calculating the final effectiveness of the learning process. Also, the authors conducted a comparative analysis of the CRC and classic models, highlighted the advantages and disadvantages of the developed model.
effectiveness of training
human capital development
hierarchy analysis method
corporate personnel
1. Dobrov R.G. Izvestija Volgogradskogo gosudarstvennogo tehnicheskogo universiteta, nо. 5(108), vol. 15, 2013, available at: http://cyberleninka.ru/article/n/sravnitelnyy-analiz-modeley-otsenki-effektivnosti-obuchayuschih-meropriyatiy-v-sisteme-vnutrikorporativnogo-obucheniya.
2. Ridderstrale J., Nordstrom Kjell A. Karaoke-kapitalizm. Menedzhment dlja chelovechestva [Karaoke Capitalism: Management for Mankind]. Moscow, Mann, Ivanov i Ferber, 2009. 328 p.
3. Saati T. Prinjatie reshenij. Metod analiza ierarhij [Decision taking. Hierarchies analysis method]. Moscow, Radio i svjaz, 1993. 320 p.
4. Udovidchenko R.S., Kireev V.S. Sovremennye problemy nauki i obrazovanija, n.6, 2014 available at: http://science-education.ru/ru/article/view id=16909.
5. Stufflebeam D., Madaus G., Kellaghan T. (2000). Evaluation Models: Viewpoints on Educational and Human Service Evaluation. Boston: Kluwer-Nijhoff.

В современных условиях развитие персонала стало одним из приоритетных направлений для каждой организации. Для компании показателем эффективности обучения является экономический эффект (увеличение производительности, прибыли и т.п.) [1, 2, 5]. На сегодняшний день наиболее популярными моделями оценки эффективности являются: модель Кирпатрика, Дж. Филлипса (ROI), целевой подход Тейлора, модель Д.Л. Стаффлбима CIPP. Модель Киркпатрика показывает, как сделать из процесса обучения эффективный бизнес-инструмент и встроить отдельно взятый тренинг в организацию. Модель Филлипса помогает организации оценить финансовые результаты обучения и развития. Модель Стаффлбима позволяет оценивать как результаты, так и сам процесс обучения. Модель Берна помогает определить цели, возможности, мнения участников обучения. Данные модели обладают рядом недостатков и на основании проведённого сравнительного анализа [4] авторами была разработана новая комплексная модель оценки эффективности обучения, она позволяет оценить весь цикл процесса обучения персонала компании, учитывающий финансовые бизнес-результаты компании после обучения.

Комплексная модель оценки эффективности обучения

Сегодня перед всеми компаниями стоит одна и та же проблема: слишком много внимания уделяется тренингу и слишком мало – непосредственному применению полученных знаний. Все больше российских компаний начали оценивать эффективность обучения. Не выявить обратную связь по результатам пройденного тренинга уже считается непрофессионализмом, то есть почти все компании оценивают эффективность по 1-му уровню модели Киркпатрика [2]. На основе представленных моделей обучения авторами была предложена новая Комплексная Модель Оценки эффективности обучения (КМО), разработанная с использованием МАИ [3] (метода анализа иерархий Т. Саати) (рис. 1).

pic_40.tif

Рис. 1. Модель эффективности обучения, разработанная на основе метода анализа иерархий Т. Саати

Факторы, влияющие на ЭФФЕКТИВНОСТЬ ОБУЧЕНИЯ (Э), были разложены в двухуровневую иерархию. На первом уровне представлены ЗАТРАТЫ (Зт), ОТДАЧА (От) и ПРОЦЕСС (Пр). На втором уровне: ЗАТРАТЫ поделены на ПРЯМЫЕ (ПрЗт) и КОСВЕННЫЕ (КсЗт); ОТДАЧА – на РЕЛЕВАНТНОСТЬ ОБУЧЕНИЯ (РлОб), РАБОЧУЮ ЭФФЕКТИВНОСТЬ (РбЭф) и ВКЛАД ОБУЧЕННЫХ СОТРУДНИКОВ (ВкОб); ПРОЦЕСС – на УСВОЕННЫЕ ЗНАНИЯ (УсЗн), МОТИВАЦИЮ К ОБУЧЕНИЮ (МтОб) и РЕЗУЛЬТАТЫ ОБУЧЕНИЯ (РзОб). Для оценки вклада каждого из факторов второго уровня была разработана система вопросов с закрытыми ответами, измеренными в балльной шкале. На вопросы должны ответить как сотрудники, непосредственно проходившие обучение, так и представители менеджмента компании-заказчика (табл. 1). Кроме того, в расчётах учитываются ответы преподавателей (бизнес-тренеров), проводивших обучение.

В табл. 2 приведены разработанные для оценки значений каждого фактора вопросы. Каждый вопрос является вопросом закрытого типа, в качестве шкалы используется шкала с тремя градациями, одинаково направленная. То есть чем больше балл, тем выше эффективность. Например, чем ниже стоимость работы преподавателей и расходы организации, тем выше общая эффективность. В этом случае она достигается при ответе, оцененном в три балла из трёх. Вопросы задаются как непосредственно после прохождения обучения, так и спустя некоторое время, для того, чтобы появилась возможность оценить долговременные последствия обучения.

Таблица 1

Матрица ответственности экспертов по оценке факторов модели

Эксперты

ПрЗт

КсЗт

РлОб

РбЭф

ВкОб

УсЗн

МтОб

РзОб

Сотрудники, прошедшие обучение

           

X

 

Менеджмент организации-заказчика обучения

X

X

X

X

X

   

X

Бизнес-тренеры

         

X

   

Таблица 2

Вопросы и методика сбора ответов и расчёта окончательной оценки фактора

Фактор

Вопрос

Методика сбора

1

2

3

ПрЗт

Оцените стоимость работы преподавателей (тренеров, консультантов)

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Оцените расходы организации на помещение и оборудование (прочие расходы в случае обучения на территории исполнителя)

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

КсЗт

Оцените финансовые потери организации за период обучения сотрудников за счёт их отсутствия на рабочем месте

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Оцените временные потери организации за период обучения сотрудников в виде замедления выполнения текущих задач

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

РлОб

Оцените соответствие выполненного проекта обучения текущим целям и задачам организации в целом

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов

1

2

3

РлОб

Оцените соответствие выполненного проекта обучения текущим целям и задачам подразделения

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов

РбЭф

Оцените изменение качества выполнения задач обученными сотрудниками

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов

Оцените изменение времени выполнения задач обученными сотрудниками

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов.

ВкОб

Укажите длительность присутствия сотрудников на рабочем месте

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов

Заметили ли вы изменение в работе после обучения в звене, которое проходило обучение?

Опрос по прошествии нескольких месяцев (3–4) после окончания проекта. Шкала: от 1 до 3 баллов

УсЗн

Оцените успешность прохождения сотрудниками обучения

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Оцените степень усвоения знаний сотрудниками

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

МтОб

Укажите причины, по которым Вы участвовали в обучении

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Укажите степень интереса к предмету, который Вы испытывали во время обучения

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

РзОб

Укажите, были ли достигнуты формальные цели обучения (прошли ли обучение все запланированные сотрудники и т.д.)

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Укажите, были ли достигнуты формальные цели обучения (прошли ли обучение все запланированные сотрудники и т.д.)

Опрос непосредственно после окончания проекта. Шкала: от 1 до 3 баллов

Полученные результаты

Предложенная авторами комплексная модель оценки эффективности обучения была оценена экспертным путем.

Чтобы определить вклад каждой компоненты модели в общую эффективность, были опрошены 5 экспертов в области управления персонала. Эксперты попарно сравнивали все факторы, в соответствии со стандартной шкалой оценок. В результате было установлено, что наименьшей значимостью на 1-м уровне модели обладает фактор Процесс, а наибольшей – Затраты (рис. 2).

pic_41.tif

Рис. 2. Значимость факторов 1-го уровня иерархии, согласованная по оценкам 5 экспертов

На 2-м уровне наименьшую значимость имеют факторы Результаты обучения и Вклад обученных сотрудников, наибольшую – Прямые затраты, Релевантность обучения и Усвоенные знания (рис. 3). Наиболее значимые факторы в целом соответствуют факторам существующих моделей Киркпатрика и Филлипса. Однако можно отметить, что введённые в модель новые факторы также обладают ненулевым вкладом в эффективность. Таким образом, разработанная модель является обоснованной и имеющей теоретическую значимость.

Для определения меры согласованности экспертных оценок в матрице попарных сравнений используются стандартные формулы (1), (2), предлагаемые в методике Саати [4]:

udovichen01.wmf (1)

где n – размерность матрицы попарных сравнений; λmax – максимальное собственное значение матрицы попарных сравнений.

udovichen02.wmf (2)

где СИ – средний случайный индекс согласованности для матрицы размерности n×n.

Для всех факторов на обоих уровнях предложенной модели индекс согласованности укладывается в нормативный диапазон значений менее 0,2. Иерархия в целом также может быть расценена как согласованная со значением индекса менее чем в 0,1. Наименьшая степень согласованности оценок соответствует фактору второго уровня – Процесс. Данный результат может объясняться меньшей значимостью данной компоненты модели и, как следствие меньшей ощущаемой разницей в градациях шкалы оценки.

Для оценки результирующей эффективности авторами предлагается следующая формула, учитывающая все факторы модели и их относительную значимость:

udovichen03.wmf (3)

где wi – согласованная значимость факторов второго уровня; wj – согласованная значимость факторов второго уровня; Fj – количественная оценка фактора второго уровня

udovichen04.wmf (4)

где udovichen05.wmf – средний балл ответов на k-й вопрос, относящийся к оценке j-го фактора.

pic_42.tif

Рис. 3. Значимость факторов 2-го уровня иерархии, согласованная по оценкам пяти экспертов

Таблица 3

Оценка согласованности иерархического представления модели

Уровень иерархии

ИС (Индекс согласованности)

СИ (Случайный индекс)

ОС (Отношение согласованности)

1-й уровень

0,001

0,580

0,002

2-й уровень (Затраты)

0,002

0,000

0,000

2-й уровень (Отдача)

0,115

0,580

0,199

2-й уровень (Процесс)

0,159

0,580

0,274

Иерархия целиком

0,075

0,901

0,084

Таблица 4

Сравнительный анализ предложенной модели и классических моделей оценки эффективности обучения

Модель

Достоинства

Недостатки

Киркпатрик

Системный подход оценки эффективности обучения на основе четырех уровней

Сложность измерения третьего уровня, неготовность топ-менеджеров проходить процедуру оценки или работать с коучами. Отказ от оценки по финансовым показателям

Филлипс

Развитие модели Киркпатрика.

Введение пятого уровня оценки, который позволяет перевести бизнес-результаты в деньги

Расчёт возврата на инвестиции возможен только при условии ведения полноценного управленческого финансового учёта в организации

Стаффлбим

Модель позволяет оценить цели обучения

Нечеткость методик и процедуры оценки результатов обучения и развития топ-менеджеров.

Берн

Постановка целей, определение возможностей, выявление мнения участников об обучении и развитии, оценка результатов

Сложность поддержания постоянной процедуры оценки эффективности обучения и развития топ-менеджеров, применение для долгосрочных программ

КМО

Высокая точность оценки эффективности

Сложность расчётов для получения окончательной оценки.

Длительность сбора данных

Авторами был проведён краткий сравнительный анализ КМО (табл. 4) и основных существующих моделей, по результатам которого был сделан вывод о перспективности КМО, благодаря повышенной точности оценки эффективности. Однако данная модель обладает и недостатком – точность достигается за счёт применения более сложной и продолжительной методики сбора необходимых для расчётов данных.

Выводы

Таким образом, с применением метода анализа иерархий авторами была разработана комплексная модель оценки эффективности обучения корпоративного персонала (КМО). С учётом недостатков известных моделей оценки была построена новая двухуровневая иерархия факторов эффективности, вес каждого фактора в иерархии был рассчитан на основе матриц попарного сравнения экспертных мнений. Для непосредственной оценки каждого фактора второго уровня была разработана опросная методика, позволяющая рассчитать вклад каждого фактора в баллах. Для расчёта эффективности авторами предложена аддитивная формула, базирующаяся на указанной модели. Предлагаемая модель за счёт введения дополнительных факторов должна повысить точность расчёта результативности обучения, что в свою очередь повысит качество управленческого учёта корпоративных расходов.