Пример Сбалансированной системы показателей для тренинга: KPI на четырех уровнях

Как создать систему показателей для тренинга, которая поможет разделить время, потраченное на инфотейнмент, и действительно полезный тренинг, повышающий эффективность.

Тренинг и воркшопы стали стандартной частью процесса обучения в любой организации. На мой взгляд, наиболее важная задача для организаций — уметь определять разницу между менее полезным инфотейнментом и действительно полезным тренингом, повышающим эффективность. В этой статье мы обсудим, как оценить эффективность тренинга и построить систему показателей для тренинга.

Навигация по статье:

• Модель уровней Киркпатрика Levels Model
• Стоимость измерения
• Шаблон системы показателей для тренинга: Подготовка
• Уровень 1: Реакция, уровень 2: Обучение, уровень 3: Поведение, уровень 4 — Влияние
• KPI для eLearning

Проблема измерения тренинга

Представьте себе семинар, который проводит харизматичный тренер, хорошо знающий тему и легко вовлекающий участников тренинга.

Звучит хорошо, но нам всё равно нужно задать ряд вопросов:

• Дал ли этот тренинг нашей команде необходимые знания и навыки?
• Были ли эти новые навыки действительно применены?
• Откуда мы знаем, что этот тренинг в итоге приведёт к улучшению производительности?

Также полезно знать:

• Какие части тренинга сработали хорошо, а какие нужно улучшить?
• Следует ли повторить тренинг по этой теме?
• Следует ли нанять этого тренера снова или найти кого-то нового?

Это те вызовы, с которыми сталкиваются CEO/HR.

Тренерам, в свою очередь, нужен контур обратной связи, основанный на данных, который поможет им улучшать свои тренинговые продукты.

Тренерам необходимо понимать, как развивать программу тренинга, чтобы повысить результаты и влияние на эффективность организации.

Модель уровней Киркпатрика 

Единоразовое измерение не даст нам объективных результатов. Для эффективной оценки тренинга нам потребуется несколько контрольных точек, разделённых временными периодами.

Модель уровней Киркпатрика предполагает рассмотрение тренинга с 4 перспектив:

• Уровень 1. Реакция (обратная связь после тренинга)
• Уровень 2. Обучение (ключевые выводы тренинга)

Спустя некоторое время мы можем отслеживать:

1. Уровень 3. Поведение (применение знаний/навыков на практике)
2. Уровень 4. Влияние (влияние на итоговую эффективность бизнеса)

Оценка тренера

Если тренинг проводится сторонним экспертом, то нам также необходимо учитывать процесс отбора. Должны быть определённые предварительные требования к тренерам и тренингу:

• Насколько квалифицирован тренер, и
• Как предлагаемый тренинг имеет связь со стратегией компании.

Стоимость измерения

Если мы нанесём эти четыре шага на диаграмму, где на одной оси будет «Стоимость измерения», а на другой — «Польза измерения», мы увидим, что:

• Проще всего измерить — немедленную реакцию (Уровень 1) после тренинга и ключевые выводы тренинга (Уровень 2).
• Измерение предварительных условий требует некоторой количественной оценки процесса отбора, но это всё ещё осуществимо.
• Хотя уровни Уровень 3 и Уровень 4 наиболее интересны с точки зрения возможных результатов, стоимость измерения возрастает.

Шаблон системы показателей для тренинга

Давайте обсудим шаблон, который можно использовать для оценки эффективности тренинга в организации. Я буду использовать программу BSC Designer, чтобы продемонстрировать, как этот процесс можно автоматизировать.

Подготовка

Моя рекомендация — начать с хорошей карты стратегии, которая связывает ваши финансовые, клиентские и внутренние цели с вашими инициативами по обучению. Это задаст направление всем последующим управленческим усилиям.

Следующий шаг — измерить предварительные условия. Для этого нам потребуется количественно оценить следующие данные:

• Квалификация тренера
• Коммуникативные навыки тренера
• Оценочная стоимость тренинга (командировочные расходы, проживание, гонорар тренера)
• Соответствие программы тренинга стратегическим целям

При количественной оценке этих параметров убедитесь, что оценка не выполняется только руководителем HR; попросите ключевых членов вашей команды поделиться своими мнениями.

The hierarchy of performance indicators according to the four-level model. Источник: Training Scorecard.

Когда измерять? За несколько недель до тренинга.

Программа поможет:

• Назначить вес каждому критерию
• Хранить индивидуальные оценки и веса параметров
• Рассчитывать балл для каждого кандидата

Уровень 1. Реакция

На этом уровне нам нужно измерить обратную связь после тренинга, которая поможет понять, насколько вовлекающим был этот тренинг. Эти вопросы могут дать данные для индикаторов:

• Как вы оцениваете тренинг? (негативно, нейтрально, позитивно)
• Порекомендовали бы вы этот тренинг своим коллегам?
• Хотите ли вы повторить этот тренинг в будущем?

Список можно продолжить, так как можно найти больше признаков высокой вовлечённости:

• Количество вопросов, заданных во время и после тренинга
• Субъективная оценка вовлечённости аудитории (участвовали ли люди или проверяли электронную почту на своих смартфонах?)

Программа помогает:

• Собирать оценку по каждому индикатору от каждого участника
• Предоставлять варианты выбора естественного языка
• Рассчитывать средние баллы

Единицы измерения для индикатора были настроены на варианты выбора на естественном языке. Источник: Training Scorecard.

Дата измерения: в день проведения тренинга.

Уровень 2. Обучение

Самый простой способ количественно оценить результаты обучения — провести итоговый тест, который покажет, насколько хорошо учащиеся поняли материал.

Метрики могут быть следующими:

• Доля сдавших экзамен, %
• Средний балл за экзамен, %
• Результаты тестов до/после тренинга

Результаты обучения можно проверять разными способами. Например:

Вместо использования простого теста можно попросить участников тренинга практически отработать то, что было изучено, и оценить фактическое поведение.

Соответственно, потребуется внедрить индикаторы, связанные с практикой.

Таким образом, мы не только тестируем, но и помогаем учащимся сформировать новые модели поведения.

Дата измерения: в конце тренинга.

Индикаторы уровня 1 измеряют непосредственную реакцию участника тренинга сразу после тренинга. Источник: Система показателей тренинга.

Требуемый минимум

Мы выполнили требуемый минимум. Стоимость измерений для следующих уровней будет возрастать. Стоит ли нам идти дальше?

Если мы остановим измерения на этом уровне, то подвергнемся риску ситуаций «ложноположительного результата», когда харизматичный тренер проводит увлекательное выступление, которое хорошо воспринимается аудиторией (своего рода инфотейнмент), но редко приводит к улучшению эффективности в организации.

Уровень 3. Поведение

Проведение тестов — хорошая отправная точка, чтобы убедиться, что участники тренинга получили необходимые знания, но то, что мы действительно хотим увидеть, — это определённое изменение в их моделях поведения. Количественная оценка в этом случае зависит от характера процесса.

В некоторых случаях индикаторы нового поведения будут столь же конкретными, как:

• Достигнутое сокращение времени, %. Если целью тренинга было делать что-то более эффективно или просто быстрее, то это можно отслеживать с помощью KPI.
• Достигнутое снижение затрат, %. Если целью тренинга было делать что-то более эффективным способом, то можно отслеживать прямое снижение затрат, которое является результатом тренинга.
• Повышение качества (мы ранее обсуждали, как количественно оценивать качество) или более конкретно Снижение доли проблем с возвратами, %. KPI применим там, где проблема чётко определена и связана с конечным результатом.

Кстати, повторяющаяся проблема — один из негативных факторов лояльности клиентов.  Если вы сможете уменьшить это число, вы сделаете своих клиентов более довольными.

• Улучшение производительности, %. KPI должен быть связан с конкретным показателем эффективности. Для продавцов это может быть количество совершённых продаж, для копирайтера — конверсия читателей в лиды. Показатели эффективности можно найти даже для творческих команд, например для графических дизайнеров.

В большинстве случаев нам потребуется потратить время на поиск хороших индикаторов, которые позволят количественно оценить новые модели поведения. Наша система KPI поможет структурировать процесс мозгового штурма.

Хорошая идея — заранее спросить тренера об ожидаемых изменениях в поведении и о лучшем способе добиться их в организации.

• Например, одно из ожидаемых изменений после тренинга по KPI — это то, что сотрудники обсуждают метрики, а не просто используют список индикаторов, предложенный руководством. Через определённый период мы могли бы провести интервью с руководителями команд, чтобы выяснить, была ли эта модель поведения успешно внедрена.

Когда измерять? Через 1–2 месяца после тренинга.

Роль программы:

• Визуализировать ожидаемые улучшения (на картах процессов)
• Отслеживать индикаторы поведения в системе показателей
• Функция анализа поможет отслеживать изменения производительности

Уровень 4. Влияние

На предыдущем шаге мы могли видеть изменения в поведении сотрудников.

• Например, семинар может быть посвящён внедрению новой agile-техники, и мы можем увидеть, что сотрудники действительно начали использовать эти техники (Уровень 3. Поведение).

Такие сдвиги в поведении важны и демонстрируют, что тренер смог достаточно повлиять на участников, чтобы вдохновить их на изменения, но это не означает, что изменение было полезным для организации.

Итог любого тренинга или семинара — помог ли он организации более эффективно и результативно реализовывать свою стратегию или нет.

Мы могли бы начать искать признаки такого улучшения через несколько месяцев после тренинга, но разумнее заранее подумать об ожидаемом влиянии и о том, как мы будем его измерять заранее (в системе KPI мы называем этот подход «измерение по замыслу»).

Когда измерять? Через 4–6 месяцев после тренинга.

Роль программы:

• Представить карту стратегии компании,
• Визуализировать стратегические бизнес-цели, и
• Обеспечить связь индикаторов с бизнес-целями.

An example of how training goals can be aligned with existing strategy. Источник: Training Scorecard.

Популярные KPI тренинга не помогают

В предыдущих статьях мы обсудили некоторые популярные KPI HR, такие как Текучесть и Время найма.

То, что некоторые KPI популярны, не означает, что вы хотите видеть их на своём дашборде.

А как насчёт KPI тренинга? Цель любой программы тренинга — развить новые навыки и повысить эффективность сотрудника. Рассмотрим некоторые популярные KPI и то, могут ли/как они помочь нам в этом вопросе.

KPI тренинга	Почему он вам НЕ нужен
Средняя стоимость тренинга на одного сотрудника на полной занятости, $	Этот KPI показывает, сколько мы инвестируем в тренинг каждого сотрудника, но он не говорит нам ничего о результатах, которых мы ожидаем. Был ли тренинг успешным? Освоил ли сотрудник что-то новое, что позволило ему повысить эффективность?
Среднее количество часов на одного сотрудника на полной занятости, часы	Та же проблема, что и с предыдущим KPI. Ваш сотрудник может учиться на программе MBA на полной занятости, но поможет ли это сотруднику достигать лучших результатов и в какой степени?
% бюджета HR, потраченного на тренинг	Используя этот KPI, мы можем получить приблизительное представление о балансе в HR-отделе. Если они тратят 90% бюджета на поиск новых кандидатов, то, вероятно, ваша программа тренинга будет не самой лучшей. Тем не менее, не существует обязательного % бюджета, который компания должна тратить на тренинг. Отличный тренинг может стоить всего 1% вашего бюджета, но привести к высокому росту производительности.
% сотрудников, прошедших тренинг	Этот KPI расскажет вам о количестве сотрудников, которые прошли тренинг. Имеет смысл использовать этот KPI, когда вы знаете эффективность определённого тренинга. Но, опять же, то, что было отличным для сотрудников одного подразделения, может не сработать для сотрудников другого.
Индекс удовлетворённости сотрудников тренингом	Проблема этого KPI в том, что он действительно субъективен. Уверен, вы знаете это чувство, когда вас вдохновляют и воодушевляют новые идеи, которые вы только что узнали после очередного отличного выступления на какой-нибудь конференции. .Всего через несколько дней эти идеи оказываются просто увлекательными историями, которые вы не можете применить на практике (узнайте, как изменить ситуацию).
ROI тренинга, %	Чтобы рассчитать ROI, вам нужно знать свои инвестиции (уверен, вы можете это посчитать) и финансовую оценку выгод, которые ваш бизнес получил в результате тренинга. Это возвращает нас к исходному вопросу — как рассчитать эффективность тренинга. Этот KPI может работать, когда доступны объективные показатели тренинга.

Как видите, самые популярные KPI тренинга хорошо подходят для дашборда корпоративного управления, но на самом деле не помогут измерить эффективность сессии тренинга.

KPI для электронного обучения

В рамках реагирования на кризисное управление многие организации решают перейти на распределённые команды. При переходе на модель распределённой команды логично выбрать онлайн-формат для вводного тренинга по адаптации новых участников этих команд. 

Что в этом случае происходит с KPI для тренинга?

По своей сути KPI остаются прежними. Изменится способ передачи необходимых знаний и навыков.

Рассмотрим измерение эффективности электронного обучения с различных перспектив.

В BSC Designer мы используем подход электронного обучения для нашего тренинга по исполнению стратегии и внутри компании — для адаптации новых сотрудников в нашей удалённой команде. Наряду с общими идеями об измерении электронного обучения я поделюсь лучшими практиками, эффективность которых мы подтвердили на собственном опыте.

Финансовое влияние

Вместо посещения тренинга в каком-либо физическом месте участники будут использовать онлайн-платформу. С точки зрения финансового влияния это означает:

• Экономия затрат, $ (по сравнению с очным обучением)
• Затраты на онлайн-платформу

Эти цифры сами по себе не скажут нам ничего нового, но помогут получить приблизительную оценку ROI тренинга.

Метрики вовлеченности для электронного обучения

Онлайн-тренинг должен использовать различные механики для вовлечения участников.

Бюджет внимания больше не гарантирован, как это было в случае офлайн-мероприятий. Участники больше не находятся в одном помещении в течение фиксированного периода времени.

Материалы онлайн-тренинговых сессий могут быть предварительно записаны, и классический уровень участия теряет свою актуальность. Исходя из этого, нам необходимо соответствующим образом изменить метрики вовлеченности. Например, мы можем отслеживать:

• Время просмотра материалов электронного курса
• Статистику доступа к материалам тренинга

Некоторые продукты электронного обучения имеют публичную посадочную страницу. Это дает нам возможность использовать метрики социальных сетей, чтобы понять, есть ли эмоциональная связь с продуктом электронного обучения. Базовой метрикой для отслеживания в этом случае может быть:

• Количество репостов в социальных сетях (для посадочной страницы продукта электронного обучения)

Проверка бизнес-эффекта электронного обучения

Как насчёт проверки влияния электронного обучения? Моя рекомендация — сделать процесс измеримым по замыслу.

Постарайтесь сделать так, чтобы важные бизнес-результаты были неизбежными шагами тренинга.

Как этого добиться? Это зависит от вашего продукта электронного обучения. Например, в случае нашего онлайн-тренинга участники не проходят никакого формального теста или экзамена. Мы организовали онлайн-сессии вокруг идеи создания прототипа Сбалансированной системы показателей.

В нашем случае KPI, который подтверждает бизнес-эффект, следующий:

• Качество созданного прототипа Сбалансированной системы показателей, %

Созданный прототип — доказательство того, что участник действительно получил ожидаемые знания и навыки. И мы знаем это наверняка, потому что видим результаты, созданные обучающимся. Более того, мы можем оценить качество итогового прототипа и предложить идеи по улучшению.

Не все участники дойдут до финиша. Причины этого факта требуют внимания с вашей стороны. В этом контексте KPI, на который стоит обратить внимание:

• Доля отказов, %

Форма множественного числа используется потому, что нам важно понимать, какие части онлайн-тренинга оказались наиболее сложными.

KPI для внутренних изменений

Формат eLearning влияет на механику тренинговых сессий. Очный тренинг проводится в режиме реального времени, он требует определённого набора инструментов и материалов. Формат eLearning требует иного набора инструментов.

Помимо наличия закрытого раздела со всеми материалами тренинга, нам необходимо иметь удобные инструменты, чтобы отслеживать прогресс участников, открывать следующие этапы тренинга, проводить итоговые экзамены и, наконец, формировать сертификаты.

KPI зависят от процесса тренинга в вашей организации. Сформулируем это следующим образом:

• Адаптация механики тренинга к онлайн-формату, %

Поиск точек улучшения для электронного обучения

Одним из преимуществ формата онлайн-тренинга является то, что у нас есть значительно больше аналитики, связанной с участниками тренинга.

• Мы можем выявлять материалы, на которых обучающиеся проводят больше времени
• Наиболее часто используемые поисковые фразы для базы знаний тренинга
• Просмотр аналитики по секундам для обучающих видео
• Анализ вопросов, задаваемых ведущему тренинга

Это дает нам индикатор действия для улучшения электронного обучения:

• Анализ аналитики тренинга, %

Что делать, если мы не можем найти хорошие индикаторы?

Отслеживайте влияние пилотного тренинга

Поделитесь вашим существующим Excel для KPI тренинга, и мы обсудим, как HR и руководители подразделений могут перейти к связанной системе для отслеживания обучения, изменения поведения и KPI бизнес-влияния.

Обсудить пилотный тренинг

Начните с одной программы тренинга или одного подразделения, чтобы протестировать подход перед более широким внедрением.

Выводы

Вот краткое резюме обсуждённых идей:

• Оценивайте эффективность тренинга на 4 уровнях — первое впечатление, балл экзамена, изменения поведения, улучшения эффективности.
• Стоимость измерения растёт по мере повышения уровней, как и польза от измерения
• Определите ожидаемое улучшение эффективности до тренинга

Наконец, основная цель любого измерения — не само измерение, а поведение, которое это измерение формирует.

Создавая систему показателей тренинга, вы приглашаете всех заинтересованных сторон к обсуждению программы тренинга, её целей, её краткосрочных и долгосрочных результатов. Такие обсуждения помогают сосредоточить усилия по тренингу на том, что действительно важно для вашей организации.

Пожалуйста, поделитесь своим отзывом об этой статье в комментариях, а также своими идеями о том, как измерять эффективность и результативность тренинга/воркшопа.

Используйте шаблон Training Scorecard

BSC Designer помогает организациям реализовывать их сложные стратегии:

1. Зарегистрируйтесь на бесплатный план на платформе.
2. Используйте шаблон Training Scorecard в качестве отправной точки. Вы найдете его в Новая > Новая система показателей > Больше шаблонов.
3. Следуйте нашей Системе внедрения стратегии, чтобы связать заинтересованные стороны и стратегические амбиции в комплексную стратегию.

Начните сегодня и посмотрите, как BSC Designer может упростить реализацию вашей стратегии!