교육을 위한 균형성과표의 예: 네 가지 수준의 KPI

인포테인먼트에 시간을 쓰는 것과 성과를 크게 변화시키는 매우 유용한 교육을 구분하는 데 도움이 되는 교육 평가표를 구축하는 방법 

교육과 워크숍은 모든 조직의 학습 과정에서 표준적인 부분이 되었습니다. 제 의견으로는, 조직에 가장 중요한 과제는 유용성이 낮은 인포테인먼트와 성과를 변화시키는 매우 유용한 교육 사이의 차이를 식별할 수 있는 역량을 갖추는 것입니다. 이 글에서는 교육의 효과성을 추정하고 교육 평가표를 구축하는 방법을 논의하겠습니다.

문서 탐색:

• 커크패트릭 수준 모델
• 측정의 비용
• 교육 평가표 템플릿: 준비
• 1단계: 반응, 2단계: 학습, 3단계: 행동, 4단계 – 영향
• eLearning을 위한 KPI

교육 측정의 문제

카리스마 있는 강사가 주제를 잘 알고 교육생들과 쉽게 소통하며 진행하는 워크숍을 상상해 보십시오.

좋아 보이지만, 우리는 여전히 여러 가지 질문을 던져야 합니다:

• 이 교육은 우리 팀에 필요한 지식과 기술을 제공했습니까?
• 그 새로운 기술이 실제로 적용되었습니까?
• 이 교육이 결국 성과 개선으로 이어질 것임을 우리는 어떻게 알 수 있습니까?

또한 다음을 아는 것도 좋습니다:

• 교육의 어떤 부분이 잘 작동했고, 어떤 부분을 개선해야 합니까?
• 이 주제에 대한 교육을 반복해야 합니까?
• 이 강사를 다시 고용해야 합니까, 아니면 새로운 사람을 찾아야 합니까?

이는 CEO/HR이 직면하는 과제입니다.

강사들 또한, 자신의 교육 상품을 개선하는 데 도움이 될 데이터 기반 피드백 루프가 필요합니다.

강사들은 결과와 조직 성과에 대한 영향을 높이기 위해 교육 프로그램을 어떻게 발전시켜야 하는지 이해해야 합니다.

커크패트릭 수준 모델 

일회성 측정만으로는 객관적인 결과를 제공할 수 없습니다. 교육을 효과적으로 평가하려면 시간 간격을 두고 구분된 여러 통제 지점이 필요합니다.

커크패트릭 수준 프레임워크는 교육을 다음 4가지 관점에서 검토할 것을 제안합니다:

• 수준 1. 반응 (교육 후 피드백)
• 수준 2. 학습 (교육의 핵심 내용)

일정 시간이 지난 후에는 다음을 추적할 수 있습니다:

1. 수준 3. 행동 (지식/기술의 실무 적용)
2. 수준 4. 영향 (궁극적인 비즈니스 성능에 대한 영향)

강사 평가

교육이 제3자 전문가에 의해 진행되는 경우, 우리는 또한 후보 선정 과정을 고려해야 합니다. 강사와 교육에 대한 몇 가지 전제 조건이 있어야 합니다:

• 강사의 자격은 얼마나 되는지,
• 제안된 교육이 회사의 전략과 어떻게 일치하는지.

측정의 비용

이 네 단계를 “측정의 비용”을 한 축으로, “측정의 이점”을 다른 축으로 하는 차트에 놓으면 다음과 같습니다:

• 측정하기 가장 쉬운 것은 교육 후의 즉각적인 반응 (레벨 1)과 교육의 결론 (레벨 2)입니다.
• 전제 조건을 측정하는 것은 선별 과정의 수량화를 요구하지만, 여전히 가능합니다.
• 레벨 3과 레벨 4는 가능한 발견의 관점에서 가장 흥미롭지만, 측정의 비용이 증가합니다.

훈련 실적표 템플릿

조직 내에서 훈련의 효과성을 평가하기 위해 사용할 수 있는 템플릿을 논의해봅시다. 이 과정을 자동화하는 방법을 보여주기 위해 BSC Designer 소프트웨어를 사용할 것입니다.

준비

저의 권장 사항은 재무, 고객 관련, 내부 목표를 학습 이니셔티브와 연결하는 좋은 전략 맵으로 시작하는 것입니다. 이는 이후의 모든 관리 노력에 방향을 제시할 것입니다.

다음 단계는 전제조건을 측정하는 것입니다. 이를 위해 다음 데이터를 정량화해야 합니다:

• 강사 자격
• 강사 의사소통 능력
• 예상 교육 비용 (출장비, 숙박비, 강사료)
• 교육 프로그램과 전략적 목표 간의 일치도

이러한 매개변수를 정량화할 때, 추정이 HR 책임자 혼자에 의해 이루어지지 않도록 하고, 팀의 핵심 구성원들에게 의견을 공유해 달라고 요청하십시오.

4단계 모델에 따른 성능 지표의 계층 구조. 출처: 교육 평가표.

언제 측정할까요? 교육 몇 주 전입니다.

소프트웨어는 다음을 도와줄 것입니다:

• 각 기준에 가중치를 할당
• 개별 평가와 매개변수의 가중치를 저장
• 각 후보자의 점수를 계산

레벨 1. 반응

이 수준에서는 이 교육이 얼마나 몰입감 있게 진행되었는지에 대한 아이디어를 얻는 데 도움이 되는 교육 후 피드백을 측정해야 합니다. 다음 질문들은 지표에 대한 일부 데이터를 제공할 수 있습니다:

• 교육에 대해 어떻게 느끼십니까? (부정적, 중립적, 긍정적)
• 이 교육을 동료에게 추천하시겠습니까?
• 향후 이 교육을 다시 받고 싶으십니까?

높은 참여도의 더 많은 징후를 찾을 수 있으므로 목록은 계속될 수 있습니다:

• 교육 중 및 교육 후에 제기된 질문 수
• 청중의 참여도에 대한 주관적 추정 (사람들이 참여하고 있었는지, 아니면 스마트폰으로 이메일을 확인하고 있었는지?)

소프트웨어는 다음을 지원합니다:

• 각 참가자가 공유한 각 지표에 대한 평가를 수집
• 자연어 선택 옵션 제공
• 평균 점수 계산

지표의 측정 단위는 자연어 선택 옵션으로 구성되었습니다. 출처: 교육 평가표.

측정 날짜: 교육 날짜에.

레벨 2. 학습

학습 성과를 정량화하는 가장 쉬운 방법은 학생들이 자료를 얼마나 잘 이해했는지를 보여주는 최종 시험을 실시하는 것입니다.

지표는 다음과 같을 수 있습니다:

• 시험 합격률, %
• 평균 시험 점수, %
• 교육 전/후 시험 결과

학습 성과는 다양한 방식으로 테스트할 수 있습니다. 예를 들어:

단순한 시험을 사용하는 대신, 교육생에게 학습한 내용을 연습하도록 요청하고 실제 행동을 평가할 수 있습니다.

따라서, 실습 관련 지표를 구현해야 합니다.

이러한 방식으로 우리는 테스트만 하는 것이 아니라 학생들이 새로운 행동 패턴을 확립하도록 돕습니다.

측정 일자: 교육 종료 시.

레벨 1 지표는 교육 직후 교육생의 즉각적인 반응을 측정합니다. 출처: 교육 실적표.

필수 최소치

우리는 필수 최소치를 수행했습니다. 다음 단계의 측정 비용은 증가할 것입니다. 그곳으로 가야 할까요?

이 단계에서 측정을 멈추면, 우리가 “거짓 양성” 상황에 처하게 될 위험이 있습니다. 이는 카리스마 있는 강사가 청중에게 잘 받아들여지는 흥미로운 강연을 하지만 조직의 성과 개선으로는 거의 이어지지 않는 일종의 인포테인먼트를 제공할 때 발생합니다.

레벨 3. 행동

테스트를 수행하는 것은 교육생이 필요한 지식을 습득했는지 확인하기 위한 좋은 출발점이지만, 우리가 실제로 보고자 하는 것은 그들의 행동 패턴에서의 특정한 변화입니다. 이 경우의 정량화는 프로세스의 성격에 따라 달라집니다.

일부 경우, 새로운 행동의 지표는 다음과 같이 매우 구체적일 수 있습니다:

• 시간 단축 달성, %. 교육의 목표가 어떤 일을 더 효과적으로 또는 단순히 더 빠르게 수행하는 것이었다면, KPI로 이를 추적할 수 있습니다.
• 비용 절감 달성, %. 교육의 목표가 어떤 일을 더 효과적인 방식으로 수행하는 것이었다면, 교육의 결과로 나타나는 직접 비용 절감을 추적할 수 있습니다.
• 품질 향상(이전에 품질을 정량화하는 방법을 논의했습니다) 또는 더 구체적으로 반품 문제 비율 감소, %. 문제가 명확히 정의되어 있고 최종 결과와 연결되어 있을 때 KPI를 적용할 수 있습니다.

참고로, 반복되는 문제는 고객 충성도에 부정적인 영향을 주는 요인 중 하나입니다. 이 수치를 줄일 수 있다면 고객은 더 만족하게 될 것입니다.

• 성과 개선, %. KPI는 특정 성과 지수와 연결되어야 합니다. 영업사원의 경우 생성된 판매 건수일 수 있고, 카피라이터의 경우 독자에서 리드로의 전환일 수 있습니다. 그래픽 디자이너와 같은 창의적 팀에 대해서도 성과 지표를 찾는 것은 가능합니다.

대부분의 경우, 새로운 행동 패턴을 정량화할 수 있는 좋은 지표를 찾는 데 시간을 들여야 합니다. 우리의 KPI 시스템은 브레인스토밍 과정을 구조화하는 데 도움이 될 것입니다.

조직에서 기대하는 행동 변화와 이를 달성하는 최선의 방법에 대해 사전에 트레이너에게 문의하는 것이 좋습니다.

• 예를 들어, KPI 교육 이후 기대되는 변화 중 하나는 직원들이 경영진이 제안한 지표 목록을 단순히 사용하는 것이 아니라, 지표에 대해 논의한다는 점입니다. 일정 기간이 지난 후 팀 리더를 인터뷰하여 해당 행동 패턴이 성공적으로 구현되었는지 확인할 수 있습니다.

언제 측정할까요? 교육 후 1-2개월.

소프트웨어의 역할:

• 기대되는 개선 사항을 시각화(프로세스 맵에서)
• 평가표에서 행동 지표 추적
• 분석 기능은 성과의 변화를 추적하는 데 도움이 됩니다

레벨 4. 영향

이전 단계에서는 직원들의 행동 변화가 나타나는 것을 확인할 수 있었습니다.

• 예를 들어, 워크숍이 새로운 애자일 기법의 도입에 초점을 맞출 수 있으며, 직원들이 실제로 해당 기법을 사용하기 시작했음을 확인할 수 있습니다(레벨 3. 행동).

이러한 행동의 변화는 중요하며, 트레이너가 교육생들에게 변화를 유도할 만큼 충분히 영향력을 발휘했음을 보여주지만, 이것이 곧 그 변화가 조직에 유용했다는 것을 의미하지는 않습니다.

어떤 교육이나 워크숍의 핵심은 그것이 조직이 전략을 보다 효율적이고 효과적으로 실행하는 데 도움이 되었는지 여부입니다.

교육 후 몇 달이 지나서야 이러한 개선의 징후를 찾기 시작할 수도 있지만, 사전에 기대되는 영향을 고려하고 이를 어떻게 측정할 것인지 생각하는 편이 더 현명합니다( KPI 시스템에서는 이 접근법을 “설계에 의한 측정”이라고 부릅니다).

언제 측정해야 합니까? 교육 후 4~6개월.

소프트웨어의 역할:

• 회사의 전략 지도를 제시하고,
• 전략적 비즈니스 목표를 시각화하며,
• 지표를 비즈니스 목표에 연계합니다.

교육 목표를 기존 전략과 어떻게 연계할 수 있는지에 대한 예시. 출처: 교육 실적표.

인기 있는 교육 KPI는 도움이 되지 않습니다

이전 글에서 우리는 이직률과 채용 소요 시간 같은 몇 가지 인기 있는 HR KPI를 논의했습니다.

일부 KPI가 인기 있다고 해서, 그것을 대시보드에 반드시 포함해야 한다는 의미는 아닙니다.

그렇다면 교육 KPI는 어떨까요? 모든 교육 프로그램의 목표는 새로운 역량을 개발하고 직원의 효율성을 향상시키는 것입니다. 몇 가지 인기 있는 KPI가 이 관점에서 도움이 되는지(그리고 어떻게 도움이 되는지) 살펴보겠습니다.

교육 KPI	왜 필요하지 않은가
정규직 직원 1인당 평균 교육 비용, $	이 KPI는 직원 1인당 교육에 얼마나 투자하는지를 보여주지만, 우리가 기대하는 결과에 대해서는 아무것도 알려주지 않습니다. 교육은 성공적이었는가? 직원이 효율성을 개선할 수 있도록 새로운 무언가를 배웠는가?
정규직 직원 1인당 평균 교육 시간, 시간	이전 KPI와 동일한 문제입니다. 직원이 MBA 과정에 전일제로 참여할 수도 있지만, 그것이 직원이 더 나은 성과를 내는 데 도움이 될까요, 그리고 어느 정도로 도움이 될까요?
교육에 사용된 HR 예산 비율, %	이 KPI를 사용하면 HR 부서의 균형에 대해 대략적인 아이디어를 얻을 수 있습니다. 예를 들어 예산의 90%를 신규 후보자 발굴에 사용한다면, 아마도 교육 프로그램은 최선의 상태가 아닐 것입니다. 그럼에도 불구하고, 회사가 교육에 반드시 지출해야 하는 예산 비율(%)이라는 것은 없습니다. 훌륭한 교육은 예산의 1%만 들 수도 있지만 높은 생산성 성장으로 이어질 수 있습니다.
교육을 받은 직원 비율, %	이 KPI는 교육을 받은 직원 수에 대해 알려줍니다. 특정 교육의 효과성을 알고 있을 때 이 KPI를 사용하는 것은 타당합니다. 하지만 다시 말해, 한 부서의 직원들에게 매우 훌륭했던 것이 다른 부서의 직원들에게는 효과가 없을 수도 있습니다.
직원 교육 만족도 지수	이 KPI의 문제는 매우 주관적이라는 점입니다. 어떤 컨퍼런스에서 훌륭한 기조연설을 듣고 막 새로운 아이디어를 배운 뒤, 영감을 받고 흥분되는 그 느낌을 여러분도 분명 알고 계실 것입니다. .며칠이 지나면 그 아이디어들은 그저 흥미로운 이야기처럼 느껴지고, 실제 업무에 적용하지 못하게 되기도 합니다(상황을 변경하는 방법을 알아보세요).
교육 ROI, %	ROI를 계산하려면 투자(이는 계산할 수 있을 것입니다)와 교육의 결과로 비즈니스가 얻은 편익에 대한 재무적 추정치를 알아야 합니다. 이는 다시 처음의 질문, 즉 교육 효율성을 어떻게 계산할 것인가로 돌아가게 합니다. 이 KPI는 객관적인 교육 측정치가 उपलब्ध할 때에는 작동할 수 있습니다.

보시다시피, 가장 인기 있는 교육 KPI는 기업 지배구조 대시보드에는 잘 맞지만, 교육 세션의 효과성을 측정하는 데에는 실질적으로 도움이 되지 않습니다.

eLearning을 위한 KPI

위기 관리 대응의 일환으로, 많은 조직은 분산 팀을 선택하기로 결정합니다. 분산 팀 모델로 전환할 때, 이러한 팀의 신규 구성원을 위한 온보딩 교육은 온라인 형식으로 선택하는 것이 논리적입니다. 

이 경우 교육을 위한 KPI는 어떻게 됩니까?

본질적으로 KPI는 동일하게 유지됩니다. 달라지는 것은 필요한 지식과 기술을 전달하는 방식입니다.

다양한 관점에서 eLearning의 성능을 측정하는 방법을 살펴보겠습니다.

BSC Designer에서는 전략 실행 교육에 eLearning 접근법을 사용하며, 내부적으로는 원격 팀에 합류하는 신규 채용자의 온보딩에도 이를 활용합니다. eLearning 측정에 관한 일반적인 아이디어와 함께, 저희에게 효과가 있음을 입증한 모범 사례를 공유하겠습니다.

재무적 영향

어떤 물리적 장소에서 교육에 참석하는 대신, 참가자들은 온라인 플랫폼을 사용하게 됩니다. 재무적 영향 측면에서 이는 다음을 의미합니다:

• 비용 절감, $ (현장 학습과 비교하여)
• 온라인 플랫폼 비용

이 수치들만으로는 새로운 사실을 알려주지는 않겠지만, 교육 ROI를 대략적으로 추정하는 데 도움이 될 것입니다.

e러닝을 위한 참여 지표

온라인 교육은 참석자와의 참여를 유도하기 위해 다양한 메커니즘을 활용해야 합니다.

오프라인 행사에서처럼 주의력 예산은 더 이상 확보되지 않습니다. 참가자들은 더 이상 일정한 시간 동안 같은 방에 있지 않습니다.

온라인 교육 세션의 자료는 사전 녹화될 수 있으며, 전통적인 참여율은 그 관련성이 떨어집니다. 이러한 관점을 염두에 두고, 참여 지표를 그에 맞게 변경할 필요가 있습니다. 예를 들어, 다음을 추적할 수 있습니다:

• e코스 자료 시청 시간
• 교육 자료 실행 통계

일부 e러닝 제품에는 공개 랜딩 페이지가 있습니다. 이를 통해 소셜 미디어 지표를 활용하여 e러닝 제품과 정서적 연결이 있는지 이해할 수 있습니다. 이 경우 추적할 기본 지표는 다음과 같을 수 있습니다:

• 소셜 공유 수 (e러닝 제품의 랜딩 페이지용)

eLearning의 비즈니스 영향 검증

eLearning의 영향을 검증하는 것은 어떨까요? 제 권장 사항은 그 과정을 설계 단계부터 측정 가능하게 만드는 것입니다.

중요한 비즈니스 성과가 교육의 필연적인 단계가 되도록 하십시오.

어떻게 해야 할까요? 이는 귀하의 eLearning 제품에 따라 달라집니다. 예를 들어 당사의 온라인 교육의 경우, 참가자들은 어떤 공식적인 테스트나 시험도 치르지 않습니다. 우리는 균형성과표의 프로토타입을 구축한다는 아이디어를 중심으로 온라인 세션을 구성했습니다.

우리의 경우, 비즈니스 영향을 검증하는 KPI는 다음과 같습니다:

• 작성된 균형성과표 프로토타입의 품질, %

작성된 프로토타입은 참가자가 기대된 지식과 기술을 실제로 습득했음을 입증합니다. 그리고 우리는 교육생이 만들어낸 결과를 보기 때문에 이를 확실히 알고 있습니다. 또한 최종 프로토타입의 품질을 추정하고 몇 가지 개선 아이디어를 제안할 수 있습니다.

모든 참가자가 완주하는 것은 아닙니다. 이러한 사실의 배경에 있는 이유들은 귀하 측의 주의가 필요합니다. 이 맥락에서 살펴볼 KPI는 다음과 같습니다:

• 중도 포기율, %

복수형인 이유는 온라인 교육의 어떤 부분이 가장 도전적이었는지 파악하는 데 관심이 있기 때문입니다.

내부 변경을 위한 KPI

eLearning 형식은 교육 세션의 운영 방식에 영향을 미칩니다. 현장 교육 세션은 실시간으로 진행되며, 특정 도구와 자료의 구비가 필요합니다. eLearning 형식은 다른 도구 세트가 필요합니다.

모든 교육 자료가 있는 전용 영역을 갖추는 것 외에도, 참가자의 진행 상황을 추적하고, 교육의 다음 단계를 잠금 해제하며, 최종 시험을 실시하고, 마지막으로 수료증을 발급할 수 있는 편리한 도구가 필요합니다.

KPI는 귀 조직의 교육 프로세스에 따라 달라집니다. 다음과 같이 정리해 보겠습니다:

• 교육 운영 방식의 온라인 형식 적응, %

eLearning 개선점을 찾기

온라인 교육 형식의 장점 중 하나는 교육 참가자와 관련된 분석을 훨씬 더 많이 할 수 있다는 점입니다.

• 교육생이 더 많은 시간을 소비하는 자료를 감지할 수 있습니다
• 교육 지식 기반을 위한 가장 많이 사용된 검색 구문
• 교육 비디오에 대한 초 단위 분석 보기
• 교육 진행자에게 질문된 질문 분석

이는 e-learning 개선을 위한 선행 지표를 제공합니다:

• 교육 분석의 분석, %

좋은 지표를 찾을 수 없다면?

파일럿 교육 영향 추적

교육 KPI를 위한 기존 스프레드시트를 공유해 주시면, HR 및 부서 관리자가 학습, 행동 변화, 그리고 비즈니스 영향 KPI를 추적하기 위한 연결된 시스템으로 어떻게 전환할 수 있는지 논의하겠습니다.

교육 파일럿 논의하기

더 광범위한 롤아웃에 앞서 접근 방식을 테스트하기 위해 하나의 교육 프로그램 또는 부서부터 시작하십시오.

결론

다음은 논의된 아이디어의 요약입니다:

• 4단계에서 교육 효과성을 측정하십시오 – 첫인상, 시험 점수, 행동 변화, 성능 개선.
• 측정 비용은 단계가 높아질수록 증가하며, 측정의 이점 또한 증가합니다.
• 교육 이전에 기대되는 성능 개선을 이해하십시오.

마지막으로, 어떤 측정의 주요 목적은 측정 그 자체가 아니라, 그 측정이 유도하는 행동입니다.

교육 평가표를 구축함으로써, 교육 프로그램과 그 목표, 단기 및 장기 결과에 대한 논의에 모든 이해관계자를 초대하게 됩니다. 이러한 논의는 조직에 실제로 중요한 것에 교육 노력을 집중하는 데 도움이 됩니다.

댓글을 통해 본 기사에 대한 피드백과 함께, 교육/워크숍의 효율성과 효과성을 측정하는 것에 대한 귀하의 아이디어를 공유해 주십시오.

교육 평가표 템플릿 사용하기

BSC Designer는 조직이 복잡한 전략을 구현할 수 있도록 도와줍니다:

1. 플랫폼에서 무료 플랜에 가입하세요.
2. 교육 평가표 템플릿을 시작점으로 사용하세요. New > New 실적표 > More Templates에서 찾을 수 있습니다.
3. 우리의 전략 구현 시스템을 따라 이해관계자와 전략적 목표를 포괄적인 전략으로 정렬하세요.

오늘 시작하여 BSC Designer가 귀하의 전략 구현을 어떻게 간소화할 수 있는지 확인해보세요!