품질 KPI 및 실적표 – 예제와 함께하는 완전 가이드

품질을 측정하고 제품 결함을 예측하는 방법은 무엇인가요? 이 가이드에서는 특정 품질 지표에 대해 논의하고 그것이 전체 전략에 어떻게 기여하는지 보여드리겠습니다.

1부. 품질 KPI 분석

이 기사는 품질 지표 목록으로 시작하여 그룹으로 나뉩니다. 몇 가지 인기 있는 품질 KPI와 그것을 사용하는 방법에 대해 논의할 것입니다. 자세히 알아보기 >

2부. 품질 균형성과표

두 번째 부분에서는 품질 뒤에 있는 비즈니스 컨텍스트에 대해 이야기하고 품질 균형성과표의 예제를 구축할 것입니다. 자세히 알아보기 >

3부. 품질 실전

세 번째 부분에서는 실적표를 지속적인 품질 관리를 위한 효과적인 도구로 변환할 수 있는 10가지 아이디어에 대해 논의할 것입니다. 자세히 알아보기 >

지난 10년 동안 품질에 관한 많은 컨퍼런스 발표를 했으며, Software Quality Days에 정기적으로 기여했습니다. 비즈니스나 소프트웨어 전문가들로 구성된 청중에게 품질의 개념은 명확합니다: 이는 성공적인 제품이나 서비스의 선행 요인입니다. 그들은 또한 결함률 및 유사한 지표를 추적하여 낮거나 높은 품질의 효과를 정량화하는 방법을 알고 있습니다.

더 도전적인 것은 품질의 선행 요인을 이해하고 정량화하며 다양한 이해관계자의 관점에서 품질을 조사하는 것입니다. 우리는 이 기사에서 이를 자세히 탐구할 것입니다.

파트 1. 품질 KPI

BSC Designer의 품질 KPI

품질 관련 목표와 성과 지표의 계층 구조. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

특정 KPI에 대해 논의하기 전에 두 가지 질문에 답해 봅시다:

KPI에 대해 바로 진행하고 싶다면, 아래에서 논의할 주제는 다음과 같습니다:

품질의 이해관계자

품질은 절대적인 가치가 아닙니다. 품질에 대해 이야기할 때 우리는 항상 품질의 인지에 대해 이야기합니다. 누구의 제품 또는 서비스의 품질을 인지합니까?

시작할 수 있는 대상:

  • 최종 고객
  • 내부 고객 (우리 팀과 파트너)
  • 규제 기관

최종 고객에 대해 생각할 때, 우리는 더욱 구체적으로 정의할 수 있습니다. 예를 들어:

  • 잠재 고객
  • 지불 고객
  • 재방문 고객
  • 고급 고객

품질의 정의

품질이란 무엇입니까?

옥스포드 사전은 품질을 다음과 같이 정의합니다:

유사한 종류의 다른 것들과 비교하여 측정되는 어떤 것의 표준; 어떤 것의 우수성의 정도.

다양한 이해관계자들은 품질을 다양한 방식으로 인식합니다. 예를 들어:

  • 잠재 고객은 마케팅에 매료되어 매우 기본적인 품질 인식(패키지와 마케팅 자료의 품질)으로 구매할 수 있습니다.
  • 오랜 기간 제품을 사용한 고객은 제품의 품질에 대해 훨씬 더 나은 생각을 가지게 됩니다(물론 그들의 필요에 적용된 대로); 제품이 그들의 필요에 부합한다고 생각하는 고객은 재구매 고객이 될 것이며, 그렇지 않은 고객은 경쟁사로 전환할 것입니다.
  • 고급 고객은 대개 다른 필요와 제품의 품질에 대한 다른 생각을 가질 것입니다.
  • 귀하의 팀은 비즈니스의 내부 기계 작동을 다루며, 품질에 대한 그들의 인식은 제품의 아키텍처와 복잡성과 더 관련이 있을 것입니다.

우리는 또한 품질의 개념이 도메인 특정적임을 알고 있습니다. 그럼에도 불구하고, 높은 품질을 유지하기 위한 접근 방식은 다양한 산업에서 매우 유사하다는 것을 관찰할 수 있습니다.
예를 들어, 제약 산업에 대한 품질 지표의 아이디어는 철강 산업, 소프트웨어 공학 또는 항공에서 사용되는 접근 방식과 유사해 보입니다.

이해관계자를 위한 품질 KPI

아래에서는 품질에 대한 몇 가지 인기 있는 KPI를 논의할 것입니다. 최상의 구현 결과를 얻으려면 이러한 지표가 귀하의 비즈니스 컨텍스트에 완벽하게 맞는지 확인하십시오. 이 문제를 해결하는 방법은 기사 두 번째 부분에서 논의합니다.

아래에서 검토할 지표:

NPS (Net Promoter Score) 품질 지표로서의 역할

전통적인 형태로는 (“저희를 추천하시겠습니까?”라는 질문), 이 지표는 제품이나 서비스에 대한 일반적인 인식을 나타냅니다.

  • 낮은 NPS는 제품이나 서비스의 품질이 낮다는 결과일 수 있습니다
  • 무엇이 실제로 문제인지 알아내기 위해 몇 가지 후속 질문을 하십시오

이 경우, 지표는 다음과 같이 간단합니다:

  • NPS, %

기간당 불만 건수

고객의 피드백은 중요합니다. 어떤 경우에는 화난 고객으로부터 이메일을 받고 나서야 문제를 알게 됩니다.

기간당 불만 건수

비즈니스 시스템의 문제를 이해하고 해결하기 위해 '기간당 불만 건수' 지표를 사용하십시오. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

모든 가능한 문제를 예상하려고 최선을 다해도, 이러한 불만은 여전히 존재할 것입니다. 사실, 이것은 다음을 나타냅니다:

  • 고객이 여전히 관심을 가지고 있습니다 (그렇지 않으면 피드백을 주는 데 시간을 쓰지 않을 것입니다).
  • 수정이 필요한 문제가 있습니다.
  • 제품에 대해 이전에 알지 못했던 점이 있으며, 품질 관리 시스템을 개선할 필요가 있습니다.

사용할 지표:

  • 기간당 불만 건수

불만 해결에 대한 일반적인 접근 방식은 특정 사람을 비난하기보다는 비즈니스 시스템의 문제를 이해하고 해결하는 것입니다.

품질의 사회적 증명

많은 경우, 잠재 고객은 구매 전에 제품을 제대로 평가할 수 없습니다. 하지만 사회적 증명 지표를 기반으로 좋은 선택을 할 수 있습니다.

  • 평균 평점 점수. 고객의 제품 평점과 그들의 댓글의 집계된 값이 사회적 증명 지표를 형성합니다.
호텔을 예약하거나 아마존에서 무언가를 구매하는 것을 생각해 보십시오. 사진과 설명을 검토하여 대략적인 제품에 대한 아이디어를 얻을 수 있지만, 너무 많은 제품들이 비슷하게 보입니다:

이 경우, 우리는 호텔 평점이나 아마존의 별점을 보고 제품 품질에 대한 기대를 형성합니다.

이 품질 지표는 NPS와 유사하지만, 이 경우 구매자는 보다 상세하고 편향되지 않은 의견을 공유할 가능성이 더 높습니다.

복잡성 지표

팀이 품질 관리와 보증에 더 많은 노력을 투자할수록 매일 보고되는 문제는 줄어들 것입니다.

복잡성 지수 측정

다양한 관련 가중치를 가진 지표로 형성된 복잡성 지수. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

하지만 이것이 귀하의 제품이 이상적이라는 것을 의미하지는 않습니다. 오히려 이제는 더 도전적인 상황에 직면하게 될 것입니다:

명백한 문제를 해결하는 대신, 이제는 숨겨진 의미를 읽고 사용자들이 제품의 진정한 잠재력을 발휘하지 못하게 하는 문제(덜 명백한 것들)가 무엇인지 이해해야 합니다.

저는 복잡성에 대해 이야기하고 있습니다.

이전에 우리는 복잡성을 측정하는 방법에 대해 논의했으며, 여기서 주목할 몇 가지 핵심 사항은 다음과 같습니다:

  • 과도한 시간 소요
  • 과도한 선택
  • 과도한 설명

특정 지표의 선택은 귀하의 제품에 따라 달라지며, 이를 다음과 같은 범주로 묶을 수 있습니다:

  • 복잡성 지수, %

복잡성과 싸우는 것은 힘들지만, 그에 투자한 시간의 가치는 충분합니다. 여기 불필요한 복잡성을 제거하여 조직이 개선될 수 있는 예시가 있습니다.

금융 영향을 추정하기 위한 품질 KPI

가끔 품질 전문가들은 이사회 회의에서 그들의 예산과 전략을 정당화해야 합니다. 여기 금융 관련 품질 지표를 제시합니다.

아래에 분석된 지표:

불량품질 비용

이 지표를 사용하여 불량품질의 영향을 이해하십시오. 문제 탐지 및 해결과 관련된 모든 비용을 추정하십시오:

많은 경우, 목표는 정확한 금액을 찾는 것이 아니라, 이해관계자들의 품질 인식에 미치는 영향의 크기를 이해하는 것입니다.

이 기사에서는 지표를 만들었습니다:

  • 불량품질 비용

Indicator: Cost of poor quality

지표 '불량품질 비용'은 내부 지표의 값을 합산하도록 구성되어 있습니다. 출처: BSC Designer에서 품질 평가도 온라인 보기 품질 평가도.

이 지표는 내부 지표의 값을 요약하여 품질의 총 비용을 제공합니다. 제 예에서는 사고당 평균 비용에 대한 계산입니다.

고품질의 비용

“저품질의 비용”과 유사하지만, 이 경우에는 탁월함을 달성하기 위한 비용을 추정하고 있습니다.

높은 품질을 달성하는 데에도 비용이 듭니다. 예를 들어, 결함률을 1%에서 0.01%로 줄이는 것은 비용 효율적인 목표일 수 있지만, 결함률을 0.001%까지 줄이는 것은 비용이 너무 많이 들며 품질 이해관계자에게는 의미가 없을 수 있습니다.

이 경우, 우리의 지표는 다음과 같습니다:

  • 고품질의 비용, $

그 공식은 특정한 상황에 따라 다릅니다. 이 예에서, 결함률을 0.01%에서 0.001%로 줄이는 데 필요한 예산을 계산할 수 있습니다.

품질에 대한 기회 또는 위험 지표

모든 조직의 자원은 제한되어 있습니다. 모든 품질 문제를 동일하게 처리할 수는 없습니다; 즉시 해결해야 하는 문제도 있고, 더 오랜 기간 동안 백로그에 남아 있는 문제도 있습니다.

이 경우 의사 결정을 어떻게 정당화할 수 있을까요? 간단한 기회 (또는 위험) 예측이 도움이 될 것입니다:

  • 품질 문제의 영향을 추정하십시오
  • 이 영향의 가능성을 추정하십시오

이제 우리는 다음을 가지고 있습니다:

  • 기회 추정 지표, % = 영향, % x 확률, %

품질 문제의 영향을 어떻게 추정할 수 있을까요? 다음을 살펴보세요:

  • 문제로 인해 영향을 받은 고객 수
  • 고객의 금융 잠재력
  • 고객의 문제 참여도 (고객이 보낸 이메일 수)

가능성을 어떻게 추정하나요? 0%에서 100%까지의 척도로 매핑해 보십시오. 여기서:

  • 0%는 잠재적으로 고객에게 영향을 미치는 것이지만, 이에 대한 증거가 없는 경우입니다.
  • 100%는 예를 들어 고객이 구매를 하지 않거나 중요한 비용이 발생하게 하는 중요한 요소에 해당합니다.

BSC Designer 소프트웨어의 사례를 사용해 봅시다. 몇 년 전, 고객으로부터 두 가지 기능 요청을 받았습니다 (현재 두 기능 모두 구현되었습니다):

  • (A) 사용자가 자신의 실적표에서 역사적 데이터를 편집할 수 있도록 허용/거부하는 기능 추가
  • (B) 전략 맵에서 이니셔티브가 표시되는 방식을 변경

(A)는 잠재력이 큰 고객에게 중요한 문제였으며, 이전에 세 명의 다른 고객도 이에 대해 문의한 적이 있었습니다.

(B)는 기존 고객에게 덜 중요한 문제였고, 유사한 기능을 요청한 고객은 한 명뿐이었습니다.

“문제 해결” (사실은 새로운 기능 개발)하려는 우리의 노력은 대체로 동일했습니다.

이 두 사례에 대한 기회 추정 예시는 다음과 같습니다:

영향 가능성 기회
A 70% (고급 고객의 구매 결정에 중요한 문제였음) 80% (3명의 추가 고객이 유사한 기능을 요청함) = (0.7 * 0.8) * 100% = 56%
B 50% (기존 고객의 생활을 다소 편하게 만들 수 있음) 60% (1명의 추가 고객이 유사한 기능을 요청했고, 개발자들이 아이디어를 좋아했음) = (0.5 * 0.6) * 100% = 30%

이 예에서 기회 지표의 값은 “A”가 더 높았으므로 구현 시 더 높은 우선순위를 부여했습니다.

품질 문제를 예방하기 위한 KPI

지금까지 우리는 (불량) 품질의 영향을 정량화하고 측정했습니다. 이제 다른 초점을 맞춰봅시다:

  • 품질 문제를 해결하는 대신, 선제적으로 대처합시다. 미래의 품질 문제 발생 가능성을 줄이는 데 힘씁시다.

이 목표를 달성하기 위해 우리가 추적할 수 있는 지표는 다음과 같습니다:

근접 실패 지표

아직 발생하지 않은 일을 어떻게 예측할 수 있을까요?

중요한 품질 문제를 예측하기 위해서는 그에 앞선 덜 중요한 문제들을 살펴볼 필요가 있습니다.

그렇게 간단합니다.

  • 이는 깨진 유리창 이론이 우리에게 가르쳐 주는 것입니다.
  • 이것이 항공 관리국이 공중에서의 사고를 예방하려고 노력하는 방법입니다.
  • 이것이 알코아가 무사고 목표를 달성하기 위해 접근한 방법입니다 (참조: “습관의 힘: 왜 우리는 삶과 비즈니스에서 우리가 하는 일을 하는가” by Charles Duhigg).

근접 실패 지표를 구축하는 방법은 무엇입니까?

  • 근접 실패에 대한 일반적인 생각을 확인하십시오
  • 비즈니스 프로세스에 관련된 근접 실패 사건을 찾으십시오
  • 이러한 발견을 정량화하고 측정하며 추적하십시오

근접 실패 지표를 구현하는 것은 조직의 문화를 변화시키는 것입니다.

팀에게 더 중요한 문제로 이어질 수 있는 사소한 품질 문제를 보고하고 논의하도록 가르쳐야 합니다.

지표는 다음과 같이 간단하게 공식화될 수 있습니다:

  • 선행 지표: 근접 실패 인식 교육 침투율, %
  • 후행 지표: 보고된 근접 실패 문제의 수
전략 지도상의 근접 실패 지표
전략 지도에서 선행 지표, 후행 지표 및 발의가 포함된 '근접 실패 보고 교육' 목표. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

요구 사항 모호성 지표

근접 실패 지표와 유사하지만, 이 경우에는 적극적으로 대처하고자 합니다.

일부 품질 문제가 나타나기를 기다리는 대신, 당사의 최고 전문가들에게 제품/서비스 요구 사항 문서를 검토하고 잠재적인 문제점을 찾아보도록 요청합니다.

이 경우 지표는 다음과 같을 수 있습니다:

  • 요구 사항 페이지당 모호성, %

소프트웨어 개발에서 전문가들은 소프트웨어 요구 사항을 검토하여 모호성을 확인합니다.

이 경우 요구 사항은 이전 문서이므로, 요구 사항을 더 좋게 만들면 향후 품질 문제를 사전에 예방할 수 있습니다.

제품 연령과 변경 횟수

우리는 소프트웨어 사업에 종사하고 있으며, 소프트웨어 품질, 특히 소프트웨어 코드의 품질을 정량화하는 가장 좋은 방법에 대해 항상 궁금합니다.

고전적인 “코드 라인 수”는 큰 의미가 없습니다. 직관적으로 소프트웨어 개발자들은 다음과 같이 이해합니다:

  • 자주 변경되는 코드는 오랫동안 변경되지 않은 코드보다 더 많은 결함을 포함할 것입니다

다시 말해, 우리는 코드 품질이 코드 연령과 코드 변경 횟수의 함수일 것이라고 기대합니다. 이는 “소프트웨어 변경 이력을 사용한 결함 발생 예측”1에서 경험적으로 확인되었습니다.

“코드”라는 단어를 “제품”으로 바꾸면, 복잡한 제품을 가진 어떤 사업에서도 동일한 결과가 타당할 것이라고 확신합니다. 품질 전략의 맥락에서 이를 생각해 보면, 우리는 결함을 더 효과적으로 예측하고 그에 따라 테스트 전략을 업데이트할 수 있습니다.

전문가 리뷰 지표

요구 사항 모호성 지표와 유사하지만, 이 경우 우리는 전문가에게 제품, 사용자 매뉴얼, 고객 서비스를 리뷰하도록 요청할 수 있습니다.

이러한 리뷰를 어떻게 정량화할 수 있을까요? 이에 대한 유머러스하지만 실질적인 응답은 Thom Holwerda가 그의 osnews 만화에서 제시했습니다:

  • “What’s This For” / Minute

원래 지표는 소프트웨어 코드 품질 리뷰를 위한 것이었지만, 상상하실 수 있듯이, 이는 어떤 분야에서도 적용 가능합니다.

임의 테스트 지표

또 다른 지표는 대규모 샘플의 품질을 추정하는 데 유용합니다.

이것은 주로 물리적 제품에 적용됩니다.

  1. 샘플을 섞으세요
  2. 몇 가지 무작위 항목을 선택하세요
  3. 그들의 품질을 확인하세요
  4. 결함이 발견되면, 문제의 실제 규모를 비례적으로 추정하세요

이 경우 지표는 다음과 같습니다:

  • 임의 샘플의 결함 비율 %
예를 들어, 슈퍼마켓에서는 모든 우유나 치즈 팩의 유통기한을 확인할 필요가 없습니다. 몇 가지를 무작위로 선택하고, 그 중 일부가 유통기한이 지났다면 문제의 대략적인 추정을 할 수 있습니다.

분명히, 이 방법은 초기 제품 단계에서 자주 발생하는 품질 문제에 작동합니다. 품질 관리 시스템이 개발됨에 따라 임의 샘플의 크기를 늘려야 합니다.

품질 자체 테스트 메트릭

때때로 우리는 “품질의 품질”을 확인해야 하며, 예를 들어, 품질 관리 시스템이 자체적으로 어떻게 작동하는지를 확인해야 합니다.

  • 품질 검토가 실제로 작동합니까?
  • 자동화된 테스트가 실제로 문제를 감지합니까?

자체 테스트의 아이디어는 알려진 오류가 있는 입력을 도입하여 사전 설계된 문제들이 감지되는지를 확인하는 것입니다.

의료 분석 실험실은 이 절차를 구현하고 있습니다. 실험실 장비는 복잡한 광학 기기와 화학 시약의 조합입니다. 품질의 요소는 시약의 저장 방법, 증류수의 품질, 전류의 안정성, 인간의 요소, 그리고 물론 무작위 오류입니다.

이 경우 가장 쉬운 품질 관리는 알려진 샘플 세트를 로드하고 실제 결과를 예상 결과와 비교하는 것입니다.

규제 기관은 테스트 샘플의 속성이 사전에 알려지지 않은 상태에서 맹검 테스트를 수행할 때 동일한 접근 방식을 사용합니다.

이 경우의 메트릭은 다음과 같습니다:

  • 기간당 자체 테스트의 수
  • 결함 감지 효율, % = 감지된 결함 / 삽입된 결함

이 접근 방식은 더 비싸고 시간이 많이 드는 테스트를 수행하기 전에 시작점으로 작동합니다.

자동화된 품질 관리 지표

자체 테스트와 유사하지만, 이 경우 시스템을 블랙박스로 보지 않고 더 구체적인 자동화 테스트를 수행할 수 있습니다.

자동화 테스트의 이점은 수동 테스트에 비해 명확합니다:

  • 인적 요인이 개입되지 않음
  • 비용 절감

그럼에도 불구하고, 자동화 테스트 범위를 이러한 테스트를 개발하고 유지하는 비용과 균형을 맞출 필요가 있습니다.

이 경우 가능한 지표:

  • 자동화 테스트 범위, %

스트레스 테스트 지표

시스템의 품질은 환경이 크게 변할 때 변동될 수 있습니다.

이 경우의 지표:

  • 스트레스 변화 준비도, %

아이디어는 가능한 조건을 예측하고 준비하는 것입니다. 최선과 최악의 시나리오를 상상하고 비상 계획을 세워보세요.

  • 스마트폰을 가지고 있나요? 겨울철 산악 등반을 시도하고 배터리가 얼마나 오래 지속되는지 확인해보세요.
  • 웹사이트를 운영하나요? DDoS 공격을 견딜 수 있을까요?
  • 소비자 제품을 설계하나요? 인도에서 사용해도 제대로 작동할까요?

수동 테스트 메트릭

오래된 좋은 수동 테스트는 필수입니다. 다음은 두 가지 권장 사항입니다:

  • 귀하의 제품 사용자가 되십시오
  • 품질의 다양한 이해관계자를 고려하십시오

이 경우의 메트릭:

  • 테스트 계획 커버리지, %
  • 테스트 계획 실행 시간

덜 형식적이지만 여전히 유용한 메트릭:

  • 제품의 최종 사용자로 있는 시간, 시간

예를 들어, 이 기사를 설명하고 품질에 대한 평가표를 만들기 위해, 저는 우리의 BSC Designer 소프트웨어를 사용했습니다. 이는 항상 몇 가지 개선 아이디어를 생성하는 데 도움이 됩니다.

위험 분석 변경

제품의 복잡성이 높을 때, 제품의 변경은 많은 품질 문제를 발생시킬 수 있습니다. 이 문제의 해결책은 제품 아키텍처 수준에 있습니다. 예를 들어, 소프트웨어 엔지니어들은 나쁜 종속성을 피하기 위해 마이크로서비스를 사용하여 솔루션을 구축합니다.

품질의 관점에서 시작점은 변경의 위험을 추정하는 것입니다. 엔지니어들에게 다음과 같이 물어보십시오:

  • 제품의 기능 “A”를 변경할 경우, 무언가가 잘못될 가능성은 얼마나 됩니까?

이 논리를 따르면서, 우리는 다음을 사용할 수 있습니다:

  • 최근 변경 수 메트릭

미래 품질 문제의 선행 요소로서.

품질 응답 지표

우리는 설계 단계에서 문제를 해결하려고 노력했습니다. 고객(또는 다른 이해관계자)이 문제를 보기 전에 문제를 해결하려고 했습니다. 하지만 때때로 문제가 이러한 모든 필터를 통과하고 고객이 품질 문제에 직면하는 경우가 있습니다. 이 경우 추적할 수 있는 지표에 대해 아래에서 논의합니다.

아래에서 논의할 지표는 다음과 같습니다:

문제 해결 시간

네, 문제가 있었지만 하룻밤 사이에 해결되었습니다. 이는 모든 고객에게 놀라운 경험입니다.

메트릭:

  • 심각한 문제를 해결하는 데 필요한 평균 시간
  • 사소한 문제를 해결하는 데 필요한 평균 시간

다른 이해관계자에 대해 별도로 시간을 추적하십시오. 자세한 내용은 위험 단락을 참조하십시오.

또 다른 중요한 아이디어는 일반적으로 문제를 해결하는 시간이 포함되지 않는다는 것입니다:

  • 예방 계획을 개발하는 데 필요한 시간 또는
  • 예방 계획을 실행하는 데 필요한 시간

응답 시간

많은 경우, 문제는 고객에게 그렇게 중요하지 않으며, 더 중요한 것은 귀하의 팀이 신경 쓰고 있다는 것입니다. 빠른 이메일, “안녕하세요, 보고해 주셔서 감사합니다. 우리가 처리 중이며, 2일 내로 수정될 예정입니다“는 고객에게 귀하가 신경 쓰고 있음을 보여줄 것입니다.

측정 지표:

  • 품질 문제에 대한 응답 시간

품질 백로그

판매 백로그와 유사하게, 품질 백로그는 조직 내에서 품질이 어떻게 흐르는지를 나타내는 지표입니다.

품질 문제의 백로그 없음은 다음을 나타낼 가능성이 큽니다:

  • 오랜 기간 동안 제품이나 서비스를 변경하지 않았습니다 (이 사실 자체가 문제입니다), 또는
  • 고객의 의견을 충분히 듣고 있지 않습니다

과부하된 백로그는 대응 노력이 충분하지 않으며, 무엇인가 변경이 필요하다는 것을 보여줍니다.

저의 추천은 이 지표를 동적으로 추적하는 것입니다:

  • 품질 문제 백로그
Quality issues backlog
사인 함수는 '품질 문제 백로그' 지표의 성능 함수로 사용됩니다 - 백로그에 항상 일부 문제가 있어야 초록색 영역에 속할 수 있습니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

품질 팀 지표

품질 팀을 위한 인기 있는 지표는 다음과 같습니다:

  • 품질 인원 / 일반 인원, %

문제 해결 시간재발 문제율, %과 함께 분석하면 팀의 성과에 대한 정보를 제공할 수 있습니다.

발견사항 종결 비율

회사가 품질 감사을 수행했다고 가정해 보십시오. 예를 들어, 위에서 설명한 요구 사항 모호성 분석을 사용하는 것입니다. 우리는 이러한 발견사항들이 분석되고 종결되는지 확인해야 합니다.

이 경우 추적할 지표:

  • 발견사항 종결 비율, %

우리는 항상 권장 사항을 구현하는 것에 대해 이야기하는 것은 아니지만, 최소한 그것들이 어떤 구체적인 형태로 재작업되어야 합니다 (예를 들어, 업데이트된 요구 사항).

의사소통의 품질

복잡성은 품질의 알려진 선행 요인입니다.

이 경우 의사소통 중복성을 추적하십시오:

  • 의사소통 중복성, % = (평균 메시지 크기 – 최단 메시지 크기) / 평균 메시지 크기.

고객이 문제를 해결하기 위해 한 번의 전화만 필요했는지, 아니면 간단한 문제를 해결하기 위해 이메일을 다섯 번 주고받았는지 확인하십시오.

예를 들어, 이메일 교환의 경우, 다음과 같이 중복성을 계산할 수 있습니다:

  • 의사소통 중복성, % = (5 – 1) / 5 = 80% 중복성.

다음도 추적하십시오:

  • 첫 접촉 해결률, %

솔루션 효과성

문제를 해결하고 과정에서 효율적이고 효과적으로 소통하였지만, 문제가 실제로 해결되었습니까?

추적할 지표:

  • 문제가 재발하는 비율 %

또는 유사한 지표

이 지표들은 해결 시간 지표와 함께 묶일 때 가장 효과적입니다. 조직은 솔루션 제공 속도와 그 효과성 간의 균형을 찾아야 합니다.

품질 문화

품질 문화는 중요한 문제를 피하고 덜 중요한 문제를 효과적으로 해결하기 위한 새로운 행동 습관을 확립하는 것입니다.

귀하의 팀은 품질을 추적하고 개선하는 습관이 있습니까?

여기서 검토할 KPI들:

거부된 결함

사용자가 제품의 문제를 보고했으나, 실제로는 문제가 아닌 정상적인 동작인 상황을 상상해 보십시오. 개발자는 이 보고를 결함으로 “거부”합니다.

고객이 인지하는 한, 이 상황은 고객에게 결함으로 간주될 것입니다. 거부된 결함이란 무엇을 의미합니까? 이는 다른 시스템이 제대로 작동하지 않았음을 의미합니다. 추적할 메트릭:

  • 거부된 결함의 %

여기 예시가 있습니다:

  • 작은 냉장고가 너무 많은 얼음을 만들어 소유자에게 문제를 일으키고 있습니다. 그들은 고객 서비스에 전화를 걸고, 수리공이 와서 이 작은 냉장고는 지속적인 사용에 적합하지 않으며 사람들이 오고 가는 모텔에서 사용하도록 설계되었다고 말합니다. 이는 품질 문제이며 이미 비용(브랜드 영향, 보증 서비스 비용)이 발생했지만, 이 결함은 엔지니어들에 의해 거부될 것입니다. 그렇다면 문제는 어디에 있을까요? 제 생각에는 마케팅에 있는 것 같습니다…

제품 테스터가 보고한 문제가 엔지니어들에 의해 거부되는 유사한 상황이 있습니다. 이 경우 문제는 어디에 있을까요? 저는 초기 요구 사항의 애매함에 있다고 믿습니다.

루트 원인 분석 지표

품질 문제를 제때 해결하는 것은 좋은 시작점이지만, 조직은 또한 실수로부터 배워야 합니다 (Wikipedia의 품질 보증 글을 참조하십시오). 품질 문제에 대한 루트 원인 분석을 수행하십시오:

  • 문제의 원인은 무엇이었습니까?
  • 왜 이전에 발견하지 못했습니까? 유사한 문제를 감지하기 위해 품질 관리 시스템에서 무엇을 변경할 수 있습니까?
  • 이러한 문제의 가능성을 없애기 위해 시스템에서 무엇을 변경할 수 있습니까?

물론, 루트 원인 분석의 정도는 제품의 중요성과 일치해야 합니다.

추적할 지표:

  • 선행: 루트 원인 분석 교육 침투율, %
  • 후행: 루트 원인이 분석된 문제의 비율, %

체계적인 오류

품질 보증상의 도전 과제 중 일부는 체계적인 오류를 감지하고 찾아내는 것입니다. 예를 들어, 귀하의 SaaS가 느린 서버에 호스팅되어 있어 시스템 사용성에 많은 다른 문제가 발생한다고 가정해 봅시다. 더 큰 체계적인 오류로 인해 발생한 모든 사용성 문제를 검토하는 것은 의미가 없습니다.

품질 인식 지표

품질은 모든 사람의 책임이므로 팀의 모든 관련 구성원에게 필요한 품질 절차를 설명하는 것이 합리적입니다:

  • 사람들은 “근접 사고”를 어떻게 보고해야 합니까?
  • 근본 원인 분석이란 무엇이며, 이를 어떻게 수행해야 합니까?
  • 중요한 문제에 대한 대응 계획은 무엇입니까?
  • 우리의 품질 기준은 무엇입니까?

추적할 지표:

  • 선행: 품질 교육 침투율, %
  • 선행: 구식 교육 자료, %
  • 후행: 품질 프로그램 인식, %
  • 후행: 품질 기준 인식, %
  • 후행: 직원이 이해한 정책의 %

보시다시피, 후행 인식 지표는 선행 교육 지표와 균형을 이루고 있습니다. 교육을 책임지는 전문가들은 다음을 추적하여 측정 노력을 더욱 집중할 수 있습니다:

  • 즉각적인 반응
  • 행동의 변화
  • 사업 영향

우리는 이 접근 방식을 교육 평가표 기사에서 논의했습니다.

개선 수용 비율

귀하의 팀과 고객은 많은 개선 아이디어를 제안할 수 있습니다. 문제는 귀하의 엔지니어가 실제로 몇 개의 아이디어를 분석하고 구현하는가입니다. 아이디어가 바로 쓰레기통으로 간다면 직원들로부터 높은 사기를 기대할 수 없습니다.

더 나은 접근 방식은 혁신 실적표에서 논의한 것과 유사하게 아이디어를 처리하는 절차를 수립하는 것입니다.

프로세스 맵은 귀하의 조직에서 혁신적인 아이디어가 수집되고 테스트되는 방법을 보여줍니다

아이디어 수집 과정과 혁신 실적표의 목표와의 일치를 설명하기 위해 추가 지도가 작성되었습니다. 출처: BSC Designer에서 혁신 실적표 온라인 보기 혁신 실적표.

이 경우 성과 측정을 위한 시작점은 다음과 같습니다:

  • 개선 수용 비율, % = 제안된 아이디어 / 구현된 아이디어

유지율

품질 저하는 품질의 이해관계자에게 영향을 미칩니다.

고객이 더 이상 귀사의 제품을 추천하지 않거나 팀의 소중한 멤버들이 새로운 고용주를 찾고 있을 수 있습니다. 이 두 가지 지표를 추적하여 조기 경고 신호를 포착하십시오:

  • 고객 유지율, %
  • 최고 성과자 이직률, %

이들은 후행 지표이지만, 더 짧은 시간 범위를 가진 지표도 찾을 수 있습니다:

  • 고객이 떠나는 것을 보는 대신, 그들이 소셜 미디어에서 공유하는 내용을 볼 수 있습니다.
  • 인재 관리자는 인사 평가표를 사용하여 이직의 조기 지표를 추적할 수 있습니다.

귀하만의 고유 품질 지표

이 글에서 논의된 대부분의 지표는 귀하의 분야에 적용할 수 있다고 생각합니다. 하지만 특정 비즈니스에 맞게 맞춤 제작해야 하는 고유한 지표가 항상 존재합니다. 이러한 지표를 어떻게 찾을 수 있을까요? 저희가 제공하는 KPI 시스템을 확인해 보시기를 권장합니다.

제 추측으로는:

귀하의 고유 품질 지표는 귀하 조직의 병목 프로세스와 관련이 있을 것입니다

제 추측이 맞았습니까? 설명하기 쉽습니다; 시스템을 제한하는 프로세스에 무언가 발생하면 시스템의 나머지 부분에 영향을 미치게 됩니다.

디자인에 의한 품질 측정

다른 주제로는 KPI 시스템에서 논의된 “디자인에 의한” 측정이 있습니다. 사후에 무언가를 측정하려고 하기보다는, 미래의 측정 필요성을 염두에 두고 제품을 설계해야 합니다.

이 아이디어를 품질에 적용하려면, 품질 측정을 디자인에 의해 구현할 수 있는 부분을 찾아야 합니다.

품질 팀에게 다음 질문을 하여 시작해 보십시오:

  • 최종 고객이 문제를 보고했을 때, 우리는 문제의 원인을 어떻게 알 수 있을까요?
  • 품질 측정을 더 쉽게 하기 위해 제품이나 서비스에서 무엇을 변경할 수 있을까요?

답변은 간단한 체크리스트나 운영 로그 기록이 있는 일종의 블랙박스일 수 있습니다.

여기 하나의 요령이 있습니다:

품질을 더 잘 측정할 수 있는 방법을 찾으면, 이는 자동으로 품질 개선으로 이어집니다.

예를 들어, 소프트웨어 개발 분야에서 DevOps 관행의 전문가들은 먼저 소프트웨어 기능에 대한 테스트를 만들고, 그 다음 기능 자체를 구축합니다. 이는 한편으로는 품질을 더 잘 측정할 수 있게 하고, 다른 한편으로는 처음부터 품질을 개선합니다.

품질 문화 구현하기

우리는 품질 측정 문화와 관련된 몇 가지 아이디어를 논의했습니다. 더 중요한 주제는 회사의 문화를 전반적으로 품질에 집중시키는 방법입니다. 이 주제에 관해 많은 책이 쓰여졌으며, 이 글의 3부에서 제가 선정한 상위 10가지 팁의 간단한 목록을 찾을 수 있습니다.

Part 2. 품질 균형성과표

균형성과표는 전략 실행 프레임워크입니다. 품질의 목표는 무엇입니까? 이러한 목표가 조직의 전체 전략에 어떻게 맞춰져 있습니까? 이러한 목표의 실행을 어떻게 추적합니까? 아래에서는 품질을 위한 균형성과표의 예를 만들어 보겠습니다.

Balanced Scorecard for Quality

품질을 위한 균형성과표 전략 지도 예시입니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

여기 우리의 계획이 있습니다:

임무

품질에 집중하는 목적은 무엇인가요? 품질 팀을 위한 영감을 주는 임무 진술을 다음과 같이 작성해 봅시다:

품질 문제를 효과적으로 해결하고, 예방 계획을 생각합니다

이는 품질 팀의 누구나 이해할 수 있는 간단한 메시지입니다. 우리는 다음을 위해 여기 있습니다:

  • 품질 문제를 빠르게 해결합니다
  • 조사하고 예방 계획을 실행합니다

균형성과표의 관점으로 계속 진행합시다.

품질 실적표 금융 관점

품질의 이해관계자들의 기대는 균형성과표의 금융 관점에서 공식화됩니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

품질의 금융적 영향

품질의 금융적 영향은 무엇입니까? 다시 말해, 품질의 이해관계자가 제품의 품질에 만족하지 않을 경우 어떤 일이 발생할까요?

답변은 이해관계자에 따라 다릅니다:

  • 고객이 만족하지 않으면 구매하지 않거나 반복 구매를 하지 않을 것입니다.
  • 팀이 제품 품질에 대해 만족하지 않으면, 그들은 더 나은 환경을 찾아 회사를 떠날 수 있습니다.
  • 규제 기관이 설정한 기준을 준수하지 않으면 – 귀 조직은 벌금을 물거나 폐쇄될 수 있습니다.

이러한 아이디어를 목표 아래에 매핑할 것을 제안합니다:

  • 지속 가능한 성장

이것은 매우 막연한 목표입니다. 어떻게 더 구체적으로 만들 수 있을까요? 몇 가지 성과 지표를 이에 맞출 수 있습니다:

고객 관점

조직의 지속 가능한 성장을 보장하기 위해 우리는 고객(최종 사용자, 규제 기관 및 팀과 같은 품질의 이해관계자)의 요구를 충족해야 합니다.
품질 평가표 고객 관점

고객 관점은 외부(최종 사용자)와 내부(팀) 고객의 요구를 포함합니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

목표: 중대한 결함을 피하고, 비중대한 결함은 신속히 해결한다. 이것이 모든 이해관계자들이 원하는 것입니다. 이 목표의 달성 정도를 어떻게 추정할 수 있을까요? 위에서 논의한 몇 가지 지표를 사용해 봅시다. 이러한 지표는 목표의 맥락에서 후행 지표가 될 것입니다:

선행 지표는 어떨까요? 선행 성과는 아래에서 논의할 내부 관점의 목표에서 나올 것입니다.

또 다른 고객 목표는 품질의 내부 이해관계자와 더 관련이 있습니다:

  • 목표: 유지 가능한 제품. 상대적으로 유지, 변경, 테스트 등이 쉬운 제품. 이것이 당신의 팀이 원하는 것입니다.

이 목표의 실행을 추적하기 위해 어떤 후행 지표를 사용할 수 있을까요? 예를 들어, 다음 두 가지:

제품 복잡성과 팀 참여가 어떻게 연결되어 있는지에 대한 간단한 모델입니다:

  • 제품이 너무 복잡해지면, 팀원들이 이에 대해 불평할 것이고, 우리가 아무것도 하지 않으면 – 그들은 떠날 것입니다.

선행 지표는 어떨까요? 이러한 경우를 방지하기 위해 무엇을 할 수 있을까요? 특정 상황에 따라 다르지만, 품질/복잡성 문제의 원인을 이해해야 한다고 말할 수 있습니다. 이를 위해 내부 관점에서 “근본 원인 분석 및 품질 보증” 목표가 “유지 가능한 제품” 목표로 선행 성과를 유도할 것입니다.

내부 관점

이 관점에서 우리는 두 가지 질문에 답해야 합니다:

  • 어떻게 “중대한 결함을 피하고” “비중대한 결함을 신속히 수정할 것인가”?
  • 어떻게 “유지 가능한 제품”을 보장할 수 있을까?

저는 이 세 가지 목표를 정리할 것이며, 스크린샷의 링크는 고객 관점에서 목표에 어떻게 기여하는지를 보여줄 것입니다:

  • 중대한 품질 문제 방지
  • 품질 문제 신속 해결
  • 근본 원인 분석 및 품질 보증

다시 말하지만, 이 목표들은 현재로서는 너무 모호합니다. 이를 더 구체적으로 만들기 위해 몇 가지 지표를 이와 맞춰야 합니다.

중대한 품질 문제 방지” 목표부터 시작하여 품질 문제를 방지하기 위한 다양한 접근 방식을 논의하기 전에 각각의 후행 지표는 다음과 같습니다:

  • 근접 사고 보고된 사항
  • 요구 사항 페이지 당 모호성, %
  • 전문가 검토 지표

예를 들어, 어떻게 우리 팀이 “근접 사고 보고”를 숙달했는지 확인할 수 있을까요? 이를 위해, 학습 및 성장 관점에서 “근접 사고 보고 훈련” 목표를 매핑할 것입니다.

품질 문제 신속 해결” 목표는 어떻습니까? 기본 측정 기준은 중대한 문제 해결 시간이 될 것입니다.

또한 팀의 모든 구성원이 품질 문제를 적절히 보고하도록 훈련시키는 것이 중요합니다. 이 목표의 성과는 개선 수용 비율 지표를 사용하여 평가할 수 있습니다.

품질 평가표 - 내부 관점

내부 관점에는 품질 전략의 동인이 포함되며, 이는 이해관계자의 요구를 충족시키기 위해 내부적으로 달성해야 하는 목표를 의미합니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

마지막으로, “근본 원인 분석 및 품질 보증” 목표는 “유지 가능한 제품” 목표에 기여합니다. 우리 팀이 실제로 근본 원인 분석과 품질 보증을 잘 수행하고 있는지 어떻게 확인할 수 있을까요?

기본부터 시작해 보겠습니다. 다음을 측정하여 우리 팀이 올바른 방향으로 사고하고 있는지 추적할 수 있습니다:

다음과 같이 질문할 수 있습니다:

이 시간 예산이 효과적으로 사용되는지 어떻게 알 수 있을까요?

글쎄요, 이러한 지표로는 확실히 알 수 없지만, 문제가 발생하면 고객 관점에서 “유지 가능한 제품” 목표와 맞춰진 지표가 빨간색 영역에 나타나는 것을 볼 것입니다:

좋아요, 우리는 품질 팀이 어떻게 행동해야 하는지 알고 있습니다. 그들에게 적절한 기술과 도구를 제공하려면 무엇을 해야 할까요? 그 답은 아래 학습 및 성장 관점에서 설명됩니다.

학습 및 성장 관점

중대한 품질 문제 방지 목표를 위해, 학습 및 성장 관점에서 두 가지 지원 목표가 있습니다:

  • 근접 사고 보고 교육
  • 품질 문제를 예방하는 방법을 배우십시오

저는 근접 사고 보고가 특별한 주의를 받을 가치가 있다고 믿기 때문에 이를 분리했습니다.

전략 지도상의 근접 사고 지표

학습과 성장 관점에서는 조직이 품질 전략의 추진 요인을 지원하기 위해 학습 노력을 어디에 집중해야 하는지를 설명합니다 (내부 관점). 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

근접 사고 보고 교육 목표를 시작합시다.

선행 메트릭은 다음과 같습니다:

물론, 우리는 모든 관련 이해관계자들이 적절히 훈련받기를 원합니다.

후행 지표에 대해서는 어떨까요? 진지하게 접근하려면 (훈련 평가표 접근법을 참조하십시오) 우리는 다음을 어떻게 측정할 것인지 이해해야 합니다:

  • 훈련의 결과
  • 활동 변경
  • 비즈니스에 미치는 영향

교육의 결과는 시험 점수입니다. 행동의 변화는 근접 사고 보고중대한 품질 문제 예방 목표에 맞춰 측정됩니다.

“근접 사고” 교육의 사업적 영향을 어떻게 측정할 수 있을까요? 저는 중대한 결함 회피, 비중대한 결함 신속 해결 목표를 보고 있으며, 기간당 불만 건수가 이 목적에 적합한 훌륭한 지표라고 믿습니다.

근접 사고 보고 목표와 일치하는 이니셔티브

평가표의 교육 목표 중 하나와 일치하는 특정 이니셔티브는 세부적인 실행 계획, 예상 예산 및 일정이 포함됩니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

다음 목표로 올라가 봅시다 – 품질 문제 예방 학습. 여기서 우리는 이 목표와 일치하는 이니셔티브에 관련된 두 가지 후행 지표를 가지고 있습니다. 그 지표는:

이니셔티브는 우리가 이전에 논의했던 품질 보증 아이디어들입니다:

Learn to prevent quality issues
전체 목표 '품질 문제 예방 학습'은 두 가지 후행 지표와 특정 발의에 의해 지원됩니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

학습 및 성장 관점에서의 마지막 목표는 품질 인식입니다. 이전에 우리는 품질 기준과 관련 교육 자료를 최신 상태로 유지하는 것이 중요하다고 논의했습니다. 이를 위해 우리는 다음을 갖추고 있습니다:

  • 구식 교육 자료, % 선행 지표.

다시 한번, 모든 이해관계자가 교육을 받았는지 확인해야 하며, 우리는 이 지표를 사용합니다:

  • 품질 교육 침투율, %

품질 인식 프로그램의 결과를 추적하기 위해, 우리는 다음의 후행 지표들을 살펴볼 것입니다:

품질 프로그램 인식, %을 어떻게 정량화할 수 있을까요? 예를 들어, 간단한 설문조사나 테스트를 통해 가능합니다.

품질 인식 프로그램이 이해관계자의 행동 방식을 어떻게 변화시켰는지 어떻게 확인할 수 있을까요? 특정 행동 지표를 살펴볼 필요가 있습니다. 저는 이 두 가지를 선택했습니다:

품질 인식 목표와 이니셔티브응답 시간 품질 지표

'품질 인식' 목표는 '품질 문제에 대한 응답 시간' 지표로 정량화됩니다. 성능 기능은 '최소화'로 설정되어 있으며, 예를 들어 더 빠른 응답(지표의 낮은 값)이 더 높은 성능을 의미합니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

이 목표를 예로 들어 전략 맵의 논리가 어떻게 작동하는지 추적해 봅시다.

전략 지도에서의 논리 실행

우리의 품질 인식 프로그램이 성공하면, 예를 들어 고객지원 전문가들이 빠르게 (품질 문제에 대한 응답 시간 지표) 그리고 효율적으로 (커뮤니케이션 중복성, % 지표) 대응할 것으로 기대할 수 있습니다. 저는 “내부” 관점으로 이동하고 있습니다.

품질 문제와 연결된 품질 인식

품질 인식 목표는 품질 문제를 빠르게 해결하는 목표의 선행 요인입니다. 기본적으로 우리의 가설은 품질 인식을 향상시킴으로써 품질 문제를 더 잘 해결할 수 있을 것으로 기대한다는 것입니다. 그리고 우리는 개선 수용 비율, % 중대한 문제 해결 시간 지표를 통해 이 가설을 확인할 것입니다.

우리는 이제 “고객” 관점을 보고 있습니다.

지속 가능한 성장과의 연결

품질 문제를 빠르게 해결 목표는 중대한 결함을 피하고, 비중대한 결함을 빠르게 수정하는 데 기여하며, 이는 결국 금융 관점에서 지속 가능한 성장 목표에 기여합니다.

품질을 위한 원인과 결과의 논리
품질 전략 지도의 논리 - 전략의 동인(학습 및 내부 관점)이 결과를 창출합니다(고객 및 이해관계자 관점). 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

기여의 관련 중요성

전략 지도에서 중대한 결함을 피하고, 비중대한 결함을 신속히 수정하기는 두 가지 목표의 선행 성과에 의해 영향을 받습니다:

  • 중대한 품질 문제 예방
  • 품질 문제를 신속히 해결

이 목표들이 중대한 결함을 피하고, 비중대한 결함을 신속히 수정하기 목표에 동일한 비중으로 기여합니까?

문제를 예방하는 것이 문제를 해결하는 것보다 더 중요하다고 가정해 봅시다.

이 논리를 반영하기 위해, 선행 지표의 비중을 각각 변경할 수 있습니다:

  • 중대한 품질 문제 예방 – 비중 70%
  • 품질 문제를 신속히 해결 – 비중 30%

이 글을 위해 실적표를 만들 때 사용한 BSC Designer 소프트웨어는 중대한 결함을 피하고, 비중대한 결함을 신속히 수정하기 목표의 선행 성과를 계산할 때 이 비중을 고려할 것입니다.

실적표 값이 계산되는 방식에 대해 더 알고 싶으시면, 실적표 101 기사를 확인해 보세요.

중대한 문제 예방 지표의 비중 설정
'중대한 결함을 피하기...' 목표의 맥락에서, '중대한 품질 문제 예방' 목표와 '품질 문제를 신속히 해결' 목표의 결과는 선행 지표입니다. 그들의 총 성과에 대한 영향을 설명하기 위해 상대적 비중을 사용했습니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

설명 동영상

이 기사의 중요한 발견을 요약한 설명 동영상입니다.

Quality Balanced Scorecard and KPIs Explained

품질 관리 프레임워크 및 전략 실행

잘 알려진 품질 관리 프레임워크에는 TQM, 식스 시그마, 카이젠(지속적 개선), 린 제조, 그리고 물론 최신 버전의 ISO 9001이 있습니다2.

다음의 결합 방법을 논의해 봅시다:

  • 이러한 품질 관리 프레임워크의 아이디어

  • 이 기사에서 논의된 전략 실행 프레임워크인 균형성과표의 아이디어.

품질 관리 프레임워크 vs. 품질에 대한 전략 지도

이전에는 품질을 위한 균형성과표에 대해 이야기했습니다. 균형성과표(전략 지도라는 시각적 다이어그램과 함께)는 전략 계획 및 실행을 위한 도구 중 하나입니다.

품질 관리 프레임워크의 개념을 균형성과표 프레임워크의 아이디어와 맞춰 보겠습니다:

품질 관리 프레임워크 품질을 위한 균형성과표
고객 요구의 지속적 분석 대부분의 프레임워크는 고객의 요구에 대한 집중과 그 요구에 대한 지속적인 분석을 필요로 합니다. 고객 중심 및 고객 요구의 지속적 분석의 아이디어는 균형성과표의 균형성과표의 고객 관점 고객균형성과표의 학습과 성장 관점 학습 및 성장 관점에 완벽하게 부합합니다.
비즈니스 시스템의 체계적인 변경 품질 프레임워크는 품질의 도전에 따라 비즈니스 시스템을 조정하는 체계적 접근의 이점을 인식합니다. 균형성과표 프레임워크에서는 이러한 변경이 균형성과표의 내부 프로세스 관점 내부 프로세스 관점에 매핑되며, 이는 고객학습 및 성장 관점과 인과 관계 논리로 연결됩니다.
이해관계자의 이익과의 정렬 특히 최신 ISO 9001와 같은 프레임워크는 품질 개선의 궁극적인 목표가 조직의 전반적인 성능을 개선하는 것임을 인식합니다. 균형성과표 프레임워크에서도 동일한 아이디어가 명확하게 표현되며, 전략 지도의 모든 목표는 균형성과표의 재무 관점 이해관계자/재무 관점에 연결됩니다.

품질 관리 프레임워크의 다른 일반적인 구성 요소는 다음을 포함합니다:

  • 지속적인 개선
  • 계획-실행-확인-조치 주기
  • 최고 경영진의 참여

이러한 아이디어가 전략 평가표에 어떻게 구현될 수 있는지 살펴보겠습니다.

KPI로 “지속적인” 개선 이루기

어떤 품질 관리 프레임워크도 품질에 대한 지속적이고 체계적인 작업의 중요성을 강조합니다.

  • 품질 실적표의 문맥에서 이것이 의미하는 바는 무엇입니까?

적절하게 정의된 지표를 가지는 것은 이미 품질 개선을 위한 체계적 접근을 의미합니다.

이 체계적 접근의 지속성은 어떻습니까? 어떻게 이를 보장할 수 있을까요?

가장 쉬운 방법은 실적표에 품질 지표에 대한 업데이트 간격을 정의하는 것입니다:

품질 지표의 업데이트 간격

우리는 값 편집기를 사용하여 '중요한 문제 해결 시간'의 업데이트 간격을 월별 업데이트 간격으로 설정했습니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

자동화 소프트웨어를 사용 중이라면, 지표를 업데이트해야 할 때 알림을 설정하여 정보를 받을 수 있습니다:

업데이트 간격 알림

지표의 책임자는 업데이트 날짜 5일 전에 다가오는 업데이트 간격에 대한 알림을 받게 됩니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

전략적 이니셔티브를 기반으로 한 PDCA 사이클

PDCA (계획-실행-확인-조치) 사이클은 다양한 품질 프레임워크에서 다른 두문자어로 발견될 수 있습니다.

  • 품질 실적표가 PDCA를 어떻게 지원합니까?

어떤 개선 계획이든 특정 비즈니스 과제의 맥락에서 개발되어야 합니다. 이 의미에서:

적절하게 설계된 전략 지도를 갖춘 품질 실적표는 비즈니스 목표와 그들 간의 연결을 이해하는 데 필요한 모든 것을 제공합니다.

또한, 전략 지도의 이니셔티브는 예산 할당, 일정, 보다 구체적인 활동 계획과의 연결을 통해 품질 개선 계획을 설명하는 데 도움을 줍니다:

상태가 있는 품질 개선 이니셔티브

이니셔티브의 상태를 사용하여 전략 실행 프로세스를 추적하십시오. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

일반적인 품질 개선 이니셔티브는 특정 단계를 거칩니다. 전략 실적표에서는 이러한 단계가 이니셔티브의 상태를 통해 반영될 수 있습니다.

PDCA의 “확인” 부분은 품질 실적표의 KPI로 나타납니다. 자동화 소프트웨어를 사용하는 경우, 대시보드분석 기능을 통해 성과 결과의 검토가 더 쉬워질 것입니다.

최고 경영진의 참여

대부분의 품질 관리 프레임워크는 최고 경영진이 품질에 대한 책임을 질 때 최고의 품질 개선이 이루어진다고 인식합니다.

  • 실제로 어떻게 구현되나요?

출발점은 품질을 위한 전략 지도입니다. 이는 최고 경영진을 포함한 모든 이해관계자를 품질 전략에 대한 논의에 참여시키는 데 도움이 됩니다.

다음 단계는 품질 전략의 전파입니다.

일부 품질 지표(품질 KPI)는 CEO의 실적표와 정렬될 것입니다. 예를 들어, CEO의 실적표 기사에서 논의된 “인지된 시스템 품질” 지표:

Perceived system quality indicator

대표이사 평가표의 '인지된 시스템 품질' 지표는 품질 평가표에서 성능을 가져옵니다. 출처: BSC Designer에서 대표이사 평가표 온라인 보기 대표이사 평가표.

일부 품질 지표는 기업 거버넌스 실적표에 잘 맞을 것입니다. 예를 들어, 경영의 품질을 정량화하는 KPI와 전체 제품 품질 지수가 있습니다.

품질의 선행 요소로서, 기업 거버넌스 실적표는 “정의된 기준 및 프로세스” 지표를 포함할 수 있습니다:

Corporate governance metric: standards and processes defined

‘정의된 기준 및 프로세스’ 지표는 기업 거버넌스 실적표에 기여합니다. 출처: BSC Designer에서 기업 거버넌스 KPI 온라인 보기 기업 거버넌스 KPI.

최고 경영진과 마찬가지로 다른 이해관계자들도 품질 전략에 참여해야 합니다. 예를 들어, 조달 실적표에서 “결함 비율”을 “준수 지수”에 사용되는 지표 중 하나로 찾을 수 있습니다.

% of defects as a part of compliance index

조달 평가표의 '준수 지수, %'에서 사용된 '결함 비율' 지표. 출처: BSC Designer에서 조달 평가표 온라인 보기 조달 평가표.

결론

보시다시피, 품질 관리 프레임워크와 전략 실행 프레임워크는 서로를 보완합니다.

품질 관리의 맥락에서 품질 평가표를 갖는 주요 이점 중 하나는 품질 이니셔티브와 조직의 전체 전략 간의 정렬입니다.

품질의 공식화된 전략은 부서 간의 품질 이니셔티브를 조정하고 품질을 조직 내 모든 사람의 일로 만드는 데 도움을 줍니다.

파트 3. 실무에서의 품질

지속적인 품질 관리를 위한 KPI 실적표 사용에 대한 10가지 팁
이전 부분에서는 품질을 위한 균형성과표를 구축하고 품질 전략을 효과적으로 실행하는 방법에 대해 논의했습니다. 운영 수준에서의 품질은 어떨까요? 이 부분에서는 지속적인 품질 관리를 위한 품질 KPI 사용에 대한 10가지 아이디어를 논의할 것입니다.

1. 비즈니스 내용이 우선이며, 그 다음 지표가 옵니다

항상 비즈니스 내용으로 시작하십시오! 균형성과표 프레임워크는 전략을 설명하고 실행하는 가능한 접근 방식 중 하나입니다. 만약 운영 수준에서 품질 지표를 수행한다면, BSC는 적절한 도구가 아닐 수 있습니다. 그래도 다음 질문에 대한 명확한 답변을 가지는 것을 권장합니다:

  • 품질을 측정해야 합니까?
  • 어떤 품질의 측면이 귀하의 고객에게 중요합니까?
  • 회사가 현재의 비즈니스 목표를 어떻게 달성할 계획입니까?
  • 품질과 관련된 어떤 문제들이 더 많은 주의가 필요합니까?
  • 귀사의 현재 비즈니스 도전 과제는 무엇입니까?

BSC Designer Online에서 목표와 KPI를 정렬

품질 지표는 목표를 더 구체적으로 만드는 데 도움이 됩니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.


BSC Designer에서: “KPI” 탭으로 이동하십시오. 거기에서 비즈니스 목표를 형식화하고, KPI를 이 목표와 정렬할 수 있습니다.

2. 품질 문제와 그 원인 시각화하기

품질 관리, 더 일반적으로 말하자면 품질 보증은 단순히 지표를 설정하고 보고하는 것만이 아닙니다. 조직 내 프로세스에 대한 이해, 강점과 약점을 파악하고 가능한 품질 문제를 예방하려는 것이 중요합니다.

정기적인 분석이 필요합니다:

  • 일반적인 프로세스
  • 품질 문제
  • 그 원인
  • 가능한 해결책

이 분석의 결과는 흐름도로 형식화될 수 있습니다.

품질 프로세스의 예시

품질 평가표에서 목표와 지표를 결합하고 몇 가지 사용자 정의 그래픽 요소를 포함한 프로세스 맵의 예시입니다. 출처: BSC Designer에서 품질 평가표 온라인 보기 품질 평가표.

BSC Designer에서: “전략 맵” 탭으로 이동하여, 새로운 맵을 생성하고 이를 사용하여 프로세스를 시각화하십시오. 나중에 일부를 시각화할 수 있습니다.

3. 후행 지표와 선행 지표 간의 균형

이전 단계에서 생성된 순서도를 살펴보십시오. 각 단계에서는 정의된 기준에 따라 사용되는 입력과 생성된 결과가 있습니다. 이러한 통제 지점과 관련된 품질 지표를 가질 수 있습니다.

이는 선행 지표 또는 후행 지표일 수 있습니다.

  • 후행 지표는 무슨 일이 일어났는지에 대한 이야기를 전달합니다. 이 정보는 유용하지만, 그저 일어난 일을 관찰하는 것일 뿐, 아무것도 바꿀 수 없습니다.
  • 반대로, 선행 지표는 프로세스에 영향을 미치는 입력을 반영합니다.

귀하의 품질 실적표에는 선행 지표와 후행 지표 모두가 필요합니다.

BSC Designer Online의 선행 및 후행 지표

두 개의 선행 지표와 하나의 후행 지표로 정량화된 목표 '품질 인식'. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.


BSC Designer에서: “내용” 탭에서 지표 유형을 선택하고, 선행 및 후행 지표는 다른 방식으로 계산됩니다.

4. 가장 중요한 지표는 무엇입니까?

당신은 이렇게 말합니다:

  • “모두 중요합니다!”

질문은 다음과 같습니다:

그들이 동등하게 중요한가요?

결함 수를 0.01%에서 0.001%로 줄이는 것은 전체 생산 시스템을 느리게 할 수 있으며, 고객이 0.01% 결함률에 만족하던 상황에서 그들에게는 다른 제품 매개변수가 훨씬 더 중요합니다.

각 지표의 중요성을 실적표에 반영하고 균형을 찾아야 합니다.

Indicator weight in BSC Designer

선행 지표 '중대한 품질 문제 예방'에 대해 명시된 관련 가중치입니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.


BSC Designer에서는 “성능” 탭에 있는 지표에 대한 가중치 속성이 있습니다. 가중치가 무엇을 의미하며 어떻게 계산되는지 여기에서 알아보세요.

5. 지표의 성능은 무엇입니까?

예를 들어, 1%의 결함률을 가지고 있다가 프로세스를 최적화하여 0.1%의 결함률을 달성하였고, 추가적인 품질 조치를 도입한 후 평균 0.01%의 결함률을 얻었습니다.

제 질문은 다음과 같습니다:

해당 품질 지표의 성능은 어떻게 변했습니까? 10배 개선되었고 다시 10배 더 개선되었습니까?

반드시 그런 것은 아닙니다! 비즈니스 관점에서 볼 때, 고객은 1%의 결함률에 불만을 가질 수 있으며, 0.1%의 결함률에서는 매우 만족할 수 있고, 0.01%의 결함률을 달성해도 그들에게 눈에 띄는 차이를 주지 않을 수 있습니다.

실제 생활에서는:

  • 일부 지표는 선형 성능 함수를 가집니다 (지표의 값을 10배 개선하면 성능도 10배 개선됩니다).
  • 일부 지표는 비선형 성능을 가집니다. 예를 들어, 지표의 성능은 처음에는 천천히 증가하다가 함수가 거의 평평한 선으로 변환되어 추가 개선이 최종 성능을 개선하지 않는 경우가 있습니다.

지표를 설계할 때 적절한 성능 함수를 선택하십시오.

예를 들어, 위에서 논의된 품질 실적표에서, 우리는 예방 계획 개발 시간을 일 단위로 측정하는 지표를 가지고 있으며, 사용자 정의 성능 함수를 가지고 있습니다:

  • 6일 이하의 기간을 유지하면 성능은 녹색 영역에 있습니다.
  • 예방 계획을 더 오래 개발하면 성능은 빨간색 영역으로 빠르게 떨어지고 0%로 감소합니다.

Custom formula for indicator

지표에 사용된 비선형 성능 최적화 함수. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.

BSC Designer에서: 지표의 “내용” 탭에 “최적화” 드롭 리스트가 있습니다. 그곳에서 선형 최적화 함수를 더 적합한 것으로 변경하거나 직접 함수를 지정하십시오.

6. 품질 실적표의 총점

품질 실적표에 50개 이상의 지표가 각각의 성능 함수, 벤치마크, 값, 가중치를 가지고 있을 때, 이론적으로 각 카테고리의 성능을 계산한 후 전체 실적표의 성능을 계산할 수 있습니다. 그 결과, 하나의 숫자(일부는 이를 “품질 점수”라고 부릅니다)를 얻을 수 있습니다.

일부 최고 경영자들이 단일 품질 점수를 요구하는 것을 알고 있지만, 대부분의 경우 이 숫자는 너무 많은 데이터를 집계하여 의미가 없습니다. 보고서에서는 보기 좋게 보이지만, 최고 경영자에게 유의미한 정보를 제공하지는 않습니다. 더 나은 선택은 지표를 카테고리로 그룹화하고 각 카테고리의 성능을 보고하는 것입니다.

예를 들어, 위에서 논의된 실적표를 통해 조직이 학습 노력이나 내부 개선 측면에서 어떻게 수행하고 있는지 알 수 있습니다.

총 품질 점수 및 관점의 성능 계산

품질 실적표의 총 성능은 하위 항목의 성능과 관련 가중치를 고려하여 계산됩니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.


BSC Designer에서: 프로그램은 지표, 목표, 관점 및 전체 실적표의 성능 수치를 계산할 수 있지만, 최종 사용은 귀하에게 달려 있습니다.

7. 활동을 계획하세요

각 품질 지표에 맞춰진 계획을 (가능하면 문서로) 반드시 가지고 계십시오.

  • 이 지표가 빨간 영역에 들어가면 무엇을 하시겠습니까?
  • 이 지표와 관련된 정기적인 절차가 있습니까?
  • 제안된 예산은 얼마입니까?
  • 활동을 실행하는 데 얼마나 시간이 걸립니까?
  • 이 지표를 얼마나 자주 검토해야 합니까?
  • 누가 이 지표에 대한 책임이 있습니까?

예를 들어, 위에서 생성된 품질 실적표에서, 우리는 모든 필요한 세부 사항을 지정한 전사적 교육 이니셔티브를 가지고 있으며, 근접 사고 보고 교육 목표와 맞춰져 있습니다:

전사적 교육 이니셔티브 예시

BSC Designer에서: 지표나 목표를 선택하고, 이니셔티브” 버튼을 클릭하여 관련 세부 사항, 예산, 문서 링크를 지정하고 책임자를 선택하십시오.

8. 품질 대시보드 구축

대시보드는 품질 지표를 시각화하는 데 도움을 줍니다. 일부 지표에는 게이지 스타일의 차트를 사용해야 하며, 다른 지표에는 트렌드 라인이 있는 시간 차트를 표시하는 것이 가장 좋습니다. 잘 설계된 대시보드는 상위 수준의 뷰를 제공합니다. 지도에 시각화된 지표와 함께 사용하십시오.

An example of quality dashboard

주요 품질 지표와 발의를 포함한 간트 다이어그램을 시각화한 성능 대시보드의 예시입니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.


BSC Designer에서: 대시보드를 여러 개 생성하여 지표를 시각화할 수 있습니다.

9. 트렌드 추적하기

지표를 정기적으로 확인하더라도 부정적인 트렌드를 간과할 수 있습니다. 이를 방지하기 위해 지표의 값을 더 긴 기간 동안 추적하십시오. 예를 들어, 3개월 기간을 계산의 기준으로 삼으면, 어떤 지표가 빨간색 구역으로 진입하고 있음을 알 수 있습니다. 이는 팀에게 훌륭한 조기 경고 신호가 될 것입니다.

BSC Designer에서의 실적표 분석

분석 기능은 지표의 역사적 데이터를 사용하여 값을 예측합니다. 출처: BSC Designer에서 품질 실적표 온라인 보기 품질 실적표.


BSC Designer에서: “예측 분석”을 사용하여 “분석” 탭에서 지표의 값을 예측하십시오.

10. 나쁜 소식을 일찍 받아보십시오

어떤 품질 지표가 적색 구역에 진입했다면, 관련된 모든 품질 전문가가 즉시 문제에 대한 알림을 받도록 하십시오.

또한, 품질 실적표가 최신 데이터로 업데이트되어 있으며, 최신 품질 정보를 확인하고 있는지 확인하십시오.

Training program교육 세션: 'BSC Designer의 품질 KPI 마스터하기'은 저희의 지속적인 학습 프로그램의 일환으로 제공되며, BSC Designer 구독에 포함되어 있습니다.

교육 세션은 매주 Zoom을 통해 제공되며, 실용적인 통찰력과 개인 맞춤형 지침을 제공합니다. 완료 후 참가자는 수료 인증서를 받습니다. 모든 사용 가능한 교육 세션을 여기에서 탐색하십시오.

품질 관리에서의 사용 사례

비즈니스 전문가들이 BSC Designer를 사용하여 품질 관리의 전략적 측면을 자동화하는 방법을 알아보세요.

리뷰 불러오는 중...

요약

품질에 대한 다양한 이해관계자들이 그것을 다르게 인식합니다 – 잠재 고객, 기존 고객, 파트너, 우리 팀, 규제 기관.

  • 좋은 소식: 우리는 여전히 품질을 정량화하고, 측정하고, 예측할 수 있습니다.

이 기사에서 우리는 다음을 논의했습니다:

  • 파트 1. 품질을 측정하고, 예측하고, 보고하는 데 도움이 되는 KPI들
  • 파트 2. 품질 이니셔티브를 전체 비즈니스 전략과 정렬하는 데 도움이 되는 균형성과표 예시
  • 파트 3. 지속적인 품질 관리를 위한 10가지 개선 아이디어

품질 측정에 대한 흥미로운 발견을 댓글로 공유해 주세요.

품질 평가표 템플릿 사용하기

BSC Designer는 조직이 복잡한 전략을 구현할 수 있도록 도와줍니다:

  1. 플랫폼에서 무료 플랜에 가입하세요.
  2. Scorecard Template 품질 평가표 템플릿을 시작점으로 사용하세요. New > New 실적표 > More Templates에서 찾을 수 있습니다.
  3. 우리의 전략 구현 시스템을 따라 이해관계자와 전략적 목표를 포괄적인 전략으로 정렬하세요.

오늘 시작하여 BSC Designer가 귀하의 전략 구현을 어떻게 간소화할 수 있는지 확인해보세요!

  1. Predicting Fault Incidence Using Software Change History, Todd L. Graves, Alan F. Karr, J.S. Marron, Harvey Siy, IEEE Transactions on Software Engineering 26(7):653 – 661 · August 2000
  2. ISO 9001:2015에 따른 목표 및 측정의 구현, Aleksey Savkin, BSC Designer, 2023년 3월 28일.
다음과 같이 인용하십시오: Alexis Savkín, "품질 KPI 및 실적표 – 예제와 함께하는 완전 가이드," BSC Designer, 11월 20, 2024, https://bscdesigner.com/ko/quality-kpis.htm.