Indicadores e Scorecard de Qualidade – Guia Completo com Exemplos

Como medir qualidade e antecipar defeitos de produtos? Neste guia, discutiremos métricas de qualidade específicas e mostraremos como elas contribuem com a estratégia geral.

Parte 1. Análise de KPIs de Qualidade

O artigo começa com uma lista de métricas de qualidade organizadas em grupos. Discutiremos alguns KPIs de qualidade populares e formas de utilizá-los. Aprenda mais >

Parte 2. Balanced Scorecard de Qualidade

Nesta parte, falaremos do contexto de negócio por trás da qualidade e construiremos um Balanced Scorecard de Qualidade. Aprenda mais >

Parte 3. Qualidade na Prática

Na terceira parte, discutiremos dez ideias que você pode utilizar para transformar um scorecard em uma ferramenta eficaz para um controle de qualidade constante. Aprenda mais >

Parte 1. KPIs de Qualidade

KPIs de Qualidade no BSC Designer

Quality Scorecard
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Quality Scorecard.

Antes de discutirmos KPIs específicos, vamos responder duas perguntas:

Se você prefere continuar com os KPIs, aqui estão os tópicos que discutiremos abaixo:

Stakeholders de Qualidade

Qualidade não é um valor absoluto. Quando falamos sobre qualidade, sempre falamos sobre a percepção de qualidade. Quem percebe a qualidade do produto ou serviço?

Podemos começar com:

  • Consumidores finais
  • Consumidores internos (nosso time e parceiros)
  • Reguladores

Pensando nos clientes finais, podemos ser ainda mais específicos e definir, por exemplo:

  • Clientes prospectivos
  • Clientes pagantes
  • Clientes fidelizados
  • Clientes de alto nível

Definição de Qualidade

O que é qualidade?

O dicionário Oxford define qualidade como:

O padrão de algo medido em comparação a outras coisas similares; o grau de excelência em algo.

Diferentes stakeholders percebem a qualidade de formas diferentes. Por exemplo:

  • Clientes prospectivos podem ser fascinados pelo seu marketing e compram baseados em uma percepção muito básica de qualidade (qualidade de embalagem e materiais de marketing).
  • Clientes que utilizam seu produto por muito tempo têm uma ideia muito melhor sobre sua qualidade (de acordo com suas necessidades, é claro); estes que tiverem suas necessidades atendidas se tornarão clientes fiéis; aqueles que não, mudarão para a concorrência.
  • Clientes de alto nível provavelmente terão diferentes necessidades e ideias sobre a qualidade do produto.
  • Seu time lidará com os mecanismos internos do seu negócio e sua percepção de qualidade será mais relacionada à arquitetura e complexidade do produto.
Também sabemos que a ideia de qualidade é específica de um domínio. Ainda assim, podemos observar que a abordagem de manter alta qualidade é muito parecida em indústrias diferentes.
Por exemplo, a ideia por trás de métricas de qualidade para a indústria farmacêutica parece parecida com a abordagem utilizada na indústria de aço, engenharia de software ou aviação.

KPIs de Qualidade para Stakeholders

Abaixo, discutiremos alguns KPIs populares para qualidade. Para os melhores resultados de implementação, certifique-se de que estas métricas se encaixam perfeitamente no contexto do seu negócio. Discutiremos como alcançar isto na segunda parte do artigo.

Métricas que revisaremos abaixo:

NPS (Net Promoter Score) como um Indicador de Qualidade

Em sua forma clássica (uma pergunta “Você nos recomendaria?”), esta métrica indica uma percepção geral do produto ou serviço.

  • Um NPS baixo pode ser resultado de baixa qualidade do produto ou serviço
  • Faça perguntas adicionais para descobrir o que realmente há de errado

Uma métrica, neste caso, é tão simples quanto:

  • NPS, %

Número de Reclamações por Período

Qualquer feedback de consumidores é importante. Em alguns casos, só tomamos conhecimento de um problema após receber um e-mail de um cliente insatisfeito.

Número de Reclamações por Período

Quality Scorecard
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Quality Scorecard.

Mesmo se você se esforçar bastante para antecipar todos os problemas possíveis, estas reclamações ainda assim existirão. Na verdade, elas mostram que:

  • Seus consumidores ainda se importam (senão, eles não gastariam seu tempo dando feedback).
  • Há algum problema que precisa ser resolvido.
  • Há algo que você não sabia sobre seu produto ainda e você precisa melhorar o sistema de controle de qualidade.

Indicador a utilizar:

  • Número de reclamações por período de tempo

Uma abordagem geral à resolução de reclamações é entender e resolver problemas nos sistemas do negócio em vez de culpar pessoas específicas.

Prova Social de Qualidade

Em muitos casos, clientes prospectivos não podem avaliar o produto antes de comprá-lo. Ainda assim, eles podem fazer uma boa escolha baseados nas métricas de prova social.

  • Pontuação média de avaliação. O valor agregado das avaliações do produto pelos clientes e seus comentários de métricas de prova social.

Imagine reservar um quarto em um hotel ou comprar algo na Amazon. Você pode obter uma ideia em relação ao produto ao ver as fotos e a descrição, mas muitos produtos parecem iguais:

Neste caso, buscamos a avaliação do hotel ou estrelas na Amazon e formamos nossa expectativa da qualidade do produto de acordo com isto.

Esta métrica de qualidade é similar à NPS, mas neste caso, é mais provável que os compradores compartilhem opiniões mais detalhadas e imparciais.

Métricas de Complexidade

Quanto mais esforço o seu time investe no controle de qualidade e garantia, menos problemas você verá diariamente.

Índice métrico de complexidade

Quality Scorecard
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Quality Scorecard.

Mas isto não significa que seu produto é ideal; ao contrário, você enfrentará uma situação ainda mais desafiadora agora:

Em vez de resolver o problema óbvio, agora você precisa ler as entrelinhas e entender que problemas (menos óbvios) evitam que os usuários desbloqueiem o potencial real do seu produto.

Eu estou falando de complexidade.

Antes, discutimos como medir complexidade, e aqui estão alguns pontos chave a observar:

  • Timing excessivo
  • Escolhas excessivas
  • Explicações excessivas

A escolha de métricas específicas depende do seu produto. Podemos agrupá-las sob o guarda-chuva de:

  • Índice de Complexidade, %

É difícil lutar contra complexidade, mas vale o investimento de tempo. Aqui está um exemplo de como eliminar complexidades desnecessárias pode ajudar organizações a melhorarem.

KPIs de Qualidade Para Estimar Impacto Financeiro

Às vezes, especialistas de qualidade precisam justificar seus orçamentos e estratégias em reuniões da diretoria. Aqui estão algumas métricas de qualidade relacionadas a finanças que você pode utilizar.

Métricas que foram analisadas abaixo:

Custo de Baixa Qualidade

Utilize esta métrica para entender o impacto da baixa qualidade. Estime todos os custos associados com a detecção e resolução de problema:

  • Custos com especialista de suporte
  • Custos de solução
  • Custos do impacto da marca

Em muitos casos, o objetivo não é encontrar o valor em dólar exato, mas entender quão grande é o impacto na percepção de qualidade dos stakeholders.

Para este artigo, eu criei um indicador:

  • Custo de Baixa Qualidade

Indicador: Custo de baixa qualidade

Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Este indicador resume os valores dos indicadores, dando um custo total de qualidade. No meu exemplo, os cálculos são para o custo médio por acidente.

Custo de Alta Qualidade

Este é parecido com o “Custo de Baixa Qualidade”, mas neste caso, estamos estimando os custos de tentar alcançar excelência.

Alcançar alta qualidade também possui um custo. Por exemplo, diminuir a taxa de defeitos de 1% para 0.01% pode ser um objetivo rentável, mas reduzir a taxa de defeitos para 0.001% pode ser muito caro e não fará sentido para os stakeholders de qualidade.

Neste caso, nosso indicador é:

  • Custo de alta qualidade, $

Sua fórmula depende da situação específica. Para este exemplo, podemos calcular o orçamento necessário para diminuir a taxa de defeitos de 0.01% para 0.001%.

Métricas de Oportunidade ou Risco para Qualidade

Os recursos de qualquer organização são limitados. Não podemos tratar todos os problemas de qualidade igualmente. Alguns precisam ser resolvidos imediatamente e alguns ficarão atrasados por mais tempo.

Como justificar a tomada de decisões neste caso? Uma simples estimativa de oportunidade (ou risco) ajudará:

  • Estimar o impacto do problema de qualidade
  • Estimar a probabilidade deste impacto

Agora temos:

  • Métrica de estimativa de oportunidade, % = Impacto, % x Probabilidade, %

Como estimar o impacto do problema de qualidade? Veja o:

  • Número de clientes que são afetados pelo problema
  • Potencial financeiro dos clientes
  • Envolvimento dos clientes no problema (o número de e-mails que o cliente enviou)

Como estimar a probabilidade? Tente mapeá-la em uma escala de 0% a 100% onde:

  • 0% é algo que potencialmente influencia seus clientes, mas você não tem prova disto.
  • 100% é para os fatores críticos que, por exemplo, irão evitar que o cliente compre ou que resultarão em custos importantes

Vamos utilizar um caso com o software BSC Designer. Alguns anos atrás, recebemos duas solicitações de clientes (ambas as funções foram implementadas):

  • (A) Adicionar um recurso para permitir/negar que usuários editem dados históricos no scorecards
  • (B) Mudar a forma como as iniciativas são exibidas no mapa estratégico

(A) foi um problema crítico para um grande cliente potencial e três outros clientes já haviam pedido isto.

(B) foi um problema menos crítico para o cliente existente e só um outro cliente havia feito um pedido parecido.

Nossos esforços para “resolver o problema”, (na verdade, desenvolver novas funções) foram os mesmos.

Aqui está um exemplo da estimativa de oportunidade para estes dois casos:

Impacto Probabilidade Oportunidade
A 70% (era uma decisão de compra crítica para um cliente de alto nível) 80% (3 outros clientes solicitaram um recurso parecido) = (0.7 * 0.8) * 100% = 56%
B 50% (tornaria a vida de um cliente existente um pouco mais fácil) 60% (1 outro cliente solicitou um recurso parecido e nossos desenvolvedores gostaram da ideia) = (0.5 * 0.6) * 100% = 30%

Neste exemplo, o valor da métrica de oportunidade foi maior para “A”, então demos uma maior prioridade durante a implementação.

KPIs Para Evitar Problemas de Qualidade

Por enquanto, estivemos quantificando e medindo o impacto de (baixa) qualidade. Vamos tentar uma abordagem diferente:

  • Em vez de resolver problemas de qualidade, sejamos proativos. Vamos trabalhar para diminuir a possibilidade de problemas futuros de qualidade.

Aqui estão as métricas que podemos monitorar para alcançar este objetivo:

Métrica de Quase Acidente

Como podemos prever algo que ainda não aconteceu?

Para prever alguns problemas de qualidade importantes, precisamos olhar para os problemas anteriores e menos importantes.

É simples assim.

  • É isto que a teoria das janelas quebradas nos ensina.
  • É assim que a administração de aviação tenta evitar acidentes no ar.
  • Foi assim que a Alcoa conseguiu alcançar seu objetivo de zero lesões (veja “O Poder do Hábito: por que fazemos o que fazemos na vida e nos negócios” do Charles Duhigg).

Como construir uma métrica de quase acidente?

  • Veja insights gerais sobre quase acidentes
  • Descubra quase acidentes relevantes para os processos de seu negócio
  • Quantifique, meça e monitore estas descobertas

A implementação da métrica de Quase Acidente se trata de mudar a cultura da organização.

Você precisa ensinar seu time a reportar e discutir pequenos problemas de qualidade que podem levar a problemas mais importantes.

As métricas podem ser formuladas de forma simples, como:

  • Métrica de tendência: Penetração do treinamento de consciência sobre quase acidentes, %
  • Métrica de resultado: Número de quase acidentes reportados
Near miss indicators on strategy map
Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Métrica de Ambiguidade de Exigências

Parecida com a Métrica de quase acidente, mas neste caso, queremos ser proativos.

Em vez de esperar problemas de qualidade aparecerem, pedimos para que nossos melhores experts analisem a documentação de exigências do produto/serviço para detectaram possíveis pontos problemáticos.

A métrica neste caso pode ser:

  • Ambiguidades por página de exigências, %

No desenvolvimento do software, os experts revisam as exigências do software em busca de ambiguidades.

As exigências, neste caso, são a documentação anterior, então se melhorarmos as exigências, podemos prevenir problemas de qualidade proativamente.

Idade do Produto e Número de Modificações

Somos um negócio de software e sou sempre curiosa para encontrar as melhores formas de quantificar a qualidade do software e especificamente a qualidade do código do software.

O clássico “número do código de licença” não faz muito sentido. Intuitivamente, desenvolvedores de software entendem que:

  • Códigos frequentemente modificados conterão mais defeitos que código que permanecem inalterados por muito tempo

Em outras palavras, esperamos que a qualidade do código seja a função da idade do código e o número de modificações do código. Isto foi confirmado empiricamente no livro “Predicting Fault Incidence Using Software Change History”[1].

Substitua “código” por “produto” e tenho certeza de que as mesmas descobertas farão sentido para qualquer negócio com um produto complexo. Pensando sobre isto no contexto da estratégia de qualidade, podemos prever defeitos de forma mais eficaz e atualizar a estratégia de testes, respectivamente.

Métrica de Avaliação do Expert (WTF/Minuto)

Parecida com a métrica de ambiguidade de exigências, mas neste caso, podemos pedir para os experts revisarem qualquer coisa – nosso produto, manual do usuário, serviço ao consumidor.

Como quantificar estas avaliações? Uma resposta engraçada (mas prática) para esta pergunta foi dada por Thom Holwerda em seus quadrinhos para a osnews:

  • WTF/minuto (What’s This For – Para Que Serve Isto / Minuto).

A métrica original foi para avaliação de qualidade de códigos de software, mas como você pode imaginar, funciona para qualquer área.

Métrica de Teste Aleatório

Outra métrica é útil para estimar a qualidade de grandes amostras.

Isto é aplicável principalmente a produtos físicos.

  1. Misture as amostras
  2. Pegue alguns itens aleatórios
  3. Verifique sua qualidade
  4. Se defeitos foram encontrados, estime proporcionalmente a escala real do problema

A métrica, neste caso, pode ser:

  • % de defeitos em uma amostra aleatória
Por exemplo, em um supermercado, você não precisa ver a data de validade de cada caixa de leite ou queijo – apenas escolha uma aleatória e se você encontrar alguma que expirou, então você pode ter uma estimativa do problema.

Obviamente, esta abordagem funciona em estágios iniciais do produto, quando há mais problemas de qualidade. Com o desenvolvimento dos sistemas de controle de qualidade, o tamanho da amostra aleatória pode aumentar.

Métrica do Autoteste de Qualidade

Às vezes, precisamos verificar a “qualidade da qualidade”, por exemplo, como o sistema de controle de qualidade em si funciona.

  • As avaliações de qualidade realmente funcionam?
  • Os testes automáticos realmente detectam problemas?

A ideia do autoteste é inserir erros conhecidos e ver se estes problemas pré-desenvolvidos foram detectados.

Laboratórios de análise médica implementam esta rotina. O equipamento do laboratório é uma combinação de complexos dispositivos óticos e reagentes químicos. Os fatores de qualidade são a forma como os reagentes são armazenados, a qualidade da água destilada, a estabilidade da corrente elétrica, fatores humanos e erros aleatórios.

O controle de qualidade mais fácil, neste caso, é carregar um conjunto conhecido de amostras e comparar os resultados reais com os esperados.

Reguladores utilizam a mesma abordagem fazendo testes onde as propriedades das amostras não são conhecidas.

As métricas neste caso são:

  • O número de autotestes por período
  • Eficiência de detecção de defeitos, % = Defeitos detectados / Defeitos injetados

Esta abordagem funciona como um ponto inicial antes de realizar testes mais caros e demorados.

Métricas de Controle de Qualidade Automático

Estas são parecidas com o autoteste, mas neste caso, estamos olhando para o sistema como uma caixa preta, onde podemos fazer testes automáticos mais específicos.

Os benefícios dos testes automáticos comparados com os testes manuais são óbvios:

  • Nenhum fator humano envolvido
  • Menos custos

Ainda assim, precisamos equilibrar a cobertura do teste automático com o custo para desenvolver e manter estes testes.

As possíveis métricas neste caso:

  • Cobertura do teste automático, %

Métrica do Teste de Estresse

A qualidade do sistema pode mudar quando o ambiente muda significantemente.

A métrica neste caso:

  • Preparação para mudanças de estresse, %

A ideia é prever as possíveis condições e estar preparado. Imagine o melhor e pior cenário e tentar criar planos de emergência.

  • Possui um smartphone? Tente fazer trilhas nas montanhas durante o inverno e veja quanto tempo sua bateria irá durar.
  • Você tem um site? Ele sobreviveria a um ataque DDoS?
  • Desenvolvendo produtos de consumo? Eles funcionarão corretamente se utilizados na Índia?

Métricas de Teste Manual

Bons testes manuais são uma obrigação. Aqui estão duas recomendações:

  • Seja o usuário do seu produto
  • Leve em considerações diferentes stakeholders de qualidade

As métricas neste caso:

  • Cobertura do plano de teste, %
  • Tempo de execução do plano de teste

Métrica menos formal, mas útil:

  • Tempo sendo usuário final do produto, horas

Por exemplo, para ilustrar este artigo e criar um scorecard para qualidade, eu estava utilizando nosso software BSC Designer. Isto sempre ajuda a gerar algumas ideias de melhoria.

Análise de Risco de Mudança

Quando a complexidade do produto é alta, mudanças neste produto podem produzir muitos problemas de qualidade. A solução para este desafio está no nível da arquitetura do produto. Por exemplo, engenheiros de software constroem suas soluções utilizando micro serviços para evitar más dependências.

Do ponto de vista de qualidade, o ponto inicial é estimar os riscos de mudança. Pergunte aos seus engenheiros:

  • Se mudarmos a função “A” do produto, quão provável é que algo quebre?

Seguindo esta lógica, podemos utilizar:

  • A métrica de número de mudanças recentes

Como um fator de tendência para problemas futuros de qualidade.

Métricas de Resposta de Qualidade

Tentamos resolver o problema no estágio de design. Tentamos resolver o problema antes que o cliente (ou outros stakeholders) o vissem. Mas às vezes, um problema passa por todos estes filtros e os clientes enfrentam um problema de qualidade. Discutimos abaixo as métricas que podemos monitorar neste caso.

Aqui estão as métricas que discutimos abaixo:

Tempo Para Resolver o Problema

Sim, houve um problema, mas ele foi resolvido do dia para a noite. Esta é uma experiência incrível para qualquer cliente.

Métricas:

  • Tempo médio necessário para resolver o problema crítico
  • Tempo médio necessário para resolver um problema pequeno

Monitore tempos separadamente para stakeholders diferentes. Veja o parágrafo de risco para os detalhes.

Outra ideia importante é que normalmente, o tempo para resolver o problema não inclui:

  • O tempo necessário para desenvolver o plano de prevenção, ou
  • O tempo necessário para implementar o plano de prevenção

Tempo para Responder

Em muitos casos, o problema não é tão crítico para o cliente, e o que é mais importante é que seu time se importe com isto. Um rápido e-mail: “Olá, obrigado por reportar. Estamos trabalhando nisto, espere uma solução em 2 dias” mostrará ao cliente que você se importa.

Métrica:

  • Tempo para responder ao problema de qualidade

Atraso de Qualidade

Parecido com o atraso de vendas, o atraso de qualidade é um indicador de como a qualidade flui pela organização.

Nenhum atraso nos problemas de qualidade muito provavelmente indica que você:

  • Não mudou seu produto ou serviço por muito tempo (e este fato em si é um problema) ou
  • Você não está escutando seus clientes bem o suficiente

Um excesso de atraso mostra que seus esforços de resposta não são suficiente e que algo precisa mudar.

Minha recomendação é monitorar esta métrica:

  • Atraso nos problemas de qualidade
atraso nos problemas de qualidade
Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Métricas do Time de Qualidade

Uma métrica popular para times de qualidade é:

  • Funcionários de Qualidade / Funcionários normais, %

Se analisada junto com tempo de resolução do problema e taxa de retorno dos problemas, % ela pode dar informações sobre a performance do time.

Proporção de Fechamento de Descobertas

Imagine que uma empresa fez uma auditoria de qualidade .Por exemplo, utilizando a análise de ambiguidade de exigências descrita acima. Precisamos nos certificar de que estas descobertas foram analisadas e fechadas.

Métrica a monitorar neste caso:

  • Proporção de fechamento de descobertas, %

Não estamos sempre falando sobre implementar as recomendações, mas ao menos elas precisam ser retrabalhadas de alguma forma tangível (por exemplo, exigências atualizadas).

Qualidade de Comunicação

A complexidade é um fator de tendência de qualidade conhecido.

Monitore a métrica de redundância de comunicação neste caso:

  • Redundância de comunicação, % = (Tamanho médio de mensagem – Menor tamanho de mensagem) / Tamanho médio de mensagem.

O consumidor precisou fazer apenas uma ligação para resolver o problema ou houve uma troca de cinco e-mails para resolver um problema simples?

Por exemplo, no caso da troca de e-mails, podemos calcular a métrica:

  • Redundância de comunicação, % = (5 – 1) / 5 = 80% de redundância.

Também monitore:

  • Taxa de resolução no primeiro contato, %

Eficácia da Solução

Resolvemos o problema e nos comunicamos de forma eficiente e eficaz durante todo o processo, mas o problema foi de fato resolvido?

Métrica a monitorar:

  • % de retorno de problemas

ou outra parecida

Estas métricas funcionam melhor se combinadas com a métrica tempo para resolver. A organização precisa encontrar um equilíbrio entre a velocidade do fornecimento de soluções e sua eficácia.

Cultura de Qualidade

A cultura de qualidade se trata de estabelecer novos hábitos comportamentais que ajudarão a evitar problemas críticos e a maximizar a eficácia da resolução de problemas menos críticos.

O seu time possui o hábito de monitorar e melhorar sua qualidade?

Os KPIs que avaliamos são:

Defeitos Rejeitados

Imagine um cenário em que um usuário reporta um problema em seu produto, mas este não parece ser um problema e sim um comportamento normal. Os desenvolvedores “rejeitam” este relatório como um defeito.

Contanto que a qualidade seja percebida pelos clientes, a situação será considerada como um defeito pelo cliente. O que um defeito rejeitado significa? Significa que outro sistema não funcionou bem. Métrica a monitorar:

  • % de defeitos rejeitados

Aqui está um exemplo:

  • Uma pequena geladeira está fazendo muito gelo e causando um problema para seus donos. Eles ligam para a assistência técnica, um técnico vem e diz para eles que esta pequena geladeira é apropriada para uso contínuo. Ela foi feita para ser utilizada em motéis, onde as pessoas vêm e vão. Este é um problema de qualidade e já possui seus custos (impacto da marca, taxas de garantia de serviço), mas este defeito será rejeitado pelos engenheiros. Então qual o problema? Acho que o marketing…

Uma situação parecida é quando o testador do produto reporta um problema que é rejeitado pelos engenheiros. Qual o problema neste caso? Eu acho que seja a ambiguidade das exigências iniciais.

Métrica de Análise de Causa

Resolver um problema de qualidade a tempo é sempre um bom ponto inicial, mas uma organização também precisa aprender com seus erros (veja o artigo garantia de qualidade na Wikipédia). Faça uma análise de causa para problemas de qualidade:

  • Qual foi o motivo para o problema?
  • Por que não o detectamos antes? O que podemos mudar em nosso sistema de controle de qualidade para detectar problemas parecidos?
  • O que podemos modificar em nossos sistemas para eliminar a possibilidade destes problemas?

Claro, o grau da análise de causa deve corresponder à importância do produto.

Métrica a monitorar:

  • Tendência: Penetração do treinamento de análise de causa, %
  • Resultado: % de problemas onde a causa foi analisada

Erro Sistemático

Parte do desafio de garantia de qualidade é detectar e encontrar erros sistemáticos. Digamos que seu SaaS está hospedado em um servidor lento, o que leva a vários outros problemas com a usabilidade do sistema. Não faz sentido revisar todos estes problemas de usabilidade quando eles são causados por um erro sistemático maior.

Métrica de Consciência de Qualidade

Qualidade é o trabalho de todos, então faz sentido explicar os procedimentos de qualidade necessários para todos os membros envolvidos em seu time:

  • Como as pessoas devem reportar um “quase acidente”?
  • O que é a análise de causa e como conduzi-la?
  • O que é um plano de resposta para os problemas críticos?
  • Quais são nossos padrões de qualidade?

As métricas a monitorar:

  • Leading: Penetração do treinamento de qualidade, %
  • Leading: Materiais de treinamento desatualizados, %
  • Lagging: Consciência do programa de qualidade, %
  • Lagging: Consciência dos padrões de qualidade, %
  • Lagging: % de políticas entendidas pelos funcionários

Como você pode ver, as métricas de consciência são balanceadas com a métrica de treinamento. Profissionais responsáveis pelo treinamento podem focar seus esforços de medição ainda mais ao monitorar:

  • Reação imediata
  • Mudança em ações
  • Impacto no negócio

Discutimos esta abordagem no artigo scorecard de treinamento.

Taxa de Aceitação de Mudanças

Seu time e seus consumidores podem sugerir muitas ideias de melhorias. A pergunta é, quantas delas seus engenheiros realmente analisam e implementam? Se as ideias vão direto à lixeira, então não podemos esperar uma alta satisfação dos funcionários.

Uma melhor abordagem seria estabelecer um procedimento para lidar com ideias, de forma parecida com o que discutimos para o scorecard de inovações .

Mapa de processo mostra a forma como ideias inovadoras são coletadas e testadas em sua organização
Um ponto inicial para a medição de performance neste caso é:

  • Taxa de Aceitação de Melhorias, % = Ideias sugeridas / Ideias implementadas

Taxa de retenção

Uma má qualidade afeta os stakeholders de qualidade.

Podemos ver que clientes já não estão recomendando o seu produto ou que membros valiososo de um time estão buscando um novo emprego. Monitore estas duas métricas para ter um sinal de alerta:

  • Taxa de retenção de clientes, %
  • Rotatividade de funcionários de alta performance, %

Estas são métricas de resultado, mas podemos encontrar algumas que possuem um horizonte de curto prazo:

  • Em vez de ver como consumidores vão embora, podemos ver o que eles compartilham nas redes sociais.
  • Gestores de talento podem monitorar indicadores prévios de rotatividade utilizando os scorecards de RH.

Suas Métricas de Qualidade Exclusivas

Eu acredito que a maioria das métricas discutidas neste artigo podem ser aplicadas à sua área. Ainda assim, há sempre algumas métricas únicas que precisam ser feitas à medida para um negócio específico. Como encontrar estas métricas? Eu recomendo dar uma olhada no Sistema de KPI que temos para você.

Minha aposta é que:

Suas métricas exclusivas de qualidade serão relacionadas ao processo de gargalo em sua organização

Minha aposta funcionou para você? É fácil de explicar: se algo acontecer com um processo que limita o sistema, ele afetará o resto do sistema.

Medição de Qualidade Desde a Concepção

Outro tópico que discutimos no Sistema de KPI é uma medida implementada “desde a concepção”. Em vez de tentar medir algo depois, precisamos construir um produto com necessidades futuras de medição em mente.

Aplicando esta ideia à qualidade, precisamos descobrir onde as medições de qualidade podem ser implementadas desde sua concepção.

Faça as seguintes perguntas ao seu time de qualidade para começar:

  • Quando nosso cliente final reporta um problema, como saberemos o que está causando o problema?
  • O que podemos mudar no produto ou serviço para tornar a medição de qualidade mais fácil?

A resposta pode ser uma simples checklist ou um tipo de caixa preta com registro do histórico de operação.

E aqui está um truque:

Se você encontrar formas melhores de medir qualidade, isto automaticamente resulta em uma melhoria de qualidade.

Por exemplo, na área de desenvolvimento de software, adeptos das práticas DevOps primeiro criam testes para a funcionalidade do software e depois constroem a funcionalidade em si. Por um lado, isto permite uma melhor medição de qualidade. Por outro, isto melhora a qualidade fora da caixa.

Implementando uma Cultura de Qualidade

Discutimos algumas ideias relacionadas à cultura de medição de qualidade. Um tópico mais importante é como focar a cultura de uma empresa em geral na qualidade. Há muitos livros escritos sobre o assunto e na parte 3 deste artigo, você encontrará minha breve lista de 10 dicas.

Parte 2. Balanced Scorecard de Qualidade

O Balanced Scorecard é um modelo de execução estratégica. Quais são os objetivos de qualidade? Como estes objetivos se encaixam na estratégia geral da organização? Como monitorar a execução destes objetivos? Abaixo, criaremos um exemplo do Balanced Scorecard para qualidade.

Balanced Scorecard para Qualidade

Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Aqui está o nosso plano:

Missão

Qual o propósito do foco na qualidade? Vamos formular uma missão inspiradora para o time de qualidade:

Resolver problemas de qualidade com eficácia, pensar em um plano de prevenção

Esta é uma mensagem simples que qualquer um no time de qualidade pode entender. Estamos aqui para:

  • Resolver problemas de qualidade rápido
  • Investigar e implementar um plano de prevenção

Vamos continuar com as perspectivas do Balanced Scorecard.

Perspectiva financeira do scorecard de qualidade

Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Impacto Financeiro da Qualidade

Qual o impacto financeiro da qualidade? Em outras palavras, o que acontecerá se os stakeholders de qualidade não estiverem satisfeitos com a qualidade do produto?

A resposta depende dos stakeholders:

  • Se os clientes não estiverem satisfeitos – eles não irão comprar ou repetir a compra.
  • Se o seu time não estiver feliz com a qualidade do produto – eles podem deixar a empresa para encontrar um melhor lugar para aplicar seus talentos.
  • Se você não obedecer aos padrões estabelecidos pelo regulador – sua organização pode ser multada ou fechada.

Eu sugiro mapear estas ideias sob o objetivo:

  • Crescimento sustentável

Este é um objetivo muito vago. Como podemos torná-lo mais específico? Podemos alinhar algumas métricas de performance a ele:

Perspectiva do Cliente

Para assegurar o crescimento sustentável da organização, precisamos satisfazer as necessidades dos nossos clientes (stakeholders de qualidade como usuários finais, reguladores e o time).
Perspectiva do cliente no scorecard de qualidade

Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Objetivo: Evitar defeitos críticos, ajustar defeitos não-críticos rapidamente. Agora, isto é o que todos os stakeholders querem. Como podemos estimar o grau de realização do objetivo. Estes serão os indicadores de resultado no contexto do objetivo:

E quanto aos indicadores de tendência? A performance de tendência virá dos objetivos na perspectiva interna que discutimos abaixo.

Outro objetivo para o cliente está mais relacionado aos stakeholders internos de qualidade:

  • Objetivo: Produto de Fácil Manutenção. Um produto que seja relativamente fácil de manter, mudar, testar etc. É isto o que o seu time quer.

Que métricas de resultado podemos utilizar para monitorar a execução deste objetivo? Por exemplo, estas duas:

Este é um modelo simples de como a complexidade do produto e engajamento do time estão conectados:

  • Se um produto se torna muito complexo, os membros do nosso time reclamarão sobre isto e se não fizermos nada – eles irão embora.

E quanto às métricas de tendência? O que podemos fazer para prevenir estes casos? Depende da situação específica, mas eu diria que precisamos entender os motivos para os problemas de qualidade/complexidade. Para este propósito, teremos o objetivo “Análise de Causa e Garantia de Qualidade” na perspectiva Interna que orienta a performance de tendência do objetivo “Produto de fácil manutenção”.

Perspectiva Interna

Nesta perspectiva, precisamos responder duas perguntas:

  • Como vamos “evitar defeitos críticos” e “resolver defeitos não-críticos rapidamente”?
  • Como podemos assegurar que temos um “produto de fácil manutenção”?

Eu formularei estes três objetivos e os links na captura de tela irão mostrar como eles contribuem com os objetivos na perspectiva do Cliente:

  • Prevenir Problemas Críticos de Qualidade
  • Resolver Problemas de Qualidade Rapidamente
  • Análise de Causa e Garantia de Qualidade

Novamente, estes objetivos estão muito vagos por enquanto. Para torná-los mais específicos, precisamos alinhar alguns indicadores com eles.

Vamos começar com o objetivo “Prevenir Problemas Críticos de Qualidade” antes de discutirmos diferentes abordagens para evitar problemas de qualidade, e os indicadores de resultado podem ser:

  • Quase acidentes reportados
  • Ambiguidades por página de exigências, %
  • Métrica de Avaliação do Expert (WTF/Minuto)

Como podemos assegurar que nosso time dominou, por exemplo, o “Quase acidentes reportados”? Para este propósito, mapearemos o objetivo “Treinamento de relatórios de quase acidente” na perspectiva de Aprendizado e Crescimento.

E quanto ao objetivo “Resolver Problemas de Qualidade Rapidamente”? A medida básica será Tempo para resolver o problema crítico.

Também é importante treinar todos os membros do time para reportar problemas de qualidade apropriadamente. Podemos estimar a conquista deste objetivo ao utilizar a métrica Taxa de Aceitação de Melhorias.

Scorecard de qualidade – perspectiva interna

Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Finalmente, o objetivo “Análise de Causa e Garantia de Qualidade” contribui com o objetivo de ter um “Produto de fácil manutenção”. Como podemos nos certificar de que nosso time está fazendo uma boa análise de causa e garantia de qualidade?

Vamos começar com o básico. Podemos monitorar que nosso time está pensando na direção certa ao medir:

Você pode perguntar:

Como sabemos se desta vez o orçamento foi gasto de forma eficaz?

Bem, com estas métricas, não podemos saber com certeza, mas se as coisas derem errado, você verá que indicadores alinhados com o objetivo “produto de fácil manutenção” da perspectiva do Cliente aparecerão na zona vermelha:

OK, sabemos como o time de qualidade deve se comportar. O que devemos fazer para equipá-los com as habilidades e ferramentas corretas? A resposta é explicada abaixo na perspectiva de Aprendizado e Crescimento.

Curso Gratuito de Planejamento Estratégico por BSC Designer

Perspectiva de Aprendizado e Crescimento

Para o objetivo Prevenir Problemas Críticos de Qualidade, temos dois objetivos secundários na perspectiva de Aprendizado e Crescimento:

  • Treinamento de relatório de quase acidente
  • Aprender a Prevenir Problemas de Qualidade

Eu os separei porque acredito que o relatório de quase acidentes merece atenção especial.

Indicadores de quase acidentes no mapa estratégico

Vamos começar com o objetivo Treinamento de relatório de quase acidente.

As métricas de tendência serão:

Obviamente, queremos que todos os stakeholders envolvidos estejam treinados de forma adequada.

E quanto às métricas de resultado? Se queremos fazer isto de forma séria (veja a abordagem do scorecard de treinamento para detalhes), precisamos entender como vamos medir os:

  • Resultados do treinamento
  • Mudança em ações
  • Impacto no negócio

O resultado do treinamento é uma pontuação do exame. Mudanças em ações é o que medimos com o objetivo Quase acidentes reportados alinhado com o Prevenir Problemas Críticos de Qualidade.

Como medir o impacto do treinamento de “quase acidente” no negócio? eu estou olhando para o objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente e eu acredito que o Número de Reclamações por Período é um excelente indicador para este propósito.

Uma iniciativa alinhada com o objetivo de relatório de quase acidente

Vamos para o próximo objetivo – Aprender a Prevenir Problemas de Qualidade. Aqui, temos duas métricas de resultado relacionadas às iniciativas alinhadas com este objetivo. As métricas são:

As iniciativas são respectivamente aquelas ideias de garantia de qualidade que discutimos antes:

Aprenda a prevenir problemas de qualidade

O último objetivo na perspectiva de Aprendizado e Crescimento é Consciência de Qualidade. Antes, discutimos que é importante manter os padrões de qualidade e respectivos materiais de treinamento atualizados. Para este propósito, temos:

  • Materiais de treinamento desatualizados, % métrica de tendência.

Novamente, precisamos nos certificar de que todos os stakeholders foram treinados e utilizamos esta métrica:

  • Penetração do treinamento de qualidade, %

Para rastrear os resultados do programa de Consciência de Qualidade, veremos estas métricas de resultado:

Como podemos quantificar a Consciência do programa de qualidade, %? Por exemplo, ao realizar algumas simples pesquisas ou testes.

Como podemos nos certificar de que o programa de Consciência de Qualidade mudou a forma como stakeholders se comportam? Precisamos olhar para as métricas específicas de comportamento. Eu selecionei estas duas:

Quality awareness goal and initiativesTempo para responder ao indicador de qualidade
Scorecard de Qualidade
Inscreva-se com um plano grátis para acesso imediato aos 30 modelos de scorecards, incluindo Scorecard de Qualidade.

Vamos utilizar este objetivo como um exemplo e rastrear como a lógica do mapa estratégico funciona.

Lógica do Mapa Estratégico em Ação

Se nosso programa de Consciência de Qualidade for um sucesso, podemos esperar que, por exemplo, os especialistas de suporte ao consumidor respondam rapidamente (métrica Tempo para responder ao problema de qualidade) e eficientemente (métrica Redundância de comunicação, % ). Eu estou indo para a perspectiva “Interna”.

Consciência de qualidade ligada a problemas de qualidade

O objetivo Consciência de Qualidade é um fator de tendência para o objetivo Resolver Problemas de Qualidade Rapidamente. Basicamente, nossa hipótese é que ao melhorar a consciência de qualidade, esperamos resolver problemas de qualidade de uma melhor maneira. E verificaremos esta hipótese ao olhar para os indicadores Taxa de Aceitação de Melhorias, % e Tempo para resolver o problema crítico.

Agora estamos olhando para a perspectiva do “Cliente”.

Conexão com crescimento sustentável

O objetivo Resolver Problemas de Qualidade Rapidamente contribui com o Evitar defeitos críticos, resolver defeitos não-críticos rapidamente, que finalmente contribui com o objetivo Crescimento sustentável na perspectiva Financeira.

Lógica de causa e efeito para qualidade

Importância Relevante da Contribuição

Do mapa estratégico, vemos que Evitar defeitos críticos, resolver defeitos não-críticos rapidamente é influenciada pela performance de tendência de dois objetivos:

  • Evitar Problemas Críticos de Qualidade
  • Resolver Problemas de Qualidade Rapidamente

Estes objetivos contribuem com o objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente com o mesmo peso?

Suponhamos que evitar problemas é mais importante que resolvê-los.

Para refletir esta lógica, eu posso mudar o peso dos indicadores de tendência respectivamente:

  • Evitar Problemas Críticos de Qualidade – peso 70%
  • Resolver Problemas de Qualidade Rapidamente – peso 30%

O software BSC Designer que eu utilizei para criar um scorecard para este artigo levará estes pesos em consideração ao calcular a performance de tendência do objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente.

Se você quiser aprender mais sobre a forma como os valores do scorecard são calculados, veja o artigo Scorecard 101.

Indicador para evitar problemas críticos com configuração de peso

Vídeo Explicativo

Aqui está um vídeo explicativo que resume algumas descobertas importantes do artigo.

Citação: Aleksey Savkin, "Indicadores e Scorecard de Qualidade – Guia Completo com Exemplos", BSC Designer, junho 1, 2020, https://bscdesigner.com/pt/kpis-de-qualidade.htm.

Leave a Comment