Como medir qualidade e antecipar defeitos de produtos? Neste guia, discutiremos métricas de qualidade específicas e mostraremos como elas contribuem com a estratégia geral.
O artigo começa com uma lista de métricas de qualidade organizadas em grupos. Discutiremos alguns KPIs de qualidade populares e formas de utilizá-los. Aprenda mais >
Nesta parte, falaremos do contexto de negócio por trás da qualidade e construiremos um Balanced Scorecard de Qualidade. Aprenda mais >
Na terceira parte, discutiremos dez ideias que você pode utilizar para transformar um scorecard em uma ferramenta eficaz para um controle de qualidade constante. Aprenda mais >
Parte 1. KPIs de Qualidade
Scorecard de Qualidade.Antes de discutirmos KPIs específicos, vamos responder duas perguntas:
Se você prefere continuar com os KPIs, aqui estão os tópicos que discutiremos abaixo:
- KPIs de Qualidade para Stakeholders
- KPIs de Qualidade para Estimar o Impacto Financeiro
- KPIs para Evitar Problemas de Qualidade
- Métricas de Resposta de Qualidade
- Cultura de Qualidade
Stakeholders de Qualidade
Qualidade não é um valor absoluto. Quando falamos sobre qualidade, sempre falamos sobre a percepção de qualidade. Quem percebe a qualidade do produto ou serviço?
Podemos começar com:
- Consumidores finais
- Consumidores internos (nosso time e parceiros)
- Reguladores
Pensando nos clientes finais, podemos ser ainda mais específicos e definir, por exemplo:
- Clientes prospectivos
- Clientes pagantes
- Clientes fidelizados
- Clientes de alto nível
Definição de Qualidade
O que é qualidade?
O dicionário Oxford define qualidade como:
O padrão de algo medido em comparação a outras coisas similares; o grau de excelência em algo.
Diferentes stakeholders percebem a qualidade de formas diferentes. Por exemplo:
- Clientes prospectivos podem ser fascinados pelo seu marketing e compram baseados em uma percepção muito básica de qualidade (qualidade de embalagem e materiais de marketing).
- Clientes que utilizam seu produto por muito tempo têm uma ideia muito melhor sobre sua qualidade (de acordo com suas necessidades, é claro); estes que tiverem suas necessidades atendidas se tornarão clientes fiéis; aqueles que não, mudarão para a concorrência.
- Clientes de alto nível provavelmente terão diferentes necessidades e ideias sobre a qualidade do produto.
- Seu time lidará com os mecanismos internos do seu negócio e sua percepção de qualidade será mais relacionada à arquitetura e complexidade do produto.
KPIs de Qualidade para Stakeholders
Abaixo, discutiremos alguns KPIs populares para qualidade. Para os melhores resultados de implementação, certifique-se de que estas métricas se encaixam perfeitamente no contexto do seu negócio. Discutiremos como alcançar isto na segunda parte do artigo.
Métricas que revisaremos abaixo:
- NPS (Net Promoter Score)
- Número de Reclamações por Período
- Prova Social de Qualidade
- Métricas de Complexidade
NPS (Net Promoter Score) como um Indicador de Qualidade
Em sua forma clássica (uma pergunta “Você nos recomendaria?”), esta métrica indica uma percepção geral do produto ou serviço.
- Um NPS baixo pode ser resultado de baixa qualidade do produto ou serviço
- Faça perguntas adicionais para descobrir o que realmente há de errado
Uma métrica, neste caso, é tão simples quanto:
- NPS, %
Número de Reclamações por Período
Qualquer feedback de consumidores é importante. Em alguns casos, só tomamos conhecimento de um problema após receber um e-mail de um cliente insatisfeito.
Scorecard de Qualidade.Mesmo se você se esforçar bastante para antecipar todos os problemas possíveis, estas reclamações ainda assim existirão. Na verdade, elas mostram que:
- Seus consumidores ainda se importam (senão, eles não gastariam seu tempo dando feedback).
- Há algum problema que precisa ser resolvido.
- Há algo que você não sabia sobre seu produto ainda e você precisa melhorar o sistema de controle de qualidade.
Indicador a utilizar:
- Número de reclamações por período de tempo
Uma abordagem geral à resolução de reclamações é entender e resolver problemas nos sistemas do negócio em vez de culpar pessoas específicas.
Prova Social de Qualidade
Em muitos casos, clientes prospectivos não podem avaliar o produto antes de comprá-lo. Ainda assim, eles podem fazer uma boa escolha baseados nas métricas de prova social.
- Pontuação média de avaliação. O valor agregado das avaliações do produto pelos clientes e seus comentários de métricas de prova social.
Imagine reservar um quarto em um hotel ou comprar algo na Amazon. Você pode obter uma ideia em relação ao produto ao ver as fotos e a descrição, mas muitos produtos parecem iguais:
Neste caso, buscamos a avaliação do hotel ou estrelas na Amazon e formamos nossa expectativa da qualidade do produto de acordo com isto.
Esta métrica de qualidade é similar à NPS, mas neste caso, é mais provável que os compradores compartilhem opiniões mais detalhadas e imparciais.
Métricas de Complexidade
Quanto mais esforço o seu time investe no controle de qualidade e garantia, menos problemas você verá diariamente.
Scorecard de Qualidade.Mas isto não significa que seu produto é ideal; ao contrário, você enfrentará uma situação ainda mais desafiadora agora:
Em vez de resolver o problema óbvio, agora você precisa ler as entrelinhas e entender que problemas (menos óbvios) evitam que os usuários desbloqueiem o potencial real do seu produto.
Eu estou falando de complexidade.
Antes, discutimos como medir complexidade, e aqui estão alguns pontos chave a observar:
- Timing excessivo
- Escolhas excessivas
- Explicações excessivas
A escolha de métricas específicas depende do seu produto. Podemos agrupá-las sob o guarda-chuva de:
- Índice de Complexidade, %
É difícil lutar contra complexidade, mas vale o investimento de tempo. Aqui está um exemplo de como eliminar complexidades desnecessárias pode ajudar organizações a melhorarem.
KPIs de Qualidade Para Estimar Impacto Financeiro
Às vezes, especialistas de qualidade precisam justificar seus orçamentos e estratégias em reuniões da diretoria. Aqui estão algumas métricas de qualidade relacionadas a finanças que você pode utilizar.
Métricas que foram analisadas abaixo:
Custo de Baixa Qualidade
Utilize esta métrica para entender o impacto da baixa qualidade. Estime todos os custos associados com a detecção e resolução de problema:
- Custos com especialista de suporte
- Custos de solução
- Custos do impacto da marca
Em muitos casos, o objetivo não é encontrar o valor em dólar exato, mas entender quão grande é o impacto na percepção de qualidade dos stakeholders.
Para este artigo, eu criei um indicador:
- Custo de Baixa Qualidade
Scorecard de Qualidade.Este indicador resume os valores dos indicadores, dando um custo total de qualidade. No meu exemplo, os cálculos são para o custo médio por acidente.
Custo de Alta Qualidade
Este é parecido com o “Custo de Baixa Qualidade”, mas neste caso, estamos estimando os custos de tentar alcançar excelência.
Neste caso, nosso indicador é:
- Custo de alta qualidade, $
Sua fórmula depende da situação específica. Para este exemplo, podemos calcular o orçamento necessário para diminuir a taxa de defeitos de 0.01% para 0.001%.
Métricas de Oportunidade ou Risco para Qualidade
Os recursos de qualquer organização são limitados. Não podemos tratar todos os problemas de qualidade igualmente. Alguns precisam ser resolvidos imediatamente e alguns ficarão atrasados por mais tempo.
Como justificar a tomada de decisões neste caso? Uma simples estimativa de oportunidade (ou risco) ajudará:
- Estimar o impacto do problema de qualidade
- Estimar a probabilidade deste impacto
Agora temos:
- Métrica de estimativa de oportunidade, % = Impacto, % x Probabilidade, %
Como estimar o impacto do problema de qualidade? Veja o:
- Número de clientes que são afetados pelo problema
- Potencial financeiro dos clientes
- Envolvimento dos clientes no problema (o número de e-mails que o cliente enviou)
Como estimar a probabilidade? Tente mapeá-la em uma escala de 0% a 100% onde:
- 0% é algo que potencialmente influencia seus clientes, mas você não tem prova disto.
- 100% é para os fatores críticos que, por exemplo, irão evitar que o cliente compre ou que resultarão em custos importantes
Vamos utilizar um caso com o software BSC Designer. Alguns anos atrás, recebemos duas solicitações de clientes (ambas as funções foram implementadas):
- (A) Adicionar um recurso para permitir/negar que usuários editem dados históricos no scorecards
- (B) Mudar a forma como as iniciativas são exibidas no mapa estratégico
(A) foi um problema crítico para um grande cliente potencial e três outros clientes já haviam pedido isto.
(B) foi um problema menos crítico para o cliente existente e só um outro cliente havia feito um pedido parecido.
Nossos esforços para “resolver o problema”, (na verdade, desenvolver novas funções) foram os mesmos.
Aqui está um exemplo da estimativa de oportunidade para estes dois casos:
| Impacto | Probabilidade | Oportunidade | |
|---|---|---|---|
| A | 70% (era uma decisão de compra crítica para um cliente de alto nível) | 80% (3 outros clientes solicitaram um recurso parecido) | = (0.7 * 0.8) * 100% = 56% |
| B | 50% (tornaria a vida de um cliente existente um pouco mais fácil) | 60% (1 outro cliente solicitou um recurso parecido e nossos desenvolvedores gostaram da ideia) | = (0.5 * 0.6) * 100% = 30% |
Neste exemplo, o valor da métrica de oportunidade foi maior para “A”, então demos uma maior prioridade durante a implementação.
KPIs Para Evitar Problemas de Qualidade
Por enquanto, estivemos quantificando e medindo o impacto de (baixa) qualidade. Vamos tentar uma abordagem diferente:
- Em vez de resolver problemas de qualidade, sejamos proativos. Vamos trabalhar para diminuir a possibilidade de problemas futuros de qualidade.
Aqui estão as métricas que podemos monitorar para alcançar este objetivo:
- Métrica de Quase Acidente
- Métrica de Ambiguidade de Exigências
- Idade do Produto e Número de Modificações
- Métrica de Revisão do Expert (WTF/Minuto)
- Métrica de Teste Aleatório
- Métrica de Autoteste de Qualidade
- Métricas de Qualidade de Controle Automatizada
- Métrica do Teste de Estresse
- Métricas de Teste Manual
- Análise de Risco de Mudança
Métrica de Quase Acidente
Como podemos prever algo que ainda não aconteceu?
Para prever alguns problemas de qualidade importantes, precisamos olhar para os problemas anteriores e menos importantes.
É simples assim.
- É isto que a teoria das janelas quebradas nos ensina.
- É assim que a administração de aviação tenta evitar acidentes no ar.
- Foi assim que a Alcoa conseguiu alcançar seu objetivo de zero lesões (veja “O Poder do Hábito: por que fazemos o que fazemos na vida e nos negócios” do Charles Duhigg).
Como construir uma métrica de quase acidente?
- Veja insights gerais sobre quase acidentes
- Descubra quase acidentes relevantes para os processos de seu negócio
- Quantifique, meça e monitore estas descobertas
A implementação da métrica de Quase Acidente se trata de mudar a cultura da organização.
Você precisa ensinar seu time a reportar e discutir pequenos problemas de qualidade que podem levar a problemas mais importantes.
As métricas podem ser formuladas de forma simples, como:
- Métrica de tendência: Penetração do treinamento de consciência sobre quase acidentes, %
- Métrica de resultado: Número de quase acidentes reportados
Scorecard de Qualidade.Métrica de Ambiguidade de Exigências
Parecida com a Métrica de quase acidente, mas neste caso, queremos ser proativos.
Em vez de esperar problemas de qualidade aparecerem, pedimos para que nossos melhores experts analisem a documentação de exigências do produto/serviço para detectaram possíveis pontos problemáticos.
A métrica neste caso pode ser:
- Ambiguidades por página de exigências, %
No desenvolvimento do software, os experts revisam as exigências do software em busca de ambiguidades.
As exigências, neste caso, são a documentação anterior, então se melhorarmos as exigências, podemos prevenir problemas de qualidade proativamente.
Idade do Produto e Número de Modificações
Somos um negócio de software e sou sempre curiosa para encontrar as melhores formas de quantificar a qualidade do software e especificamente a qualidade do código do software.
O clássico “número do código de licença” não faz muito sentido. Intuitivamente, desenvolvedores de software entendem que:
- Códigos frequentemente modificados conterão mais defeitos que código que permanecem inalterados por muito tempo
Em outras palavras, esperamos que a qualidade do código seja a função da idade do código e o número de modificações do código. Isto foi confirmado empiricamente no livro “Predicting Fault Incidence Using Software Change History”1.
Substitua “código” por “produto” e tenho certeza de que as mesmas descobertas farão sentido para qualquer negócio com um produto complexo. Pensando sobre isto no contexto da estratégia de qualidade, podemos prever defeitos de forma mais eficaz e atualizar a estratégia de testes, respectivamente.
Métrica de Avaliação do Expert (WTF/Minuto)
Parecida com a métrica de ambiguidade de exigências, mas neste caso, podemos pedir para os experts revisarem qualquer coisa – nosso produto, manual do usuário, serviço ao consumidor.
Como quantificar estas avaliações? Uma resposta engraçada (mas prática) para esta pergunta foi dada por Thom Holwerda em seus quadrinhos para a osnews:
- WTF/minuto (What’s This For – Para Que Serve Isto / Minuto).
A métrica original foi para avaliação de qualidade de códigos de software, mas como você pode imaginar, funciona para qualquer área.
Métrica de Teste Aleatório
Outra métrica é útil para estimar a qualidade de grandes amostras.
Isto é aplicável principalmente a produtos físicos.
- Misture as amostras
- Pegue alguns itens aleatórios
- Verifique sua qualidade
- Se defeitos foram encontrados, estime proporcionalmente a escala real do problema
A métrica, neste caso, pode ser:
- % de defeitos em uma amostra aleatória
Obviamente, esta abordagem funciona em estágios iniciais do produto, quando há mais problemas de qualidade. Com o desenvolvimento dos sistemas de controle de qualidade, o tamanho da amostra aleatória pode aumentar.
Métrica do Autoteste de Qualidade
Às vezes, precisamos verificar a “qualidade da qualidade”, por exemplo, como o sistema de controle de qualidade em si funciona.
- As avaliações de qualidade realmente funcionam?
- Os testes automáticos realmente detectam problemas?
A ideia do autoteste é inserir erros conhecidos e ver se estes problemas pré-desenvolvidos foram detectados.
Laboratórios de análise médica implementam esta rotina. O equipamento do laboratório é uma combinação de complexos dispositivos óticos e reagentes químicos. Os fatores de qualidade são a forma como os reagentes são armazenados, a qualidade da água destilada, a estabilidade da corrente elétrica, fatores humanos e erros aleatórios.
O controle de qualidade mais fácil, neste caso, é carregar um conjunto conhecido de amostras e comparar os resultados reais com os esperados.
Reguladores utilizam a mesma abordagem fazendo testes onde as propriedades das amostras não são conhecidas.
As métricas neste caso são:
- O número de autotestes por período
- Eficiência de detecção de defeitos, % = Defeitos detectados / Defeitos injetados
Esta abordagem funciona como um ponto inicial antes de realizar testes mais caros e demorados.
Métricas de Controle de Qualidade Automático
Estas são parecidas com o autoteste, mas neste caso, estamos olhando para o sistema como uma caixa preta, onde podemos fazer testes automáticos mais específicos.
Os benefícios dos testes automáticos comparados com os testes manuais são óbvios:
- Nenhum fator humano envolvido
- Menos custos
Ainda assim, precisamos equilibrar a cobertura do teste automático com o custo para desenvolver e manter estes testes.
As possíveis métricas neste caso:
- Cobertura do teste automático, %
Métrica do Teste de Estresse
A qualidade do sistema pode mudar quando o ambiente muda significantemente.
A métrica neste caso:
- Preparação para mudanças de estresse, %
A ideia é prever as possíveis condições e estar preparado. Imagine o melhor e pior cenário e tentar criar planos de emergência.
- Possui um smartphone? Tente fazer trilhas nas montanhas durante o inverno e veja quanto tempo sua bateria irá durar.
- Você tem um site? Ele sobreviveria a um ataque DDoS?
- Desenvolvendo produtos de consumo? Eles funcionarão corretamente se utilizados na Índia?
Métricas de Teste Manual
Bons testes manuais são uma obrigação. Aqui estão duas recomendações:
- Seja o usuário do seu produto
- Leve em considerações diferentes stakeholders de qualidade
As métricas neste caso:
- Cobertura do plano de teste, %
- Tempo de execução do plano de teste
Métrica menos formal, mas útil:
- Tempo sendo usuário final do produto, horas
Por exemplo, para ilustrar este artigo e criar um scorecard para qualidade, eu estava utilizando nosso software BSC Designer. Isto sempre ajuda a gerar algumas ideias de melhoria.
Análise de Risco de Mudança
Quando a complexidade do produto é alta, mudanças neste produto podem produzir muitos problemas de qualidade. A solução para este desafio está no nível da arquitetura do produto. Por exemplo, engenheiros de software constroem suas soluções utilizando micro serviços para evitar más dependências.
Do ponto de vista de qualidade, o ponto inicial é estimar os riscos de mudança. Pergunte aos seus engenheiros:
- Se mudarmos a função “A” do produto, quão provável é que algo quebre?
Seguindo esta lógica, podemos utilizar:
- A métrica de número de mudanças recentes
Como um fator de tendência para problemas futuros de qualidade.
Métricas de Resposta de Qualidade
Tentamos resolver o problema no estágio de design. Tentamos resolver o problema antes que o cliente (ou outros stakeholders) o vissem. Mas às vezes, um problema passa por todos estes filtros e os clientes enfrentam um problema de qualidade. Discutimos abaixo as métricas que podemos monitorar neste caso.
Aqui estão as métricas que discutimos abaixo:
- Tempo Para Resolver Problema
- Tempo Para Responder
- Atraso de Qualidade
- Métricas do Time de Qualidade
- Proporção de Fechamento de Descobertas
- Qualidade de Comunicação
- Eficácia da Solução
Tempo Para Resolver o Problema
Sim, houve um problema, mas ele foi resolvido do dia para a noite. Esta é uma experiência incrível para qualquer cliente.
Métricas:
- Tempo médio necessário para resolver o problema crítico
- Tempo médio necessário para resolver um problema pequeno
Monitore tempos separadamente para stakeholders diferentes. Veja o parágrafo de risco para os detalhes.
Outra ideia importante é que normalmente, o tempo para resolver o problema não inclui:
- O tempo necessário para desenvolver o plano de prevenção, ou
- O tempo necessário para implementar o plano de prevenção
Tempo para Responder
Em muitos casos, o problema não é tão crítico para o cliente, e o que é mais importante é que seu time se importe com isto. Um rápido e-mail: “Olá, obrigado por reportar. Estamos trabalhando nisto, espere uma solução em 2 dias” mostrará ao cliente que você se importa.
Métrica:
- Tempo para responder ao problema de qualidade
Atraso de Qualidade
Parecido com o atraso de vendas, o atraso de qualidade é um indicador de como a qualidade flui pela organização.
Nenhum atraso nos problemas de qualidade muito provavelmente indica que você:
- Não mudou seu produto ou serviço por muito tempo (e este fato em si é um problema) ou
- Você não está escutando seus clientes bem o suficiente
Um excesso de atraso mostra que seus esforços de resposta não são suficiente e que algo precisa mudar.
Minha recomendação é monitorar esta métrica:
- Atraso nos problemas de qualidade
Scorecard de Qualidade.Métricas do Time de Qualidade
Uma métrica popular para times de qualidade é:
- Funcionários de Qualidade / Funcionários normais, %
Se analisada junto com tempo de resolução do problema e taxa de retorno dos problemas, % ela pode dar informações sobre a performance do time.
Proporção de Fechamento de Descobertas
Imagine que uma empresa fez uma auditoria de qualidade .Por exemplo, utilizando a análise de ambiguidade de exigências descrita acima. Precisamos nos certificar de que estas descobertas foram analisadas e fechadas.
Métrica a monitorar neste caso:
- Proporção de fechamento de descobertas, %
Não estamos sempre falando sobre implementar as recomendações, mas ao menos elas precisam ser retrabalhadas de alguma forma tangível (por exemplo, exigências atualizadas).
Qualidade de Comunicação
A complexidade é um fator de tendência de qualidade conhecido.
Monitore a métrica de redundância de comunicação neste caso:
- Redundância de comunicação, % = (Tamanho médio de mensagem – Menor tamanho de mensagem) / Tamanho médio de mensagem.
O consumidor precisou fazer apenas uma ligação para resolver o problema ou houve uma troca de cinco e-mails para resolver um problema simples?
Por exemplo, no caso da troca de e-mails, podemos calcular a métrica:
- Redundância de comunicação, % = (5 – 1) / 5 = 80% de redundância.
Também monitore:
- Taxa de resolução no primeiro contato, %
Eficácia da Solução
Resolvemos o problema e nos comunicamos de forma eficiente e eficaz durante todo o processo, mas o problema foi de fato resolvido?
Métrica a monitorar:
- % de retorno de problemas
ou outra parecida
- Acerto na primeira vez, %
- OTIF, % – On Time in Full em logística
Estas métricas funcionam melhor se combinadas com a métrica tempo para resolver. A organização precisa encontrar um equilíbrio entre a velocidade do fornecimento de soluções e sua eficácia.
Cultura de Qualidade
A cultura de qualidade se trata de estabelecer novos hábitos comportamentais que ajudarão a evitar problemas críticos e a maximizar a eficácia da resolução de problemas menos críticos.
O seu time possui o hábito de monitorar e melhorar sua qualidade?
Os KPIs que avaliamos são:
- Defeitos Rejeitados
- Métrica de Análise da Causa
- Erro Sistemático
- Métrica de Consciência da Qualidade
- Taxa de Aceitação da Melhoria
- Taxa de Retenção
- Suas Métricas Únicas de Qualidade
- Medição de Qualidade Desde a Concepção
Defeitos Rejeitados
Imagine um cenário em que um usuário reporta um problema em seu produto, mas este não parece ser um problema e sim um comportamento normal. Os desenvolvedores “rejeitam” este relatório como um defeito.
Contanto que a qualidade seja percebida pelos clientes, a situação será considerada como um defeito pelo cliente. O que um defeito rejeitado significa? Significa que outro sistema não funcionou bem. Métrica a monitorar:
- % de defeitos rejeitados
Aqui está um exemplo:
- Uma pequena geladeira está fazendo muito gelo e causando um problema para seus donos. Eles ligam para a assistência técnica, um técnico vem e diz para eles que esta pequena geladeira é apropriada para uso contínuo. Ela foi feita para ser utilizada em motéis, onde as pessoas vêm e vão. Este é um problema de qualidade e já possui seus custos (impacto da marca, taxas de garantia de serviço), mas este defeito será rejeitado pelos engenheiros. Então qual o problema? Acho que o marketing…
Uma situação parecida é quando o testador do produto reporta um problema que é rejeitado pelos engenheiros. Qual o problema neste caso? Eu acho que seja a ambiguidade das exigências iniciais.
Métrica de Análise de Causa
Resolver um problema de qualidade a tempo é sempre um bom ponto inicial, mas uma organização também precisa aprender com seus erros (veja o artigo garantia de qualidade na Wikipédia). Faça uma análise de causa para problemas de qualidade:
- Qual foi o motivo para o problema?
- Por que não o detectamos antes? O que podemos mudar em nosso sistema de controle de qualidade para detectar problemas parecidos?
- O que podemos modificar em nossos sistemas para eliminar a possibilidade destes problemas?
Claro, o grau da análise de causa deve corresponder à importância do produto.
Métrica a monitorar:
- Tendência: Penetração do treinamento de análise de causa, %
- Resultado: % de problemas onde a causa foi analisada
Erro Sistemático
Parte do desafio de garantia de qualidade é detectar e encontrar erros sistemáticos. Digamos que seu SaaS está hospedado em um servidor lento, o que leva a vários outros problemas com a usabilidade do sistema. Não faz sentido revisar todos estes problemas de usabilidade quando eles são causados por um erro sistemático maior.
Métrica de Consciência de Qualidade
Qualidade é o trabalho de todos, então faz sentido explicar os procedimentos de qualidade necessários para todos os membros envolvidos em seu time:
- Como as pessoas devem reportar um “quase acidente”?
- O que é a análise de causa e como conduzi-la?
- O que é um plano de resposta para os problemas críticos?
- Quais são nossos padrões de qualidade?
As métricas a monitorar:
- Leading: Penetração do treinamento de qualidade, %
- Leading: Materiais de treinamento desatualizados, %
- Lagging: Consciência do programa de qualidade, %
- Lagging: Consciência dos padrões de qualidade, %
- Lagging: % de políticas entendidas pelos funcionários
Como você pode ver, as métricas de consciência são balanceadas com a métrica de treinamento. Profissionais responsáveis pelo treinamento podem focar seus esforços de medição ainda mais ao monitorar:
- Reação imediata
- Mudança em ações
- Impacto no negócio
Discutimos esta abordagem no artigo scorecard de treinamento.
Taxa de Aceitação de Mudanças
Seu time e seus consumidores podem sugerir muitas ideias de melhorias. A pergunta é, quantas delas seus engenheiros realmente analisam e implementam? Se as ideias vão direto à lixeira, então não podemos esperar uma alta satisfação dos funcionários.
Uma melhor abordagem seria estabelecer um procedimento para lidar com ideias, de forma parecida com o que discutimos para o scorecard de inovações .
Scorecard de Inovações.Um ponto inicial para a medição de performance neste caso é:
- Taxa de Aceitação de Melhorias, % = Ideias sugeridas / Ideias implementadas
Taxa de retenção
Uma má qualidade afeta os stakeholders de qualidade.
Podemos ver que clientes já não estão recomendando o seu produto ou que membros valiososo de um time estão buscando um novo emprego. Monitore estas duas métricas para ter um sinal de alerta:
- Taxa de retenção de clientes, %
- Rotatividade de funcionários de alta performance, %
Estas são métricas de resultado, mas podemos encontrar algumas que possuem um horizonte de curto prazo:
- Em vez de ver como consumidores vão embora, podemos ver o que eles compartilham nas redes sociais.
- Gestores de talento podem monitorar indicadores prévios de rotatividade utilizando os scorecards de RH.
Suas Métricas de Qualidade Exclusivas
Eu acredito que a maioria das métricas discutidas neste artigo podem ser aplicadas à sua área. Ainda assim, há sempre algumas métricas únicas que precisam ser feitas à medida para um negócio específico. Como encontrar estas métricas? Eu recomendo dar uma olhada no Sistema de KPI que temos para você.
Minha aposta é que:
Suas métricas exclusivas de qualidade serão relacionadas ao processo de gargalo em sua organização
Minha aposta funcionou para você? É fácil de explicar: se algo acontecer com um processo que limita o sistema, ele afetará o resto do sistema.
Medição de Qualidade Desde a Concepção
Outro tópico que discutimos no Sistema de KPI é uma medida implementada “desde a concepção”. Em vez de tentar medir algo depois, precisamos construir um produto com necessidades futuras de medição em mente.
Aplicando esta ideia à qualidade, precisamos descobrir onde as medições de qualidade podem ser implementadas desde sua concepção.
Faça as seguintes perguntas ao seu time de qualidade para começar:
- Quando nosso cliente final reporta um problema, como saberemos o que está causando o problema?
- O que podemos mudar no produto ou serviço para tornar a medição de qualidade mais fácil?
A resposta pode ser uma simples checklist ou um tipo de caixa preta com registro do histórico de operação.
E aqui está um truque:
Se você encontrar formas melhores de medir qualidade, isto automaticamente resulta em uma melhoria de qualidade.
Por exemplo, na área de desenvolvimento de software, adeptos das práticas DevOps primeiro criam testes para a funcionalidade do software e depois constroem a funcionalidade em si. Por um lado, isto permite uma melhor medição de qualidade. Por outro, isto melhora a qualidade fora da caixa.
Implementando uma Cultura de Qualidade
Discutimos algumas ideias relacionadas à cultura de medição de qualidade. Um tópico mais importante é como focar a cultura de uma empresa em geral na qualidade. Há muitos livros escritos sobre o assunto e na parte 3 deste artigo, você encontrará minha breve lista de 10 dicas.
Parte 2. Balanced Scorecard de Qualidade
O Balanced Scorecard é um modelo de execução estratégica. Quais são os objetivos de qualidade? Como estes objetivos se encaixam na estratégia geral da organização? Como monitorar a execução destes objetivos? Abaixo, criaremos um exemplo do Balanced Scorecard para qualidade.
Scorecard de Qualidade.Aqui está o nosso plano:
- Defina a missão
- Mapeie os objetivos financeiros na Perspectiva financeira
- Defina as necessidades dos stakeholders na Perspectiva do cliente
- Explique o plano de resposta na perspectiva interna
- Identifique facilitadores para as melhorias internas na perspectiva de Aprendizado e Crescimento
Missão
Qual o propósito do foco na qualidade? Vamos formular uma missão inspiradora para o time de qualidade:
Resolver problemas de qualidade com eficácia, pensar em um plano de prevenção
Esta é uma mensagem simples que qualquer um no time de qualidade pode entender. Estamos aqui para:
- Resolver problemas de qualidade rápido
- Investigar e implementar um plano de prevenção
Vamos continuar com as perspectivas do Balanced Scorecard.
Scorecard de Qualidade.Impacto Financeiro da Qualidade
Qual o impacto financeiro da qualidade? Em outras palavras, o que acontecerá se os stakeholders de qualidade não estiverem satisfeitos com a qualidade do produto?
A resposta depende dos stakeholders:
- Se os clientes não estiverem satisfeitos – eles não irão comprar ou repetir a compra.
- Se o seu time não estiver feliz com a qualidade do produto – eles podem deixar a empresa para encontrar um melhor lugar para aplicar seus talentos.
- Se você não obedecer aos padrões estabelecidos pelo regulador – sua organização pode ser multada ou fechada.
Eu sugiro mapear estas ideias sob o objetivo:
- Crescimento sustentável
Este é um objetivo muito vago. Como podemos torná-lo mais específico? Podemos alinhar algumas métricas de performance a ele:
- Custo de Baixa Qualidade – mostrará o impacto financeiro da qualidade
Perspectiva do Cliente
Para assegurar o crescimento sustentável da organização, precisamos satisfazer as necessidades dos nossos clientes (stakeholders de qualidade como usuários finais, reguladores e o time).
Scorecard de Qualidade.Objetivo: Evitar defeitos críticos, ajustar defeitos não-críticos rapidamente. Agora, isto é o que todos os stakeholders querem. Como podemos estimar o grau de realização do objetivo. Estes serão os indicadores de resultado no contexto do objetivo:
E quanto aos indicadores de tendência? A performance de tendência virá dos objetivos na perspectiva interna que discutimos abaixo.
Outro objetivo para o cliente está mais relacionado aos stakeholders internos de qualidade:
- Objetivo: Produto de Fácil Manutenção. Um produto que seja relativamente fácil de manter, mudar, testar etc. É isto o que o seu time quer.
Que métricas de resultado podemos utilizar para monitorar a execução deste objetivo? Por exemplo, estas duas:
- Reclamações relacionadas à qualidade ou complexidade feitas pelo time
- Rotatividade dos funcionários de maior performance, %
Este é um modelo simples de como a complexidade do produto e engajamento do time estão conectados:
- Se um produto se torna muito complexo, os membros do nosso time reclamarão sobre isto e se não fizermos nada – eles irão embora.
E quanto às métricas de tendência? O que podemos fazer para prevenir estes casos? Depende da situação específica, mas eu diria que precisamos entender os motivos para os problemas de qualidade/complexidade. Para este propósito, teremos o objetivo “Análise de Causa e Garantia de Qualidade” na perspectiva Interna que orienta a performance de tendência do objetivo “Produto de fácil manutenção”.
Perspectiva Interna
Nesta perspectiva, precisamos responder duas perguntas:
- Como vamos “evitar defeitos críticos” e “resolver defeitos não-críticos rapidamente”?
- Como podemos assegurar que temos um “produto de fácil manutenção”?
Eu formularei estes três objetivos e os links na captura de tela irão mostrar como eles contribuem com os objetivos na perspectiva do Cliente:
- Prevenir Problemas Críticos de Qualidade
- Resolver Problemas de Qualidade Rapidamente
- Análise de Causa e Garantia de Qualidade
Novamente, estes objetivos estão muito vagos por enquanto. Para torná-los mais específicos, precisamos alinhar alguns indicadores com eles.
Vamos começar com o objetivo “Prevenir Problemas Críticos de Qualidade” antes de discutirmos diferentes abordagens para evitar problemas de qualidade, e os indicadores de resultado podem ser:
- Quase acidentes reportados
- Ambiguidades por página de exigências, %
- Métrica de Avaliação do Expert (WTF/Minuto)
Como podemos assegurar que nosso time dominou, por exemplo, o “Quase acidentes reportados”? Para este propósito, mapearemos o objetivo “Treinamento de relatórios de quase acidente” na perspectiva de Aprendizado e Crescimento.
E quanto ao objetivo “Resolver Problemas de Qualidade Rapidamente”? A medida básica será Tempo para resolver o problema crítico.
Também é importante treinar todos os membros do time para reportar problemas de qualidade apropriadamente. Podemos estimar a conquista deste objetivo ao utilizar a métrica Taxa de Aceitação de Melhorias.
Scorecard de Qualidade.Finalmente, o objetivo “Análise de Causa e Garantia de Qualidade” contribui com o objetivo de ter um “Produto de fácil manutenção”. Como podemos nos certificar de que nosso time está fazendo uma boa análise de causa e garantia de qualidade?
Vamos começar com o básico. Podemos monitorar que nosso time está pensando na direção certa ao medir:
- Tempo para desenvolver o plano de prevenção
- Tempo para implementar o plano de prevenção
Você pode perguntar:
Como sabemos se desta vez o orçamento foi gasto de forma eficaz?
Bem, com estas métricas, não podemos saber com certeza, mas se as coisas derem errado, você verá que indicadores alinhados com o objetivo “produto de fácil manutenção” da perspectiva do Cliente aparecerão na zona vermelha:
- Stakeholders internos começarão a reclamar da qualidade/complexidade do produto (veja o indicador “Reclamações de Qualidade/Complexidade feitas pelo Time”).
OK, sabemos como o time de qualidade deve se comportar. O que devemos fazer para equipá-los com as habilidades e ferramentas corretas? A resposta é explicada abaixo na perspectiva de Aprendizado e Crescimento.
Perspectiva de Aprendizado e Crescimento
Para o objetivo Prevenir Problemas Críticos de Qualidade, temos dois objetivos secundários na perspectiva de Aprendizado e Crescimento:
- Treinamento de relatório de quase acidente
- Aprender a Prevenir Problemas de Qualidade
Eu os separei porque acredito que o relatório de quase acidentes merece atenção especial.
Scorecard de Qualidade.Vamos começar com o objetivo Treinamento de relatório de quase acidente.
As métricas de tendência serão:
Obviamente, queremos que todos os stakeholders envolvidos estejam treinados de forma adequada.
E quanto às métricas de resultado? Se queremos fazer isto de forma séria (veja a abordagem do scorecard de treinamento para detalhes), precisamos entender como vamos medir os:
- Resultados do treinamento
- Mudança em ações
- Impacto no negócio
O resultado do treinamento é uma pontuação do exame. Mudanças em ações é o que medimos com o objetivo Quase acidentes reportados alinhado com o Prevenir Problemas Críticos de Qualidade.
Como medir o impacto do treinamento de “quase acidente” no negócio? eu estou olhando para o objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente e eu acredito que o Número de Reclamações por Período é um excelente indicador para este propósito.
Scorecard de Qualidade.Vamos para o próximo objetivo – Aprender a Prevenir Problemas de Qualidade. Aqui, temos duas métricas de resultado relacionadas às iniciativas alinhadas com este objetivo. As métricas são:
As iniciativas são respectivamente aquelas ideias de garantia de qualidade que discutimos antes:
- Análise de Ambiguidade de Exigências
- Implemente Avaliações do Expert
- Testes Aleatórios
- Implemente Testes Automáticos
Scorecard de Qualidade.O último objetivo na perspectiva de Aprendizado e Crescimento é Consciência de Qualidade. Antes, discutimos que é importante manter os padrões de qualidade e respectivos materiais de treinamento atualizados. Para este propósito, temos:
- Materiais de treinamento desatualizados, % métrica de tendência.
Novamente, precisamos nos certificar de que todos os stakeholders foram treinados e utilizamos esta métrica:
- Penetração do treinamento de qualidade, %
Para rastrear os resultados do programa de Consciência de Qualidade, veremos estas métricas de resultado:
Como podemos quantificar a Consciência do programa de qualidade, %? Por exemplo, ao realizar algumas simples pesquisas ou testes.
Como podemos nos certificar de que o programa de Consciência de Qualidade mudou a forma como stakeholders se comportam? Precisamos olhar para as métricas específicas de comportamento. Eu selecionei estas duas:
Scorecard de Qualidade.Vamos utilizar este objetivo como um exemplo e rastrear como a lógica do mapa estratégico funciona.
Lógica do Mapa Estratégico em Ação
Se nosso programa de Consciência de Qualidade for um sucesso, podemos esperar que, por exemplo, os especialistas de suporte ao consumidor respondam rapidamente (métrica Tempo para responder ao problema de qualidade) e eficientemente (métrica Redundância de comunicação, % ). Eu estou indo para a perspectiva “Interna”.
O objetivo Consciência de Qualidade é um fator de tendência para o objetivo Resolver Problemas de Qualidade Rapidamente. Basicamente, nossa hipótese é que ao melhorar a consciência de qualidade, esperamos resolver problemas de qualidade de uma melhor maneira. E verificaremos esta hipótese ao olhar para os indicadores Taxa de Aceitação de Melhorias, % e Tempo para resolver o problema crítico.
Agora estamos olhando para a perspectiva do “Cliente”.
O objetivo Resolver Problemas de Qualidade Rapidamente contribui com o Evitar defeitos críticos, resolver defeitos não-críticos rapidamente, que finalmente contribui com o objetivo Crescimento sustentável na perspectiva Financeira.
Scorecard de Qualidade.Importância Relevante da Contribuição
Do mapa estratégico, vemos que Evitar defeitos críticos, resolver defeitos não-críticos rapidamente é influenciada pela performance de tendência de dois objetivos:
- Evitar Problemas Críticos de Qualidade
- Resolver Problemas de Qualidade Rapidamente
Estes objetivos contribuem com o objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente com o mesmo peso?
Suponhamos que evitar problemas é mais importante que resolvê-los.
Para refletir esta lógica, eu posso mudar o peso dos indicadores de tendência respectivamente:
- Evitar Problemas Críticos de Qualidade – peso 70%
- Resolver Problemas de Qualidade Rapidamente – peso 30%
O software BSC Designer que eu utilizei para criar um scorecard para este artigo levará estes pesos em consideração ao calcular a performance de tendência do objetivo Evitar defeitos críticos, resolver defeitos não-críticos rapidamente.
Se você quiser aprender mais sobre a forma como os valores do scorecard são calculados, veja o artigo Scorecard 101.
Scorecard de Qualidade.Vídeo Explicativo
Aqui está um vídeo explicativo que resume algumas descobertas importantes do artigo.
Parte 3. Qualidade Na Prática
Nas partes anteriores, discutimos como construir um Balanced Scorecard para qualidade e executar uma estratégia de qualidade de forma eficaz. E quanto à qualidade no nível operacional? Nesta parte, iremos discutir dez ideias sobre utilizar KPIs de qualidade para um controle de qualidade constante.
1. O Contexto do Negócio Vem Primeiro, Depois Vêm os Indicadores
Sempre comece com o contexto do negócio! O modelo do Balanced Scorecard é uma das abordagens possíveis para descrever e executar sua estratégia. Se você realiza métricas de qualidade no nível operacional, então o BSC pode não ser a melhor ferramenta para você. Ainda assim, eu recomendaria ter respostas claras para estas perguntas:
- Por que você precisa medir a qualidade?
- Que aspectos de qualidade são importantes para os seus clientes?
- Como exatamente a empresa está planejando alcançar os objetivos de negócio atuais?
- Que problemas relacionados a qualidade precisam de mais atenção?
- Quais são os desafios de negócio de sua empresa agora?
Scorecard de Qualidade.No BSC Designer: vá à aba de “KPIs”. Ali você pode formalizar seus objetivos de negócio e alinhar os KPIs com estes objetivos.
2. Visualize Seus Desafios de Qualidade e Seus Motivos
O controle de qualidade ou, de forma mais geral, a garantia de qualidade, não se trata apenas de ter um grupo de indicadores e reportá-los. A ideia é ter um entendimento dos processos na organização, seus pontos fortes e fracos e tentar evitar possíveis problemas de qualidade.
É necessário realizar uma análise regular de:
- Processos típicos
- Desafios de qualidade
- Seus motivos
- Possíveis soluções
O resultado desta análise pode ser formalizado na forma de um fluxograma.
Scorecard de Qualidade.No BSC Designer: vá à aba de “Mapa Estratégico”, crie um novo mapa e utilize-o para visualizar seu processo. Depois, você poderá visualizar alguns KPIs diretamente neste mapa.
3. Equilíbrio Entre Indicadores de Resultado e Tendência
Dê uma olhada nos fluxogramas criados no passo anterior. Em cada passo, há uma contribuição utilizada e algum resultado produzido de acordo com os padrões definidos. Você pode ter indicadores de qualidade associados a estes pontos de controle.
Estes podem ser indicadores de tendência ou resultado.
- Indicadores de resultado contam uma história do que aconteceu. Esta informação é útil, mas você só está observando o que aconteceu e não pude mudar nada.
- Em contraste, os indicadores de tendência reflete entradas que influenciam o processo.
Em nosso scorecard de qualidade, você pode ter ambos os indicadores de tendência e resultado.
Scorecard de Qualidade.No BSC Designer: selecione o tipo de indicador na aba “Contexto”, indicadores de tendência e resultado são calculados de formas diferentes.
4. Quais São Os Indicadores Mais Importantes?
Você diz:
- “Todos eles são importantes!”
A pergunta é:
Eles são igualmente importantes?
Reduzir o número de defeitos de 0.01% para 0.001% pode diminuir o sistema de produção, e embora seus clientes estejam felizes com uma taxa de defeitos de 0.01%, para eles, outros parâmetros de produto são muito mais importantes.
Você precisa encontrar o equilíbrio e refletir a importância de cada um dos indicadores em seu scorecard.
Scorecard de Qualidade.No BSC Designer: você tem uma propriedade de peso para um indicador na aba “Performance”. Aprenda aqui o significado de peso e como ele é calculado.
5. O Que É a Performance de um Indicador?
Digamos que você tenha uma taxa de defeito de 1% e então você otimizou o processo e alcançou uma taxa de defeito de 0.1%. Finalmente, após uma introdução de medidas adicionais de qualidade, você obteve uma taxa média de defeito de 0.01%.
Minha pergunta é:
Como a performance do respectivo indicador de qualidade está mudando? Ela melhorou 10 vezes e então melhorou 10 vezes mais?
Não necessariamente! Do ponto de vista corporativo, clientes podem estar infelizes com uma taxa de defeito de 1% e muito felizes com uma taxa de defeito de 0.1%, e alcançar uma taxa de defeito de 0.1% pode não ter feito uma diferença visível para eles.
Na vida real:
- Alguns indicadores possuem uma função linear de performance (você melhora um valor de um indicador 10 vezes e a performance melhora 10 vezes).
- Alguns indicadores possuem performance não-linear, por exemplo, a performance de um indicador pode crescer lentamente no começo e então a função se torna quase uma linha reta, o que significa que outras melhorias não melhoram a performance final.
Ao desenvolver seus indicadores, escolha uma função de performance apropriada para eles.
Por exemplo, no scorecard de qualidade discutido acima, temos o indicador Tempo para desenvolver um plano de prevenção medido em dias que possui uma função de performance customizada:
- Se ficarmos abaixo do período de 6 dias, a performance está na zona verde.
- Se desenvolvermos um plano de prevenção por mais tempo, então a performance cai rapidamente para a zona vermelha e então a 0%.
Scorecard de Qualidade.No BSC Designer: há uma lista de “Otimização” na aba “Contexto” para indicadores. Ali, mude a função linear de otimização para uma mais relevante ou especifique sua própria função.
6. A Pontuação Total do Scorecard de Qualidade
Quando você possui mais de 50 indicadores em seu scorecard de qualidade, cada um com sua função de performance, benchmarks, valores e pesos, então teoricamente você pode calcular a performance de cada categoria e então a performance do scorecard inteiro. Como resultado, você terá um número (alguns chamam de “score de qualidade”).
Eu sei que alguns gestores sêniores pedem por um único score de qualidade, mas na maioria dos casos, não fará sentido já que este número agrega muitos dados. Ele fica bonito nos relatórios, mas não dará nenhuma informação significativa para um gestor sênior. A melhor opção é agrupar indicadores em categorias e reportar a performance de cada categoria.
Por exemplo, do scorecard discutivo acima, posso ver a performance da organização em termos de esforços de aprendizado ou melhorias internas.
Scorecard de Qualidade.No BSC Designer: o programa pode calcular os números de performance para indicadores, objetivos, perspectivas e para todo o scorecard, mas o uso final depende de você.
7. Planeje Suas Ações
Certifique-se de ter (de preferência por escrito) um plano alinhado com cada indicador de qualidade.
- O que você fará se este indicador entrar na zona vermelha?
- Há procedimentos rotineiros associados a este indicador?
- Qual o orçamento proposto?
- Quanto tempo levará para executar a ação?
- Com que frequência você precisa revisar este indicador?
- Quem é responsável por um indicador?
Por exemplo, no scorecard de qualidade criado acima, temos uma iniciativa de Treinamento na empresa completa alinhado com um objetivo de Treinamento de relatórios de quase acidente onde especificamos todos os detalhes necessários:
No BSC Designer: selecione um indicador ou objetivo, clique no botão “Iniciativas”, especifique os detalhes relevantes, orçamento, links para alguns documentos e escolha a pessoa responsável.
8. Construa um Dashboard de Qualidade
Dashboards ajudam a visualizar indicadores de qualidade. Para alguns, você precisará utilizar um gráfico de escala, para outros, a melhor opção é mostrar um gráfico de tempo com uma linha de tendência. Um dashboard bem feito dará uma visão do nível superior. Utilize-o junto com indicadores visualizados no mapa.
Scorecard de Qualidade.No BSC Designer: você pode criar uma variedade de dashboards para visualizar seus indicadores.
9. Monitore a Tendência
Mesmo se você verificar seus indicadores com frequência, você negligencia uma tendência negativa. Para este propósito, monitore o valor dos indicadores por um maior período de tempo. Por exemplo, utilizar um período de 3 meses como base para cálculos, você pode ver que um indicador está entrando na zona vermelha. Isto servirá como um excelente sinal de aviso para o seu time.
Scorecard de Qualidade.No BSC Designer: Utilize “Análise de Previsões” na aba “Análises” para prever os valores dos indicadores.
10. Receba Más Notícias Mais Cedo
Se algum indicador de qualidade entrar na zona vermelha, certifique-se de que todos os especialistas de qualidade envolvidos recebam uma notificação sobre o problema imediatamente.
Além disso, certifique-se de que seu scorecard de qualidade esteja atualizado com dados recentes e que você esteja olhando para informações atualizadas de qualidade.
Resumo
Há vários stakeholders de qualidade que a percebem de formas diferentes – clientes prospectivos, consumidores, parceiros, nosso time, reguladores.
- Boa notícia: ainda podemos quantificar, medir e até mesmo prever qualidade.
Neste artigo, discutimos:
- Parte 1. KPIs que ajudam a medir, prever e reportar qualidade
- Parte 2. U m exemplo de Balanced Scorecard que nos ajuda a alinhar iniciativas de qualidade com a estratégia geral do negócio
- Parte 3. 10 ideias de melhorias para um controle de qualidade constante
Sinta-se à vontade para compartilhar nos comentários algumas descobertas interessantes sobre a medição de qualidade.
O que se segue?
- Modelos de acesso. Registe-se com um plano grátis na BSC Designer para ter acesso imediato a 31 modelos de scorecards, incluindo o Scorecard de Qualidade discutido neste artigo.
- Competências Chave. Veja gratuitamente o tutorial em vídeo para a Balanced Scorecard. Domine as suas competências de planeamento e execução de estratégias com a formação Execução Estratégica.
- Automatizar. Aprenda o que o software Balanced Scorecard é e como pode facilitar a sua vida, automatizando a execução de estratégias, KPIs e mapas de estratégia.
Mais exemplos do Balanced Scorecard
- Predicting Fault Incidence Using Software Change History, Todd L. Graves, Tood L. Graves, Alan F. Karr, J.S. Marron, Harvey Siy, IEEE Transactions on Software Engineering 26(7):653 – 661 · August 2000 ↩
CEO | Palestrante | Autor
A BSC Designer é um software de Balanced Scorecard que está a ajudar as empresas a melhor formularem as suas estratégias e a tornarem o processo de execução da estratégia mais tangível com KPIs.