Sistema de 12 Etapas Para os KPIs e Indicadores Mais Desafiantes

Encontrar e implementar boas métricas de desempenho é uma tarefa difícil. Existem alguns bons exemplos de métricas simples, mas quando se trata de algo menos tangível, a tarefa de encontrar um bom indicador parece impossível, mas na verdade não é.

Esse sistema é uma abordagem passo a passo para encontrar e lidar com as métricas mais desafiadoras. Na próxima vez que você precisar rastrear o desempenho de alguém, estimar a qualidade ou analisar o valor criado, use este sistema comprovado pelo tempo para obter com bons indicadores e melhorar os existentes.

As Etapas do Sistema KPI

O sistema consiste em 12 etapas. Verifique se analisou cuidadosamente as etapas 1 a 3. Essa é a sua base para lidar com métricas desafiadoras!

1. Decomposição. Qual é o Assunto da Medição?

Vamos dar um assunto difícil de medir, como por exemplo “qualidade”. Desde o primeiro aspecto, é intangível e não é mensurável, mas vamos fazer um breve exercício e tentar definir o que é “qualidade”, por exemplo, se estivermos falando sobre a qualidade de um software.

Software de alta qualidade é aquele que:

O objetivo deste exercício é que dividimos a idéia intangível de “qualidade” em partes menores, mais específicas (= quantificáveis e mensuráveis). Algumas dessas partes ainda podem ser divididas ainda mais. Mas, para os fins deste exemplo, podemos parar nesse nível. Já temos algo tangível. Por exemplo, podemos quantificar e depois medir:

Tempo em minutos necessário para instalar o software

(para a parte “facilidade de instalação”); ou
• Cobertura de testes,% (para a parte “testes aprovados”)

O mesmo exercício de decomposição pode ser feito com outros intangíveis, como “valor”, “desempenho” ou “engajamento”. Para mais exemplos e várias ferramentas estatísticas, consulte os livros de Douglas W. Hubbard da série “ Como medir qualquer coisa … “.

Se você quiser acompanhar o tópico da qualidade, recomendo a você o guia completo em KPIs de qualidade e Scorecard.

2. Partes interessadas. Quem tem interesse?

Outro resultado importante do exercício anterior é que agora sabemos que a “qualidade do software” tem um significado diferente para diferentes pessoas (partes interessadas). Para uma definição formal do termo “partes interessadas”, consulte o glossário de Tom Gilb:

Partes interessadas são qualquer pessoa, grupo ou sistema que tenha ou deseje ter interesse em nosso projeto.

Mencionei algumas partes interessadas, mas certamente existem mais delas. Por exemplo, se estamos falando sobre a qualidade do software security , existem certos aspectos legais que um software deve cumprir. Certifique-se de ter uma longa lista de partes interessadas, não apenas “clientes finais” e “acionistas” típicos!

3. Contexto. Por que você mede?

A resposta “Medimos para obter alguns números/analisar/validar/estimar” não é aceitável! Boas respostas são parecidas com estas:

• Para alcançar um acordo sobre {alguns desafios específicos aqui}
• Para tomar uma decisão melhor sobre {alguns objetivos específicos aqui}
• Para acompanhar nosso sucesso em direção a {algum objetivo específico aqui}

Ao responder a essa pergunta, podemos restringir ainda mais os esforços de medição. Por exemplo:

Queremos medir a qualidade do software para entender como melhorar a experiência do usuário durante o período de avaliação de 30 dias.

Esta resposta altera nosso foco na medição. Precisamos olhar para:

• Quão envolvente é o material de marketing
• Como é fácil instalar o software
• Com que rapidez o atendimento ao cliente pode responder a perguntas de pré-venda
• Quais problemas críticos o usuário pode enfrentar durante o período de teste

4. Armadilhas mentais. Pontos cegos e métricas desconfortáveis.

Somos todos seres humanos, tentamos detectar e evitar algumas “armadilhas mentais” típicas que acontecem quando procuramos novas métricas.

4.1 Métricas sem contexto

Se não houver uma meta que esteja por trás da métrica, ela será inútil em um contexto de negócios. Remova-o do seu scorecard!

4.2 Objetivos importantes sem métricas

Por que algumas de suas metas não possuem métricas alinhadas com elas? Deixe-me adivinhar, porque é difícil encontrar boas métricas! A verdadeira razão é porque o objetivo ainda não está bem definido. Para definir um grande objetivo, desmembrá-lo e focalizá-lo, como fizemos nas etapas 1 a 3 para obter uma qualidade de software “incomensurável”.

4.3 Concentrar-se em métricas fáceis de medir, mas de baixo valor

Muitos leem a seção anterior e decidem adicionar algumas métricas à meta para “passar no teste”. Se for esse o seu caso, você está em risco! Ao adicionar métricas fáceis de medir, mas de baixo valor, você resolve o problema temporariamente; no entanto, métricas mais valiosas permanecem despercebidas.

4.4 Evitando indicadores de “más notícias”

Sempre existem algumas métricas inconvenientes que as pessoas tendem a ignorar, porque trazem muito da cor vermelha para seus bons scorecards e painel. Por exemplo, você sabe que a localização do software no idioma chinês está desatualizada; portanto, se você colocar um indicador “Cobertura de localização, %” em seu painel, ele ficará na zona vermelha por um longo tempo antes que sua equipe o conserte, então você decide simplesmente … não fazer isso.

Qual seria uma abordagem melhor nesses casos?

• Antes de tudo, decida se os usuários da China são as partes interessadas (= compre o software ou tem potencial para comprar o software);
• Se a resposta for positiva, você poderá considerá-la ao priorizar as metas de negócios (consulte a Etapa 8: classificando métricas).

4.5 Uma solução para casos difíceis

Existem exceções que não podem ser facilmente quantificadas? Claro, existem! Às vezes, o custo da medição é muito alto comparado ao valor da medição. Se for esse o caso, vá para a Etapa 6. Desconhecido.

5. Perspetiva aérea. Restrições, indicadores de resultado e de tendência.

5.1 Métricas de resultado e de tendência

Ao falar sobre métricas em um contexto de negócios, podemos definir métricas de resultado e de tendência.

• • • Métrica de tendência é a relacionada aos fatores de sucesso ; aquele que ajuda a prever o sucesso
    • Métrica de resultado é aquela relacionada aos resultados que são valiosos para as partes interessadas .

Veja seus indicadores:

• O que é um par de tendência para o seu indicador de resultado?
• O que é um par resultado para seu indicador de tendência?

Nesta etapa, você precisará dominar suas habilidades para:

• Encontre fatores de sucesso e os diferencie de outras entradas
• Analise os resultados do ponto de vista das partes interessadas e distinga resultados valiosos de todos os outros produtos e atividades.

Aperenda mais sobre indicadores de Tendência e de atraso nesse artigo Q&A.

5.2 Restrições ou gargalos

Dê uma olhada no desafio de negócios mais uma vez. O que limita o valor que você pode criar para as partes interessadas? Ignore os óbvios – tempo e dinheiro. A resposta a esta pergunta levará você a boas métricas relacionadas ao valor das partes interessadas.

6. Desconhecido. Existe algo que você ainda não pode medir?

Às vezes você faz a etapa de detalhamento, conhece as partes interessadas, define o contexto, mas ainda não está claro como as coisas funcionam e, respectivamente, como quantificá-las e medi-las. Dê uma olhada no Cynefin Framework. Provavelmente o seu caso pertence à área “Complexa”.

O que você pode fazer nesses casos? Você tem várias opções.

6.1 Observação

Não subestime o poder da observação simples. A maioria das descobertas astronômicas foi feita apenas por observação, sem medição direta, sem interação física com o sujeito da medição (exceto provavelmente capturando a luz refletida).

Ao conversar com nossos clientes pelo Skype, obtemos muitas idéias interessantes apenas observando a reação delas, para garantir que sua equipe precise ler nas entrelinhas.

E nem sempre é procurar algo. Às vezes, você precisa procurar por ausência de algo:

• Em uma das histórias sobre Sherlock Holmes, o cachorro não latiu e isso levou Holmes à conclusão de que o malfeitor era reconhecido pelo cachorro (aqui está um história mais longa).
• Na astronomia, você não pode observar o buraco negro diretamente, mas pode observá-lo indiretamente por sua influência na matéria próxima.

6.2 Experimentos controlados

O próximo passo são os experimentos controlados. Faça o que os cientistas fazem: estabeleça determinadas condições, veja como suas partes interessadas reagirão, analisará, tire conclusões e repita o processo novamente até entender bem o que você precisa fazer para satisfazer os interesses das partes interessadas.

Vamos tomar processo criativo como exemplo. Uma das maneiras de medir isso é realmente medir seu impacto. Realizamos alguns experimentos controlados, tentamos projetos diferentes e verificamos se eles funcionam bem nas mídias sociais ou no maillist, e esses experimentos controlados nos ajudam a focar nosso processo criativo no que realmente funciona.

Princípio da incerteza

Um aspecto a ter em mente: ao experimentar, estamos interferindo no assunto do experimento, e isso pode ter uma influência nos resultados do teste (na mecânica quântica, isso é conhecido como Heisenberg princípio da incerteza).

7. Configuração da métrica. Escala, fórmula, peso.

Digamos que medimos a facilidade de instalação do software e descobrimos que, em média, os usuários levam 2 minutos e 15 segundos para baixar, instalar e executar o software pela primeira vez.

7.1 Escala de medição

O que este número significa? 2 minutos e 15 segundos são bons ou ruins neste caso? Para responder a essas perguntas, podemos usar alguns limites:

• Quanto tempo leva para instalar o software dos concorrentes?
• Quanto tempo demorou para instalar nosso software?

Uma pergunta melhor é aquela que é orientada para as partes interessadas:

Qual é o tempo de instalação que os usuários reconhecem como “rápido” e o que “muito lento” significa para eles?

O objetivo é obter uma escala que possamos usar para a medição, digamos:

• Abaixo de 1 minuto – excelente
• Entre 1 e 5 minutos – média
• Mais de 5 minutos – inaceitável

Agora sabemos que, com o tempo de instalação de 2:15, estamos na zona “média”. A escala para a medição pode ser de 0 a 5 e as unidades de medida serão “minutos”.

7.2 Direção de otimização

O que você quer fazer com o valor do indicador? Deseja maximizar ou minimizar ? Qual é o nosso caso?

• Quanto maior o valor do indicador, melhor é o desempenho, ou
• Quanto menor o valor do indicador, melhor é o desempenho?

Nesse caso, obviamente queremos minimizar o tempo de instalação.

7.3 Como obter o número

Para tornar as coisas mais específicas, precisamos definir como exatamente o tempo de instalação será calculado:

• Devemos pegar uma amostra aleatória de usuários e perguntar:
• Devemos usar um script automatizado,
• Devemos analisar os logs do software?

Qualquer que seja o método usado, deve haver um algoritmo passo a passo claro (melhor usar uma fórmula) para obter o valor necessário.

7.4 Cálculo do desempenho

Eu tenho uma pergunta para você:

• O que é melhor: “ 2:15 minutos de tempo de instalação ” ou “ 2.000 visitantes / dia em um site ?”

Esta pergunta não faz nenhum sentido. Não podemos responder, pois as unidades de medida são diferentes (“minutos” e “visitantes / dia”).

Para responder a perguntas como essa, precisamos normalizar os valores de acordo com algum tipo de escala e calcular o desempenho em%.

Para fazer isso, precisamos colocar o valor (2:15 minutos) na balança (0,5] minutos). Usando uma fórmula linear simples:

• [(valor máximo) / (máximo – min)]

Podemos calcular o desempenho deste indicador em%: é 100% * (5-2,15) / (5-0) = 57%!

7.5 Peso do indicador

Esta etapa é opcional se você tiver apenas alguns indicadores e sua importância (estritamente falando da importância dos objetivos com os quais os indicadores estão alinhados) é mais ou menos a mesma. Ao contrário, atribuir pesos aos indicadores é uma boa ideia.

O peso do indicador deve nos dizer como o desempenho desse indicador contribui para o desempenho do sistema.

Por exemplo:

• Temos um serviço de suporte ao cliente em que o desempenho é medido pelo “Tempo de resposta” e pela “Qualidade da resposta.”
• Escrever uma resposta rápida para o e-mail é fácil (contribui para a métrica “ Tempo para responder“); mas é mais importante fornecer uma resposta de alta qualidade (contribui para a métrica “Qualidade da resposta”).

Para refletir essa idéia, podemos atribuir um peso de 20% ao indicador “Tempo para responder” e um peso de 80% ao indicador” Qualidade da resposta“. Em seguida, esses pesos podem ser usados para calcular o desempenho.

Você pode experimentar o software BSC Designer para esse fim. Altere os pesos dos indicadores e observe como o desempenho do indicador de contêiner está mudando, respectivamente.

7.6 Nenhuma combinação de metas, métricas e metas

Conheço objetivos como “Melhorar o desempenho em 5% dentro de um ano, expandindo-se para os novos segmentos de mercado” parecem muito SMART como eles são mensuráveis, acionáveis, têm um tempo limitado e o que for, mas não faça isso para seu scorecard, não misture:

• Objetivo (“Melhorar o desempenho”)
• Métrica (“Crescimento do desempenho,%”)
• Meta (“5% em 1 ano”) e
• Plano de ação (“expandindo para os novos segmentos de mercado”)

Os motivos e outras recomendações foram discutidos no artigo KPI Q&As.

8. Classificação de métricas. Como você prioriza indicadores no seu scorecard?

Se você observar os indicadores no seu scorecard, você sente como:

• Você precisa de todos eles, e todos eles são uma alta prioridade para você,

or

• Há alguns que você deseja focar agora,
• Alguns que são mais relevantes a longo prazo,
• Alguns que são bons para acompanhar, mas que não são importantes para o seu departamento?

Antes de tudo, faz sentido revisar seu contexto de negócios mais uma vez (Etapa 3) e dividir os objetivos em “operacional” (aqueles que implicam melhorias nas melhores práticas) e “estratégico” (aqueles que são objetivos de mudança). A diferença entre estratégico e operacional foi discutida aqui.

Agora, vamos usar a matriz de Eisenhower. Temos dois eixos: “Importância” e “Urgência”. A “Importância”, neste caso, significa “Ter um valor para as partes interessadas”.

I sugira classificar suas métricas desta maneira:

• Importante + urgente: objetivos operacionais e suas métricas
• Importante + não urgente: objetivos estratégicos e suas métricas
• Não é importante + Urgente: algo a ser terceirizado para o scorecard de outro departamento
• Não é importante + Não é urgente: por que você ainda tem essas metas e métricas em seu scorecard?

Esta revisão simples fornece quatro cenários básicos para a métrica:

• Coloque-o no scorecard estratégico
• Coloque-o no painel / scorecard operacional
• Terceirize-o para seus colegas, para que eles o usem em seus scorecards
• Remova

Essa matriz não é perfeita, mas é um bom ponto de partida.

9. Execução. Você tem um plano de ação?

A medição de desempenho deve ser seguida pelo gerenciamento de desempenho. Qual é o seu plano de ação sobre a meta e / ou indicador alinhado? “Continuar procurando” provavelmente não é o melhor plano, tenho certeza de que você pode terceirizar isso para algum sistema automatizado.

Dê uma olhada nas etapas do sistema que tínhamos no começo. Você concordou que este indicador está aqui para algum propósito, portanto, verifique se há alguma forma tangível desse objetivo (= plano de ação).

10. Impacto. Que comportamento suas métricas induzem?

Uma empresa internacional tinha um objetivo – manter seus funcionários mais saudáveis. Funcionários mais saudáveis significam menos dias de folga e melhor produtividade. A solução técnica foi rapidamente encontrada: eles deram a todos um rastreador de fitness vestível. O que é medido é aprimorado! Não é? Para melhorar ainda mais, eles decidiram fazer uma competição entre várias equipes de escritório. Eles deveriam usar rastreadores de fitness e contar o número de etapas que eles fazem diariamente. A equipe com mais etapas vence.

Ótimo! Não é? Na prática, muitos participantes simplesmente conectaram seu rastreador a seus cães para brincar com o sistema e obter uma pontuação mais alta. O objetivo inicial foi alcançado? Não exatamente.

O ponto principal: de tempos em tempos, revise suas métricas para ver qual comportamento elas realmente induzem.

Falamos mais sobre o uso indevido de KPIs e compartilhamos mais casos neste artigo. Muitas vezes, o problema é mais profundo do que apenas uma métrica errada. É sempre uma boa ideia olhar para os padrões de comportamento (= cultura) que levam a consequências indesejadas.

11. Custo versus valor. Como diminuir o custo e aumentar o valor da medição?

Como foi mencionado antes, encontrar métricas de alto valor geralmente custa mais do que usar métricas de baixo valor. Aqui discutimos como maximizar o valor e controlar os custos.

11.1 O custo da medição

Falando sobre o custo da medição, as principais idéias são:

• Se você deseja controlar o custo, o primeiro passo é calculá-lo para os diferentes métodos de medição
• Quanto mais precisa for a medida, maior será o custo
• Você pode reduzir significativamente o custo da medição se pensar na medição com antecedência (consulte a Etapa 11.3 Mensurável por projeto).

11.2 O valor da medição

E o valor da medição? As pessoas tendem a se concentrar no que é mais fácil de medir. Por que alguém deveria se preocupar em medir a qualidade do suporte ao cliente (é preciso medir) quando é tão fácil rastrear a métrica “Tempo para resposta” ?!

Considere o custo da medição a partir do prisma do valor das partes interessadas.

• Qual métrica o aproximará de tornar suas partes interessadas mais felizes?
• Qual é o valor da medição?

11.3 Plano de controle. Torne os sistemas mensuráveis por design.

Imagine que você planeja participar de uma feira com seu produto. Como você estimaria o sucesso de sua participação?

As primeiras coisas que vêm à mente:

• Colete cartões de visita e coloque contatos no CRM
• Dê alguns cupons de desconto e rastreie-os mais tarde

Isso pode funcionar para uma organização menor, mas em empresas maiores, devido ao longo ciclo de decisão de compra, os resultados serão confusos ao longo do tempo.

Pergunta-chave a fazer: que mudanças você pode introduzir no seu sistema hoje para facilitar a medição dos resultados amanhã?

Com um exemplo de feira comercial: sugira a todos os participantes que passem em um teste de autoavaliação gratuito (automatize-o com um smartphone ou tablet). Aqueles que participaram serão seus clientes em potencial. Não apenas os resultados serão mais tangíveis, mas seus colegas de vendas terão melhores oportunidades para trabalhar.

12. Automação. Você será notificado se algo acontecer?

O último, mas não menos importante. Atualizar e rastrear suas métricas manualmente aumenta significativamente o custo da medição (consulte a Etapa 11).

Um software de pontuação profissional (como o nosso BSC Designer) pode ajudar a automatizar KPIs e facilitar sua vida (= diminuir os custos de medição). O software ajudará a:

• Configurar KPIs com uma escala, direção de otimização, unidades de medida, metas
• Calcule o desempenho em%, para comparar “dinheiro”, “visitantes / dia” e “minutos” no mesmo scorecard
• Acompanhe o KPI ao longo do período
• Visualize informações nos painéis e nos mapas de estratégia
• Configurar alertas para as métricas

Tudo bem se agora você usa o MS Excel, ele funciona muito bem no estágio de protótipo, mas quando a escala das mudanças de medição, obtenha uma ferramenta profissional. Ao procurar uma ferramenta KPI, verifique a diferença entre o software KPI e o software Balanced Scorecard.

Exemplos e perguntas

Aqui estão algumas sugestões para suas pesquisas adicionais:

• Encontre orientações adicionais no KPIs Q&As artigo aqui.
• No site bscdesigner.com, você encontrará exemplos específicos de scorecards de estratégia com alguns KPIs relevantes.

12 etapas vs. 10 etapas

Um ano após a apresentação do “Sistema de KPI das 12 etapas” (o artigo e o infográfico), escrevi o livro em que as 12 etapas foram reduzidas para apenas 10 etapas. Aqui está um breve comentário do livro “Sistema de KPIs de 10 etapas ” sobre os motivos dessa decisão:

A primeira versão formal do Sistema KPI apareceu em 2014. Ela incluía 10 etapas e um diagrama de uma página bonito que ajudava as equipes a debater casos difíceis. A versão seguinte incluía 12 etapas: as etapas adicionais eram uma formulação explícita das etapas de detalhamento, partes interessadas e contexto de negócios, mas muito em breve parecia que as três etapas separadas pareciam boas no papel, mas, na prática, elas não faziam sentido. No sistema KPI atual, você encontrará a Etapa 1 com uma introdução a esses três conceitos, todas as idéias de suporte são ilustradas pelos exemplos. Descobri que este formulário funciona muito melhor para os leitores.

O livro é uma análise muito detalhada do domínio KPI, das possíveis dificuldades e das maneiras de superá-las. Como um bônus para o livro, você encontrará uma versão para download do Modelo de KPI. Saiba mais sobre o livro …

Baixe modelo em PDF + exemplo

Modelo de KPI

Siga estas 12 etapas para criar um KPI perfeito.

Como definir um KPI

Aqui está um breve resumo do artigo que descreve as etapas para encontrar um KPI perfeito.

1. Definir o assunto da medição
2. Definir as partes interessadas envolvidas
3. Entenda os motivos da medição
4. Evite métricas fáceis de medir, mas de baixo valor
5. Encontre gargalos, entenda as métricas de tendência e de atraso
6. Planejar observações e experimentos
7. Configurar escala métrica, peso, fórmula de desempenho
8. Analisar o comportamento induzido

Seu feedback necessário!

Espero que, com a ajuda desse sistema, você reinvente seu scorecard e que em breve ele se torne sua ferramenta comercial favorita para uso diário. Por favor, compartilhe nos comentários:

• O que funcionou bem para você?
• O que pode ser melhorado?

Sinta-se livre para compartilhar seus pensamentos e fazer suas perguntas nos comentários.