Um exemplo de scorecard de universidade com indicadores específicos

Aprenda sobre as melhores práticas para criar scorecards de universidades e medir vários aspectos do desempenho com os principais indicadores de desempenho (KPIs).

Tópicos chave:

• A Modelo Básico de uma Universidade
• Partes interessadas
• O Contexto da Medição
• Sistemas de classificação
• Quais KPIs são usados por outras universidades?
• Localizando indicadores
• Desafios conhecidos
• Automação com software

Fonte: Scorecard da Universidade.

Neste artigo, discutiremos o assunto, o objetivo da medição e o envolvimento das partes interessadas. Analisaremos os indicadores usados pela organização de classificação e as métricas populares nos painéis das universidades. No final do artigo, apresentamos alguns modelos e exemplos de KPIs que podemos usar para começar a criar um scorecard para sua organização educacional.

Um modelo básico de uma universidade. Como funciona uma universidade?

Todas as organizações educacionais são diferentes: Elas têm seus valores únicos e uma abordagem específica ao ensino. Mas, ao mesmo tempo, podemos encontrar alguns recursos comuns em qualquer universidade. Para uma discussão mais aprofundada, vamos começar com a construção de um modelo visual dos principais processos em uma universidade. De acordo com nossa experiência, essa etapa ajuda a tornar mais eficiente a discussão sobre KPIs e estratégia. Se representado visualmente, o modelo fica assim:

Fonte: Scorecard da Universidade.

Como você pode ver, o mapa também inclui alguns indicadores de desempenho. Estes são os poucos KPIs “padrão” que aparecem na maioria dos Scorecard da Universidades:

• Taxa de participação, %. A porcentagem de representação de determinado grupo da população entre os estudantes.
• Taxa de retenção, %. Estudantes retidos no estudo, medidos de um curso para outro.
• Taxa de graduação, %. A porcentagem de alunos que concluíram sua qualificação com sucesso.
• Resultados do emprego. Consultar a seção “Indicadores de classificação” para obter detalhes específicos.

Aqui e abaixo, para ilustrar algumas das idéias, usarei as capturas de tela do Scorecard da Universidade criadas com o BSC Designer. Este scorecard estará disponível para acesso público (consulte os links no final do artigo). Você encontrará esse mapa de processo na guia “Mapa de estratégia” (certifique-se de alternar entre mapas para acessar o mapa de processo correto).

As pessoas e os sistemas envolvidos. Partes interessadas.

Quais interesses devemos levar em consideração quando um sistema definidor de estratégia e medição de desempenho para uma universidade?

O principal “cliente” é um estudante. Uma abordagem típica é dividir os alunos em 3 grupos:

• Alunos em potencial e suas famílias
• Alunos atuais e
• Alunos

Outras partes interessadas:

• Equipe acadêmica
• Equipe profissional (inclui serviços de TI, RH, biblioteca etc.)
• Reguladores e várias autoridades estaduais
• Futuros empregadores
• Membros da comunidade, parceiros, etc.

O contexto da medição. Qual é o objetivo da medição?

Antes de iniciar uma jornada de medição de desempenho, faça estas duas perguntas:

• Por que precisamos de um scorecard ou dos KPIs?
• Quais desafios eles nos ajudam (e nossos stakeholders) a resolver?

Para responder a essas perguntas, podemos revisar a lista de partes interessadas mais uma vez. Por definição, cada parte interessada terá algum interesse no assunto da medição. Apenas para citar alguns:

• Os futuros alunos e suas famílias enfrentam o desafio de escolher a universidade. Eles precisam ter alguns benchmarks, alguns pontos em comum para a comparação das universidades.
• O objetivo final dos alunos é estar preparado para o futuro. Por exemplo, eles querem entender como seus cursos estão alinhados com o que é exigido pelo futuro empregador e quais são suas chances de conseguir um bom emprego após a graduação.
• Os profissionais precisam se comparar mês a mês e melhorar; eles também precisam justificar um orçamento de gastos.
• Um sistema de avaliação adequado ajudará a equipe acadêmica a melhorar e ajudará a gerência a decidir sobre qualquer recompensa.

Saiba mais sobre pesquisas e as maneiras de melhorá-las.

Comece com indicadores dos sistemas de classificação internacional e doméstico

Agora temos o contexto para a medição sendo definida e os candidatos aos KPIs são muito mais fáceis de encontrar.

Usando indicadores de classificação como um terreno comum

O próximo passo que eu recomendaria é revisar os padrões de medição que já existem em sua região. Eles são normalmente representados por várias organizações internacionais e nacionais de classificação:

O Scorecard da faculdade do Departamento de Educação dos EUA permite encontrar escolas usando métricas como:

• Custo médio anual,
• Taxa de graduação,
• Salário depois de participar

O QS das principais universidades também fornece algumas boas métricas para analisar:

• Reputação acadêmica
• Reputação do empregador
• Citações por corpo docente
• Relação de estudantes internacionais
• Classificação da empregabilidade

Em alguns casos, as métricas, benchmarks e a respectiva metodologia de medição estão disponíveis publicamente. Por exemplo, o QS compartilha os detalhes sobre seus métodos para a classificação geral, bem como para a a classificação da empregabilidade.

Muitas universidades usam a posição em classificações como um dos indicadores de desempenho em seus painéis.

Mais duas classificações reconhecidas são:

• THE (Ranking Mundial das Universidades) e
• ARWU (Ranking Acadêmico das Universidades do Mundo)

No site da ARWU, é possível encontrar referências a outras classificações globais e nacionais.

O problema com os indicadores usados para classificação

Por um lado, as métricas de classificação fazem seu trabalho. Eles servem como um terreno comum para o benchmarking; eles ajudam os futuros alunos a pré-selecionar universidades e ajudam as organizações de financiamento a apoiar sua decisão.

Por outro lado, uma universidade não é uma linha de produção. As métricas padrão não levam em consideração muitos valores intangíveis. As métricas das classificações são muito gerais e, como resultado, não são tão úteis para o processo de auto-aperfeiçoamento mês a mês.

• Por exemplo, um índice de citação popular não é bem aceito em alguns países ¹, e faz todo o sentido, pois a excelência em pesquisa e educação não deve ser contada apenas pelo número de publicações.
• Outro exemplo é a empregabilidade, embora seja uma das principais métricas nos países de língua inglesa, mas em outros países não é tão popular. Por exemplo, na Rússia ² os indicadores de empregabilidade não são explicitamente usados nos painéis das principais universidades.

Nesse ponto, a gerência precisa decidir sobre um sistema de gerenciamento de desempenho personalizado que rastreie as principais partes da execução da estratégia de uma universidade.

Práticas comuns. Quais KPIs são usados por outras universidades?

Abaixo, encontrará referências aos estudos dos indicadores de desempenho no setor educacional. Por um lado, esses estudos nos dão uma idéia sobre quais métricas estão sendo usadas, por outro lado, confirmam que não há uma estrutura de medição de desempenho comum para as universidades.

Indicadores compartilhados pela maioria das universidades

J.C. Burke e H.P. Minassianos em seu estudo ³ revisou os relatórios públicos de desempenho das universidades e encontrou 158 indicadores distintos de desempenho. Entre esses indicadores, eles encontraram 8 indicadores que foram compartilhados por mais de 50% das organizações revisadas, aqueles 8 foram:

• Graduação,
• Inscrição,
• Pesquisa patrocinada,
• Transferências de estudantes,
• Ensino,
• Ajuda financeira,
• Graus concedidos,
• Pontuações nos testes de licença

Áreas medidas pela maioria das universidades

Outra pesquisa foi realizada por Dawn Terkla ⁴. Ela analisou os painéis de 66 faculdades e universidades e categorizou suas descobertas.

As áreas de medição mais populares (encontradas em mais de 50% dos painéis) foram:

• Dados de dotações e despesas, adiantamento, valores de ajuda financeira
• Pontuações de admissões
• Números de inscrição, números de inscrição (populações especiais)
• Faculdade-Geral (como Faculdade FTE,% de professores com diploma terminal)
• Taxas de graduação, taxas de retenção,
• Engajamento dos alunos
• Contato do aluno/faculdade

Localizando indicadores para o Scorecard da Universidade

Quais indicadores as universidades devem usar então? A melhor idéia é projetar KPIs personalizados. Para apoiar esse processo criativo, temos um sistema de 12 etapas para desafiar KPIs que qualquer pessoa pode usar. O exemplo abaixo demonstra uma abordagem que pode ser usada para criar um scorecard para uma universidade.

Preparar perspectivas para os indicadores

Ter uma longa lista de métricas não é suficiente para um gerenciamento de desempenho eficiente e eficaz. É importante:

• Alinhar essas métricas a metas e iniciativas específicas e
• Mostrar como esses objetivos formam uma estratégia coerente.

Para esse fim, muitas organizações com fins lucrativos usam as 4 perspectivas sugeridas pela abordagem do Balanced Scorecard. No caso das organizações educacionais, não existe tal acordo. As universidades estão tentando capturar seus valores e estratégias exclusivos de várias maneiras, respectivamente, os nomes das perspectivas variam.

Por exemplo, a Universidade de Greenwich em seu documento do Plano Estratégico ⁵ agruparam seus KPIs nas 4 perspectivas que farão muito sentido para a maioria das universidades:

• Educação (excelente aprendizado e ensino)
• Pesquisa (sendo um centro de pesquisa e troca de conhecimento de classe mundial)
• Comunidade (suportada por vários programas para os estudantes)
• Serviços (excelência em serviços e infraestrutura)

Outra opção popular é usar perspectivas derivadas do modelo MBQA (Malcolm Baldrige Quality Awards) aplicado à educação ⁶. Essas perspectivas podem ser formuladas como:

• Estratégico
• Orçamento
• Carreira
• Serviços de informação

Abaixo você encontrará minhas sugestões para as perspectivas. Se você estiver familiarizado com a abordagem do Balanced Scorecard, descobrirá que os nomes deles são diferentes (alterados de acordo com as necessidades do domínio educacional), mas a lógica de causa e efeito ainda pode ser rastreada:

• Interesses das partes interessadas
• Aprendizagem e ensino (objetivos relacionados aos alunos e equipe acadêmica)
• Serviços internos (metas relacionadas aos serviços de suporte, como TI, RH, Biblioteca, etc.)
• Construir comunidade (objetivos relacionados à construção de relacionamento com ex-alunos e objetivos da comunidade em geral)

Seja qual for a abordagem preferida, verifique se suas perspectivas não são apenas simples contêineres para os indicadores, mas ajudam a descrever a lógica de causa e efeito de sua estratégia (consulte a seção Desafios conhecidos para obter mais detalhes).

Criando um mapa estratégico com KPIs para uma universidade

As universidades precisam equilibrar suas estratégias entre os requisitos implícitos no financiamento, nas necessidades acadêmicas e na comunidade. Abaixo, você encontrará um exemplo de um mapa estratégico para uma universidade que pode ser usado como ponto de partida para criar seu próprio mapa estratégico.

Fonte: Scorecard da Universidade.

Missão: Ampliar os horizontes dos alunos. Saiba mais sobre formular uma declaração de missão.

Interesses das partes interessadas

• Objetivo: Alinhar estratégia com os interesses das partes interessadas
  • Indicador de tendência: acessibilidade (mensalidades e outras taxas em comparação com a renda familiar média)
  • Indicador de resultado: taxa de participação, % (a porcentagem de representação de determinado grupo de população entre os estudantes)
  • Indicador de resultado: ajuda financeira, financiamento, doações etc.

Métricas adicionais que podem se encaixar nessa perspectiva:

• Porcentagem de receita de diferentes fontes,%
• Renda de pesquisa por ETI acadêmica
• Custo da equipe como % do custo total
• Dólares alocados por inscrição em ETI

Aprendizagem e Ensino

• Objetivo: [Equipe Acadêmica] Criar um ambiente para a melhor equipe acadêmica
  • Tendência: Nível de satisfação, %
  • Tendência: Proporções de funcionários/alunos acadêmicos (os dados para benchmarking podem ser encontrados THE)
  • Resultado: Equipe acadêmica com doutorado, %
  • Resultado: Número de publicações/citações por FTE acadêmico (número de publicações/citações de acordo com Web of Science e Scopus)

• Objetivo: [Alunos] Estar bem preparados para desafios futuros
  • Tendência: Tempo para graduação (alguns dados pelo Centro Nacional de Educação Estatísticas para avaliação comparativa)
  • Tendência: Resultados de aprendizagem
  • Tendência: Taxa de graduação, % (a porcentagem de alunos que concluíram sua qualificação com êxito)
  • Resultado: Taxa de emprego de pós-graduação (ou “salário mais pragmático após a participação”)

Fonte: Scorecard da Universidade.

Additional indicators:

• Número de FTE acadêmicos
• Taxa de conclusão por grau (Bacharelado, PhD)
• Taxa de retenção de alunos, % (medida de curso para curso)
• Porcentagem de professores estrangeiros
• Porcentagem de estudantes estrangeiros
• Número de estudantes de pesquisa

Serviços Internos

• Excelentes serviços e instalações;
  • Tendência: Índice de condição do equipamento
  • Resultado: Taxa de satisfação dos alunos e das instalações da equipe
  • Resultado: Estudantes internacionais/total de alunos
• Construr sistemas que ajudem a melhorar a si próprio;
  • Indicador de tendência: Taxa de engajamento do corpo docente
  • Indicador de resultado: Usuários ativos dos sistemas de medição de desempenho
  • Indicador de resultado: A porcentagem de problemas retornados
• Proporcionar experiência acadêmica profissional e envolvente;
  • Indicador de resultado: Satisfação do aluno com apoio acadêmico

Construindo a Comunidade

• Relacionamento com ex-alunos. Crie um relacionamento com ex-alunos para ajudar as novas gerações de alunos com seus desafios.
  • Indicador de resultado: Índice de envolvimento de ex-alunos (o aluno participou de eventos)
  • Indicador de tendência: O número de eventos para ex-alunos
  • Indicador de tendência: Taxa de alcance, % (aluno alcançado por meio de qualquer média de contato x número total de alunos vivos)

Todos os indicadores podem ser desenvolvidos. Por exemplo, mais detalhes podem ser adicionados aos indicadores de ex-alunos, por exemplo, criar um perfil de ex-aluno para quem respondeu à mensagem enviada, quem se inscreveu em eventos, quem realmente participou dos eventos, quem se inscreveu para ser voluntário e realmente se ofereceu como voluntário (falando sobre eventos, orientando alunos, etc.), que se tornou um patrocinador, etc. Faz sentido olhar separadamente para os alunos nacionais e internacionais.

Strategy Map Wizard – Balanced Scorecard em 6 Minutos

Responda a perguntas simples – crie um mapa estratégico profissional em 6 minutos.

A formulação e descrição de estratégias pode ser um projeto demorado até mesmo para um estrategista experiente. Este Assistente do Scorecard Estratégico tornará o processo rápido e intuitivo.

Comece agora!

Desafios Conhecidos

Uso de perspectivas como recipientes simples para os indicadores

Um caso típico para muitos scorecards é quando as perspectivas funcionam apenas como contêineres para as métricas. O Scorecard da Universidades não é uma exceção: as perspectivas são frequentemente usadas para agrupar as métricas de desempenho em diferentes silos, mas não para explicar a lógica de causa e efeito.

Em muitos casos, a causa e efeito está implícita nos estágios anteriores da definição da estratégia, mas não é refletida adequadamente no scorecard. Para evitar isso, visualize a lógica de causa e efeito diretamente no mapa de estratégia.

Focando no que é fácil de medir, mas perdendo o que é importante

Em um painel típico de uma universidade, existem várias versões de métricas fáceis de medir, como “retenção de alunos” e “taxas de graduação”, mas apenas alguns recursos difíceis de medir indicadores de “empregabilidade”.

Ao escolher novos indicadores, é preciso pensar no custo e no valor da medição. Embora o custo de medir a empregabilidade seja alto, o valor para os futuros alunos e outras partes interessadas também é significativo.

A seguir, discutiremos como se pode fazer melhor nesses casos.

Pesquisas nos dão indicadores que estão atrasados em sua natureza

Dê uma olhada nos indicadores em seu scorecard: detecte indicadores baseados em pesquisas de alunos ou professores. Esses indicadores têm alguns problemas em potencial:

• Ao realizar pesquisas, você está interagindo com o assunto da medição e influencia o processo observado (princípio da incerteza de Heisenberg).
• Semelhante à pergunta anterior: as perguntas da pesquisa estão sujeitas a diferentes interpretações, portanto os resultados podem ser ambíguos.
• A natureza tardia das pesquisas dificulta o uso desses dados para aprimoramento mês a mês.

Observação de direção é uma alternativa

Uma maneira alternativa de aprender sobre o desempenho seria usar a observação (consulte o sistema da Etapa 6 de 12 etapas para desafiar os KPIs ⁷).

Vamos usar o serviço de biblioteca como exemplo. Além das pesquisas anuais, é possível usar dados que já existem nos sistemas de TI e rastrear o uso real dos serviços de biblioteca e sua usabilidade para os alunos (em tempo real). As métricas nesse caso serão semelhantes às que os webmasters controlam para melhorar sua presença no Google.

Fonte: Scorecard da Universidade.

Um exemplo de como várias abordagens podem ser combinadas

Um bom exemplo de conjunto equilibrado de KPIs para uma biblioteca é o Quadro Estratégico da Biblioteca Warwick. Eles têm alguns indicadores baseados em pesquisas como:

• Taxas de satisfação dos alunos do último ano
• Taxas de satisfação de pesquisadores de pós-graduação

E eles também têm algumas métricas baseadas no uso:

• Exibições de página do site
• Número de arquivos recuperados
• Disponibilidade das listas de leitura

Induzindo comportamento errado, enfatizando o foco em determinados indicadores

Usamos indicadores para melhorar, não para piorar as coisas, mas, às vezes, em vez de ajudar a alcançar os resultados desejados, os indicadores induzem um comportamento inesperado.

Aqui está um exemplo:

• As autoridades reguladoras começam a pressionar a universidade para melhorar os indicadores de retenção e graduação, com a idéia de que os indicadores mencionados serão aprimorados com a melhoria da qualidade da educação e dos serviços.
• As universidades, por sua vez, responderam estabelecendo padrões de admissão mais altos.

As taxas de graduação melhoraram, mas o motivo da mudança não é a melhoria da qualidade da educação.

Antes, discutimos uma situação semelhante de indicadores de uso indevido em um ambiente de negócios, acredito que algumas descobertas desse artigo serão também trabalha para o Scorecard da Universidades.

Alinhando estratégias de diferentes níveis da organização

O scorecard criado para a administração da universidade fará menos sentido para outras alavancas da estrutura organizacional. Por exemplo, as bibliotecas das universidades devem ter seu próprio scorecard e respectivos indicadores de desempenho.

É importante ter uma ideia clara sobre como diferentes scorecards se apoiam. Você pode aprender mais sobre as maneiras de fazer isso no artigo “ Cascata / alinhamento“.

Implementa software em estágios iniciais

Em termos de automação de software no domínio educacional, vemos uma tendência positiva. Muitas universidades começaram a usar software profissional com o objetivo de criar mapas estratégicos e rastrear KPIs. Entre nossos usuários, vemos mais universidades da Ásia, América Latina e Oriente Médio.

Se você é um profissional da educação, convidamos você a se inscrever com um plano gratuito no BSC Designer Online.

Para facilitar o seu início, sugerimos que você use o modelo de Scorecard da Universidade (com mapa estratégico e KPIs) discutido neste artigo e que esteja disponível ao público (consulte os links no final do artigo).
A equipe do BSC Designer está interessada em aprender sua história, fique à vontade para compartilhar suas descobertas nos comentários.

O que se segue?

• Modelos de acesso. Registe-se com um plano grátis na BSC Designer para ter acesso imediato a 31 modelos de scorecards, incluindo o Scorecard da Universidade discutido neste artigo.
• Competências Chave. Veja gratuitamente o tutorial em vídeo para a Balanced Scorecard. Domine as suas competências de planeamento e execução de estratégias com a formação Execução Estratégica.
• Automatizar. Aprenda o que o software Balanced Scorecard é e como pode facilitar a sua vida, automatizando a execução de estratégias, KPIs e mapas de estratégia.

Mais exemplos do Balanced Scorecard

Alexis Savkín

CEO | Palestrante | Autor

A BSC Designer é um software de Balanced Scorecard que está a ajudar as empresas a melhor formularem as suas estratégias e a tornarem o processo de execução da estratégia mais tangível com KPIs.