Saiba mais sobre as melhores práticas para construir scorecards universitários e medir vários aspectos do desempenho com Indicadores-Chave de Desempenho (KPIs).
Tópicos principais:
- Um modelo básico de uma universidade
- Partes interessadas
- O contexto da medição
- Sistemas de classificação
- Quais KPIs outras universidades usam?
- Encontrando indicadores
- Desafios conhecidos
- Automação de software
Scorecard Universitário. Neste artigo, discutiremos o assunto e o propósito da medição, e o envolvimento das partes interessadas. Analisaremos os indicadores usados pela organização de classificação e as métricas que são populares nos painéis de controle das universidades. No final do artigo, oferecemos alguns modelos e exemplos de KPIs que podem ser usados para começar a construir um scorecard para a sua organização educacional.
Um modelo básico de uma universidade. Como funciona uma universidade?
Todas as organizações educacionais são diferentes: elas têm seus valores únicos e uma abordagem específica para o ensino. Mas, ao mesmo tempo, podemos encontrar algumas características comuns em qualquer universidade. Para efeito de discussão posterior, vamos começar construindo um modelo visual dos principais processos em uma universidade. De acordo com nossa experiência, esse passo ajuda a tornar a discussão sobre KPIs e estratégia mais eficiente. Se representado visualmente, o modelo se parece com isso:
Scorecard Universitário. Como pode ver, o mapa também inclui alguns indicadores de desempenho. Estes são os poucos KPIs “padrão” que aparecem na maioria dos scorecards universitários:
- Taxa de participação, %. O percentual de representação de determinado grupo da população entre os estudantes.
- Taxa de retenção, %. Estudantes retidos no estudo medidos de curso para curso.
- Taxa de graduação, %. A porcentagem dos estudantes que concluíram com sucesso sua qualificação.
- Resultados de emprego. Veja a seção “Indicadores de Ranking” para detalhes específicos.
Aqui e abaixo, para ilustrar algumas das ideias, usarei as capturas de tela do Scorecard Universitário criado com o BSC Designer. Este scorecard estará disponível para acesso público (veja os links no final do artigo). Você encontrará este mapa de processos na aba “Mapa estratégico” (certifique-se de alternar entre os mapas para acessar o mapa de processos correto).
As pessoas e os sistemas envolvidos. Partes interessadas.
Cujos interesses devemos levar em conta ao definir uma estratégia e um sistema de medição de desempenho para uma universidade?
O principal “cliente” é o estudante. Uma abordagem típica é dividir os estudantes em 3 grupos:
- Estudantes potenciais e suas famílias
- Estudantes atuais, e
- Ex-alunos
Outras partes interessadas:
- Corpo docente
- Pessoal profissional (inclui serviços de TI, RH, biblioteca, etc.)
- Reguladores e várias autoridades estaduais
- Futuros empregadores
- Membros da comunidade, parceiros, etc.
O contexto da medição. Qual é o propósito da medição?
Antes de iniciar uma jornada de medição de desempenho, pergunte a si mesmo estas duas questões:
- Por que precisamos de um scorecard ou dos KPIs?
- Que desafios eles nos ajudam (e às nossas partes interessadas) a resolver?
Para responder a essas perguntas, podemos revisar a lista de partes interessadas mais uma vez. Por definição, cada parte interessada terá algum interesse no assunto da medição. Apenas para citar alguns:
- Estudantes em potencial e suas famílias enfrentam o desafio de escolher a universidade. Eles precisam ter alguns padrões de referência, algum terreno comum para a comparação das universidades.
- O objetivo final dos estudantes é estar preparado para o futuro. Por exemplo, eles querem entender como seus cursos estão alinhados com o que é exigido pelo futuro empregador, e quais são suas chances de conseguir um bom emprego após a graduação.
- O pessoal profissional precisa se comparar mês a mês e melhorar; eles também precisam justificar um orçamento de gastos.
- Um sistema de avaliação adequado ajudará o corpo docente a melhorar, e ajudará a gestão a decidir sobre qualquer recompensa.
Ver mais sobre pesquisas e as formas de melhorá-las.
Iniciar com Indicadores dos Sistemas de Classificação Internacional e Doméstico
Agora temos o contexto para a medição sendo definida, e os candidatos para os KPIs são muito mais fáceis de encontrar.
Usar indicadores de ranking como um terreno comum
O próximo passo que eu recomendaria é revisar os padrões de medição que já existem em sua região. Eles são normalmente representados por várias organizações de ranking internacionais e nacionais:
College Scorecard do Departamento de Educação dos EUA permite encontrar escolas usando métricas como:
- Custo médio anual,
- Taxa de graduação,
- Salário após a conclusão
QS Top Universities também fornece algumas boas métricas para considerar:
- Reputação acadêmica
- Reputação entre empregadores
- Citações por docente
- Proporção de estudantes internacionais
- Ranking de empregabilidade
Em alguns casos, as métricas, os benchmarks e a respectiva metodologia de medição estão disponíveis publicamente. Por exemplo, a QS compartilha os detalhes sobre seus métodos para ranking geral, bem como para o ranking de empregabilidade.
Muitas universidades usam a posição em tais rankings como um dos indicadores de desempenho em seus painéis de controle.
Dois rankings mais reconhecidos são:
- THE (THE World University Rankings), e
- ARWU (Academic Ranking of World Universities)
No site do ARWU, é possível encontrar referências para outras classificações globais e nacionais.
O problema com indicadores usados para classificação
Por um lado, as métricas de classificação cumprem seu papel. Elas servem como uma base comum para o benchmarking; ajudam os estudantes potenciais a criar uma lista curta de universidades e ajudam as organizações de financiamento a apoiar suas decisões.
Por outro lado, uma universidade não é uma linha de produção. Métricas padrão não levam em conta muitos valores intangíveis. As métricas dos rankings são muito gerais e, como resultado, não são tão úteis para o processo de autoaperfeiçoamento mês a mês.
- Por exemplo, um índice de citação popular não é bem aceito em alguns países1, e isso faz todo sentido, pois a excelência em pesquisa e educação não deve ser contada apenas pelo número de publicações.
- Outro exemplo é a empregabilidade, que é uma das métricas-chave em países de língua inglesa, mas em outros países não é tão popular. Por exemplo, na Rússia 2 os indicadores de empregabilidade não são usados explicitamente nos painéis de controle das principais universidades.
Nesse ponto, a gestão precisa decidir sobre um sistema de gestão de desempenho sob medida que acompanhe as partes-chave da execução da estratégia de uma universidade.
Práticas comuns. Quais KPIs outras universidades usam?
Abaixo você encontrará referências aos estudos dos indicadores de desempenho no setor educacional. Por um lado, esses estudos nos dão uma ideia sobre quais métricas estão sendo usadas, por outro lado, confirmam que não existe uma estrutura comum de medição de desempenho para as universidades.
Indicadores compartilhados pela maioria das universidades
J.C. Burke e H.P. Minassians em seu estudo 3 revisaram relatórios de desempenho público das universidades e encontraram 158 indicadores de desempenho distintos. Entre esses indicadores, eles identificaram 8 indicadores que foram compartilhados por mais de 50% das organizações revisadas, estes 8 foram:
- Graduação,
- Matrícula,
- Pesquisa patrocinada,
- Transferências de estudantes,
- Mensalidade,
- Assistência financeira,
- Graus conferidos,
- Pontuações em testes de licenciamento
Áreas que são medidas pela maioria das universidades
Outra pesquisa foi realizada por Dawn Terkla 4. Ela analisou os painéis de controle de 66 faculdades e universidades e categorizou suas descobertas.
As áreas de medição mais populares (encontradas em mais de 50% dos painéis de controle) foram:
- Dados de doações e despesas, avanço, números de ajuda financeira
- Pontuações de admissões
- Números de matrículas, números de matrículas (populações especiais)
- Faculdade – Geral (como FTE de professores, % de professores com grau terminal)
- Taxas de graduação, taxas de retenção
- Engajamento estudantil
- Contato aluno/professor
Encontrar indicadores para scorecard universitário
Que indicadores as universidades devem usar então? A melhor ideia é projetar KPIs sob medida. Para apoiar este processo criativo, temos um sistema de 12 etapas para desafiar KPIs que qualquer pessoa pode usar. O exemplo abaixo demonstra uma abordagem que se pode usar para construir um scorecard para uma universidade.
Prepare as perspectivas para os indicadores
Ter uma longa lista de métricas não é suficiente para uma gestão de desempenho eficiente e eficaz. É importante:
- Alinhar essas métricas com metas e iniciativas específicas, e
- Mostrar como essas metas formam uma estratégia coerente.
Para esse propósito, muitas organizações com fins lucrativos usam as 4 perspectivas sugeridas pela abordagem do Balanced Scorecard. No caso das organizações educacionais, não há tal consenso. As universidades estão tentando capturar seus valores e estratégias únicas de várias maneiras, respectivamente os nomes das perspectivas variam.
Por exemplo, a Universidade de Greenwich em seu documento de Plano Estratégico 5 agrupou seus KPIs nas 4 perspectivas que farão muito sentido para a maioria das universidades:
- Educação (aprendizado e ensino excepcionais)
- Pesquisa (ser um centro de pesquisa de classe mundial e intercâmbio de conhecimento)
- Comunidade (apoiada por vários programas para os estudantes)
- Serviços (excelência em serviços e infraestrutura)
Outra opção popular é usar perspectivas derivadas do modelo MBQA (Prêmios de Qualidade Malcolm Baldrige) aplicadas à educação 6. Essas perspectivas podem ser formuladas como:
- Estratégica
- Orçamento
- Carreira
- Serviços de informação
Abaixo você encontrará minhas sugestões para as perspectivas. Se você está familiarizado com a abordagem do Balanced Scorecard, verá que os nomes são diferentes (alterados de acordo com as necessidades do domínio educacional), mas a lógica de causa e efeito ainda pode ser rastreada:
- Interesses das partes interessadas
- Aprendizado e ensino (metas relacionadas aos estudantes e ao corpo docente)
- Serviços internos (metas relacionadas aos serviços de apoio como TI, RH, Biblioteca, etc.)
- Construir comunidade (metas relacionadas ao relacionamento com ex-alunos e metas comunitárias em geral)
Qualquer que seja a abordagem que você prefira, certifique-se de que suas perspectivas não são apenas contêineres simples para os indicadores, mas ajudam a descrever a lógica de causa e efeito de sua estratégia (veja a seção Desafios conhecidos para mais detalhes).
Construir mapa estratégico com KPIs para uma universidade
As universidades precisam equilibrar suas estratégias entre os requisitos implícitos pelo financiamento, necessidades acadêmicas e comunitárias. Abaixo você encontrará um exemplo de mapa estratégico para uma universidade que pode ser usado como ponto de partida para criar seu próprio mapa estratégico.
University Scorecard. Missão: ampliar os horizontes dos estudantes. Ver mais sobre formulação de declaração de missão.
Interesses das partes interessadas
- Objetivo: Alinhar a estratégia com os interesses das partes interessadas
- Indicador de tendência: Acessibilidade (mensalidades e outras taxas comparadas com a renda média familiar)
- Indicador de resultado: Taxa de participação, % (o percentual de representação de determinado grupo da população entre os estudantes)
- Indicador de resultado: Ajuda financeira, financiamento, doações, etc.
Métricas adicionais que podem se encaixar nesta perspectiva:
- Percentual de receita de diferentes fontes, %
- Renda de pesquisa por FTE acadêmico
- Custo de pessoal como % do custo total
- Dólares alocados por matrícula FTE
Aprendizado e Ensino
- Meta: [Corpo Docente] Criar ambiente para o melhor corpo docente
- De tendência: Nível de satisfação, %
- De tendência: Proporção entre corpo docente e alunos (dados para benchmarking podem ser encontrados THE)
- De resultado: Corpo docente com doutorado, %
- De resultado: Número de publicações/citações por ETP acadêmico (número de publicações/citações de acordo com Web of Science e Scopus)
- Meta: [Estudantes] Estar bem preparado para desafios futuros
- De tendência: Tempo para graduação (alguns dados pelo National Center for Education Statistics para benchmarking)
- De tendência: Resultados de aprendizado
- De tendência: Taxa de graduação, % (a porcentagem dos estudantes que concluíram com sucesso sua qualificação)
- De resultado: Taxa de emprego de graduados (ou mais pragmático “Salário após conclusão”)
Scorecard Universitário. Indicadores adicionais:
- Número de ETP acadêmico
- Taxa de conclusão por grau (Bacharelado, Doutorado)
- Taxa de retenção de estudantes, % (medida de curso para curso)
- Percentual de estrangeiros entre os membros do corpo docente
- Percentual de estudantes estrangeiros
- Número de estudantes de pesquisa
Serviços internos
- Excelentes serviços e instalações;
- De tendência: Índice de condição dos equipamentos
- De resultado: Taxa de satisfação das instalações para estudantes e funcionários
- De resultado: Estudantes internacionais / Total de estudantes
- Construir sistemas que ajudem a autoaperfeiçoar-se;
- Indicador de tendência: Taxa de engajamento do corpo docente
- Indicador de resultado: Usuários ativos dos sistemas de medição de desempenho
- Indicador de resultado: A porcentagem de problemas recorrentes
- Proporcionar uma experiência acadêmica profissional e envolvente;
- Indicador de resultado: Satisfação dos estudantes com o apoio acadêmico
Construindo Comunidade
- Relação com ex-alunos. Construa relacionamento com ex-alunos para ajudar as novas gerações de estudantes com seus desafios.
- Indicador de resultado: Índice de engajamento dos ex-alunos (ex-aluno participou de eventos / ex-aluno alcançado)
- Indicador de tendência: O número de eventos para ex-alunos
- Indicador de tendência: Taxa de alcance, % (ex-aluno alcançado por qualquer meio de contato vs. número total de ex-alunos vivos)
Todos os indicadores podem ser desenvolvidos ainda mais. Por exemplo, mais detalhes podem ser adicionados aos indicadores de ex-alunos, como o perfil dos ex-alunos que responderam à mensagem enviada, que se inscreveram para eventos, que realmente participaram dos eventos, que se inscreveram para voluntariado, e realmente voluntariaram (falando em eventos, orientando estudantes, etc.), que se tornaram patrocinadores, etc. Faz sentido observar separadamente os ex-alunos nacionais e internacionais.
Assistente de Mapa Estratégico de IA
Peça à IA para construir um mapa estratégico profissional para a sua organização.
A formulação e descrição da estratégia podem ser demoradas, mesmo para um estrategista experiente. Este Assistente de Scorecard de Estratégia tornará todo o processo rápido e intuitivo.Desafios conhecidos
Usar perspectivas como contêineres simples para os indicadores
Um caso típico para muitos scorecards é quando as perspectivas funcionam apenas como contêineres para as métricas. Os scorecards universitários não são uma exceção: as perspectivas são frequentemente usadas para agrupar as métricas de desempenho em diferentes silos, mas não para explicar a lógica de causa e efeito.
Em muitos casos, a causa e efeito está implícita nas etapas iniciais da definição da estratégia, mas não está devidamente refletida no scorecard. Para evitar isso, visualize a lógica de causa e efeito diretamente no mapa estratégico.
Focando no que é fácil de medir, mas perdendo o que é importante
Em um típico painel de controle de uma universidade, há várias versões de métricas fáceis de medir, como “retenção de estudantes” e “taxas de graduação”, mas apenas alguns recursos difíceis de medir, como indicadores de “empregabilidade”.
Ao escolher novos indicadores, é preciso pensar sobre o custo e o valor da medição. Embora o custo de medir a empregabilidade seja alto, o valor para os futuros estudantes e outras partes interessadas também é significativo.
Abaixo discutimos como se pode fazer melhor nesses casos.
Pesquisas nos dão indicadores que são de resultado em sua natureza
Dê uma olhada nos indicadores no seu scorecard: detecte indicadores que são baseados em pesquisas com estudantes ou corpo docente. Esses indicadores têm alguns problemas potenciais:
- Ao realizar pesquisas, você está interagindo com o objeto de medição e influenciando o processo observado (princípio da incerteza de Heisenberg).
- Semelhante ao anterior: as perguntas da pesquisa estão sujeitas a diferentes interpretações, então os resultados podem ser ambíguos.
- A natureza de resultado das pesquisas dificulta o uso desses dados para melhorias de mês a mês.
A observação de direção é uma alternativa
Uma forma alternativa de aprender sobre o desempenho seria usar a observação (veja o Passo 6 do sistema de 12 passos para desafiar KPIs 7).
Vamos tomar o serviço de biblioteca como exemplo. Além das pesquisas anuais, pode-se usar dados que já estão nos sistemas de TI e acompanhar o uso real dos serviços da biblioteca e sua usabilidade para os alunos (em tempo real). As métricas neste caso serão semelhantes às que os webmasters acompanham para melhorar sua presença no Google.
University Scorecard. Um exemplo de como várias abordagens podem ser combinadas
Um bom exemplo de conjunto equilibrado de KPIs para uma biblioteca é o Quadro Estratégico da Biblioteca de Warwick. Eles têm alguns indicadores baseados em pesquisa, como:
- Taxas de satisfação dos estudantes do último ano
- Taxas de satisfação dos pesquisadores de pós-graduação
E eles também têm algumas métricas baseadas no uso:
- Visualizações de páginas do site
- Número de arquivos recuperados
- Disponibilidade de listas de leitura
Induzindo comportamento errado ao enfatizar o foco em certos indicadores
Usamos indicadores para melhorar, não para piorar as coisas, mas às vezes, em vez de ajudar a alcançar os resultados desejados, os indicadores induzem a algum comportamento inesperado.
Aqui está um exemplo:
- As autoridades reguladoras começam a pressionar uma universidade para melhorar os indicadores de retenção e graduação com a ideia de que os indicadores mencionados serão melhorados ao melhorar a qualidade da educação e dos serviços.
- As universidades, por sua vez, responderam estabelecendo padrões de admissão mais elevados.
As taxas de graduação melhoraram, mas a razão da mudança não foi a melhoria na qualidade da educação.
Anteriormente, discutimos uma situação semelhante de uso indevido de indicadores em um ambiente de negócios, acredito que algumas conclusões desse artigo funcionarão para os scorecards universitários também.
Alinhando estratégias de diferentes níveis da organização
O scorecard criado para a gestão da universidade fará menos sentido para outros níveis da estrutura organizacional. Por exemplo, as bibliotecas das universidades devem ter seu próprio scorecard e respectivos indicadores de desempenho.
É importante ter uma ideia clara de como diferentes scorecards se apoiam mutuamente. Você pode ver mais sobre as maneiras de fazer isso no artigo “Cascading/Alinhamento“.
Exemplos de implementação
Abaixo estão exemplos de implementação de estratégia compartilhados por usuários da plataforma BSC Designer.
Fazer Automação de Software nas Primeiras Etapas
Em termos de automação de software no domínio educacional, vemos uma tendência positiva. Muitas universidades começaram a usar software profissional com o objetivo de construir mapas estratégicos e acompanhar KPIs. Entre nossos usuários, vemos mais universidades da Ásia, América Latina e Oriente Médio.
Se você é um profissional da educação, então convidamos você a se inscrever em um plano gratuito no BSC Designer Online.
Para facilitar seu início, sugerimos que você use o modelo de Scorecard Universitário (com mapa estratégico e KPIs) que foi discutido neste artigo e que está publicamente disponível (veja os links no final do artigo).
A equipe do BSC Designer está interessada em conhecer sua história, sinta-se à vontade para compartilhar suas descobertas nos comentários.
Use o modelo University Scorecard
O BSC Designer ajuda as organizações a implementarem suas estratégias complexas:
- Inscreva-se para um plano gratuito na plataforma.
- Use o modelo
University Scorecard como ponto de partida. Você o encontrará em Novo > Novo Scorecard > Mais Modelos. - Siga o nosso Sistema de Implementação de Estratégia para alinhar as partes interessadas e ambições estratégicas em uma estratégia abrangente.
Comece hoje e veja como o BSC Designer pode simplificar a implementação da sua estratégia!
- Anderson, A. (1991). No citation analyses please, we’re British. Science, 252(5006), 639. ↩
- E.V. Luneva, Key Performance Indicators (KPI) System in Education, Asian Social Science; Vol. 11, No. 8; 2015, Canadian Center of Science and Education ↩
- J.C. Burke, H. P. Minassians, The new accountability: From regulation to results. New Directions for Institutional Research, 2002 ↩
- D. Terkla, Os indicadores de desempenho mais comuns para instituições e seus conselhos, Trusteeship Magazine, Janeiro/Fevereiro, 2011 ↩
- University of Greenwich, Strategic Plan 2012–17: Summary ↩
- M. Arif, (2007) “Baldrige theory into practice: a generic model”, International Journal of Educational Management, Vol. 21 Iss: 2, pp.114 – 125 ↩
- A. Savkin, 12 Steps System for the Most Challenging Metrics and KPIs, 2016, bscdesigner.com ↩
Alexis Savkin é um Arquiteto de Implementação de Estratégia e fundador do BSC Designer, uma plataforma de software para execução de estratégia e Balanced Scorecard. Ele ajuda organizações a automatizar a gestão de desempenho e a transformar a estratégia em resultados mensuráveis. Alexis é o criador do “Strategy Execution Canvas”, autor de mais de 100 artigos sobre estratégia e medição de desempenho e palestrante regular em eventos do setor.