Un Ejemplo de un Cuadro de Mando Universitario con KPIs Específicos

Conozca las mejores prácticas para la creación de cuadros de mando universitarios y la medición de diversos aspectos del rendimiento con indicadores clave de rendimiento (KPIs).

En este artículo, vamos a discutir el tema y el propósito de la medición, y la participación de las partes interesadas. Analizaremos los indicadores que son utilizados por la organización de clasificación y las mediciones que son populares en los cuadros de mando de las universidades. Al final del artículo damos algunas plantillas y ejemplos de los KPIs que pueden ser usados para comenzar a construir un cuadro de mando para su organización educativa.

Fuente: Cuadro de mando universitario.

Un modelo básico de una universidad. ¿Cómo funciona una universidad?

Todas las organizaciones educativas son diferentes: tienen sus valores únicos y un enfoque específico de la enseñanza. Pero al mismo tiempo, podemos encontrar algunas características comunes en cualquier universidad. Para un debate adicional, comencemos con la construcción de un modelo visual de los principales procesos en una universidad. Según nuestra experiencia, este paso ayuda a hacer más eficiente la discusión sobre los KPIs y la estrategia. Si se representa visualmente, el modelo se ve así:

Fuente: Cuadro de mando universitario.

Como usted puede ver, el mapa también incluye algunos indicadores de rendimiento. Estos son los pocos KPIs «estándar» que aparecen en la mayoría de los cuadros de mando universitarios:

• Tasa de participación, %. Porcentaje de representación de cierto grupo de la población entre los estudiantes.
• Tasa de retención, %. Estudiantes retenidos en el estudio según la medición de curso a curso.
• Tasa de graduación, %. El porcentaje de estudiantes que han completado con éxito su formación.
• Resultados del empleo. Consulte la sección «Indicadores de clasificación» para obtener detalles específicos.

Aquí y abajo, para ilustrar algunas de las ideas usaré las capturas de pantalla del cuadro de mando de la Universidad creado con BSC Designer. Este cuadro de mando estará disponible para acceso público (ver los enlaces al final del artículo). Encontrará este mapa de procesos en la pestaña «Mapa de estrategias» (asegúrese de cambiar entre mapas para acceder al mapa de procesos correcto).

Las personas y los sistemas involucrados. Interesados.

¿Cuáles son los intereses que debemos tener en cuenta al definir una estrategia y un sistema de medición del desempeño para una universidad?

El «cliente» principal es un estudiante. Un enfoque típico es dividir a los estudiantes en 3 grupos:

• Estudiantes potenciales y sus familias
• Estudiantes actuales y
• Exalumnos

Otras partes interesadas:

• Personal académico
• Personal profesional (incluye servicios de TI, recursos humanos, biblioteca, etc.)
• Reguladores y diversas autoridades estatales
• Futuros empleadores
• Miembros de la comunidad, socios, etc.

El contexto de medición. ¿Cuál es el propósito de la medición?

Antes de iniciar un proceso de medición del rendimiento, hágase estas dos preguntas:

• ¿Por qué necesitamos un cuadro de mando o los KPIs?
• ¿Qué desafíos nos ayudan a resolver (y a nuestras partes interesadas)?

Para responder a estas preguntas, podemos revisar la lista de partes interesadas una vez más. Por definición, cada parte interesada tendrá cierto interés en el tema de la medición. Sólo para nombrar unos pocos:

• Los estudiantes potenciales y sus familias, se enfrentan a un reto de elegir la universidad. Ellos necesitan tener algunos puntos de referencia, algo de fundamento común para la comparación de las universidades.
• El objetivo final de los estudiantes es estar preparados para el futuro. Por ejemplo, ellos quieren entender cómo sus cursos están alineados con lo que requiere el futuro empleador, y cuáles son sus posibilidades de obtener un buen empleo después de la graduación.
• El personal profesional necesita compararse a sí mismos mes a mes y mejorar; ellos también necesitan justificar un presupuesto de gastos.
• Un sistema de evaluación adecuado ayudará al personal académico a mejorar , y ayudará a la gerencia a decidir sobre cualquier incentivo.

Empezar con indicadores de los sistemas de clasificación internacionales y domésticos

Ahora tenemos el contexto que se está definiendo para la medición, y los candidatos para los KPIs son mucho más fáciles de encontrar.

Usar los indicadores de clasificación como una base común

El siguiente paso que recomendaría es revisar los estándares de medición que ya existen en su región. Normalmente están representados por varias organizaciones de clasificación internacional y nacional:

College Scorecard por el Departamento de Educación de los Estados Unidos que permite que uno encuentre escuelas usando mediciones tales como:

• Costo promedio anual,
• Tasa de graduación,
• Salario después de asistir

Top Universities QS también proporcionan algunas buenas mediciones para ver:

• Reputación académica
• Reputación del empleador
• Citas por facultad
• Tasa de estudiantes internacionales
• Clasificación de empleabilidad

En algunos casos, las métricas, puntos de referencia y la respectiva metodología de medición están disponibles públicamente. Por ejemplo, QS comparte los detalles acerca de sus métodos para clasificación general, así como para la clasificación de empleabilidad.

Muchas universidades utilizan la posición en tales clasificaciones como uno de los indicadores de rendimiento en sus cuadros de mando.

Las dos clasificaciones más reconocidas son:

• THE (La Clasificación Universitaria Mundial), y
• ARWU (Clasificación Académica de Universidades del Mundo)

En el sitio web de ARWU se pueden encontrar Referencias a otras clasificaciones globales y nacionales.

El problema con los indicadores utilizados para la clasificación

Por un lado las mediciones de calificación hacen su trabajo. Sirven de base común para la evaluación comparativa; ayudan a los futuros estudiantes a seleccionar las universidades y ayudan a las organizaciones financiadoras a apoyar su decisión.

Por otra parte, una universidad no es una línea de producción. Las mediciones estándar no tendrán en cuenta muchos valores intangibles. Las mediciones de las clasificaciones son demasiado generales y como resultado no son útiles para el proceso de auto mejora mes a mes.

• Por ejemplo, un popular índice de cita no es bien aceptado en algunos países ¹, y tiene perfecto sentido, ya que la excelencia en la investigación y la educación no debe ser considerada sólo por el número de publicaciones.
• Otro ejemplo es empleabilidad, si bien es una de las principales mediciones en los países de habla inglesa, pero en otros países no es tan popular. Por ejemplo, en Rusia ² los indicadores de empleabilidad no se utilizan explícitamente en los paneles de las mejores universidades.

En ese punto, la gerencia necesita decidir sobre un sistema de gestión del desempeño a medida que haría seguimiento a las partes principales de la ejecución de la estrategia de una universidad.

Prácticas comunes. ¿Qué KPIs utilizan otras universidades?

A continuación usted encontrará referencias de los estudios a los indicadores de desempeño en el sector educativo. Por un lado, estos estudios nos dan una idea sobre qué mediciones se están utilizando, por otro lado, confirman que no existe un marco común de medición del desempeño para las universidades.

Indicadores compartidos por la mayoría de las universidades

J.C. Burke y H.P. Minassianos en su estudio ³ revisó los informes públicos de desempeño de las universidades y encontró 158 indicadores de desempeño distintos. Entre esos indicadores se han encontrado 8 indicadores que fueron compartidos por más del 50% de las organizaciones revisadas, los 8 indicadores fueron:

• Graduación,
• Inscripción,
• Investigación patrocinada,
• Transferencias de alumnos,
• Matrícula,
• Ayuda económica,
• Grados otorgados,
• Resultados de las pruebas de licenciatura

Áreas que se miden en la mayoría de las universidades

Otra investigación fue realizada por Dawn Terkla ⁴. Ella analizó los paneles de 66 colegios y universidades y categorizó sus descubrimientos.

Las áreas de medición más populares (encontradas en más del 50% de los cuadros de mando) fueron:

• Dotación & datos de gastos, avance, figuras de ayuda financiera
• Puntuaciones de admisión
• Cifras de matriculación, cifras de inscripción (poblaciones especiales)
• Facultad-General (como Facultad FTE, % de profesores con grado válido)
• Tasas de Graduación, Tasas de Retención,
• Participación del estudiante
• Contacto Estudiante/Facultad

Búsqueda de indicadores para el cuadro de mando universitario

¿Qué indicadores deberían entonces usar las universidades? La mejor idea es diseñar KPIs a la medida. Para apoyar este proceso creativo tenemos un sistema de 12 pasos para desafiar los KPIs que cualquiera puede usar. El siguiente ejemplo muestra un enfoque que se puede utilizar para construir un cuadro de mando para una universidad.

Preparar perspectivas para los indicadores

Tener una larga lista de mediciones no es suficiente para una gestión eficiente y eficaz del rendimiento. Es importante:

• Alinear esas métricas con metas e iniciativas específicas, y
• Mostrar cómo estos objetivos forman una estrategia coherente.

Para este propósito, muchas organizaciones con fines de lucro usan las 4 perspectivas sugeridas por el enfoque de cuadro de mando integral. En el caso de las organizaciones educativas, no existe tal acuerdo. Las universidades están tratando de capturar sus valores y estrategias únicas de varias maneras, los nombres de las perspectivas varían.

Por ejemplo, la Universidad de Greenwich en su documento del Plan Estratégico ⁵ agrupó sus KPIs en las 4 perspectivas que tendrán más sentido para la mayoría de las universidades:

• Educación (excelente aprendizaje y enseñanza)
• Investigación (que es un centro de investigación y de intercambio de conocimientos de nivel mundial)
• Comunidad (apoyada por varios programas para los estudiantes)
• Servicios (excelencia en servicios e infraestructura)

Otra opción popular es utilizar las perspectivas derivadas de MBQA (Malcolm Baldrige Quality Awards) como el modelo aplicado a la educación ⁶. Estas perspectivas pueden ser formuladas como:

• Estratégico
• Presupuesto
• Carrera
• Servicios de información

A continuación usted encontrará mis sugerencias para las perspectivas. Si usted está familiarizado con el enfoque de cuadro de mando integral, verá que sus nombres son diferentes (cambiados de acuerdo a las necesidades del dominio educativo), pero la lógica de causa y efecto todavía puede ser rastreada:

• Intereses de las partes involucradas
• Aprendizaje y enseñanza (metas relacionadas con los estudiantes y el personal académico)
• Servicios internos (objetivos relacionados con los servicios de apoyo como IT, RH, Biblioteca, etc.)
• Creación de comunidad (objetivos relacionados con la construcción de relaciones con los alumnos y objetivos comunitarios en general)

Sea cual sea el enfoque que usted prefiera, asegúrese de que sus perspectivas no sean simples contenedores para los indicadores, sino que ayuden a describir la lógica de causa y efecto de su estrategia (consulte la sección de desafíos conocidos para más detalles).

Construir un mapa de estrategias con KPIs para una universidad

Las universidades tienen que equilibrar sus estrategias entre los requisitos implícitos en las necesidades de financiación, académicas y comunitarias. A continuación usted encontrará un ejemplo de un mapa de estrategia para una universidad que puede utilizarse como punto de partida para construir su propio mapa de estrategias.

Fuente: Cuadro de mando de una universidad.

Misión: ampliar los horizontes de los estudiantes

Intereses de las partes involucradas

• Objetivo: alinear la estrategia con los intereses de las partes involucradas
  • Indicador de actuación: Asequibilidad (tasas de matrícula y otros honorarios comparados con el ingreso familiar promedio)
  • Indicador de resultado: Tasa de participación, % (el porcentaje de representación de cierto grupo de población entre los estudiantes)
  • Indicador de resultado: ayuda financiera, financiación, donaciones, etc.

Mediciones adicionales que podrían encajar en esta perspectiva:

• Porcentaje de ingresos procedentes de diferentes fuentes, %
• Ingresos de investigación por FTE académico
• Gastos de personal como % del costo total
• Dólares asignados por inscripción FTE

Aprendizaje y enseñanza

• Objetivo: [Personal académico] Crear un entorno para contar con un mejor personal académico
  • Principal: nivel de satisfacción, %
  • Principal: Relaciones entre el personal académico y el alumno (los datos para la evaluación comparativa se pueden encontrar en THE)
  • Retardado: Personal académico con doctorado, %
  • Retardado: Número de publicaciones/citas por FTE académico (número de publicaciones/citas según Web of Science y Scopus)

• Objetivo: [Estudiantes] Estén bien preparado para futuros desafíos
  • Principal: Tiempo para lograr el grado (Algunos datos del Centro Nacional de Estadísticas de Educación por análisis comparativo)
  • Principal: Resultados del aprendizaje
  • Principal: Tasa de graduación, % (el porcentaje de estudiantes que han completado con éxito su formación)
  • Retardado: Tasa de empleo de graduados (o más práctico «Salario después de asistir»)

Fuente: Cuadro de mando para la universidad.

Indicadores adicionales:

• Número de FTE académico
• Tasa de finalización por grado (Licenciatura, Doctorado)
• Tasa de retención estudiantil, % (medida de curso a curso)
• Porcentaje de extranjeros entre los miembros del cuerpo docente
• Porcentaje de estudiantes extranjeros
• Número de estudiante de investigación

Servicios internos

• Excelentes servicios e instalaciones;
  • Principal: Índice de condiciones del equipo
  • Retardado: La tasa de satisfacción de los estudiantes y de las instalaciones del personal
  • Retardado: Estudiantes internacionales/Total de estudiantes
• Construir sistemas que ayuden a la auto-mejora;
  • Indicador de actuación: Tasa de participación del personal docente
  • Indicador de resultado: Usuarios activos de los sistemas de medición del rendimiento
  • Indicador de resultado: el porcentaje de problemas de devolución
• Proporcionar una experiencia académica profesional y atractiva;
  • Indicador de resultado: Satisfacción del estudiante con el apoyo académico

Crear comunidad

• Relación con exalumnos. Construir una relación con los alumnos para ayudar a las nuevas generaciones de estudiantes con sus desafíos.
  • Indicador de resultado: Índice de participación de los exalumnos (exalumnos que participaron en los eventos/exalumnos alcanzados)
  • Indicador de actuación: el número de eventos para exalumnos
  • Indicador de actuación: Tasa de alcance, % (exalumnos alcanzados a través de cualquier medio de contacto vs. número total de exalumnos existentes)

Todos los indicadores pueden ser desarrollados. Por ejemplo, se pueden agregar más detalles a los indicadores de los ex alumnos, por ejemplo, el perfil de los exalumnos de aquellos que respondieron al mensaje enviado, que se inscribieron para los eventos, quienes realmente participaron en los eventos, se inscribieron para el voluntariado y han sido voluntarios (Hablar en eventos, tutoría de estudiantes, etc.), aquellos que se convirtieron en patrocinadores, etc. Tiene sentido buscar por separado a los exalumnos nacionales e internacionales

Desafíos conocidos

Usar las perspectivas como simples contenedores para los indicadores

Un caso típico para muchos cuadros de mando es cuando las perspectivas funcionan como contenedores para las mediciones. Los cuadros de mando universitarios no son la excepción: las perspectivas se utilizan a menudo para agrupar las mediciones de rendimiento en diferentes silos, pero no para explicar la lógica de causa y efecto.

En muchos casos, la causa y el efecto está implícitos en las etapas anteriores a la definición de la estrategia, pero no se refleja adecuadamente en el cuadro de mando. Para evitar esto, visualice la lógica de causa y efecto directamente en el mapa estratégico.

Centrarse en lo que es fácil de medir, pero pasando por alto lo que es importante

En un panel típico de una universidad, existen varias versiones de mediciones fáciles de calcular, como «retención de estudiantes» y «tasas de graduación», pero sólo algunas características difíciles de medir como los indicadores de «empleabilidad».

Al elegir nuevos indicadores uno necesita pensar en el costo y el valor de la medida. Si bien el costo de medir la empleabilidad es alto, el valor para los futuros estudiantes y otras partes interesadas también es significativo.

Debajo discutimos cómo uno puede ser mejor en tales casos.

Las encuestas nos proporcionan indicadores que son de resultados en su naturaleza

Eche un vistazo a los indicadores en su cuadro de mando: detecte indicadores que se basan en los estudiantes o encuestas del personal de la facultad. Estos indicadores tienen algunos problemas potenciales:

• Al hacer encuestas, usted está interactuando con el sujeto de medición y tiene una influencia en el proceso observado (principio de incertidumbre de Heisenberg).
• Similar a una anterior: las preguntas de la encuesta están sujetas a una interpretación diferente, por lo que los resultados pueden ser ambiguos.
• La naturaleza retardada de las encuestas dificulta el uso de estos datos para la mejora mensual.

Obtenga más información sobre las encuestas y las formas de mejorarlas.

La observación de dirección es una alternativa

Una manera alternativa de aprender sobre el rendimiento sería utilizar la observación (ver el paso 6 de 12 pasos del sistema para desafiar KPIs [6] A. Savkin, Sistema de 12 pasos para las métricas más desafiantes y KPIs , 2016, bscdesigner.com]).

Tomemos el servicio de biblioteca como un ejemplo. Además de las encuestas anuales, se pueden usar los datos que ya existen en los sistemas de TI y rastrear el uso real de los servicios de biblioteca y su usabilidad para los estudiantes (en tiempo real). Las mediciones en este caso serán similares a lo que los webmasters rastrean para mejorar su presencia en Google.

Fuente: Cuadro de mando Universitario.

Un ejemplo de cómo combinar varios enfoques

Un buen ejemplo de un grupo equilibrado de KPIs para una biblioteca es Warwick Library’s Strategic Framework. Ellos tienen algunos indicadores basados en encuestas como:

• Tasas de satisfacción de los estudiantes de último año
• Tasas de satisfacción de los investigadores de posgrado

Y también tienen algunas métricas basadas en el uso:

• Vistas de Página de sitios web
• Número de archivos recuperados
• Disponibilidad de listas de lecturas

Inducir un comportamiento erróneo al enfatizar el enfoque en ciertos indicadores

Nosotros utilizamos indicadores para mejorar, no para empeorar las cosas, pero a veces en lugar de ayudar a lograr los resultados deseados, los indicadores inducen un comportamiento inesperado.

Aquí hay un ejemplo:

• Las autoridades reguladoras empiezan a presionar a una universidad a mejorar la Retención e indicadores de graduación con la idea de mejorar los indicadores mencionados mejorando la calidad de la educación y los servicios.
• Las universidades a su vez respondieron estableciendo estándares de admisión más altos .

Las tasas de graduación mejoraron, pero la razón del cambio no es la mejora en la calidad de la educación.

Antes, hemos discutido una situación similar de Indicadores de uso indebido en un entorno empresarial, creo que algunos hallazgos de ese Artículo servirán para los cuadros de mando universitarios también.

Alineación de estrategias de diferentes niveles de la organización

El cuadro de mando creado para la gestión de la universidad tendrá menos sentido para otras palancas de la estructura organizativa. Por ejemplo, las bibliotecas de las universidades deben tener su propio cuadro de mando e indicadores de desempeño respectivos.

Es importante tener una idea clara de cómo los distintos cuadros de mando se apoyan mutuamente. Usted puede obtener más información sobre las formas de hacerlo en el artículo «En cascada/Alineamiento«.

Hacer automatización de software en etapas tempranas

En términos de automatización de software en el ámbito educativo vemos una tendencia positiva. Muchas universidades comenzaron a usar software profesional con el propósito de construir mapas estratégicos y seguir los KPIs. Entre nuestros usuarios, vemos más universidades de Asia, América Latina y el Medio Oriente.

Si usted es un profesional de la educación, lo invitamos a inscribirse con un plan gratuito en BSC Designer Online.

Para facilitar su inicio, le sugerimos que utilice la plantilla de Cuadro de Mando de la Universidad (con mapa estratégico y KPIs) que fue discutido en este artículo y que está disponible públicamente (consulte los enlaces al final del artículo).

El equipo de BSC Designer está interesado en aprender su historia, siéntase libre de compartir sus hallazgos en los comentarios.

Más ejemplos del Cuadro de Mando Integral