Un exemple de fiche d’évaluation pour une université avec des KPI spécifiques

Découvrez les meilleures techniques pour élaborer des fiches d’évaluation pour les universités et mesurer divers aspects de la performance à l’aide d’indicateurs clés de performance ( KPI).

Points clés :

• Modèle Basique pour une Université
• Parties prenantes
• Le Contexte de Mesure
• Systèmes de classification
• Quels KPI les autres universités utilisent-elles ?
• Trouver des indicateurs
• Difficultés connues
• Automatisation des logiciels

 

Dans cet article, nous aborderons la question et le but de la quantification, ainsi que l’implication des parties prenantes. Nous analyserons les indicateurs qui sont utilisés par l’organisme de classement et les mesures qui sont populaires sur les fiches d’évaluation des universités. À la fin de l’article, nous donnons quelques modèles et exemples de KPI que l’on peut utiliser pour commencer à construire une fiche d’évaluation pour son établissement d’enseignement.

Un modèle de base d’une université. Comment fonctionne une université?

Toutes les structures éducatives sont différentes : elles ont leurs valeurs propres et une approche spécifique de l’enseignement. Mais en même temps, nous pouvons trouver des caractéristiques communes à toutes les universités. Afin de poursuivre la discussion, commençons par construire un modèle visuel des principaux processus d’une université. Notre expérience montre que cette étape permet de rendre plus efficace la discussion sur les KPI et la stratégie. S’il est représenté visuellement, le modèle ressemble à ceci :

Comme vous pouvez le constater, la carte dispose de quelques indicateurs de performance. Il s’agit des quelques KPI « standard » qui apparaissent sur la plupart des fiches d’évaluation d’universités :

• Taux de participation, %. Le pourcentage de représentation d’un certain groupe de la population parmi les étudiants.
• Taux de rétention, %. Les étudiants retenus dans l’étude, mesurés d’un cours à l’autre.
• Taux d’obtention de diplôme, %. Le pourcentage des étudiants qui ont réussi à obtenir leur qualification.
• Résultats en matière d’emploi. Voir la section « Indicateurs de classement » pour des détails spécifiques.

Dans cette section et ci-dessous, pour illustrer certaines des idées, je vais utiliser les captures d’écran de la fiche d’évaluation créé avec BSC Designer. Ce tableau de bord sera disponible en accès libre (voir les liens à la fin de l’article). Vous trouverez cette carte de processus dans l’onglet « Carte stratégique » (veillez à passer d’une carte à l’autre pour accéder à la bonne carte de processus).

Les personnes et les systèmes impliqués. Les parties prenantes.

Quels sont les intérêts à prendre en compte pour définir la stratégie et le système de mesure des performances d’une université ?

Le principal « client » est l’étudiant. Une approche traditionnelle consiste à diviser les étudiants en 3 groupes :

• Etudiants potentiels et leurs familles
• Étudiants actuels, et
• Anciens étudiants

Autres parties prenantes :

• Personnel académique
• Personnel professionnel ( englobe les services informatiques, les RH, la bibliothèque, etc.)
• Les médiateurs et les diverses autorités de l’État
• Futurs employeurs
• Membres de la communauté, partenaires, etc.

Le contexte de la mesure. Quel est l’objectif de la mesure ?

Avant de commencer un processus de mesure de la performance, posez-vous ces deux questions :

• Pourquoi avons-nous besoin d’une fiche d’évaluation ou des KPI ?
• Quels sont les difficultés que ceux-ci nous aident (et nos parties prenantes) à résoudre ?

Pour répondre à ces questions, nous pouvons réexaminer la liste des parties prenantes à nouveau. Par définition, chaque partie prenante aura un certain intérêt pour le sujet de la mesure. Pour n’en citer que quelques-unes :

• Les étudiants potentiels et leurs familles, sont confrontés au défi du choix de l’université. Ils ont besoin d’avoir de solide reférences, quelques éléments de convergence pour la comparaison des universités.
• Le but ultime des étudiants est d’être préparés pour l’avenir. Par exemple, ils veulent comprendre comment leurs cours sont en cohérence avec ce qui est exigé par le futur employeur, et quelles sont leurs chances d’obtenir un bon emploi après l’obtention du diplôme.
• Le personnel professionnel a besoin de se comparermois après mois et de s’améliorer ; il a également besoin de justifier un budget de dépenses.
• Un système d’évaluation approprié aidera le personnel académique à s’améliorer, et aidera la direction à décider de toute récompense.

En savoir plus sur les sondages et les moyens de les améliorer.

Débuter avec les indicateurs des systèmes de classement internationaux et nationaux

Nous avons maintenant le contexte de la mesure en cours de définition, et les candidats pour les KPI sont beaucoup plus faciles à trouver.

Utiliser les indicateurs de classement comme point commun

L’étape suivante que je recommande est d’examiner les normes de mesure qui existent déjà dans votre région. Elles sont normalement représentées par diverses organisations de classement internationales et nationales :

Fiche d’évaluation des universités du ministère de l’Éducation des États-Unis permet de trouver des écoles en utilisant des mesures telles que :

• Coût annuel moyen,
• Taux d’obtention de diplôme,
• Salaire après obtention de votre diplôme

Le site QS met à disposition de nombreuses métriques à consulter :

• Réputation de l’université
• Réputation de l’employeur
• Citations par faculté
• Proportion d’étudiants internationaux
• Classement d’employabilité

Parfois, les métriques, les critères de référence et la méthodologie de mesure respective sont disponibles publiquement. Par exemple, QS partage les détails de ses méthodes pour le classement général, ainsi que pour le classement d’employabilité.

De nombreuses universités utilisent la position dans ces classements comme l’un des indicateurs de performance de leurs tableaux de bord.

Deux autres classements reconnus sont :

• THE (LE Classement des Universités du Monde), and
• ARWU (Classement Académique des Universités du Monde)

Sur le site de l’ARWU, on peut trouver des références à d’autres classements mondiaux et nationaux.

Le problème des indicateurs utilisés pour le classement

D’un côté, les paramètres de classement font leur travail. Elles servent de base commune pour l’analyse comparative ; elles aident les étudiants potentiels à présélectionner les universités et les organismes de financement à appuyer leur décision.

D’autre part, une université n’est pas une chaîne de production. Les mesures standard ne tiennent pas compte de nombreuses valeurs immatérielles. Les indicateurs des classements sont trop généraux et, par conséquent, ne sont pas très utiles pour le processus d’auto amélioration mensuel.

• Par exemple, un indice de citation répandu n’est pas bien accepté dans certains pays¹, et c’est parfaitement logique, car l’excellence en matière de recherche et d’éducation ne devrait pas être comptabilisée uniquement par le nombre de publications.
• Un autre exemple est l’employabilité, alors qu’il s’agit d’une des métriques clés dans les pays anglophones, mais dans d’autres pays, il n’est pas si apprécié. Par exemple, en Russie ² les indicateurs d’employabilité ne sont pas explicitement utilisés sur les tableaux de bord des meilleures universités.

Sur ce point, la direction doit décider d’un système de gestion de la performance sur mesure qui permettrait de suivre les éléments clés de l’exécution de la stratégie d’une université.

Pratiques communes. Quels sont les KPI utilisés par les autres universités ?

Vous trouverez ci-dessous des références aux études des indicateurs de performance dans le domaine pédagogique. D’une part, ces études nous donnent une idée des mesures utilisées, d’autre part, elles confirment qu’il n’existe pas de structure commune de mesure de la performance pour les universités.

Indicateurs partagés par la plupart des universités

J.C. Burke et H.P. Minassians leur étude ³ ont examiné les rapports de performance publics des universités et ont trouvé 158 indicateurs de performance distincts. Parmi ces indicateurs, ils ont trouvé 8 indicateurs qui étaient partagés par plus de 50% des organisations examinées, ces 8 indicateurs étaient :

• Du diplôme,
• Inscription,
• Recherche subventionnée,
• Transferts d’étudiants,
• Taux de scolarité,
• Aide financière,
• Diplômes décernés,
• Résultats aux tests d’admission à l’enseignement

Domaines qui sont mesurés par la plupart des universités

Une autre recherche a été effectuée par Dawn Terkla ⁴. Elle a analysé les tableaux de bord de 66 établissements d’enseignement supérieur et universités et a classé ses résultats par catégories.

Les domaines de mesure les plus courants (présents sur plus de 50 % des tableaux de bord) étaient les suivants :

• Données sur les dotations et les dépenses, avancement, chiffres de l’aide financière
• Résultats des admissions
• Données sur les inscriptions, chiffres sur les inscriptions (populations spéciales)
• Faculté générale (comme l’ETP de la faculté, le % de la faculté ayant un diplôme terminal)
• Taux d’obtention de diplôme, taux de rétention,
• Engagement des étudiants
• Contact étudiant/faculté

Trouver des indicateurs pour la fiche d’évaluation de l’université

Quels indicateurs les universités devraient-elles alors utiliser ? Il est préférable de concevoir des KPI sur mesure. Pour soutenir ce processus créatif, nous disposons d’un système en 12 étapes pour défier les KPI que chacun peut utiliser. L’exemple ci-dessous montre une approche que l’on peut utiliser pour construire un tableau de bord pour une université.

Préparer les volets pour ces indicateurs

Disposer d’une longue liste d’indicateurs ne suffit pas pour une gestion efficace et efficiente des performances. Il est important de :

• Associer ces mesures à des objectifs et des actions spécifiques, et
• Montrer comment ces objectifs forment une stratégie cohérente.

À cette fin, de nombreuses organisations à but lucratif utilisent les 4 volets suggérées par l’approche du tableau de bord prospectif. Dans le cas des établissements d’enseignement, il n’existe pas d’accord de ce type. Les universités tentent de saisir leurs valeurs et stratégies uniques de diverses manières, respectivement les noms des perspectives varient.

Par exemple, l’Université de Greenwich dans son programme stratégique ⁵ a regroupé ses KPI en 4 volets qui seront très utiles à la plupart des universités :

• Enseignement (apprentissage et enseignement exceptionnels)
• Recherche (être un centre de recherche et d’échange de connaissances de classe mondiale)
• Communauté (soutenue par divers programmes pour les étudiants)
• Services (excellence des services et des infrastructures)

Une autre option répandue consiste à utiliser les approches basées sur le modèle MBQA (Malcolm Baldrige Quality Awards) appliqué à la pédagogie ⁶. Ces volets peuvent être formulés comme suit :

• Stratégique
• Budget
• Carrière
• Services d’information

Vous trouverez ci-dessous mes suggestions pour les différents volets. Si vous êtes familier avec l’approche du Tableau de Bord Prospectif, vous constaterez que leurs noms sont différents (changés en fonction des besoins du domaine éducatif), mais que la logique de cause à effet peut toujours être suivie :

• Intérêts des parties prenantes
• Apprentissage et enseignement (objectifs liés aux étudiants et au personnel académique)
• Services internes (objectifs liés aux services de soutien comme l’informatique, les RH, la bibliothèque, etc.)
• Construire la communauté (objectifs liés à l’établissement de relations avec les anciens élèves et objectifs communautaires en général)

Quelle que soit l’approche que vous préférez, veillez à ce que vos volets ne soient pas de simples conteneurs pour les indicateurs, mais qu’elles contribuent à décrire la logique de cause à effet de votre stratégie (voir la section Défis connus pour plus de détails).

Construire une carte stratégique avec des KPI pour une université

Les universités doivent équilibrer leurs stratégies entre les exigences impliquées par le financement, les besoins académiques et communautaires. Vous trouverez ci-dessous un exemple de carte stratégique pour une université que vous pouvez utiliser comme point de départ pour construire votre propre carte stratégique.

Mission : élargir les horizons des étudiants. En savoir plus sur la formulation de l’énoncé de mission.

Intérêts des parties prenantes

• Objectif: Aligner la stratégie avec les intérêts des parties prenantes.
  • Indicateur avancé : Accessibilité financière (frais de scolarité et autres frais par rapport au revenu familial moyen)
  • Indicateur retardé : Taux de participation, % (le pourcentage de représentation d’un certain groupe de population parmi les étudiants)
  • Indicateur retardé : Subventions, aides financières, financements, dons, etc.

Mesures supplémentaires qui pourraient s’inscrire dans ce volet :

• Pourcentage des revenus provenant de différentes sources, %
• Revenus de la recherche par ETP académique
• Coût du personnel en % du coût total
• Droits alloués par inscription pour un ETP

Apprentissage et enseignement

• Objectif : [Personnel académique] Créer un environnement pour le meilleur personnel académique.
  • • Avancé : Niveau de satisfaction, %
    • Avancé : Proportion de personnel académique/étudiants (les données pour l’analyse comparative peuvent être trouvées THE)
  • • Retardé : Personnel académique ayant un doctorat, %
  • • Retardé : Nombre de publications/citations par ETP académique (nombre de publications/citations selon Web of Science et Scopus)

• Objectif : [Les élèves] être bien préparés aux défis futurs.
  • • Retardé : Temps nécessaire pour obtenir un diplôme (quelques données par le Centre national des statistiques de l’éducation pour l’analyse comparative)
  • • Avancé : Résultats d’apprentissage
    • Avancé : Taux d’obtention de diplôme, % (le pourcentage des étudiants qui ont réussi leur qualification)
  • • Retardé : Taux de recrutement des diplômés (ou plus pragmatiquement « Salaire après fréquentation »)

Indicateurs supplémentaires :

• Nombre d’ETP académiques
• Taux d’achèvement par diplôme (licence, doctorat)
• Taux de rétention des étudiants, % (mesuré d’un cours à l’autre)
• Pourcentage d’étrangers parmi les membres du corps professoral
• Pourcentage d’étudiants étrangers
• Nombre d’étudiants en recherche

Services internes

• Excellents services et équipements ;
  • Avancé : Indice de l’état des équipements
  • Retardé : Taux de satisfaction des étudiants et du personnel vis-à-vis des équipements
  • Retardé : Étudiants internationaux / Total des étudiants
• Construire des systèmes qui aident à s’auto-améliorer ;
  • Indicateur avancé : Taux de mobilisation du personnel enseignant
  • Indicateur retardé : Utilisateurs actifs des systèmes de mesure de la performance
  • Indicateur retardé : Le pourcentage de problèmes ayant fait l’objet de retours
• Fournir une expérience académique professionnelle et engageante ;
  • Indicateur retardé : Satisfaction des étudiants à l’égard du soutien académique

Construire la communauté

• Relation avec les anciens élèves. Établir une relation avec les anciens élèves pour aider les nouvelles générations d’étudiants à relever leurs défis.
  • • Indicateur retardé : Indice d’engagement des anciens (ancien participant à des événements / ancien atteint)
  • • Indicateur avancé : Le nombre d’événements pour les anciens élèves
  • • Indicateur avancé : Le ratio d’atteinte, % ( ancien étudiant contacté via tout moyen de contact vs le nombre total d’anciens vivants)

Tous les indicateurs peuvent être encore développés. Par exemple, il est possible de détailler davantage les indicateurs relatifs aux anciens étudiants, par exemple en établissant le profil des anciens étudiants en fonction de ceux qui ont répondu au message envoyé, qui se sont inscrits à des événements, qui ont effectivement participé à ces événements, qui se sont inscrits à des activités de bénévolat et qui se sont effectivement portés volontaires (en prenant la parole lors d’événements, en encadrant des étudiants, etc.), qui sont devenus des sponsors, etc. Il est logique de considérer séparément les anciens étudiants nationaux et internationaux.

Assistant de stratégie - Tableau de bord prospectif en 6 minutes

Répondez à des questions simples - construisez une carte stratégique professionnelle en 6 minutes.

La formulation et la description de la stratégie peuvent être un long travail, même pour un stratège expérimenté. Cet assistant de carte stratégique rendra l'ensemble du processus rapide et intuitif.

Démarrez dès maintenant !

Défis connus

Utiliser les volets comme de simples conteneurs pour les indicateurs

Un cas typique pour de nombreuses fiche d’évaluation est celui où les volets opèrent simplement comme des conteneurs pour les indicateurs. Les tableaux de bord pour les universités ne font pas exception : les volets servent souvent à regrouper les indicateurs de performance dans différents silos, mais pas à expliquer la logique de cause à effet.

Dans de nombreux cas, la cause et l’effet sont implicites dans les premières étapes de la définition de la stratégie, mais ne sont pas correctement reflétés sur le tableau de bord. Pour éviter cela, visualisez la logique de cause à effet directement sur la carte stratégique.

Se concentrer sur ce qui est facile à mesurer, mais passer à côté de ce qui est important

Sur le tableau de bord typique d’une université, on trouve différentes versions de mesures faciles à mesurer, comme la « rétention des étudiants » et le « taux d’obtention de diplôme », mais seulement quelques fonctionnalités difficiles à mesurer des indicateurs d' »employabilité ».

Lors du choix de nouveaux indicateurs, il convient de réfléchir au coût et à la valeur de la mesure. Si le coût de la mesure de l’employabilité est élevé, la valeur pour les futurs étudiants et les autres parties prenantes est également importante.

Nous examinons ci-dessous comment on peut faire mieux dans de tels cas.

Les sondages nous donnent des indicateurs qui sont décalés dans leur nature

Examinez les indicateurs de votre tableau de bord : détectez les indicateurs qui sont basés sur des sondages auprès des étudiants ou du personnel enseignant. Ces indicateurs présentent quelques problèmes potentiels :

• En faisant des sondages, vous interagissez avec le thème de la mesure et avez une influence sur le processus observé (principe d’incertitude d’Heisenberg).
• Similaire à un précédent : les questions de ce sondage sont sujettes à différentes interprétations, les résultats peuvent donc être ambigus.
• Le caractère décalé des sondages rend difficile l’utilisation de ces données pour une amélioration d’un mois sur l’autre.

Le suivi de la direction est une alternative

Une autre manière de prendre connaissance de la performance serait de recourir à l’observation (voir l’étape 6 du système en 12 étapes pour les KPI les plus difficiles ⁷).

Prenons l’exemple du fonctionnement des bibliothèques. En plus des sondages annuels, on peut utiliser les données qui existent déjà grâce aux systèmes informatiques et suivre l’utilisation réelle du fonctionnement de la bibliothèque et son utilité pour les étudiants (en temps réel). Les métriques dans ce cas seront similaires à celles que les webmasters suivent pour améliorer leur présence dans Google.

Un exemple sur la manière dont diverses approches peuvent être combinées

Un bon exemple de série équilibrée de KPI pour une bibliothèque est le document Cadre stratégique de la bibliothèque de Warwick. Ils ont quelques indicateurs reposant sur des sondages comme :

• Taux de satisfaction des étudiants de dernière année
• Taux de satisfaction des chercheurs de troisième cycle

Et ils ont aussi quelques indicateurs fondés sur l’utilisation :

• Pages vues du site web
• Nombre de fichiers récupérés
• La disponibilité des listes de lecture

Induire des comportements erronés en insistant sur la focalisation sur certains indicateurs

Nous utilisons les indicateurs pour améliorer, pas pour aggraver les choses, mais parfois, au lieu d’aider à atteindre les résultats souhaités, les indicateurs induisent certains comportements inattendus.

En voici un exemple :

• Les autorités de régulation commencent à pousser une université à améliorer les indicateurs de rétention et de diplômeavec l’idée que les indicateurs mentionnés seront améliorés en améliorant la qualité de l’enseignement et des services.
• Les universités ont à leur tour répondu en établissant des normes d’admission plus élevées.

Les taux d’obtention de diplômes se sont améliorés, mais la raison de ce changement n’est pas l’amélioration de la qualité de l’enseignement.

Précédemment, nous avons discuté sur un cas similaire de mauvaise utilisation des indicateurs dans un environnement commercial, je pense que certaines conclusions de cet article fonctionneront également pour les tableaux de bord universitaires.

Alignement des stratégies des différents niveaux de l’organisation

Le tableau de bord créé pour la direction de l’université aura moins de sens pour les autres leviers de la structure organisationnelle. Par exemple, les bibliothèques des universités devraient avoir leur propre tableau de bord et leurs indicateurs de performance respectifs.

Il est important d’avoir une idée claire de la manière dont les différents tableaux de bord se soutiennent mutuellement. Vous pouvez en savoir plus sur les moyens d’y parvenir dans l’article « Mise en cascade/Alignement« .

Automatiser les logiciels dès les premiers stades

Pour ce qui est de l’automatisation des logiciels dans le domaine de l’éducation, nous constatons une tendance positive. De nombreuses universités ont commencé à utiliser des logiciels professionnels pour élaborer des cartes stratégiques et suivre les KPI. Parmi nos utilisateurs, nous voyons davantage d’universités d’Asie, d’Amérique latine et du Moyen-Orient.

Si vous êtes un expert du milieu de l’éducation, nous vous invitons à vous abonner avec un forfait gratuit à BSC Designer Online.

Pour faciliter votre démarche, nous vous suggérons d’utiliser le modèle de tableau de bord pour les universités (avec carte stratégique et KPI) dont nous avons parlé dans cet article et qui est disponible en accès libre (voir les liens à la fin de l’article).L’équipe de BSC Designer est intéressée par votre histoire, n’hésitez pas à partager vos résultats dans les commentaires.

Quelle est la suite ?

• Accès aux modèles. S'inscrire avec un forfait gratuit chez BSC Designer pour un accès immédiat à 31 modèles de fiches d’évaluation, dont Fiche d'évaluation pour une université il est question dans cet article.
• Maîtrisez les compétences. Apprenez à décomposer des objectifs ambigus comme "améliorer la qualité" et "augmenter la résilience" en stratégies spécifiques.
• Automatisation. Découvrez ce qu'est le logiciel de Tableau de Bord prospectif et comment il peut vous faciliter la vie en automatisant l'exécution des stratégies, les KPI et les cartes stratégiques.

Plus d’exemples du Tableau de Bord Prospectif

Alexis Savkín

PDG | Formateur | Auteur