Ein Beispiel für eine Universitäts-Scorecard mit spezifischen KPIs

Lernen Sie die Best Practices für die Erstellung von Scorecards für Universitäten und die Messung verschiedener Aspekte der Leistung mit Key Performance Indicators (KPIs).

Hauptthemen:

• Das Grundmodell einer Universität
• Stakeholder
• Der Kontext der Messung
• Ranking-Systeme
• Welche KPIs verwenden andere Universitäten?
• Kennzahlen finden
• Bekannte Herausforderungen
• Software-Automatisierung

Quelle: Universitäts-Scorecard.

In diesem Artikel erörtern wir das Thema und den Zweck der Messung sowie die Einbeziehung von Interessengruppen. Wir werden Indikatoren analysieren, die von der Ranking-Organisation verwendet werden, und die Kennzahlen, die auf den Dashboards von Universitäten beliebt sind. Am Ende des Artikels stellen wir einige Vorlagen und Beispiele für KPIs zur Verfügung, die Sie verwenden können, um mit dem Aufbau einer Scorecard für ihre Bildungsorganisation zu beginnen.

Das Grundmodell einer Universität. Wie funktioniert eine Universität?

Alle Bildungsorganisationen sind unterschiedlich: Sie haben ihre einzigartigen Werte und ihren spezifischen Lehransatz. Gleichzeitig können wir aber auch einige Gemeinsamkeiten in jeder Universität finden. Lassen Sie uns der weiteren Diskussion halber damit beginnen, ein visuelles Modell der Hauptprozesse in einer Universität zu erstellen. Unserer Erfahrung nach trägt dieser Schritt dazu bei, die Diskussion über KPIs und die Strategie effizienter zu gestalten. Visuell dargestellt sieht das Modell wie folgt aus:

Quelle: Universitäts-Scorecard.

Wie Sie sehen können, enthält die Karte auch einige Leistungskennzahlen. Dies sind die wenigen „Standard“-KPIs, die auf den meisten Scorecards der Universitäten erscheinen:

• Beteiligungsrate, %. Der Prozentsatz der Vertretung einer bestimmten Bevölkerungsgruppe unter den Studierenden.
• Retentionsrate, %. Studierende, die von Kurs zu Kurs gemessen im Studium verbleiben.
• Abschlussrate, %. Der Prozentsatz der Studierenden, die ihr Studium erfolgreich abgeschlossen haben.
• Beschäftigungsergebnisse. Siehe Abschnitt „Ranking-Indikatoren“ für spezifische Details.

Hier und unten werde ich zur Veranschaulichung einiger Ansätze Screenshots aus der mit BSC Designer erstellten Universitäts-Scorecard verwenden. Diese Scorecard wird kostenlos zur Verüfung gestellt (siehe Links am Ende des Artikels). Sie finden diese Prozesskarte in der Registerkarte „Strategiekarte“ (stellen Sie sicher, dass Sie zwischen den Karten wechseln, um auf die richtige Prozesskarte zuzugreifen).

Die beteiligten Personen und Systeme. Stakeholder.

Wessen Interessen sollten wir bei der Festlegung einer Strategie und eines Systems zur Leistungsmessung für eine Universität berücksichtigen?

Der wichtigste „Kunde“ ist ein Student. Ein typischer Ansatz ist die Einteilung der Studenten in 3 Gruppen:

• Angehende Studierende und ihre Familien
• Aktuelle Studierende, und
• Alumni

Andere Stakeholder:

• Akademisches Personal
• Professionelles Personal (einschließlich IT-Dienstleister, HR, Bibliothek usw.)
• Regulatoren und verschiedene staatliche Behörden
• Zukünftige Arbeitgeber
• Gemeinschaftsmitglieder, Partner, etc.

Der Kontext der Messung. Was ist der Zweck der Messung?

Stellen Sie sich vor Beginn der Leistungsmessung diese beiden Fragen:

• Warum brauchen wir eine Scorecard oder die KPIs?
• Welche Herausforderungen helfen sie uns (und unseren Stakeholdern) zu lösen?

Um diese Fragen zu beantworten, können wir die Liste der Beteiligten noch einmal überarbeiten. Per Definition wird jeder Stakeholder ein gewisses Interesse am Thema der Messung haben. Um nur einige zu nennen:

• Angehende Studierende und ihre Familien stehen bei der Wahl der Universität vor einer Herausforderung. Sie müssen einige Benchmarks, eine gemeinsame Basis für den Vergleich der Universitäten haben.
• Ultimatives Ziel der Studierenden ist es, auf die Zukunft vorbereitet zu sein. Sie wollen zum Beispiel verstehen, wie ihre Kurse auf die Anforderungen des zukünftigen Arbeitgebers ausgerichtet sind und wie ihre Chancen stehen, nach dem Abschluss einen guten Job zu bekommen.
• Professionelle Mitarbeiter müssen sich von Monat zu Monat selbst vergleichen und sich verbessern; sie müssen außerdem ein Ausgabebudget rechtfertigen.
• Ein angemessenes Evaluierungssystem wird dem akademischen Personal helfen, sich zu verbessern, und wird dem Management helfen, über Belohnungen zu entscheiden.

Erfahren Sie mehr über Umfragen und Möglichkeiten, sie zu verbessern.

Beginnen Sie mit Indikatoren aus den internationalen und nationalen Rankingsystemen

Jetzt haben wir den Kontext für die Messung definiert, und die KPI-Kandidaten sind viel leichter zu finden.

Nutzung von Ranking-Indikatoren als gemeinsame Grundlage

Der nächste Schritt, den ich empfehlen würde, ist die Überprüfung von Messstandards, die es in Ihrer Region bereits gibt. Sie werden in der Regel von verschiedenen internationalen und nationalen Ranking-Organisationen vertreten:

Die College Scorecard des U.S. Department of Education ermöglicht es, Hochschulen zu finden, die Kenngrößen wie die folgenden verwenden:

• Durchschnittliche jährliche Kosten,
• Abschlussrate,
• Gehalt nach Abschluss

QS Top-Universitäten bieten ebenfalls einige gute Kennzahlen, die man sich ansehen sollte:

• Akademischer Ruf
• Ruf des Arbeitgebers
• Zitationen pro Fakultät
• Internationales Studentenrate
• Beschäftigungsfähigkeits-Ranking

In einigen Fällen sind die Kennzahlen, Benchmarks und die jeweilige Messmethodik öffentlich zugänglich. Zum Beispiel teilt QS die Details über ihre Methoden für das allgemeine Ranking, sowie für das Ranking der Beschäftigungsfähigkeit.

Viele Universitäten verwenden die Position in solchen Rankings als Leistungsindikator auf ihren Dashboards.

Zwei weitere anerkannte Rankings sind:

• THE (THE World University Rankings) und
• ARWU (Academic Ranking of World Universities)

Auf der ARWU-Website finden Sie Referenzen zu anderen globalen und nationalen Ratings.

Das Problem mit Indikatoren, die für Rankings verwendet werden

Einerseits erfüllen die Bewertungsindikatoren ihre Aufgabe. Sie dienen als gemeinsame Basis für das Benchmarking; sie helfen Studieninteressierten bei der Vorauswahl von Universitäten und unterstützen Finanzierungsorganisationen bei ihrer Entscheidung.

Auf der anderen Seite ist eine Universität keine Produktionslinie. Standardkennzahlen werden viele immaterielle Werte nicht berücksichtigen. Die Kennzahlen aus den Ranglisten sind zu allgemein und daher für den monatlichen Selbstverbesserungsprozess nicht sonderlich nützlich.

• Ein populärer Zitationsindex wird in einigen Ländern beispielsweise nicht akzeptiert ¹, und das macht durchaus Sinn, da Exzellenz in Forschung und Lehre nicht nur nach der Anzahl der Publikationen gezählt werden sollte.
• Ein weiters Beispiel ist die Beschäftigungsfähigkeit; während sie in englischsprachigen Ländern eine der Schlüsselkennzahlen ist, ist sie in anderen Ländern nicht sonderlich populär. Zum Beispiel werden in Russland ² in den Dashboards der Spitzenuniversitäten keine Beschäftigungsfähigkeitsindikatoren verwendet.

In diesem Punkt muss das Management über ein maßgeschneidertes Leistungsmanagementsystem entscheiden, das die wichtigsten Teile der Strategieumsetzung einer Universität verfolgen würde.

Gängige Praktiken. Welche KPIs verwenden andere Universitäten?

Nachfolgend finden Sie Verweise zu Studien über Leistungskennzahlen im Bildungsbereich. Diese Studien geben uns einerseits eine Vorstellung davon, welche Kennzahlen verwendet werden, bestätigen aber andererseits, dass es keinen gemeinsamen Rahmen zur Leistungsmessung für die Universitäten gibt.

Kennzahlen, die die meisten Universitäten verwenden

J.C. Burke und H.P. Minassians untersuchten in ihrer Studie ³ die öffentlichen Leistungsberichte der Universitäten und fand 158 verschiedene Leistungskennzahlen. Unter diesen fanden sie 8 Kennzahlen, die von mehr als 50% der überprüften Organisationen verwendet wurden, nämlich diese 8:

• Abschluss,
• Einschreibung,
• Geförderte Forschung,
• Studentenwechsel,
• Gebühren,
• Finanzhilfe,
• Vergebene Abschlüsse,
• Lizenztest-Ergebnisse

Bereiche, die von den meisten Universitäten gemessen werden

Eine weitere Untersuchung wurde von Dawn Terkla durchgeführt ⁴. Sie analysierte die Dashboards von 66 Hochschulen und Universitäten und kategorisierte ihre Ergebnisse.

Die beliebtesten (auf mehr als 50% der Dashboards gefundenen) Messbereiche waren:

• Daten zu Ausstattung & Ausgaben, Förderung, Finanzhilfe-Zahlen
• Zulassungsergebnisse
• Einschreibungszahlen, Einschreibungszahlen (spezielle Bevölkerungsgruppen)
• Allgemeine Fakultät (z.B. Fakultät FTE, % der Fakultät mit abgeschlossenem Studium)
• Abschlussquoten, Einbehaltungsquoten,
• Studentenengagement
• Studenten-/Fakultätskontakt

Kennzahlen für eine Universitäts-Scorecard finden

Welche Kennzahlen sollten Universitäten dann verwenden? Der beste Ansatz ist es, maßgeschneiderte KPIs zu entwerfen. Um diesen kreativen Prozess zu unterstützen, haben wir ein 12-Stufen-System zur Anfechtung von KPIs, das jeder verwenden kann. Das folgende Beispiel zeigt einen Ansatz, den man für die Erstellung einer Universitäts-Scorecard verwenden kann.

Perspektiven für die Kennzahlen vorbereiten

Eine lange Liste von Kennzahlen reicht für ein effizientes und effektives Leistungsmanagement nicht aus. Wichtig ist:

• Ausrichten dieser Kennzahlen an spezifischen Zielen und Initiativen, und
• Zeigen, wie diese Ziele eine kohärente Strategie bilden.

Zu diesem Zweck verwenden viele gewinnorientierte Organisationen die 4 Perspektiven, die der Balanced Scorecard-Ansatz vorschlägt. Im Falle von Bildungsorganisationen gibt es keine solche Vereinbarung. Universitäten versuchen, ihre einzigartigen Werte und Strategien auf verschiedene Weise zu erfassen, entsprechend variieren die Bezeichnungen der Perspektiven.

Zum Beispiel hat die Universität Greenwich in ihrem Strategieplan-Dokument ⁵ ihre KPIs in 4 Perspektiven gruppiert, die für die meisten Universitäten sehr sinnvoll sein werden:

• Bildung (hervorragendes Lernen und Lehren)
• Forschung (als Forschungs- und Wissensaustauschzentrum von Weltrang)
• Gemeinschaft (unterstützt durch verschiedene Programme für die Studierenden)
• Dienstleistungen (Exzellenz in Dienstleistungen und Infrastruktur)

Eine weitere beliebte Option ist die Verwendung von Perspektiven, die aus dem MBQA-Modell (Malcolm Baldrige Quality Awards) abgeleitet sind, wie es auf die Bildung angewandt wird ⁶. Diese Perspektiven können wie folgt bezeichnet werden:

• Strategisch
• Budget
• Karriere
• Informationsdienstleistungen

Im Folgenden finden Sie meine Vorschläge für die Perspektiven. Wenn Sie mit dem Balanced Scorecard-Ansatz vertraut sind, werden Sie feststellen, dass die Namen anders sind (je nach den Bedürfnissen des Bildungsbereichs geändert), die Ursache-Wirkungs-Logik lässt sich aber dennoch nachvollziehen:

• Stakeholder-Interessen
• Lernen und Lehren (Ziele in Bezug auf die Studierenden und das akademische Personal)
• Interne Dienstleistungen (Ziele im Zusammenhang mit unterstützenden Dienstleistungen wie IT, HR, Bibliothek usw.)
• Gemeinschaft aufbauen (Ziele in Bezug auf den Aufbau von Beziehungen zu Alumni und Ziele der Gemeinschaft im Allgemeinen)

Welchen Ansatz Sie auch immer bevorzugen, stellen Sie sicher, dass Ihre Perspektiven nicht nur einfache Behälter für die Kennzahlen sind, sondern dass sie helfen, die Ursache-Wirkungs-Logik Ihrer Strategie zu beschreiben (siehe Abschnitt „Bekannte Herausforderungen“ für weitere Einzelheiten).

Eine Strategiekarte mit KPIs für eine Universität aufbauen

Universitäten müssen ihre Strategien zwischen den Anforderungen, die sich aus der Finanzierung, den akademischen und kommunalen Bedürfnissen ergeben, ausbalancieren. Nachstehend finden Sie ein Beispiel für eine Strategiekarte für eine Universität, die Sie als Ausgangspunkt für die Erstellung Ihrer eigenen Strategiekarte verwenden können.

Quelle: Universitäts-Scorecard.

Mission: Den Horizont der Studierenden erweitern. Erfahren Sie mehr über das Formulieren von Missionen.

Stakeholder-Interessen

• Ziel: Strategie an den Interessen der Stakeholder ausrichten
  • Frühindikator: Erschwinglichkeit (Studiengebühren und andere Gebühren im Vergleich zum durchschnittlichen Familieneinkommen)
  • Spätindikator: Teilnahmerate, % (der Prozentsatz der Vertretung einer bestimmten Bevölkerungsgruppe unter den Studierenden)
  • Spätindikator: Finanzhilfe, Finanzierung, Spenden, etc.

Zusätzliche Kennzahlen, die in diese Perspektive passen könnten:

• Prozentsatz der Einnahmen aus verschiedenen Quellen, %
• Forschungseinkommen pro Akademiker FTE
• Personalkosten in % der Gesamtkosten
• Zugewiesene Dollar pro FTE-Anmeldung

Lernen und Lehren

• Ziel: [Akademisches Personal] Umgebung für das beste akademische Personal schaffen
  • Frühindikator: Zufriedenheitsniveau, %
  • Frühindikator: Verhältnis akademisches Personal/Studenten (Daten für das Benchmarking finden Sie bei THE)
  • Spätindikator: Akademisches Personal mit einem Doktorat, %
  • Spätindikator: Anzahl der Publikationen/Zitationen pro akademischem Vollzeitäquivalent (Anzahl der Publikationen/Zitationen nach Web of Science und Scopus)

• Ziel: [Studierende] Gut auf zukünftige Herausforderungen vorbereitet sein
  • Frühindikator: Zeit bis zum Abschluss (einige Daten des nationalen Zentrums für Bildungsstatistik zum Vergleich)
  • Frühindikator: Lernergebnisse
  • Frühindikator: Abschlussquote, % (der Prozentsatz der Studierenden, die ihre Qualifikation erfolgreich abgeschlossen haben)
  • Spätindikator: Beschäftigungsquote von Hochschulabsolventen (oder pragmatischer „Gehalt nach der Teilnahme“)

Quelle: Universitäts-Scorecard.

Zusätzliche Kennzahlen:

• Anzahl der akademischen FTE
• Abschlussrate pro Abschluss (Bachelor, PhD)
• Studenten-Retentionsrate, % (gemessen von Kurs zu Kurs)
• Ausländeranteil unter den Fakultätsmitgliedern
• Prozent der ausländischen Studierenden
• Forschungsstudentenzahl

Interne Dienstleistungen

• Exzellente Dienstleistungen und Einrichtungen;
  • Frühindikator: Equipment-Zustandssindex
  • Spätindikator: Zufriedenheitsrate der Studierenden und der Einrichtungen des Personals
  • Spätindikator: Internationale Studierende / Studierende insgesamt
• Systeme aufbauen, die zur Selbstverbesserung beitragen;
  • Frühindikator: Engagement des Fakultätspersonals
  • Spätindikator: Aktive Benutzer der Systeme zur Leistungsmessung
  • Spätindikator: Der Prozentsatz der wiederkehrenden Probleme
• Bereitstellung professioneller und engagierter akademischer Erfahrung;
  • Spätindikator: Zufriedenheit der Studierenden mit der akademischen Unterstützung

Gemeinschaft aufbauen

• Beziehungen zu den Alumni. Bauen Sie Beziehungen zu Alumni auf, um neuen Generationen von Studierenden bei ihren Herausforderungen zu helfen.
  • Spätindikator: Index des Alumni-Engagements (Alumni, die an Veranstaltungen teilgenommen haben / Alumni erreicht)
  • Frühindikator: Die Anzahl der Veranstaltungen für Alumni
  • Frühindikator: Erreichungsgrad, % (Alumni, die über ein beliebiges Kontaktmittel erreicht wurden vs. Gesamtzahl der lebenden Alumni)

Alle Kennzahlen können weiterentwickelt werden. So können z.B. die Alumni-Kennzahlen um weitere Details ergänzt werden, z.B. die Profilierung der Alumni nach denjenigen, die auf die gesendete Nachricht geantwortet haben, die sich für Veranstaltungen angemeldet haben, die tatsächlich an den Veranstaltungen teilgenommen haben, die sich für die Freiwilligenarbeit angemeldet haben und sich tatsächlich freiwillig gemeldet haben (um auf Veranstaltungen zu sprechen, Studierende zu betreuen usw.), die Sponsor geworden sind usw. Es ist sinnvoll, die nationalen und internationalen Alumni getrennt zu betrachten.

Bekannte Herausforderungen

Perspektiven als einfache Behälter für die Kennzahlen verwenden

Ein typischer Fall für viele Scorecards ist es, dass Perspektiven nur als Container für Kennzahlen fungieren. Universitäts-Scorecards stellen hier keine Ausnahme dar: Die Perspektiven werden oft dazu verwendet, die Leistungskennzahlen in verschiedene Silos zu gruppieren, aber nicht, um die Ursache-Wirkungs-Logik zu erklären.

In vielen Fällen ist der Ursache-Wirkungs-Zusammenhang in den früheren Phasen der Strategiedefinition impliziert, wird aber in der Scorecard nicht richtig wiedergegeben. Um dies zu vermeiden, visualisieren Sie die Ursache-Wirkungs-Logik direkt auf der Strategiekarte.

Fokussierung auf das, was leicht zu messen ist, das wichtige fehlt aber

Auf einem typischen Dashboard einer Universität gibt es verschiedene Versionen von leicht zu messenden Kennzahlen wie „Studentenbindung“ und „Abschlussraten“, aber nur wenige enthalten Kennzahlen, die schwer zu messen sind, wie zum Beispiel die „Beschäftigungsfähigkeit“.

Bei der Auswahl neuer Kennzahlen muss man über die Kosten und den Wert der Messung nachdenken. Während die Kosten für die Messung der Beschäftigungsfähigkeit hoch sind, ist der Wert für die angehenden Studierenden und andere Stakeholder ebenfalls von Bedeutung.

Im Folgenden diskutieren wir, wie man in solchen Fällen besser vorgehen kann.

Umfragen liefern uns Indikatoren, die von Natur aus Spätindikatoren sind

Werfen Sie einen Blick auf die Indikatoren auf Ihrer Scorecard: Erkennen Sie Indikatoren, die auf Umfragen unter Studierenden oder Fakultätsmitarbeitern basieren. Diese Indikatoren weisen einige potenzielle Probleme auf:

• Durch die Durchführung von Umfragen interagieren Sie mit dem Messobjekt und haben Einfluss auf den beobachteten Prozess (Heisenbergs Unsicherheitsprinzip).
• Ähnlich wie der vorherige Punkt: Die Fragen der Umfrage werden unterschiedlich interpretiert, so dass die Ergebnisse mehrdeutig sein können.
• Die zeitliche Verzögerung der Umfragen macht es schwierig, diese Daten für eine monatliche Verbesserung zu nutzen.

Richtungsbeobachtung ist eine Alternative

Eine alternative Route, um etwas über die Leistung zu erfahren, wäre die Beobachtung (siehe Stufe 6 des 12-Stufen-Systems zum Anfechten von KPIs ⁷).

Nehmen wir die Dienstleistung der Bibliotheks als Beispiel. Zusätzlich zu den jährlichen Erhebungen kann man Daten nutzen, die bereits in IT-Systemen vorhanden sind, und die tatsächliche Nutzung der Bibliothek und ihre Nutzbarkeit für die Studierenden (in Echtzeit) verfolgen. Die Kennzahlen werden in diesem Fall ähnlich sein wie die, die Webmaster verfolgen, um ihre Präsenz bei Google zu verbessern.

Quelle: Universitäts-Scorecard.

Ein Beispiel dafür, wie verschiedene Ansätze kombiniert werden können

Ein gutes Beispiel für einen ausgewogenen Satz von KPIs für eine Bibliothek ist Warwick Library’s Strategic Framework. Sie haben einige auf Umfragen basierende Kennzahlen wie:

• Zufriedenheitsrate der Studierenden im letzten Studienjahr
• Zufriedenheitrate der Forscher nach dem Abschluss

Und sie haben auch einige auf der Nutzung basierende Kennzahlen:

• Seitenaufrufe auf der Website
• Anzahl der abgerufenen Dateien
• Verfügbarkeit von Leselisten

Falsches Verhalten durch Fokussierung auf bestimmte Kennzahlen herbeiführen

Wir verwenden Kennzahlen , um uns zu verbessern, nicht um Dinge zu verschlimmern. Manchmal induzieren Kennzahlen jedoch unerwartetes Verhalten, anstatt zu helfen, die gewünschten Ergebnisse zu erreichen.

Hier ist ein Beispiel:

• Regulierungsbehörden beginnen, eine Universität dazu zu drängen, die Halte- und Abschlusskennzahlenzu verbessern, mit der Idee, dass die genannten Kennzahlen durch die Verbesserung der Qualität von Bildung und Dienstleistungen verbessert werden.
• Universitäten reagierten ihrerseits mit der Einführung höherer Zulassungsstandards.

Die Abschlussquoten verbessern sich, aber der Grund für die Veränderung ist nicht die Verbesserung der Qualität der Bildung.

Wir haben schon einmal eine ähnliche Situation des Indikatoren-Missbrauchs in einem geschäftlichen Umfeld diskutiert, und ich glaube, dass einige Erkenntnisse aus diesem Artikel auch für die Scorecards der Universitäten nützlich sein werden.

Angleichen der Strategien verschiedener Organisationsebenen

Die für die Leitung der Universität erstellte Scorecard wird für andere Hebel der Organisationsstruktur weniger sinnvoll sein. Beispielsweise sollten Universitätsbibliotheken über eine eigene Scorecard und entsprechende Leistungskennzahlen verfügen.

Es ist wichtig, eine klare Vorstellung davon zu haben, wie sich die verschiedenen Scorecards gegenseitig unterstützen. Mehr über die Möglichkeiten, dies zu erreichen, erfahren Sie im Artikel „Strategiekaskadierung„.

Software-Automatisierung in frühen Stadien

In Bezug auf die Software-Automatisierung im Bildungsbereich sehen wir einen positiven Trend. Viele Universitäten begannen, professionelle Software für die Erstellung von Strategiekarten und die Verfolgung von KPIs einzusetzen. Unter unseren Anwendern sehen wir mehr Universitäten aus Asien, Lateinamerika und dem Nahen Osten.

Wenn Sie ein Bildungsexperte sind, dann laden wir Sie ein, sich für ein kostenloses Abonnement von BSC Designer Online anzumelden.

Um Ihnen den Einstieg zu erleichtern, schlagen wir Ihnen vor, die Scorecard-Vorlage für Universitäten (mit Strategiekarten und KPIs) zu verwenden, die in diesem Artikel besprochen wurde und die öffentlich zugänglich ist (siehe Links am Ende des Artikels).
Das BSC Designer-Team ist daran interessiert, Ihre Geschichte kennenzulernen, zögern Sie also nicht, uns in den Kommentaren von Ihren Ergebnissen zu berichten.

Weitere Beispiele für die Balanced Scorecard