Пример системы показателей университета с примерами KPI

Узнайте о лучших практиках создания системы показателя университета и измерения различных аспектов производительности при помощи ключевых показателей производительности (KPI).

Основные темы:

• Базовая модель университета
• Заинтересованные стороны
• Контекст измерения
• Рейтинговые системы
• Какие KPI используют другие университеты?
• Поиск индикаторов
• Известные задачи
• Автоматизация при помощи ПО

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей университета.

В этой статье мы рассмотрим предмет и цель измерения, а также участие в нём заинтересованных сторон. Мы проанализируем индикаторы, которые использует рейтинговая организация, и метрики, часто встречающиеся на информационных панелях университетов. В конце статьи мы предложим несколько шаблонов и примеров KPI, которые можно использовать для создания собственной системы показателей вуза.

Базовая модель университета. Как он функционирует?

Образовательные заведения отличаются друг от друга: они обладают уникальными ценностями и различными подходами к обучению. С другой стороны, во всех университетах можно найти некоторые общие черты. Для целей дальнейшего анализа мы начнём с визуального представления основных операций вуза. По нашему опыту, подобный этап помогает сделать дальнейшее рассмотрение KPI и стратегии более эффективным. Визуально модель университета может выглядеть следующим образом:

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей университета.

Как можно заметить, карта включает некоторые показатели эффективности. Это «стандартные» KPI, включаемые в большинство систем показателей университетов.

• Доля участия, %. Процент представленности определённой группы населения среди студентов.
• Показатель удержания, %. Удержание студентов, измеряемое от курса к курсу.
• Доля окончивших университет, %. Процент студентов, успешно завершивших курс обучения.
• Результаты с точки зрения найма. Более подробную информацию вы найдёте в разделе «Показатели рейтингов».

Для иллюстрации некоторых идей здесь и далее я использую скриншоты системы показателей университета, созданной в BSC Designer. Этот пример находится в открытом доступе (ссылки даны в конце статьи). Карту процессов вы найдёте во вкладке «Стратегическая карта» (обратите внимание на необходимость переключиться между картами для доступа к карте процессов).

Вовлечённые стороны

Чьи интересы необходимо принимать во внимание при создании стратегии и системы измерения производительности университета?

Основной «клиент» — это студент. Как правило, студентов разделяют на 3 группы:

• Абитуриенты и их семьи
• Студенты
• Выпускники

Другие заинтересованные стороны:

• Преподаватели
• Сотрудники отделов (включая отдел ИТ, HR, библиотеки)
• Регулирующие и другие государственные органы
• Будущие работодатели
• Члены сообщества, партнёры и т.д.

Контекст измерения. Какова его цель?

Перед тем, как перейти к рассмотрению процесса измерения производительности, задайте себе два вопроса:

• Зачем нам система показателей или KPI?
• Какие задачи они помогут решить?

Чтобы ответить на эти вопросы, необходимо ещё раз просмотреть список заинтересованных сторон. По определению каждая заинтересованная сторона будет иметь какой-либо интерес в предмете измерения. Например:

• Абитуриенты и их семьи должны выбрать университет. Они нуждаются в исходных данных для сравненияя университетов.
• Конечная цель студентов — подготовиться к будущему. Поэтому они хотят понять, как изучаемые курсы согласуются с требованиями будущих работодателей и каковы шансы на получение хорошей работы после окончания университета.
• Сотрудники отделов нуждаются в ежемесячных данных для сравнения собственной производительности и её повышения, а также для обоснования расходования бюджета.
• Правильная система оценки поможет преподавателям повысить свою эффективность, а управляющим – принять решение о выделении премий.

Узнайте больше об опросах и способах их усовершенствования.

Начнём с показателей международных рейтинговых систем

Теперь мы обладаем контекстом измерения, поэтому найти KPI будет гораздо проще.

Использование в качестве основы рейтинговых систем

На следующем этапе я рекомендую проанализировать стандарты измерения, существующие в вашем регионе. Как правило, их представляют различные международные и национальные рейтинговые организации.

College Scorecard Министерства образования США позволяет находить вузы при помощи следующих показателей:

• Средняя стоимость года обучения
• Процент выпускников
• Заработная плата после учебы в университете

Рейтинг университетов мира QS также предлагает индикаторы, на которые стоит обратить внимание:

• Академическая репутация
• Репутация среди работодателей
• Количество цитирований на факультет
• Доля иностранных студентов
• Рейтинг трудоустройства

В некоторых случаях данные показателей, ориентировочные индикаторы и методология измерения доступны онлайн. Например, QS публикует информацию о методе составления общего рейтинга и рейтинга трудоутройства.

Многие университеты используют позицию в подобных рейтингах в качестве индикатора эффективности на информационной панели.

Два других признанных рейтинга:

• THE (Мировой рейтинг университетов Times Higher Education), и
• ARWU (Академический рейтинг университетов мира)

На сайте ARWU можно найти ссылки на другие локальные и международные рейтинги.

Проблема индикаторов, используемых в рейтингах

С одной стороны, рейтинги могут быть эффективными для определённых целей: они создают основу для сравнения, помогают абитуриентам выбрать вуз, а финансирующим организациям – обосновать принятие решений.

С другой стороны, университет не похож на фабрику. Стандартные показатели не способны принимать во внимание неосязаемые ценности. Показатели рейтингов являются слишком общими, а потому они не столь полезны для постоянного процесса самосовершенствования.

• Например, популярный индекс цитирования не очень распространён в некоторых странах¹, что можно объяснить тем, что достижения в исследованиях и обучении невозможно определить при помощи простого подсчета количества публикаций.
• Ещё один пример, трудоустройство, является чрезвычайно популярным показателем в англоговорящих странах, однако в других регионах мира этот индикатор используется не столь часто. Например, в России² индикаторы трудоустройства не используются непосредственно на информационных панелях ведущих университетов.

На этом этапе управляющие должны выбрать индивидуальную систему управления эффективностью, способную отслеживать ключевые аспекты реализации стратегии университета.

Общие практики. Какие KPI используют другие университеты?

Ниже вы найдете ссылки на исследования показателей в сфере образования. С одной стороны, эти исследования дают представление о часто используемых индикаторах, с другой стороны, лишь подтверждают то, что единой системы измерения результатов университетов не существует.

Показатели, используемые в большинстве университетов

В своём исследовании Дж. Берк и Х. Минассианс ³ изучили публичные отчеты о деятельности университетов и выявили 158 показателей эффективности. Среди них они выделили 8 показателей, которые используют более 50% рассмотренных вузов:

• Выпуск из университета
• Зачисление
• Спонсируемые исследования
• Перевод студентов
• Стоимость обучения
• Финансовая помощь
• Присуждаемые степени.
• Результаты лицензионных тестов

Аспекты, которые измеряются в большинстве университетов

Ещё одно исследование было проведено Доун Теркла⁴. Она проанализировала информационные панели 66 вузов и распределила свои выводы по категориям.

Наиболее популярные (индикаторы присутствуют на более чем 50% информационных панелей) области измерения:

• Данные о вложениях, расходах, прогрессе и финансовой помощи
• Проходной балл
• Данные о зачислении, данные о зачислении для особых групп населения
• Общее по факультету (например, ЭПЗ факультета, % сотрудников с высшей ученой степенью)
• Показатели удержания и выпуска
• Вовлечение студентов
• Вовлеченность студент/факультет

Поиск индикаторов для системы показателей университета

Какие показатели должны использовать университеты? Лучшая идея – найти собственные KPI. Чтобы помочь вам этом процессе мы разработали 12-этапную систему для сложных KPI, которая подойдёт в любых ситуациях. Пример, который вы найдёте далее, демонстрирует способ построения системы показателей для университета.

Подготовьте перспективы

Для эффективного управления производительностью недостаточно составить длинный список показателей. Также важно:

• Согласовать показатели с конкретными целями и инициативами.
• Показать, как эти цели формируют связную стратегию.

Для этой цели многие коммерческие организации используют 4 перспективы, предложенные в рамках подхода сбалансированной системы показателей. В случае образовательных заведений подобное согласие отсутствует. Чтобы найти свои уникальные ценности и определить стратегию, университеты используют разные подходы. Соответственно, названия перспектив могут меняться.

Например, для своего стратегического плана Гринвичский университет разделил KPI на 4 перспективы⁵. Подобный подход будет полезным для большинства университетов:

• Образование (отличное обучение и преподавание)
• Исследования (центр исследований и обмена знаниями мирового уровня)
• Сообщество (участие в различных программах для студентов)
• Услуги (превосходная инфраструктура и качественные услуги)

Ещё популярный подход — использование перспектив модели MBQA (Malcolm Baldrige Quality Awards) в сфере образования⁶. Эти перспективы можно сформулировать следующим образом:

• Стратегия
• Бюджет
• Карьера
• Информационные услуги

Далее вы найдёте перспективы, которые предлагаю я. Если вы знакомы с подходом сбалансированной системы показателей, то сможете заметить, что названия перспектив отличаются (они изменены в соответствии с потребностями образовательной сферы), однако причинно-следственные связи прослеживаются и в этом случае.

• Интересы заинтересованных сторон.
• Обучение и преподавание (цели, связанные со студентами и преподавателями).
• Внутренние услуги (цели, связанные с вспомогательными услугами: ИТ, HR, библиотека и т. д.)
• Создание сообщества (цели, связанные с построением отношений с выпускниками и сообществом в целом).

Какой бы подход вы ни выбрали, убедитесь в том, что перспективы являются не только контейнерами для показателей, но помогают описывать причинно-следственную логику стратегии (см. раздел «Известные сложности»).

Создание стратегической карты с KPI для университета

Университетам приходится балансировать стратегии в соответствии с требованиями финансирующих организаций, потребностями академического мира и общества. Далее вы найдёте пример стратегической карты университета, которую можно использовать в качестве исходной точки при создании собственной стратегии.

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей университета.

Миссия: расширение горизонтов студента. Узнать больше о формулировании миссии.

Интересы заинтересованных сторон

Цель: согласование стратегии с интересами заинтересованных сторон.

• Показатель действия: доступность (стоимость обучения и другие взносы по сравнению с доходом средней семьи).
• Показатель результата: доля участия, % (процент представленности определённых групп населения среди студентов).
• Показатель результата: финансовая помощь, субсидирование, пожертвования и т.д.

Дополнительные показатели могут включаться в эту перспективу:

• Процент выручки из разных источников, %
• Доход от исследований на штатного академического сотрудника
• Затраты на персонал как % от всех затрат
• Сумма долларов, выделяемая на зачисление на полную ставку

Обучение и преподавание

Цель: [Преподавательский состав] создание среды для лучшего преподавательского состава.

• Индикатор действия: уровень удовлетворённости, %
• Индикатор действия: соотношение преподавателей и студентов (данные для сравнения можно найти в THE)
• Индикатор результата: преподаватели с ученой степенью, %
• Индикатор результата: число публикаций/цитирования на штатного академического сотрудника (количество публикаций/цитирований по данным Web of Science и Scopus).

Цель: [Студенты] хорошая подготовка к будущему

• Индикатор действия: время до получения диплома (данные для сравнения можно найти в отчете National Center for Education Statistics)
• Индикатор действия: результаты обучения
• Индикатор действия: коэффициент выпуска, % (процент студентов, успешно завершивших курс обучения)
• Индикатор результата: показатель трудоустройства выпускников (или более прагматичный показатель «Заработная плата после обучения»)

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей университета.

Дополнительные показатели:

• Количество штатных академических сотрудников.
• Процент получения степени (бакалавр, PhD).
• Доля удержания студентов, % (измеряется для каждого курса).
• Процент иностранцев среди членов факультета.
• Процент иностранных студентов.
• Количество аспирантов.

Внутренние услуги

Превосходные услуги и инфраструктура.

• Показатель действия: индекс состояния оборудования
• Показатель результата: уровень удовлетворенности студентов и сотрудников инфраструктурой.
• Показатель результата: иностранные студенты/всего студентов

Создание систем, способствующих самосовершенствованию.

• Показатель действия: уровень вовлечения сотрудников факультета
• Показатель результата: активные пользователи системы измерения производительности
• Показатель результата: доля повторяющихся проблем

Предоставление вовлекающих академических услуг.

• Показатель результата: удовлетворённость студентов академической поддержкой

Создание сообщества

Отношения с выпускниками. Построение отношений с выпускниками, призванные помочь новым поколениям студентов в решении их задач.

• Показатель результата: индекс вовлечения выпускников (количество выпускников, принявших участие в мероприятии/выпускники, с которыми удалось связаться)
• Показатель действия: количество мероприятий для выпускников
• Показатель действия: коэффициент охвата, % (выпускники, с которыми удалось связаться по сравнению с общим числом ныне живущих выпускников).

Все эти показатели могут быть развиты. Например, в индикатор выпускников может быть добавлена детализирующая информация: ответили на сообщение, подписались на рассылку о мероприятиях, участвовали в мероприятиях, зарегистрировались в качестве волонтёров, действительно стали волонтёрами (выступили на мероприятии, обучали студентов и т.д.), спонсорами и т.д. Имеет смысл проводить отдельный анализ для местных и иностранных студентов.

Известные проблемы

Использование перспектив в качестве простых контейнеров для показателей

Типичной является ситуация, в которой перспективы системы показателей становятся простыми контейнерами для метрик. Случай университетов не является исключением: перспективы используются не для объяснения причинно-следственных связей, но для объединения индикаторов в отдельные блоки.

Во многих случая причинно-следственная логика подразумевается на ранних стадиях определения стратегии, однако она не получает должного отражения в самой системе показателей. Для решения этой проблемы необходимо визуализировать причинно-следственные связи на стратегической карте.

Сосредоточенность не на важных аспектах, но на том, что легко поддаётся измерению

Типичная информационная панель университета содержит различные версии легко измеряемых показателей: «удержание студентов», «показатель выпуска» и т.д. Рот этом сложным индикаторам вроде «трудоустройства» уделяется мало внимания.

При выборе индикаторов необходимо учитывать стоимость и ценность измерения. Хотя измерение «трудоустройства» может обойтись недешево, значение показател важно для абитуриентов и других заинтересованных сторон.

Далее мы рассмотрим способы решения этой проблемы.

С помощью опросов мы можем получить значение только показателей результата

Просмотрите индикаторы, присутствующие на вашей информационной панели: выделите те, чьи значения были получены в результате проведения опросов. С ними связаны некоторые потенциальные проблемы:

• Проводя опрос, вы взаимодействуете с предметом измерения и можете повлиять на наблюдаемый процесс (Принцип неопределенности Гейзенберга).
• Схожим образом вопросы анкеты могут интерпретироваться по-разному, поэтому результаты могут быть неоднозначными.
• Из-за природы опросов полученные в результате их проведения данные сложно использовать для постоянного совершенствования.

Альтернатива – наблюдение

Альтернативным способом измерения производительности является измерение (см этап 6 12-этапной системы для сложных KPI⁷).

Для примера рассмотрим услуги библиотеки. В дополнение к ежегодным опросам можно задействовать данные ИТ-систем и отслеживать фактическое использование библиотечных услуг и их удобство для студентов (в режиме реального времени). В этом случае индикаторы будут аналогичны тем, что отслеживают для улучшения присутствия в Google.

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей университета.

Пример комбинирования различных подходов

Хороший пример сбалансированного набора KPI для библиотеки – стратегический фреймворк библиотеки Варвика. Организация использует некоторые индикаторы на основе опросов:

• Уровень удовлетворенности студентов последнего курса
• Уровень удовлетворенности аспирантов

Библиотека также использует показатели, чьи данные получают в результате наблюдения за использованием:

• Просмотры страниц сайта
• Количество извлеченных файлов
• Доступность списков литературы

Неправильное поведение, к которому может привести фокус на определенных показателях

Мы используем показатели для повышения производительности, а не ухудшения ситуации. Однако в некоторых случаях показатели могут приводить к неожиданным проявлениям неправильного поведения вместо того, чтобы способствовать достижению цели.

Пример:

• Регулирующие органы подталкивают университет к улучшению показателей удержания и выпуска, так как предполагается, что это улучшение должно быть достигнуто за счет повышения качества образования и услуг.
• Университеты, в свою очередь, реагируют на это посредством установления более высоких приёмных требований.

Показатель выпуска действительно улучшается, однако причиной этого изменения становится вовсе не повышение качества образования.

Ранее мы говорили о подобных примерах неверного использования индикаторов в бизнес-среде. Думаю, некоторые выводы этой статьи могут быть полезны и для университетов.

Согласование стратегий различных уровней организации

Система показателей, созданная для управляющих, будет не столько понятна на других уровнях организационной структуры. Например, у библиотек университета должна быть собственная система показателей с соответствующими метриками.

При этом важно понять, каким образом системы различных уровней поддерживают друг друга. Подробнее об этом вы можете узнать, прочитав статью о “каскадировании/согласовании”.

Автоматизация при помощи ПО на ранних стадиях

В образовательной сфере можно заметить появление положительной тенденции в сфере автоматизации. Многие университеты начали использовать профессиональные программные инструменты для создания стратегических карт и отслеживания KPI. Число наших пользователей включает университеты Азии, Латинской Америки и Ближнего Востока.

Если вы работаете в образовательной сфере, мы предлагаем вам оформить бесплатную подписку на BSC Designer Online.

Для упрощения работы вы можете использовать находящийся в свободном доступе шаблон системы показателей университета (система показателей и KPI), рассмотренной в этой статье. Все ссылки вы найдёте в конце статьи.

Команда BSC Designer будет рада узнать вашу историю, поделиться которой вы можете в комментариях.

Другие примеры Сбалансированны Систем Показателей