Узнайте о лучших практиках создания университетских систем показателей и измерения различных аспектов эффективности с помощью ключевых индикаторов (KPI).
Ключевые темы:
- Базовая модель университета
- Заинтересованные стороны
- Контекст измерения
- Системы ранжирования
- Какие KPI используют другие университеты?
- Поиск индикаторов
- Известные вызовы
- Автоматизация программ
Университетская система показателей. В этой статье мы обсудим тему и цель измерения, а также участие заинтересованных сторон. Мы проанализируем индикаторы, используемые ранжирующими организациями, и метрики, которые популярны на дашбордах университетов. В конце статьи мы предоставим некоторые шаблоны и примеры KPI, которые можно использовать для начала создания системы показателей для своей образовательной организации.
Основная модель университета. Как работает университет?
Все образовательные организации разные: у них есть свои уникальные ценности и специфический подход к обучению. Но в то же время мы можем найти некоторые общие черты в любом университете. Ради дальнейшего обсуждения давайте начнем с построения визуальной модели основных процессов в университете. Согласно нашему опыту, этот шаг помогает сделать обсуждение KPI и стратегии более эффективным. Если представить визуально, модель выглядит так:
Система показателей университета. Как видно, карта также включает некоторые показатели эффективности. Это несколько «стандартных» KPI, которые появляются в большинстве систем показателей университета:
- Уровень участия, %. Процент представительства определенной группы населения среди студентов.
- Коэффициент удержания, %. Студенты, остающиеся в учебе, измеряется от курса к курсу.
- Коэффициент выпуска, %. Процент студентов, успешно завершивших свою квалификацию.
- Результаты по трудоустройству. См. раздел «Индикаторы рейтинга» для получения конкретной информации.
Здесь и далее для иллюстрации некоторых идей я буду использовать скриншоты из системы показателей университета, созданной с помощью BSC Designer. Эта система показателей будет доступна для публичного доступа (смотрите ссылки в конце статьи). Вы найдете эту карту процессов на вкладке «Карта стратегии» (не забудьте переключаться между картами, чтобы получить доступ к нужной карте процессов).
Участвующие лица и системы. Заинтересованные стороны.
Чьи интересы мы должны учитывать при определении стратегии и системы измерения эффективности для университета?
Основной «клиент» — это студент. Типичный подход — разделить студентов на 3 группы:
- Будущие студенты и их семьи
- Текущие студенты, и
- Выпускники
Другие заинтересованные стороны:
- Академический персонал
- Профессиональный персонал (включает ИТ-службы, HR, библиотеку и др.)
- Регуляторы и различные государственные органы
- Будущие работодатели
- Члены сообщества, партнеры и др.
Контекст измерения. Какова цель измерения?
Прежде чем начать путь измерения эффективности, задайте себе два вопроса:
- Зачем нам нужна система показателей или KPI?
- Какие задачи они помогают решать нам и нашим заинтересованным сторонам?
Чтобы ответить на эти вопросы, мы можем еще раз пересмотреть список заинтересованных сторон. По определению, каждое заинтересованное лицо будет иметь некоторый интерес к предмету измерения. Вот лишь некоторые из них:
- Потенциальные студенты и их семьи сталкиваются с проблемой выбора университета. Им нужны некоторые ориентиры, общая основа для сравнения университетов.
- Конечная цель студентов — быть подготовленными к будущему. Например, они хотят понять, как их курсы связаны с требованиями будущего работодателя и каковы их шансы на хорошее трудоустройство после окончания.
- Профессиональному персоналу необходимо сравнивать себя месяц за месяцем и улучшаться; им также нужно обосновать расход бюджета.
- Правильная система оценки поможет академическому персоналу улучшаться, а руководству принять решение о вознаграждении.
Узнайте больше об опросах и способах их улучшения.
Начать с индикаторов из международных и внутренних систем ранжирования
Теперь у нас есть контекст для определения измерений, и кандидатов для KPI найти гораздо проще.
Использование индикаторов ранжирования как общего основания
Следующим шагом, который я бы рекомендовал, является обзор стандартов измерения, которые уже существуют в вашем регионе. Они обычно представлены различными международными и национальными организациями по ранжированию:
College Scorecard от Министерства образования США позволяет находить учебные заведения, используя такие метрики, как:
- Средняя годовая стоимость,
- Уровень выпуска,
- Зарплата после обучения
QS Top Universities также предоставляет хорошие метрики для рассмотрения:
- Академическая репутация
- Репутация работодателя
- Цитирования на одного преподавателя
- Соотношение иностранных студентов
- Рейтинг трудоустройства
В некоторых случаях метрики, эталоны и соответствующая методология измерения доступны публично. Например, QS делится деталями о своих методах для общего ранжирования, а также для рейтинга трудоустройства.
Многие университеты используют позицию в таких рейтингах как один из индикаторов эффективности на своих дашбордах.
Еще два признанных рейтинга:
- THE (THE World University Rankings), и
- ARWU (Академический рейтинг университетов мира)
На сайте ARWU можно найти ссылки на другие глобальные и национальные рейтинги.
Проблема с индикаторами, используемыми для ранжирования
С одной стороны, рейтинговые метрики выполняют свою задачу. Они служат общей основой для бенчмаркинга; помогают абитуриентам выбирать университеты и помогают организациям, предоставляющим финансирование, поддерживать свои решения.
С другой стороны, университет — это не производственная линия. Стандартные метрики не учитывают многие нематериальные ценности. Метрики из рейтингов слишком общие и, как результат, не так полезны для процесса самосовершенствования из месяца в месяц.
- Например, популярный индекс цитирования не так хорошо принимается в некоторых странах1, и это вполне логично, поскольку качество исследований и образования не должно определяться только количеством публикаций.
- Другой пример — трудоустройство, хотя это один из ключевых показателей в англоязычных странах, в других странах он не так популярен. Например, в России 2 индикаторы трудоустройства не используются явно на дашбордах ведущих университетов.
В этой точке управление должно принять решение о создании индивидуальной системы управления эффективностью, которая будет отслеживать ключевые части выполнения стратегии университета.
Распространенные практики. Какие KPI используют другие университеты?
Ниже вы найдете ссылки на исследования показателей эффективности в секторе образования. С одной стороны, эти исследования дают нам представление о том, какие метрики используются, с другой стороны, они подтверждают, что не существует общей системы измерения эффективности для университетов.
Индикаторы, используемые большинством университетов
Дж. С. Берк и Х. П. Миннасян в своем исследовании 3 проанализировали публичные отчеты о результатах деятельности университетов и обнаружили 158 различных индикаторов эффективности. Среди этих индикаторов они нашли 8 индикаторов, которые использовались более чем 50% рассмотренных организаций, и это были:
- Выпуск,
- Зачисление,
- Спонсируемые исследования,
- Переводы студентов,
- Обучение,
- Финансовая помощь,
- Присуждаемые степени,
- Результаты лицензионных тестов
Области, которые измеряются большинством университетов
Другое исследование было проведено Доун Теркла 4. Она проанализировала дашборды 66 колледжей и университетов и классифицировала свои выводы.
Наиболее популярные области измерения (найденные более чем на 50% дашбордов) были:
- Данные по фондам и расходам, развитие, показатели финансовой помощи
- Баллы за поступление
- Показатели зачисления, показатели зачисления (специальные группы)
- Общая информация о преподавателях (например, численность преподавателей в эквиваленте полной занятости, % преподавателей с ученой степенью)
- Показатели выпускных и удержания студентов
- Вовлеченность студентов
- Контакт студента и преподавателя
Поиск индикаторов для системы показателей университета
Какие индикаторы должны использовать университеты? Лучшей идеей будет разработка индивидуальных KPI. Чтобы поддержать этот творческий процесс, у нас есть 12-шаговая система для сложных KPI, которую может использовать каждый. Пример ниже демонстрирует подход, который можно использовать для создания системы показателей для университета.
Подготовьте перспективы для индикаторов
Длинного списка метрик недостаточно для эффективного управления производительностью. Важно:
- Связать эти метрики с конкретными целями и инициативами, и
- Показать, как эти цели формируют целостную стратегию.
Для этой цели многие коммерческие организации используют 4 перспективы, предложенные подходом Сбалансированной системы показателей. В случае образовательных организаций такого соглашения нет. Университеты пытаются отразить свои уникальные ценности и стратегии различными способами, соответственно названия перспектив могут различаться.
Например, Университет Гринвича в своем документе Стратегический план 5 сгруппировал свои KPI в 4 перспективы, которые будут иметь смысл для большинства университетов:
- Образование (выдающееся обучение и преподавание)
- Исследования (быть центром мирового уровня по исследованиям и обмену знаниями)
- Сообщество (поддерживается различными программами для студентов)
- Услуги (совершенство в услугах и инфраструктуре)
Другой популярный вариант — использование перспектив, выведенных из модели MBQA (Malcolm Baldrige Quality Awards), применяемой в образовании 6. Эти перспективы могут быть сформулированы как:
- Стратегическая
- Бюджет
- Карьера
- Информационные услуги
Ниже вы найдете мои предложения по перспективам. Если вы знакомы с подходом Сбалансированной системы показателей, вы заметите, что их названия отличаются (изменены в соответствии с потребностями образовательной сферы), но причинно-следственная логика по-прежнему прослеживается:
- Интересы заинтересованных сторон
- Обучение и преподавание (цели, связанные со студентами и академическим персоналом)
- Внутренние услуги (цели, связанные с поддерживающими службами, такими как ИТ, HR, библиотека и т.д.)
- Создание сообщества (цели, связанные с построением отношений с выпускниками и общими целями сообщества)
Какой бы подход вы ни предпочли, убедитесь, что ваши перспективы не являются просто простыми контейнерами для индикаторов, а помогают описать причинно-следственную логику вашей стратегии (см. раздел Известные проблемы для получения дополнительной информации).
Создание карты стратегии с KPI для университета
Университеты должны балансировать свои стратегии между требованиями, подразумеваемыми финансированием, академическими и общественными потребностями. Ниже вы найдете пример карты стратегии для университета, которую вы можете использовать в качестве отправной точки для создания собственной карты стратегии.
University Scorecard. Миссия: расширение горизонтов студентов. Узнайте больше о формулировании миссии.
Интересы заинтересованных сторон
- Цель: Связь стратегии с интересами заинтересованных сторон
- Индикатор действия: Доступность (обучение и другие сборы в сравнении со средним доходом семьи)
- Индикатор результата: Уровень участия, % (процент представленности определенной группы населения среди студентов)
- Индикатор результата: Финансовая помощь, финансирование, пожертвования и т.д.
Дополнительные метрики, которые могут подойти для этой перспективы:
- Процент дохода из различных источников, %
- Доход от исследований на одного академического сотрудника с полной занятостью
- Затраты на персонал как % от общих затрат
- Доллары, выделенные на одного студента с полной занятостью
Обучение и преподавание
- Цель: [Академический персонал] Создать условия для лучшего академического персонала
- Индикатор действия: Уровень удовлетворенности, %
- Индикатор действия: Соотношение академический персонал/студенты (данные для бенчмаркинга можно найти THE)
- Индикатор результата: Академический персонал с докторской степенью, %
- Индикатор результата: Число публикаций/цитирований на одного академического сотрудника (число публикаций/цитирований согласно Web of Science и Scopus)
- Цель: [Студенты] Быть хорошо подготовленными к будущим вызовам
- Индикатор действия: Время до получения степени (некоторые данные от Национального центра статистики образования для бенчмаркинга)
- Индикатор действия: Результаты обучения
- Индикатор действия: Уровень выпуска, % (процент студентов, успешно завершивших обучение)
- Индикатор результата: Уровень трудоустройства выпускников (или более прагматично «Зарплата после обучения»)
Университетская система показателей. Дополнительные индикаторы:
- Число академических сотрудников на полной ставке
- Коэффициент завершения по степени (Бакалавр, Доктор)
- Уровень удержания студентов, % (измеряется от курса к курсу)
- Процент иностранных преподавателей среди членов факультета
- Процент иностранных студентов
- Число научных студентов
Внутренние услуги
- Отличные услуги и условия;
- Действия: Индекс состояния оборудования
- Результата: Уровень удовлетворенности студентов и сотрудников условиями
- Результата: Международные студенты / Общее количество студентов
- Создать системы, которые помогают саморазвиваться;
- Индикатор действия: Уровень вовлеченности преподавательского состава
- Индикатор результата: Активные пользователи систем измерения эффективности
- Индикатор результата: Процент повторяющихся проблем
- Обеспечение профессионального и увлекательного академического опыта;
- Индикатор результата: Удовлетворенность студентов академической поддержкой
Создание сообщества
- Связь с выпускниками. Построить связь с выпускниками, чтобы помочь новым поколениям студентов справиться с их сложностями.
- Индикатор результата: Индекс вовлеченности выпускников (выпускник участвовал в мероприятиях / выпускник достигнутый)
- Индикатор действия: Число мероприятий для выпускников
- Индикатор действия: Коэффициент охвата, % (выпускник, достигнутый любым способом связи, по отношению к общему числу живущих выпускников)
Все индикаторы могут быть дополнительно разработаны. Например, к индикаторам выпускников можно добавить больше деталей, таких как профилирование выпускников на тех, кто ответил на отправленное сообщение, кто зарегистрировался на мероприятия, кто фактически участвовал в мероприятиях, кто записался на волонтерство и действительно волонтерил (выступал на мероприятиях, наставничал студентов и т.д.), кто стал спонсором и т.д. Имеет смысл отдельно рассматривать отечественных и международных выпускников.
Ассистент по созданию карты стратегии с ИИ
Попросите ИИ создать профессиональную карту стратегии для вашей организации.
Формулирование и описание стратегии может занять много времени даже у опытного стратега. Этот Ассистент по стратегической системе показателей сделает весь процесс быстрым и интуитивно понятным.Известные проблемы
Использование перспектив как простых контейнеров для индикаторов
Типичный случай для многих ССП, когда перспективы работают просто как контейнеры для метрик. Университетские ССП не являются исключением: перспективы часто используются для группировки метрик эффективности в различные категории, но не для объяснения причинно-следственной логики.
Во многих случаях причинно-следственная связь подразумевается на ранних этапах определения стратегии, но не отражается должным образом в ССП. Чтобы избежать этого, визуализируйте причинно-следственную логику непосредственно на карте стратегии.
Ориентация на то, что легко измерить, но упускание важного
На типичном дашборде университета присутствуют различные версии легко измеряемых метрик, таких как «удержание студентов» и «уровни окончания», но лишь несколько показателей, трудно измеряемых «индикаторов трудоустройства».
При выборе новых индикаторов необходимо учитывать стоимость и ценность измерения. Хотя стоимость измерения трудоустройства высока, ценность для потенциальных студентов и других заинтересованных сторон также значительна.
Ниже мы обсудим, как можно улучшить ситуацию в таких случаях.
Опросы дают нам индикаторы, которые по своей природе являются индикаторами результата
Посмотрите на индикаторы в вашей системе показателей: определите индикаторы, основанные на опросах студентов или преподавательского состава. Эти индикаторы имеют некоторые потенциальные проблемы:
- Проводя опросы, вы взаимодействуете с объектом измерения и влияете на наблюдаемый процесс (принцип неопределенности Гейзенберга).
- Аналогично предыдущему: вопросы анкеты подвержены различной интерпретации, поэтому результаты могут быть неоднозначными.
- Задержка в получении данных из опросов затрудняет использование этих данных для ежемесячного улучшения.
Наблюдение за направлением как альтернатива
Альтернативный способ узнать об эффективности — использовать наблюдение (см. шаг 6 из 12 шагов системы для сложных KPI 7).
Возьмем в качестве примера библиотечное обслуживание. В дополнение к ежегодным опросам можно использовать данные, которые уже есть в ИТ-системах, и отслеживать фактическое использование библиотечных услуг и их удобство для студентов (в реальном времени). Метрики в этом случае будут похожи на те, которые веб-мастера отслеживают для улучшения своего присутствия в Google.
Система показателей университета. Пример того, как можно комбинировать различные подходы
Хорошим примером сбалансированного набора KPI для библиотеки является Стратегическая структура библиотеки Уорика. У них есть некоторые индикаторы на основе опросов, такие как:
- Уровень удовлетворенности студентов последнего курса
- Уровень удовлетворенности аспирантов
Также у них есть некоторые метрики на основе использования:
- Просмотры страниц на сайте
- Количество загруженных файлов
- Доступность списков для чтения
Вызов неправильного поведения из-за акцента на определенных индикаторах
Мы используем индикаторы для улучшения, а не для ухудшения ситуации, но иногда вместо того, чтобы помочь достичь желаемых результатов, индикаторы вызывают неожиданное поведение.
Вот пример:
- Регулирующие органы начинают подталкивать университет к улучшению индикаторов удержания и выпуска с мыслью, что упомянутые индикаторы улучшатся за счет повышения качества образования и услуг.
- Университеты в свою очередь ответили установлением более высоких стандартов приема.
Показатели выпуска улучшились, но причиной изменений стало не улучшение качества образования.
Ранее мы обсуждали аналогичную ситуацию неправильного использования индикаторов в бизнес-среде, и я полагаю, что некоторые выводы из той статьи подойдут и для университетских систем показателей.
Связь стратегий разных уровней организации
Система показателей, созданная для управления университетом, будет иметь меньше смысла для других уровней организационной структуры. Например, библиотеки университетов должны иметь свою собственную систему показателей и соответствующие индикаторы эффективности.
Важно иметь четкое представление о том, как разные системы показателей поддерживают друг друга. Вы можете узнать больше о способах сделать это в статье «Каскадирование/Связь».
Сессия: 'Введение в Сбалансированную систему показателей с BSC Designer' доступна в рамках программы непрерывного обучения BSC Designer, предлагается как в формате онлайн, так и в формате очного семинара. Узнать больше....
Примеры внедрения
Ниже приведены примеры внедрения стратегии, которыми поделились пользователи платформы BSC Designer.
Автоматизируйте программы на ранних этапах
В области автоматизации программ в образовательном секторе мы наблюдаем положительную тенденцию. Многие университеты начали использовать профессиональные программы для создания карт стратегии и отслеживания KPI. Среди наших пользователей мы видим больше университетов из Азии, Латинской Америки и Ближнего Востока.
Если вы профессионал в области образования, то приглашаем вас зарегистрироваться на бесплатный план в BSC Designer Online.
Чтобы облегчить ваш старт, мы предлагаем вам использовать шаблон университетской системы показателей (с картой стратегии и KPI), который обсуждался в этой статье и доступен в открытом доступе (см. ссылки в конце статьи).
Команда BSC Designer заинтересована в том, чтобы узнать вашу историю, не стесняйтесь делиться своими находками в комментариях.
Используйте шаблон University Scorecard
BSC Designer помогает организациям реализовывать их сложные стратегии:
- Зарегистрируйтесь на бесплатный план на платформе.
- Используйте шаблон
University Scorecard в качестве отправной точки. Вы найдете его в Новая > Новая система показателей > Больше шаблонов. - Следуйте нашей Системе внедрения стратегии, чтобы связать заинтересованные стороны и стратегические амбиции в комплексную стратегию.
Начните сегодня и посмотрите, как BSC Designer может упростить реализацию вашей стратегии!
- Anderson, A. (1991). No citation analyses please, we’re British. Science, 252(5006), 639. ↩
- E.V. Luneva, Key Performance Indicators (KPI) System in Education, Asian Social Science; Vol. 11, No. 8; 2015, Canadian Center of Science and Education ↩
- J.C. Burke, H. P. Minassians, The new accountability: From regulation to results. New Directions for Institutional Research, 2002 ↩
- Д. Теркла, Наиболее распространенные показатели эффективности для учреждений и их советов, Trusteeship Magazine, январь/февраль, 2011 ↩
- Университет Гринвича, Стратегический план 2012–17: Краткое изложение ↩
- M. Arif, (2007) «Baldrige theory into practice: a generic model», International Journal of Educational Management, Vol. 21 Iss: 2, pp.114 — 125 ↩
- А. Савкин, 12 шагов системы для самых сложных метрик и KPI, 2016, bscdesigner.com ↩
Alexis является старшим консультантом по стратегии и генеральным директором BSC Designer с более чем 20-летним опытом в области стратегического планирования. Alexis разработал «Систему внедрения стратегии из 5 шагов», которая помогает компаниям в практической реализации их стратегий. Он является постоянным докладчиком на отраслевых конференциях и опубликовал более 100 статей по управлению стратегией и производительностью, включая книгу «Система KPI из 10 шагов». Его работы часто цитируются в академических исследованиях.