Качественные KPI и система показателей — полное руководство с примерами

Как измерить качество и предвидеть дефекты продукта? В этом руководстве мы обсудим конкретные метрики качества и покажем, как они способствуют общей стратегии.

Часть 1. Анализ KPI качества

Статья начинается с перечня метрик качества, отсортированных по группам. Мы обсудим некоторые популярные KPI качества и способы их использования. Узнайте больше >

Часть 2. Сбалансированная система показателей качества

Во второй части мы поговорим о бизнес-контексте качества и создадим пример Сбалансированной системы показателей качества. Узнайте больше >

Часть 3. Качество на практике

В третьей части мы обсудим десять идей, которые можно использовать для преобразования системы показателей в эффективный инструмент для постоянного контроля качества. Узнайте больше >

За последнее десятилетие я провел множество конференц-выступлений о качестве, включая регулярные вкладки в Software Quality Days. Для аудитории бизнес- или программных профессионалов идея качества ясна: это ведущий фактор успешного продукта или услуги. Они также знают, как количественно оценить эффекты плохого или высокого качества, отслеживая уровни дефектов и подобные метрики.

Что более сложно, так это понимание и количественная оценка ведущих факторов качества и рассмотрение качества с точки зрения различных заинтересованных сторон. Это то, что мы подробно рассмотрим в этой статье.

Часть 1. KPI качества

KPI качества в BSC Designer

Иерархия целей и показателей эффективности, связанных с качеством. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Прежде чем обсудить конкретные KPI, давайте ответим на два вопроса:

Если вы предпочитаете сразу перейти к KPI, вот темы, которые мы обсудим ниже:

Заинтересованные стороны в качестве

Качество не является абсолютной величиной. Когда мы говорим о качестве, мы всегда говорим о восприятии качества. Кто воспринимает качество продукта или услуги?

Мы можем начать с:

  • Конечных клиентов
  • Внутренних клиентов (наша команда и партнеры)
  • Регуляторов

Думая о конечных клиентах, мы можем быть еще более конкретными и определить, например:

  • Потенциальных клиентов
  • Платящих клиентов
  • Возвращающихся клиентов
  • Клиентов высокого уровня

Определение качества

Что такое качество?

Оксфордский словарь определяет качество как:

Стандарт чего-либо, измеряемый по сравнению с другими вещами аналогичного рода; степень совершенства чего-либо.

Различные заинтересованные стороны воспринимают качество по-разному. Например:

  • Потенциальные клиенты могут быть очарованы вашим маркетингом и покупают на основе очень базового восприятия качества (качество упаковки и маркетинговых материалов).
  • Клиенты, которые использовали ваш продукт в течение длительного времени, будут иметь гораздо лучшее представление о его качестве (конечно, в отношении их потребностей); те, кто найдет соответствие, станут постоянными клиентами; те, кто не найдёт — перейдут к конкурентам.
  • Клиенты высокого класса скорее всего, будут иметь другие потребности и другие представления о качестве продукта.
  • Ваша команда будет иметь дело с внутренними механиками вашего бизнеса, и их восприятие качества будет более связано с архитектурой и сложностью продукта.
Мы также знаем, что идея качества является специфичной для домена. Тем не менее, мы можем наблюдать, что подход к поддержанию высокого качества очень похож в различных отраслях.
Например, идея за метриками качества для фармацевтической промышленности выглядит похожей на подход, используемый в сталелитейной промышленности, программной инженерии или авиации.

KPI качества для заинтересованных сторон

Ниже мы обсудим некоторые популярные KPI для качества. Для достижения лучших результатов внедрения убедитесь, что эти метрики идеально подходят к вашему бизнес-контексту. Мы обсуждаем, как этого достичь, во второй части статьи.

Метрики, которые мы рассмотрим ниже:

NPS (Net Promoter Score) как индикатор качества

В своей классической форме (вопрос «Вы бы нас порекомендовали?») этот показатель указывает на общее восприятие продукта или услуги.

  • Низкий NPS может быть результатом низкого качества продукта или услуги
  • Задайте несколько дополнительных вопросов, чтобы выяснить, что именно не так
Показатель в этом случае так же прост, как:

  • NPS, %

Число жалоб за период

Любая обратная связь от клиентов важна. В некоторых случаях мы узнаем о проблеме только после получения письма от недовольного клиента.

Число жалоб за период

Используйте индикатор 'Число жалоб за период времени', чтобы понять и устранить проблемы в бизнес-системах. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Даже если вы стараетесь предвидеть все возможные проблемы, такие жалобы все равно будут возникать. По сути, они показывают, что:

  • Ваши клиенты все еще заинтересованы (в противном случае они не тратили бы свое время на предоставление обратной связи).
  • Существует проблема, которую необходимо решить.
  • Существует что-то, о чем вы не знали касательно вашего продукта, и вам нужно улучшить систему контроля качества.

Индикатор для использования:

  • Число жалоб за период времени

Общий подход к решению жалоб заключается в том, чтобы понять и устранить проблемы в бизнес-системах, а не обвинять конкретных людей.

Социальное доказательство качества

Во многих случаях потенциальные клиенты не могут действительно оценить продукт до покупки. Тем не менее, они могут сделать хороший выбор, основываясь на метриках социального доказательства.

  • Средний рейтинг. Совокупное значение рейтинга клиентов продукта и их комментарии формируют метрики социального доказательства.

Подумайте о бронировании отеля или покупке чего-либо на Amazon. Вы можете получить общее представление о продукте, просматривая фотографии и описание, но слишком многие продукты выглядят одинаково:

В этом случае мы смотрим на рейтинг отеля или звезды на Amazon и формируем наше ожидание качества продукта соответственно.

Эта метрика качества похожа на NPS, но в этом случае покупатели более склонны делиться более детализированными объективными вариантами.

Метрики сложности

Чем больше усилий ваша команда вкладывает в контроль и обеспечение качества, тем меньше проблем вы будете видеть в ежедневных отчетах.

Метрика индекса сложности

Индекс сложности, сформированный индикаторами с различными значимыми весами. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Но это не означает, что ваш продукт идеален; напротив, вы столкнетесь с еще более сложной ситуацией:

Вместо исправления очевидной проблемы, теперь вам нужно читать между строк и понять, какие проблемы (менее очевидные) мешают пользователям раскрыть истинный потенциал вашего продукта.

Я говорю о сложности.

Ранее мы обсуждали, как измерить сложность, и вот некоторые ключевые моменты, на которые стоит обратить внимание:

  • Чрезмерное время
  • Чрезмерное количество вариантов
  • Чрезмерные объяснения

Выбор конкретных метрик зависит от вашего продукта; мы можем сгруппировать их под общим названием:

  • Индекс сложности, %

Борьба со сложностью сложна, но стоит времени, которое вы на это тратите. Вот пример того, как устранение ненужных сложностей может помочь организациям улучшиться.

KPI качества для оценки финансового влияния

Иногда специалистам по качеству приходится обосновывать свои бюджеты и стратегии на заседаниях совета директоров. Вот некоторые показатели качества, связанные с финансами, которые можно использовать.

Показатели, которые были проанализированы ниже:

Стоимость низкого качества

Используйте этот показатель, чтобы понять влияние низкого качества. Оцените все затраты, связанные с выявлением и решением проблем:

Во многих случаях цель — не найти точное значение в долларах, а понять, насколько велико влияние на восприятие качества заинтересованными сторонами.

Для этой статьи я создал индикатор:

  • Стоимость низкого качества

Индикатор: Стоимость низкого качества

Индикатор 'Стоимость низкого качества' настроен на суммирование значений индикаторов внутри. Источник: Просмотреть ССП качества онлайн в BSC Designer ССП качества.

Этот индикатор суммирует значения индикаторов внутри, давая нам общую стоимость качества. В моем примере расчеты произведены для среднего значения затрат на инцидент.

Стоимость высокого качества

Подобно «стоимости низкого качества», но в данном случае мы оцениваем затраты на достижение превосходства.

Достижение высокого качества также имеет свою стоимость. Например, снижение уровня дефектов с 1% до 0,01% может быть экономически эффективной целью, но снижение уровня дефектов до 0,001% может быть слишком затратным и нецелесообразным для заинтересованных в качестве сторон.

В данном случае нашим индикатором является:

  • Стоимость высокого качества, $

Его формула зависит от конкретной ситуации. В этом примере мы можем рассчитать бюджет, необходимый для снижения уровня дефектов с 0,01% до 0,001%.

Возможности или метрики риска для качества

Ресурсы любой организации ограничены. Мы не можем одинаково относиться ко всем проблемам качества; некоторые нужно решать немедленно, а некоторые останутся в вашем backlog на более длительное время.

Как обосновать принятие решений в этом случае? Простая оценка возможностей (или риска) поможет:

  • Оцените влияние проблемы качества
  • Оцените вероятность этого воздействия

Теперь у нас есть:

  • Метрика оценки возможности, % = Влияние, % x Вероятность, %

Как оценить влияние проблемы качества? Обратите внимание на:

  • Число клиентов, которых затрагивает проблема
  • Финансовый потенциал клиентов
  • Участие клиентов в вопросе (число электронных писем, отправленных клиентом)

Как оценить вероятность? Попробуйте отобразить ее на шкале от 0% до 100%, где:

  • 0% — это то, что потенциально влияет на ваших клиентов, но у вас нет доказательств этого.
  • 100% предназначено для критических факторов, которые, например, предотвратят покупку клиентом или приведут к важным затратам.

Давайте рассмотрим случай с программой BSC Designer. Несколько лет назад мы получили два запроса на функции от клиентов (обе функции уже реализованы):

  • (A) Добавить функцию, позволяющую/запрещающую пользователям редактировать исторические данные в их системах показателей
  • (B) Измените способ отображения инициатив на карте стратегии

(A) была критической проблемой для крупного потенциального клиента, и три других клиента ранее спрашивали об этом.

(B) была менее критической проблемой для существующего клиента, и только один клиент запрашивал аналогичную функцию.

Наши усилия по «решению проблемы» (фактически, разработке новых функций) были примерно одинаковыми.

Вот пример оценки возможности для этих двух случаев:

Влияние Вероятность Возможность
A 70% (была критической для решения о покупке высококлассным клиентом) 80% (еще 3 клиента запросили аналогичную функцию) = (0.7 * 0.8) * 100% = 56%
B 50% (сделала бы жизнь существующего клиента несколько проще) 60% (еще 1 клиент запросил аналогичную функцию, и нашим разработчикам понравилась идея) = (0.5 * 0.6) * 100% = 30%

В этом примере значение показателя возможности было выше для «A», поэтому мы придали ему более высокий приоритет при реализации.

KPI для предотвращения проблем с качеством

На данный момент мы количественно оценивали и измеряли влияние (низкого) качества. Давайте попробуем другой подход:

  • Вместо того чтобы устранять проблемы с качеством, давайте будем действовать на опережение. Давайте работать над уменьшением вероятности будущих проблем с качеством.

Вот метрики, которые мы можем отслеживать для достижения этой цели:

Индикатор почти происшествия

Как мы можем предсказать то, что еще не произошло?

Чтобы предсказать некоторые важные проблемы качества, нам нужно обратить внимание на предшествующие менее важные проблемы.

Все так просто.

  • Это то, чему нас учит теория разбитых окон.
  • Это то, как авиационная администрация пытается предотвратить аварии в воздухе.
  • Это то, как Alcoa подошла к достижению своих целей по нулевому травматизму (см. «Сила привычки: почему мы делаем то, что мы делаем в жизни и бизнесе» Чарльза Дахигга).

Как построить индикатор почти происшествия?

  • Ознакомьтесь с общими мыслями о почти происшествии
  • Найдите события почти происшествия, релевантные для ваших бизнес-процессов
  • Квантифицируйте, измеряйте и отслеживайте эти находки

Внедрение индикатора почти происшествия связано с изменением культуры организации.

Вам нужно научить свою команду сообщать и обсуждать незначительные проблемы качества, которые могут привести к более важным проблемам.

Метрики могут быть сформулированы так просто, как:

  • Индикатор действия: Проникновение тренинга по осведомленности о почти происшествиях, %
  • Индикатор результата: Количество зарегистрированных проблем почти происшествий
Индикаторы почти происшествий на карте стратегии
Цель 'Тренинг по отчетности о почти происшествиях' из карты стратегии с индикатором действия, индикатором результата и инициативой. Источник: Просмотреть Scorecard качества онлайн в BSC Designer Scorecard качества.

Метрика неоднозначности требований

Подобно метрике «почти ошибка», но в этом случае мы стремимся быть проактивными.

Вместо того чтобы ждать появления проблем с качеством, мы просим наших лучших экспертов просмотреть документацию требований к продукту/услуге и выявить возможные проблемные моменты.

Метрика в этом случае может быть следующей:

  • Неоднозначности на страницу требований, %
В разработке программ эксперты проверяют требования к программе на наличие неоднозначностей. Требования в этом случае являются предшествующей документацией, поэтому если мы улучшим требования, мы можем проактивно предотвратить будущие проблемы с качеством.

Возраст продукта и количество модификаций

Мы занимаемся программным обеспечением, и мне всегда интересно узнать о лучших способах количественной оценки качества программного обеспечения и, в частности, качества кода программного обеспечения.

Классическое «количество строк кода» не имеет большого смысла. Интуитивно разработчики программного обеспечения понимают, что:

  • Часто изменяемый код будет содержать больше дефектов, чем код, который остается неизменным долгое время

Другими словами, мы ожидаем, что качество кода будет функцией возраста кода и количества модификаций кода. Это было эмпирически подтверждено в исследовании «Прогнозирование возникновения дефектов с использованием истории изменений программного обеспечения»1.

Замените слово «код» на «продукт», и я уверен, что те же выводы будут иметь смысл для любого бизнеса с комплексным продуктом. Думая об этом в контексте стратегии качества, мы можем более эффективно прогнозировать дефекты и соответственно обновлять стратегию тестирования.

Метрика экспертного обзора

Аналогично метрике неоднозначности требований, но в этом случае мы можем попросить экспертов оценить что угодно — наш продукт, руководство пользователя, обслуживание клиентов.

Как количественно оценить такие обзоры? Юмористический (но все же практичный) ответ на этот вопрос дал Том Хольверда в своих комиксах для osnews:

  • «Что это такое» / минута

Оригинальная метрика была предназначена для оценки качества программного кода, но, как вы можете представить, она работает в любой области.

Алеаторная метрика теста

Еще одна метрика полезна для оценки качества больших выборок.

Это применимо в основном к физическим продуктам.

  1. Перемешайте образцы
  2. Возьмите несколько случайных предметов
  3. Проверьте их качество
  4. Если были обнаружены дефекты, оцените пропорционально реальный масштаб проблемы

Метрика в этом случае может быть:

  • % дефектов в алеаторной выборке
Например, в супермаркете вам не нужно проверять срок годности на каждой упаковке молока или сыра — просто выберите несколько случайных, и если найдете некоторые из них просроченными, тогда можно грубо оценить масштаб проблемы.

Очевидно, что этот подход работает на ранних стадиях продукта, когда часто возникают проблемы с качеством. С развитием систем контроля качества размер алеаторной выборки должен быть увеличен.

Метрика самоконтроля качества

Иногда необходимо проверить «качество качества», например, как сама по себе работает система контроля качества.

  • Действительно ли работают проверки качества?
  • Действительно ли автоматизированные тесты обнаруживают проблемы?

Идея самоконтроля заключается в том, чтобы ввести входные данные с известными ошибками и посмотреть, были ли обнаружены эти заранее спроектированные проблемы.

Медицинские аналитические лаборатории внедряют эту практику. Лабораторное оборудование представляет собой комбинацию сложных оптических устройств и химических реагентов. Факторы качества включают способ хранения реагентов, качество дистиллированной воды, стабильность электрического тока, человеческие факторы и, конечно, случайные ошибки.

Самый простой контроль качества в этом случае — загрузить известный набор образцов и сравнить фактические результаты с ожидаемыми.

Регуляторы используют тот же подход, проводя слепые тесты, когда свойства тестовых образцов заранее не известны.

Метрики в этом случае следующие:

  • Количество самоконтролей за период
  • Эффективность обнаружения дефектов, % = Обнаруженные дефекты / Введенные дефекты

Этот подход работает как отправная точка перед проведением более дорогих и трудоемких тестов.

Автоматизированные метрики контроля качества

Аналогично самотестированию, но в этом случае мы не рассматриваем систему как черный ящик, мы можем проводить более конкретные автоматизированные тесты.

Преимущества автоматизированных тестов по сравнению с ручными тестами очевидны:

  • Отсутствие человеческого фактора
  • Меньше затрат

Тем не менее, нам необходимо сбалансировать охват автоматизированных тестов с затратами на разработку и поддержание таких тестов.

Возможная метрика в этом случае:

  • Охват автоматизированными тестами, %

Метрика стресс-тестирования

Качество системы может измениться, когда окружающая среда значительно меняется.

Метрика в этом случае:

  • Изменения готовности к стрессу, %
Идея заключается в том, чтобы предвидеть возможные условия и попытаться быть готовыми. Представьте наилучший и наихудший сценарий и попытайтесь разработать аварийные планы.

  • Есть смартфон? Попробуйте поход в горы зимой и посмотрите, как долго продержится ваша батарея.
  • У вас есть веб-сайт? Выдержит ли он атаку DDoS?
  • Проектируете потребительские товары? Будет ли он работать правильно, если его использовать в Индии?

Метрики ручного тестирования

Старые добрые ручные тесты необходимы. Вот две рекомендации:

  • Будьте пользователем вашего продукта
  • Учитывайте разных заинтересованных сторон в вопросах качества

Метрики в этом случае:

  • Покрытие тест-плана, %
  • Время выполнения тест-плана

Менее формальная, но все же полезная метрика:

  • Время, проведенное как конечный пользователь продукта, часы

Например, чтобы проиллюстрировать эту статью и создать систему показателей для качества, я использовал наш программный продукт BSC Designer. Это всегда помогает в генерации идей для улучшений.

Анализ изменения риска

Когда сложность продукта высока, изменения в продукте могут вызвать множество проблем с качеством. Решение этой проблемы находится на уровне архитектуры продукта. Например, инженеры-программисты строят свои решения, используя микросервисы, чтобы избежать плохих зависимостей.

С точки зрения качества, отправной точкой является оценка рисков изменений. Спросите ваших инженеров:

  • Если мы изменим функцию «A» продукта, какова вероятность, что что-то будет нарушено?

Следуя этой логике, мы можем использовать:

  • Метрику числа недавних изменений

Как ведущий фактор для будущих проблем с качеством.

Метрики качества ответа

Мы пытались устранить проблему на этапе проектирования. Мы пытались устранить проблему до того, как клиент (или другие заинтересованные стороны) увидели ее. Но иногда проблема проходит через все эти фильтры, и клиенты сталкиваются с проблемой качества. Ниже мы обсудим метрики, которые можно отслеживать в этом случае.

Вот метрики, которые мы обсудим ниже:

Время решения проблемы

Да, была проблема, но она была решена за ночь. Это впечатляющий опыт для любого клиента.

Метрики:

  • Среднее время, необходимое для решения критической проблемы
  • Среднее время, необходимое для решения незначительной проблемы

Отслеживайте время отдельно для разных заинтересованных сторон. См. параграф о риске для подробностей.

Еще одна важная идея заключается в том, что обычно, время на решение проблемы не включает:

  • Время, необходимое для разработки плана предотвращения, или
  • Время, необходимое для выполнения плана предотвращения

Время для ответа

Во многих случаях проблема не является критичной для клиента, и более важно, чтобы ваша команда проявляла заботу. Быстрое электронное письмо: «Привет, спасибо за сообщение. Мы занимаемся этим, ожидайте исправление через 2 дня» покажет клиенту, что вы заботитесь.

Метрика:

  • Время ответа на проблему качества

Качество Бэклога

Подобно продажному бэклогу, бэклог качества является индикатором того, как качество распространяется по вашей организации.

Отсутствие бэклога проблем с качеством, скорее всего, указывает на то, что вы:

  • Долгое время не меняли свой продукт или услугу (и этот факт сам по себе является проблемой), или
  • Вы недостаточно хорошо слышите своих клиентов

Перегруженный бэклог показывает, что ваши усилия по реагированию недостаточны, и что-то нужно изменить.

Моя рекомендация — отслеживать в динамике этот показатель:

  • Бэклог проблем с качеством
Бэклог проблем с качеством
Функция синуса используется в качестве функции производительности для индикатора 'Бэклог проблем с качеством' - чтобы находиться в зеленой зоне, в бэклоге всегда должны быть какие-то проблемы. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Метрики качества команды

Популярной метрикой для команд качества является:

  • Персонал качества / Обычный персонал, %

Если анализировать вместе с временем исправления проблем и процентом возвратных проблем, это может предоставить некоторую информацию об эффективности команды.

Коэффициент закрытия выявленных проблем

Представьте, что компания провела аудит качества. Например, используя анализ неоднозначности требований, описанный выше. Мы должны убедиться, что эти выявленные проблемы проанализированы и закрыты.

Метрика для отслеживания в этом случае:

  • Коэффициент закрытия выявленных проблем, %

Мы не всегда говорим о внедрении рекомендаций, но, по крайней мере, они должны быть переработаны в какую-то осязаемую форму (например, обновленные требования).

Качество общения

Сложность является известным ведущим фактором качества.

Отслеживайте метрику избыточности общения в этом случае:

  • Избыточность общения, % = (Средний размер сообщения — Кратчайший размер сообщения) / Средний размер сообщения.

Понадобилось ли клиенту сделать всего один звонок, чтобы решить проблему, или это был обмен пятью электронными письмами для решения простой задачи?

Например, в случае обмена электронными письмами, мы можем рассчитать метрику:

  • Избыточность общения, % = (5 — 1) / 5 = 80% избыточности.

Также отслеживайте:

  • Процент разрешения при первом обращении, %

Эффективность решения

Мы устранили проблему и эффективно взаимодействовали на протяжении всего процесса, но была ли проблема действительно решена?

Метрика для отслеживания:

  • % возвращающихся проблем

или подобное

Эти метрики работают лучше всего в сочетании с метрикой время на решение. Организации необходимо найти баланс между скоростью предоставления решений и их эффективностью.

Культура качества

Культура качества заключается в формировании новых привычек поведения, которые помогут избежать критических проблем и максимизировать эффективность решения менее критичных вопросов.

Есть ли у вашей команды привычка отслеживать и улучшать качество?

KPI, которые мы рассматриваем здесь:

Отклоненные дефекты

Представьте ситуацию, когда пользователь сообщает о проблеме в вашем продукте, но оказывается, что это не проблема, а нормальное поведение. Разработчики «отклоняют» этот отчет как дефект.

Пока качество воспринимается клиентами, эта ситуация будет считаться дефектом. Что означает отклоненный дефект? Это означает, что какая-то другая система не работала должным образом. Метрика для отслеживания:

  • % отклоненных дефектов

Вот пример:

  • Маленький холодильник делает слишком много льда и вызывает проблемы у его владельцев. Они звонят в службу поддержки клиентов, приходит мастер и сообщает им, что этот маленький холодильник не предназначен для непрерывного использования; он должен использоваться в мотелях, где люди приходят и уходят. Это вопрос качества, и он уже имеет свои затраты (влияние на бренд, расходы на гарантийное обслуживание), но этот дефект будет отклонен инженерами. Где же тогда проблема? Думаю, в маркетинге…

Похожая ситуация возникает, когда тестировщик продукта сообщает о проблеме, которая отклоняется инженерами. Где проблема в этом случае? Я считаю, в неясности исходных требований.

Метрика анализа первопричин

Устранение проблемы с качеством вовремя — это хорошее начало, но организация также должна учиться на своих ошибках (см. статью обеспечение качества в Википедии). Проведите анализ первопричин для проблем с качеством:

  • Какова была причина проблемы?
  • Почему мы не обнаружили ее раньше? Что мы можем изменить в нашей системе контроля качества, чтобы обнаруживать подобные проблемы?
  • Что мы можем изменить в наших системах, чтобы исключить возможность таких проблем?

Конечно, степень анализа первопричин должна соответствовать важности продукта.

Метрика для отслеживания:

  • Действия: Проникновение тренинга по анализу первопричин, %
  • Результата: % проблем, где была проанализирована первопричина

Систематическая ошибка

Часть задачи обеспечения качества заключается в выявлении и нахождении систематических ошибок. Допустим, ваш SaaS размещен на медленном сервере, и это приводит ко многим другим проблемам с удобством использования системы. Нет смысла рассматривать все эти проблемы с удобством использования, когда они вызваны более крупной систематической ошибкой.

Метрика осведомленности о качестве

Качество — это задача каждого, поэтому имеет смысл объяснить необходимые процедуры качества всем членам вашей команды:

  • Как люди должны сообщать о «почти происшествиях»?
  • Что такое анализ первопричин и как его проводить?
  • Каков план реагирования на критические проблемы?
  • Каковы наши стандарты качества?

Метрики для отслеживания:

  • Действия: Проникновение тренинга по качеству, %
  • Действия: Устаревшие материалы тренинга, %
  • Результата: Осведомленность о программе качества, %
  • Результата: Осведомленность о стандартах качества, %
  • Результата: % политик, понятых сотрудниками

Как видно, метрики осведомленности результата сбалансированы с метрикой тренинга действия. Профессионалы, ответственные за тренинг, могут сосредоточить свои усилия по измерению, отслеживая:

  • Немедленная реакция
  • Изменение в действиях
  • Влияние на бизнес

Мы обсудили этот подход в статье о системе показателей тренинга.

Коэффициент принятия улучшений

Ваша команда и ваши клиенты могут предложить множество идей для улучшения. Вопрос в том, сколько из них ваши инженеры действительно анализируют и внедряют? Если идеи сразу отправляются в мусорную корзину, то не стоит ожидать высокого морального духа от сотрудников.

Лучшим подходом будет разработка процедуры для работы с идеями, аналогичной той, которую мы обсуждали для системы показателей инноваций.

Карта процесса показывает, как инновационные идеи собираются и тестируются в вашей организации

Была создана дополнительная карта для объяснения процесса сбора идей и его связи с целями системы показателей инноваций. Источник: Просмотреть Innovations Scorecard онлайн в BSC Designer Innovations Scorecard.

Отправной точкой для измерения эффективности в этом случае является:

  • Коэффициент принятия улучшений, % = Предложенные идеи / Внедренные идеи

Коэффициент удержания

Плохое качество влияет на заинтересованные стороны качества.

Мы можем заметить, что клиенты больше не рекомендуют ваш продукт, или ценные члены команды ищут нового работодателя. Отслеживайте эти две метрики, чтобы получить ранний сигнал предупреждения:

  • Коэффициент удержания клиентов, %
  • Текучесть лучших сотрудников, %

Это индикаторы результата, но мы можем найти такие, которые имеют более короткий временной горизонт:

  • Вместо того чтобы смотреть, как уходят клиенты, мы можем посмотреть, что они делятся в социальных медиа.
  • Менеджеры по талантам могут отслеживать ранние индикаторы текучести с помощью HR систем показателей.

Ваши уникальные метрики качества

Я считаю, что большинство метрик, обсуждаемых в этой статье, могут быть применены к вашей области. Тем не менее, всегда существуют уникальные метрики, которые необходимо специально адаптировать для конкретного бизнеса. Как найти эти метрики? Я действительно рекомендую взглянуть на систему KPI, которую мы подготовили для вас.

Мое лучшее предположение таково:

Ваши уникальные метрики качества будут связаны с узким местом в вашем бизнесе

Мое предположение оказалось верным для вас? Это легко объяснить; если что-то происходит с процессом, который ограничивает систему, это повлияет на остальную часть системы.

Измерение качества по дизайну

Еще одна тема, которую мы обсудили в системе KPI, — это измерение, реализованное «по дизайну». Вместо того чтобы пытаться измерить что-то впоследствии, нам нужно создавать продукт, учитывая будущие потребности в измерениях.

Применяя эту идею к качеству, мы должны выяснить, где измерения качества могут быть реализованы по дизайну.

Задайте своей команде по качеству эти вопросы, чтобы начать:

  • Когда наш конечный клиент сообщает о какой-либо проблеме, как мы узнаем, что является причиной проблемы?
  • Что мы можем изменить в продукте или услуге, чтобы упростить измерение качества?

Ответом может быть простой контрольный список или своего рода черный ящик с записью журнала операций.

И вот одна хитрость:

Если вы найдете способы лучше измерять качество, это автоматически приведет к улучшению качества.

Например, в области разработки программного обеспечения, адепты практик DevOps сначала создают тесты для функциональности программного обеспечения, а затем разрабатывают саму функциональность. С одной стороны, это позволяет лучше измерять качество, с другой — улучшает качество изначально.

Внедрение культуры качества

Мы обсудили некоторые идеи, связанные с культурой измерения качества. Более важная тема — как в целом сосредоточить культуру компании на качестве. На эту тему написано много книг, и в части 3 этой статьи вы найдете мой краткий список из 10 лучших советов.

Часть 2. Сбалансированная система показателей качества

Сбалансированная система показателей — это модель исполнения стратегии. Каковы цели качества? Как эти цели вписываются в общую стратегию организации? Как отслеживать выполнение этих целей? Ниже мы создадим пример сбалансированной системы показателей для качества.

Сбалансированная система показателей для качества

Пример карты стратегии сбалансированной системы показателей для качества. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Вот наш план:

Миссия

Какова цель сосредоточения на качестве? Давайте сформулируем вдохновляющее миссионное заявление для команды по качеству:

Эффективно решать проблемы качества, думать о плане предотвращения

Это простое сообщение, которое должен понять каждый в команде по качеству. Мы здесь, чтобы:

  • Быстро решать проблемы качества
  • Исследовать и внедрять план предотвращения

Давайте продолжим с перспективами Сбалансированной системы показателей.

Перспектива финансов по качеству

Ожидания заинтересованных сторон по качеству сформулированы в Финансовой перспективе Сбалансированной системы показателей. Источник: Просмотреть ССП по качеству онлайн в BSC Designer ССП по качеству.

Влияние качества на финансы

Каково финансовое влияние качества? Другими словами, что произойдет, если заинтересованные стороны не будут удовлетворены качеством продукта?

Ответ зависит от заинтересованных сторон:

  • Если клиенты не удовлетворены — они не купят или не совершат повторную покупку.
  • Если ваша команда не довольна качеством продукта — они могут покинуть компанию, чтобы найти лучшее место для применения своих талантов.
  • Если вы не соблюдаете стандарты, установленные регулятором — ваша организация может быть оштрафована или закрыта.

Я предлагаю отразить эти идеи в цели:

  • Устойчивый рост

Это очень расплывчатая цель. Как мы можем сделать ее более конкретной? Мы можем связать с ней некоторые показатели эффективности:

Перспектива клиентов

Для обеспечения устойчивого роста организации, нам необходимо удовлетворять потребности наших клиентов (заинтересованных сторон в качестве, таких как конечные пользователи, регуляторы и команда). Система показателей качества перспектива клиентов

Перспектива клиентов включает в себя потребности внешних (конечных пользователей) и внутренних (команда) клиентов. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Цель: Избегать критических дефектов, быстро исправлять некритические дефекты. Это то, чего хотят все заинтересованные стороны. Как мы можем оценить степень достижения этой цели? Давайте используем некоторые из индикаторов, обсуждаемых выше. Это будут индикаторы результата в контексте данной цели:

Что насчет индикаторов действия? Эффективность действий будет зависеть от целей во внутренней перспективе, которые мы обсудим ниже.

Еще одна цель для клиентов больше связана с внутренними заинтересованными сторонами качества:

  • Цель: Поддерживаемый продукт. Продукт, который относительно легко поддерживать, изменять, тестировать и т.д. Это то, чего хочет ваша команда.

Какие метрики результата мы можем использовать для отслеживания выполнения этой цели? Например, эти две:

Это простая модель того, как сложность продукта и вовлеченность команды связаны:

  • Если продукт становится слишком сложным, члены нашей команды будут жаловаться на это, и если мы ничего не предпримем — они уйдут.

Что насчет метрик действия? Что мы можем сделать, чтобы предотвратить такие случаи? Это зависит от конкретной ситуации, но я бы сказал, что нам нужно понять причины проблем с качеством/сложностью. Для этой цели у нас будет цель «Анализ первопричин и обеспечение качества» во внутренней перспективе, которая ведет к повышению эффективности действий для достижения цели «Поддерживаемый продукт».

Внутренняя перспектива

В этой перспективе нам нужно ответить на два вопроса:

  • Как мы собираемся «Избегать критических дефектов» и «быстро устранять некритические дефекты»?
  • Как мы можем гарантировать, что у нас будет «Поддерживаемый продукт»?

Я сформулирую эти три цели, и ссылки на скриншоте покажут, как они способствуют достижению целей в перспективе Клиентов:

  • Предотвращение критических проблем качества
  • Быстрое решение вопросов качества
  • Анализ первопричин и обеспечение качества

Опять же, эти цели пока слишком расплывчаты. Чтобы сделать их более конкретными, нам нужно связать с ними некоторые индикаторы.

Давайте начнем с цели «Предотвращение критических проблем качества«, прежде чем обсуждать различные подходы к предотвращению проблем качества, соответственно индикаторы результата могут быть:

  • Сообщенные случаи почти произошедших проблем
  • Неоднозначности на страницу требований, %
  • Метрика экспертизы

Как мы можем гарантировать, что наша команда овладела, например, «сообщением о почти произошедших проблемах»? Для этой цели мы отобразим цель «Тренинг по сообщению о почти произошедших проблемах» в перспективе Обучение и развитие.

Что насчет цели «Быстрое решение вопросов качества«? Основной мерой будет Время на решение критической проблемы. Также важно обучить всех членов команды правильному сообщению о проблемах качества. Мы можем оценить достижение этой цели, используя метрику Коэффициент принятия улучшений.

Система показателей качества - внутренняя перспектива

Внутренняя перспектива включает в себя движущие факторы стратегии качества, например, цели, которые необходимо достичь внутри компании, чтобы удовлетворить потребности заинтересованных сторон. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Наконец, цель «Анализ первопричин и обеспечение качества» способствует достижению цели наличия «Поддерживаемого продукта«. Как мы можем убедиться, что наша команда действительно хорошо проводит анализ первопричин и обеспечение качества? Давайте начнем с основ. Мы можем отслеживать, что наша команда думает в правильном направлении, измеряя:

Вы можете спросить:

Как мы узнаем, что этот временной бюджет потрачен эффективно?

Ну, с этими метриками, мы не можем знать наверняка, но если что-то идет не так, вы увидите, что индикаторы, связанные с целью «Поддерживаемый продукт» из перспективы Клиентов, окажутся в красной зоне:

Хорошо, мы знаем, как должна вести себя команда качества. Что нам нужно сделать, чтобы вооружить их нужными навыками и инструментами? Ответ объясняется ниже в перспективе Обучение и развитие.

Перспектива обучения и развития

Для цели Предотвращение критических проблем качества у нас есть две поддерживающие цели в перспективе обучения и развития:

  • Тренинг по отчетности о почти произошедших инцидентах
  • Узнайте, как предотвратить проблемы с качеством

Я разделил их, потому что считаю, что отчетность о почти произошедших инцидентах заслуживает особого внимания.

Индикаторы почти произошедших инцидентов на карте стратегии

В перспективе Обучение и развитие мы объясняем, на чем организация должна сосредоточить свои обучающие усилия, чтобы поддержать драйверы стратегии качества (Внутренняя перспектива). Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.

Начнем с цели тренинг по отчетности о почти произошедших инцидентах.

Ведущие метрики будут:

Очевидно, мы хотим, чтобы все заинтересованные стороны прошли надлежащий тренинг.

Что насчет индикаторов результата? Если мы хотим подойти к этому серьезно (подробности см. в подходе системы показателей для тренинга), нам нужно понять, как мы собираемся измерять:

  • Результаты тренинга
  • Изменение в действиях
  • Влияние на бизнес

Результаты тренинга — это оценка за экзамен. Изменение в действиях — это то, что мы измеряем с помощью сообщенных случаев почти ошибки, связанных с целью предотвратить критические проблемы качества.

Как измерить влияние тренинга по «почти ошибкам» на бизнес? Я рассматриваю цель избежать критических дефектов, быстро исправлять некритические дефекты, и я считаю, что количество жалоб за период является отличным индикатором для этой цели.

Инициатива, связанная с целью сообщения о почти ошибках

Конкретная инициатива, связанная с одной из целей тренинга в системе показателей, включает подробный план действий, ожидаемый бюджет и временные рамки. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Давайте перейдем к следующей цели — научиться предотвращать проблемы с качеством. Здесь мы имеем два индикатора результата, связанных с инициативами, связанными с этой целью. Индикаторы:

Инициативы соответствуют тем идеям обеспечения качества, которые мы обсуждали ранее:

Узнайте, как предотвратить проблемы с качеством
Общая цель 'Узнайте, как предотвратить проблемы с качеством' поддерживается двумя индикаторами результата и конкретными инициативами. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Последняя цель в перспективе Обучение и развитие — Осведомленность о качестве. Ранее мы обсуждали, что важно поддерживать стандарты качества и соответствующие учебные материалы в актуальном состоянии. Для этой цели у нас есть:

  • Устаревшие учебные материалы, % ведущий индикатор.

Снова нам необходимо убедиться, что все заинтересованные стороны прошли тренинг, и мы используем этот показатель:

  • Пенетрация качественного тренинга, %

Чтобы следить за результатами программы Повышение осведомленности о качестве, мы будем рассматривать следующие индикаторы результата:

Как мы можем количественно оценить Осведомленность о программе качества, %? Например, проводя простые опросы или тесты.

Как мы можем убедиться, что программа повышения осведомленности о качестве изменила поведение заинтересованных сторон? Нам нужно изучить конкретные метрики поведения. Я выбрал следующие два:

Цель по повышению осведомленности о качестве и инициативыИндикатор времени реагирования на качество

Цель 'Повышение осведомленности о качестве' количественно оценивается индикатором 'Время реагирования на проблемы с качеством'. Функция его производительности настроена на 'Минимизацию', т.е. более быстрое реагирование (меньшее значение индикатора) означает более высокую производительность. Источник: Просмотреть Проект качества онлайн в BSC Designer Проект качества.

Используем эту цель в качестве примера и отслеживаем, как работает логика карты стратегии.

Логика на карте стратегии в действии

Если наша программа Осознания качества будет успешной, мы можем ожидать, что, например, специалисты поддержки клиентов будут быстро (метрика Время ответа на проблему качества) и эффективно (метрика Избыточность коммуникации, %) реагировать. Я перехожу к перспективе «Внутреннее».

Осознание качества связано с проблемами качества

Цель Осознание качества является ведущим фактором для цели Быстрое решение проблем качества. По сути, наша гипотеза заключается в том, что, улучшая осознание качества, мы ожидаем лучше решать проблемы качества. И мы проверим эту гипотезу, наблюдая за индикаторами Коэффициент принятия улучшений, % и Время решения критической проблемы.

Сейчас мы рассматриваем перспективу «Клиенты».

Связь с устойчивым ростом

Цель Быстрое решение проблем качества способствует достижению цели Избегать критических дефектов, быстро устранять некритические дефекты, что, в свою очередь, способствует достижению цели Устойчивый рост в перспективе Финансов.

Логика причин и следствий для качества
Логика карты стратегии качества - драйверы стратегии (перспективы Обучение и Внутреннее) создают результаты (перспективы Клиенты и Заинтересованные стороны). Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Актуальная важность вклада

Из карты стратегии мы видим, что избегание критических дефектов, быстрое исправление некритических дефектов находится под влиянием ведущей эффективности двух целей:

  • Предотвращение критических проблем качества
  • Быстрое решение проблем качества

Способствуют ли эти цели достижению цели избегание критических дефектов, быстрое исправление некритических дефектов с одинаковым весом?

Предположим, что предотвращение проблем более важно, чем их исправление.

Чтобы отразить эту логику, я могу изменить вес ведущих индикаторов соответственно:

  • Предотвращение критических проблем качества — вес 70%
  • Быстрое решение проблем качества — вес 30%

Программа BSC Designer, которую я использовал для создания системы показателей для этой статьи, учтет эти веса при расчете ведущей эффективности цели избегание критических дефектов, быстрое исправление некритических дефектов.

Если вы хотите узнать больше о том, как рассчитываются значения системы показателей, ознакомьтесь со статьей Scorecard 101.

Индикатор предотвращения критических проблем с настройкой веса
В контексте цели 'Избегание критических дефектов...' результаты целей 'Предотвращение критических проблем качества' и 'Быстрое решение проблем качества' являются ведущими индикаторами. Используйте относительный вес для объяснения их влияния на общую эффективность. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Объяснительное видео

Вот объяснительное видео, которое резюмирует некоторые важные выводы статьи.

Quality Balanced Scorecard and KPIs Explained

Модели управления качеством и выполнение стратегии

Существует ряд известных моделей управления качеством, таких как TQM, Six Sigma, Kaizen (непрерывное улучшение), бережливое производство и, конечно, последняя версия ISO 90012.

Давайте обсудим, как объединить:

  • Идеи из этих моделей управления качеством

с

Система управления качеством vs. карта стратегии для качества

Ранее мы говорили о сбалансированной системе показателей для качества. Сбалансированная система показателей (вместе с ее визуальной диаграммой — картой стратегии) является одним из инструментов планирования и выполнения стратегии.

Давайте сопоставим концепции систем управления качеством с идеями сбалансированной системы показателей:

Системы управления качеством Сбалансированная система показателей для качества
Непрерывный анализ потребностей клиентов Большинство систем требуют фокуса на потребностях клиентов и непрерывного анализа этих потребностей. Идеи клиентской ориентированности и непрерывного анализа потребностей клиентов идеально вписываются в Клиентская перспектива сбалансированной системы показателей Перспективу клиентов и Перспектива обучения и роста в сбалансированной системе показателей Перспективу обучения и развития сбалансированной системы показателей.
Систематические изменения бизнес-систем Системы качества признают пользу систематического подхода к корректировке бизнес-систем в соответствии с вызовами качества. В сбалансированной системе показателей эти изменения отображаются в Перспектива внутренних процессов в Сбалансированной системе показателей Перспективе внутренних процессов, которая связана логикой причинно-следственных связей с Перспективой клиентов и Перспективой обучения и развития.
Связь с интересами заинтересованных сторон Системы, в частности последняя версия ISO 9001, признают, что конечной целью улучшения качества является улучшение общей эффективности организации. Точно такая же идея артикулирована в сбалансированной системе показателей, все цели из карты стратегии связаны с Финансовая перспектива сбалансированной системы показателей Перспективой заинтересованных сторон/финансов.

Другие типичные компоненты системы управления качеством включают:

  • Непрерывное улучшение
  • Цикл «Планируй-Делай-Проверяй-Действуй»
  • Участие высшего руководства

Давайте посмотрим, как эти идеи могут быть реализованы в стратегической системе показателей.

Сделайте улучшения «непрерывными» с помощью KPI

Любая модель управления качеством подчеркивает важность непрерывной и систематической работы над качеством.

  • Что это значит в контексте системы показателей качества?

Правильно определенные индикаторы уже подразумевают систематический подход к улучшению качества.

А как насчет непрерывности этого систематического подхода. Как мы можем это гарантировать?

Самый простой способ — определить интервалы обновления для индикаторов качества в системе показателей:

Интервал обновления для индикатора качества

Мы использовали Редактор Величин для настройки интервала обновления 'Время на решение критической проблемы' на ежемесячный интервал обновления. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Если вы используете программу автоматизации, то настройте уведомления для получения информации о необходимости обновления индикатора:

Уведомление об интервале обновления

Ответственный за индикатор будет уведомлен о предстоящем интервале обновления за 5 дней до даты обновления. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Цикл PDCA на основе стратегических инициатив

Под различными акронимами цикл PDCA (Plan-Do-Check-Act) можно найти во всех системах качества.

  • Как системы показателей качества поддерживают PDCA?

Любой план улучшения должен разрабатываться в контексте определенных бизнес-задач. В этом смысле:

Система показателей качества с правильно разработанной картой стратегии предоставляет все необходимое для понимания контекста — бизнес-целей и связей между ними.

Кроме того, инициативы карты стратегии помогают описать планы улучшения качества, назначая бюджет, временные рамки, связывая с более детальными планами действий:

Инициатива по улучшению качества со статусом

Используйте статус инициативы для отслеживания процесса выполнения стратегии. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

Типичная инициатива по улучшению качества проходит определенные фазы. На стратегической системе показателей эти фазы могут быть отражены через статус инициатив.

Часть «проверки» в PDCA представлена KPI системы показателей качества. Если вы используете автоматизированную программу, то функции дашборда и анализа облегчат проверку результатов эффективности.

Вовлечение высшего руководства

Большинство систем управления качеством признают, что наилучшее улучшение качества достигается, когда за него отвечают топ-менеджеры. 

  • Как это реализуется на практике?

Отправной точкой является карта стратегии для качества. Она помогает вовлечь всех заинтересованных лиц, включая высшее руководство, в обсуждение стратегии качества.

Следующим шагом является каскадирование стратегии качества.

Некоторые показатели качества (KPI качества) будут связаны с системой показателей CEO. Например, индикатор «Воспринимаемое качество системы», обсуждаемый в статье системы показателей CEO:

Perceived system quality indicator

Индикатор 'Воспринимаемое качество системы' из системы показателей CEO берет свои данные из Системы показателей качества. Источник: Просмотреть Система показателей CEO онлайн в BSC Designer Система показателей CEO.

Определенные показатели качества хорошо впишутся в систему показателей корпоративного управления. Например, KPI, которые количественно оценивают качество управления и индекс общего качества продукта.

Как ведущий фактор качества, система показателей корпоративного управления может включать метрику «Определенные стандарты и процессы»:

Corporate governance metric: standards and processes defined

Индикатор 'Определенные стандарты и процессы' способствует системе показателей корпоративного управления. Источник: Просмотреть KPI Корпоративного управления онлайн в BSC Designer KPI Корпоративного управления.

Подобно высшему руководству, другие заинтересованные стороны должны быть вовлечены в стратегию качества. Например, в системе показателей снабжения можно найти «% дефектов» как одну из метрик, используемых для «Индекса комплаенса».

% of defects as a part of compliance index

Метрика '% дефектов' используется в 'Индексе комплаенса, %' в системе показателей снабжения. Источник: Просмотреть Система показателей снабжения онлайн в BSC Designer Система показателей снабжения.

Выводы

Как вы можете видеть, модели управления качеством и модели исполнения стратегии дополняют друг друга.

В контексте управления качеством одним из основных преимуществ наличия системы показателей качества является связь между инициативами по качеству и общей стратегией организации.

Формализованная стратегия качества помогает связать инициативы по качеству между различными отделами, а также сделать качество делом каждого в организации.

Часть 3. Качество на практике

10 советов по использованию KPI для постоянного контроля качества.

В предыдущих частях мы обсудили, как построить Сбалансированную систему показателей для качества и эффективно реализовать стратегию качества. А как насчет качества на операционном уровне? В этой части мы обсудим десять идей о том, как использовать показатели качества для постоянного контроля качества.

1. Сначала бизнес-контекст, затем индикаторы

Всегда начинайте с бизнес-контекста! Сбалансированная система показателей — один из возможных подходов к описанию и выполнению вашей стратегии. Если вы занимаетесь качественными метриками на операционном уровне, то ССП может быть не подходящим инструментом; тем не менее, я бы рекомендовал иметь четкие ответы на следующие вопросы:

  • Почему вам нужно измерять качество?
  • Какие аспекты качества важны для ваших клиентов?
  • Как именно компания планирует достигать текущих бизнес-целей?
  • Какие проблемы, связанные с качеством, требуют большего внимания?
  • Какие вызовы стоят перед вашей компанией прямо сейчас?

Связь целей и KPI в BSC Designer Online

Индикаторы качества помогают сделать цели более конкретными. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.


В BSC Designer: перейдите на вкладку “KPI”. Там вы можете формализовать свои бизнес-цели и связать KPI с этими целями.

2. Визуализируйте ваши проблемы с качеством и их причины

Контроль качества, или, говоря более общо, обеспечение качества, это не только набор индикаторов и их отчетность. Идея заключается в понимании процессов в организации, их сильных и слабых сторон и попытках предотвратить возможные проблемы с качеством.

Необходимо регулярно анализировать:

  • Типичные процессы
  • Проблемы с качеством
  • Их причины
  • Возможные решения

Результат этого анализа можно формализовать в виде блок-схемы.

An example of quality process

Пример карты процесса, которая объединяет цели и индикаторы из ССП качества, а также некоторые пользовательские графические элементы. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

В BSC Designer: перейдите на вкладку «Карта стратегии», создайте новую карту и используйте ее для визуализации вашего процесса. Позже вы сможете визуализировать некоторые

3. Баланс между индикаторами результата и действия

Ознакомьтесь с блок-схемами, созданными на предыдущем этапе. На каждом этапе используется некоторый ввод и производится некоторый результат в соответствии с определенными стандартами. Вы можете иметь качественные индикаторы, связанные с этими контрольными точками.

Они могут быть индикаторами действия или результата.

  • Индикаторы результата рассказывают вам о том, что произошло. Эта информация полезна, но вы просто наблюдаете за тем, что произошло, и не можете ничего изменить.
  • В отличие от них, индикаторы действия отражают вводы, которые влияют на процесс.

На вашей системе показателей качества должны быть оба типа индикаторов – действия и результата.

Индикаторы действия и результата в BSC Designer Online

Цель 'Осведомленность о качестве', количественно выраженная двумя индикаторами действия и одним индикатором результата. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.


В BSC Designer: выберите тип индикатора на вкладке «Контекст», индикаторы действия и результата рассчитываются по-разному.

4. Какие индикаторы самые важные?

Вы говорите:

  • «Все они важны!»

Вопрос в том:

Они одинаково важны?

Снижение количества дефектов с 0,01% до 0,001% может замедлить всю производственную систему, и хотя ваши клиенты были довольны уровнем дефектов 0,01%, для них гораздо важнее другие параметры продукта.

Вам нужно найти баланс и отразить важность каждого из индикаторов в вашей системе показателей.

Indicator weight in BSC Designer

Соответствующий вес указан для индикатора действия 'Предотвратить критические проблемы качества'. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.


В BSC Designer: у вас есть свойство веса для индикатора на вкладке «Производительность». Узнайте здесь, что такое вес и как он рассчитывается.

5. Какова эффективность индикатора?

Предположим, у вас уровень дефектов составляет 1%, затем вы оптимизировали процесс и достигли уровня дефектов 0,1%; в итоге, после внедрения дополнительных мер качества, вы получили в среднем уровень дефектов 0,01%.

Мой вопрос:

Как менялась эффективность соответствующего индикатора качества? Улучшилось ли она в 10 раз, а затем еще в 10 раз?

Не обязательно! С точки зрения бизнеса, клиенты могут быть недовольны уровнем дефектов 1%, и действительно довольны, когда уровень дефектов составляет 0,1%, а достижение уровня дефектов 0,01% может не оказать для них видимой разницы.

В реальной жизни:

  • Некоторые индикаторы имеют линейную функцию производительности (вы улучшаете значение индикатора в 10 раз, и производительность улучшается в 10 раз).
  • Некоторые индикаторы имеют нелинейную производительность, например, производительность индикатора может медленно расти в начале, а затем функция преобразуется в почти плоскую линию, что означает, что дальнейшие улучшения не улучшают конечную производительность.

При разработке ваших индикаторов выбирайте для них соответствующую функцию производительности.

Например, в обсуждаемой выше системе показателей качества у нас есть индикатор Время на разработку плана по предотвращению, измеряемый в днях, который имеет настраиваемую функцию производительности:

  • Если мы укладываемся в срок менее 6 дней, производительность находится в зеленой зоне.
  • Если мы разрабатываем план по предотвращению дольше, то производительность быстро падает в красную зону, а затем до 0%.

Собственная формула для индикатора

Нелинейная функция оптимизации производительности, используемая для индикатора. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.

В BSC Designer: на вкладке «Контекст» для индикаторов есть выпадающий список «Оптимизация». Измените там линейную функцию оптимизации на более релевантную или укажите свою собственную функцию.

6. Итоговый балл системы показателей качества

Когда у вас есть более 50 индикаторов в вашей системе показателей качества, каждый со своей функцией эффективности, бенчмарками, величинами и весами, теоретически вы можете вычислить эффективность каждой категории, а затем и всей системы показателей. В результате у вас будет одно число (некоторые называют его «балл качества»).

Я знаю, что некоторые топ-менеджеры требуют единый балл качества, но в большинстве случаев это не имеет смысла, так как это число агрегирует слишком много данных. Оно выглядит красиво в отчетах, но не предоставляет никакой значимой информации для топ-менеджера. Лучше сгруппировать индикаторы по категориям и отчитываться об эффективности каждой категории.

Например, из обсуждаемой выше системы показателей я могу увидеть, как организация работает в плане усилий по обучению или внутренних улучшений.

Вычисление общего балла качества, а также производительности перспектив

Общая производительность системы показателей качества рассчитывается с учетом производительности подэлементов и их соответствующих весов. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.


В BSC Designer: программа может вычислять показатели эффективности для индикаторов, целей, перспектив и для всей системы показателей, но конечное использование зависит от вас.

7. Планируйте ваши действия

Убедитесь, что у вас есть (предпочтительно в письменной форме) план, связанный с каждым индикатором качества.

  • Что вы будете делать, если этот индикатор попадет в красную зону?
  • Есть ли какие-либо рутинные процедуры, связанные с этим индикатором?
  • Каков предлагаемый бюджет?
  • Сколько времени займет выполнение действия?
  • Как часто вам нужно пересматривать этот индикатор?
  • Кто отвечает за индикатор?

Например, в сбалансированной системе показателей качества, созданной выше, у нас есть инициатива Обучение по всей компании, связанная с целью Тренинг по отчетности о почти происшествиях, где мы указали все необходимые детали:

Company wide training initiative example

В BSC Designer: выберите индикатор или цель, нажмите кнопкуИнициативы”, укажите соответствующие детали, бюджет, ссылку на некоторые документы и выберите ответственного человека.

8. Создать дашборд качества

Дашборды помогают визуализировать индикаторы качества. Для некоторых из них потребуется использовать диаграмму в стиле шкалы, для других лучшим вариантом будет отображение временной диаграммы с трендовой линией. Хорошо спроектированный дашборд предоставит вам общий обзор. Используйте его вместе с индикаторами, визуализированными на карте.

An example of quality dashboard

Пример дашборда производительности, который визуализирует ключевые индикаторы качества и диаграмму Ганта с инициативами. Источник: Просмотреть Quality Scorecard онлайн в BSC Designer Quality Scorecard.


В BSC Designer: вы можете создать несколько дашбордов для визуализации ваших индикаторов.

9. Отслеживайте тренд

Даже если вы регулярно проверяете свои индикаторы, вы можете упустить из виду негативный тренд. Для этого отслеживайте значение индикаторов в течение более длительного периода времени. Например, взяв 3-месячный период в качестве базы для расчетов, вы можете заметить, что индикатор движется в красную зону. Это будет отличным ранним предупреждающим сигналом для вашей команды.

Анализ системы показателей в BSC Designer

Функция анализа прогнозирует значение индикатора, используя его исторические данные. Источник: Просмотреть Система показателей качества онлайн в BSC Designer Система показателей качества.


В BSC Designer: Используйте «Прогнозный анализ» на вкладке «Анализ» для прогнозирования значения индикаторов.

10. Получите плохие новости заранее

Если какой-то индикатор качества попал в красную зону, убедитесь, что все вовлеченные специалисты по качеству получили уведомление о проблеме незамедлительно.

Также убедитесь, что ваша система показателей качества обновляется свежими данными, и вы смотрите на актуальную информацию о качестве.

Training programТренинг: 'Освоение KPI качества с BSC Designer' предлагается в рамках нашей программы непрерывного обучения и включен в подписку BSC Designer.

Тренинги проводятся еженедельно через Zoom, предоставляя практические инсайты и персонализированные рекомендации. По завершении участники получают сертификат о посещении. Изучите все доступные тренинги здесь.

Примеры использования в управлении качеством

Узнайте, как бизнес-профессионалы используют BSC Designer для автоматизации стратегических аспектов управления качеством.

Загрузка отзывов...

Краткое содержание

Есть много заинтересованных сторон качества, которые воспринимают его по-разному — потенциальные клиенты, заказчики, партнеры, наша команда, регуляторы.

  • Хорошая новость: мы все еще можем количественно оценивать, измерять и даже предсказывать качество.

В этой статье мы обсудили:

  • Часть 1. KPI, которые помогают измерять, предсказывать и отчитываться о качестве
  • Часть 2. Пример Сбалансированной системы показателей, который помогает связать инициативы по качеству с общей бизнес-стратегией
  • Часть 3. 10 идей для улучшения постоянного контроля качества

Не стесняйтесь делиться в комментариях интересными находками по измерению качества.

Используйте шаблон Quality Scorecard

BSC Designer помогает организациям реализовывать их сложные стратегии:

  1. Зарегистрируйтесь на бесплатный план на платформе.
  2. Используйте шаблон Scorecard Template Quality Scorecard в качестве отправной точки. Вы найдете его в Новая > Новая система показателей > Больше шаблонов.
  3. Следуйте нашей Системе внедрения стратегии, чтобы связать заинтересованные стороны и стратегические амбиции в комплексную стратегию.

Начните сегодня и посмотрите, как BSC Designer может упростить реализацию вашей стратегии!

  1. Прогнозирование возникновения дефектов с использованием истории изменений программного обеспечения, Тодд Л. Грейвс, Алан Ф. Карр, Дж.С. Маррон, Харви Сий, IEEE Transactions on Software Engineering 26(7):653 — 661 · Август 2000
  2. Внедрение целей и измерений согласно ISO 9001:2015, Алексей Савкин, BSC Designer, 28 марта 2023.
Цитирование: Alexis Savkín, "Качественные KPI и система показателей — полное руководство с примерами", BSC Designer, 2 сентября, 2020, https://bscdesigner.com/ru/quality-kpi.htm.

Оставьте комментарий