Как измерять качество и предотвращать появление дефектов в продукте? В этой статье мы рассмотрим конкретные показатели качества и то, как они влияют на общую стратегию.
Статья начинается со списка показателей качества, разделённых на группы. Мы обсудим популярные KPI качества и способы их использования. Продолжить чтение >
Во второй части мы рассмотрим бизнес-контекст качества и создадим пример сбалансированной системы показателей. Продолжить чтение >
В третьей часть мы рассмотрим десять идей, помогающих превратить систему показателей в эффективный инструмент текущего контроля качества. Продолжить чтение >
Часть 1. KPI качества
Перед тем, как приступить с обсуждению конкретных KPI, ответим на два вопроса:
Если вы сразу хотите перейти к KPI, то далее мы рассмотрим следующие темы:
- KPI качества для различных заинтересованных сторон
- KPI качества с точки зрения оценки финансовых последствий
- KPI для предотвращения проблем качества
- Показатели качества реагирования
- Культура качества
Стороны, заинтересованные в качестве
Качество не является абсолютной ценностью. Говоря о качестве, мы подразумеваем его восприятие. Кто воспринимает качество продукта или услуги?
Можно начать с:
- Конечных потребителей
- Внутренних потребителей (нашей команды и партнёров)
- Регулирующих органов
Говоря о конечных потребителях, мы можем разделить их по конкретным группам:
- Перспективные клиенты
- Платящие клиенты
- Повторные клиенты
- Крупные клиенты
Определение качества
Что такое качество?
Оксфордский словарь предлагает следующее определение качества:
Стандарт чего-либо по сравнению с другими подобными вещами; степень совершенства чего-либо.
Различные вовлеченные стороны по-разному воспринимают качество. Например:
- Перспективных клиентов может привлечь ваш маркетинг; качество воспринимается на самом базовом уровне (качество упаковки или маркетинговых материалов).
- Покупатели, использующие продукт в течение более длительного времени, имеют лучшее представление о его качестве (воспринимаемое, разумеется, в контексте их потребностей); те, кого устраивает качество продукта, станут повторными клиентами; те, кому оно не понравится, уйдут к конкурентам.
- У крупнейших клиентов, вероятно, будут другие потребности и представления о качестве.
- Команда, имеющая отношение к внутренней механике бизнеса, воспринимает качество продукта сквозь призму его архитектуры и комплексности.
KPI качества для заинтересованных лиц
Далее мы рассмотрим популярные KPI качества. Для того, чтобы добиться наилучших результатов, перед внедрением показателей убедитесь в том, что они подходят для вашего контекста бизнеса. Об этом мы поговорим во второй части статьи.
Рассматриваемые далее показатели:
- NPS (показатель лояльности клиентов)
- Количество жалоб за период
- Социальное подтверждение качества
- Показатель комплексности
NPS (показатель лояльности клиентов) как показатель качества
В своей классической форме (вопрос «Порекомендуете ли вы нас друзьям?») этот индикатор означает общее восприятие продукта или сервиса.
- Низкий NPS может быть результатом низкого качества продукта или услуги
- Чтобы понять, в чем состоит проблема, задавайте уточняющие вопросы
В этом случае индикатор для измерения предельно прост:
- NPS, %
Количество жалоб за период
Важна любая обратная связь с покупателями. В некоторых случаях мы узнаем о проблеме, лишь получив гневное сообщение от клиента.
Даже если вы делаете всё для предотвращения возможных проблем, жалобы будут поступать. На самом деле они демонстрируют, что:
- Клиентам не всё равно (иначе они не стали бы тратить время на написание сообщения).
- Существует проблема, которую необходимо решить.
- Вы знаете о своём продукте не всё, и должны улучшить систему контроля качества.
Возможные показатели:
- Количество жалоб за период
Общим подходом к рассмотрению жалоб является понимание и исправление ошибки в системе бизнеса, а не стремление обвинить конкретных людей.
Социальное доказательство качества
Нередко перспективные клиенты не могут оценить качество продукта перед покупкой, однако они могут принять взвешенное решение на основании показателя социальной значимости.
- Средний балл отзывов клиентов. Показатель социального доказательства формируется на базе суммарного значения оценки клиентов и их отзывов.
Представьте себе бронирование отеля или совершение покупки на Amazon. Примерное представление о продукте вы можете получить, изучив описание и фото, однако слишком большое количество товаров кажется одинаковым:
В этом случае мы изучаем рейтинг отеля или товара на Amazon, и в соответствии с этим формируем мнение об ожидаемом качестве продукта.
Этот показатель схож с NPS, однако в данном случае покупатели чаще делятся непредвзятым и детализированным мнением.
Показатель комплексности
Чем больше усилий прикладывается к контролю и обеспечению качества, тем меньше отчетов о проблемах вы будете получать.
Однако это не означает, что ваш продукт идеален. Напротив, вы можете столкнуться с ещё более сложной проблемой:
Вместо исправления очевидных проблем, теперь вам придётся читать между строк, чтобы понять, по каким (менее очевидным) причинам пользователи не раскрывают весь потенциал продукта.
Я говорю о комплексности.
Ранее мы говорили об измерении комплексности. Необходимо обратить внимание на эти ключевые моменты:
- Чрезмерная трата времени
- Чрезмерный выбор
- Чрезмерные объяснения
Хотя выбор показателей зависит от вашего продукта, мы можем объединить их в группу:
- Индекс комплексности, %
Бороться с комплексностью непросто, однако время, инвестируемое в этом направлении, того стоит. Здесь вы найдете пример того, как устранение ненужной комплексности помогает организациям совершенствоваться.
KPI качества для оценки финансовых последствий
Иногда специалистам в области качества приходится защищать бюджет и стратегию на совещаниях. Предлагаю несколько связанных с финансами показателей качества.
Показатели, которые анализируются ниже:
- Стоимость низкого качества
- Стоимость высокого качества
- Показатель возможности или риска для качества
Стоимость низкого качества
Используйте этот индикатор для понимания последствий выпуска некачественной продукции. Оцените все затраты, связанные с нахождением и решением проблемы
- Стоимость специалиста по поддержке клиентов
- Стоимость решения
- Ущерб бренду
Во многих случаях речь идет не о поиске конкретного денежного значения, но о понимании того, насколько сильно влияние качества на восприятие клиентов.
Для этой статьи я создал индикатор:
- Стоимость низкого качества
Индикатор суммирует значения всех внутренних показателей и даёт представление об общей стоимости качества. В моём примере рассчитывается средняя стоимость события связанного с низким качеством.
Стоимость высокого качества
Показатель схож со «Стоимостью низкого качества», однако в этом случае оценивается стоимость достижения высокого стандарта качества.
В этом случае нашим показателем является:
- Стоимость высокого качества, $
Формула метрики зависит от конкретной ситуации. К примеру, мы можем подсчитать бюджет, необходимый для снижения дефектов с 0.01% до 0.001%.
Показатель возможности или риска для качества
Ресурсы любой организации ограничены. Мы не можем применять один подход к решению всех проблем качества: некоторые из них требуют немедленного решения, другие – можно на некоторое время внести в список недоработок.
Как обосновать решение в этом случае? Поможет простая оценка возможности (или риска):
- Оценка последствий проблемы качества
- Оценка вероятности подобных последствий
В результате имеем:
- Показатель оценки риска (возможности), % = последствие, % x вероятность, %
Как оценить последствия проблемы качества? Проанализируйте:
- Количество клиентов, которых затронет эта проблема
- Финансовый потенциал клиентов
- Вовлечение клиентов в проблему (количество сообщений от клиентов)
Как оценить вероятность? Нанесите её на шкалу от 0% до 100%, где:
- 0% — это нет доказательств, что проблем потенциально повлияет на клиентов
- 100% — критический фактор, например, отказ клиентов от покупки или последствия, выражающиеся в серьёзных тратах.
Для примера рассмотрим программу BSC Designer. Несколько лет назад мы получили два запроса о добавлении функций от клиентов (обе функции были позже добавлены):
- (A) Добавить функцию «разрешить/запретить пользователям редактировать исторические данные в системах показателей»
- (B) Изменить способ отображения инициатив на стратегической карте
(A) был критическим фактором для крупного потенциального клиента, ранее об этом же просили другие пользователи.
(B) был менее важным вопросом для существующего пользователя, и лишь один клиент попросил о подобной функции.
Наши усилия по «решению проблемы» (фактически речь шла о разработке новых функций) были почти одинаковыми.
Пример оценки возможности в двух этих случаях:
| Последствия | Вероятность | Возможность | |
|---|---|---|---|
| A | 70% (вопрос был критическим для принятия крупным клиентом решения о покупке) | 80% (3 других клиента просили о похожей функции) | = (0.7 * 0.8) * 100% = 56% |
| B | 50% (это несколько упростит работу существующего клиента) | 60% (ещё 1 клиент просил о подобном, нашим разработчикам также понравилась идея) | = (0.5 * 0.6) * 100% = 30% |
В нашем примере значение показателя возможности «А» было выше, поэтому при внедрении эта функция получила приоритет.
KPI для предотвращения проблем качества
Теперь необходимо представить в числовой форме и измерить последствия (низкого) качества. Сконцентрируемся на другом аспекте:
- Вместо исправления ошибок проявим проактивность. Попробуем снизить возможность возникновения проблем качества в будущем.
Следующие показатели помогут нам отследить достижение этой цели:
- Показатель потенциально опасной ситуации
- Показатель неоднозначности требований
- Возраст продукта и количество модификаций
- Показатель экспертной оценки (WTF в минуту)
- Показатель случайного тестирования
- Показатель самопроверки качества
- Показатель автоматизированного контроля качества
- Показатель нагрузочных испытаний
- Показатель теста, проводимого вручную
- Анализ риска изменений
Показатель потенциально опасных ситуаций
Как можно предсказать то, что ещё не произошло?
Для прогнозирования важных проблем качества необходимо проанализировать появление предыдущих, менее важных проблем.
Это совсем не сложно.
- Этому нас учит теория разбитых окон.
- Именно так управление авиации стремится к предотвращение несчастных случаев в воздухе.
- Именно так компания Alcoa достигла цели нулевого травматизма (см. «Сила привычки. Почему мы живем и работаем именно так, а не иначе» Чарльза Дахигга).
Как создать показатель потенциально опасных ситуаций?
- Узнайте о том, что такое потенциально опасная ситуация
- Найдите потенциально опасные ситуации, релевантные для ваших бизнес-процессов
- Представьте свои выводы в числовой форме, измеряйте и отслеживайте их
Внедрение показателя потенциального опасных ситуации связано с изменением культуры организации.
Необходимо обучить команду докладывать и обсуждать небольшие проблемы качества, которые могут привести к чему-то более серьёзному.
Показатель можно сформулировать следующим образом:
- Показатель действия: Проникновение тренинга по потенциально опасным ситуациям, %
- Показатель результата: Количество отчетов о потенциально опасных ситуациях
Показатель неоднозначности требований
Индикатор похож на Потенциально опасные ситуации, однако в этом случае мы будем проактивными.
Вместо того, чтобы ждать возникновения проблем качества, мы просим наших лучших экспертов проанализировать документацию, содержащую требования по продукту/услуге, и идентифицировать проблематичные места.
В этом случае показателем может быть:
- Неоднозначность требований на страницу, %
В сфере разработки программного обеспечения эксперты анализируют требования для выявления неоднозначности.
В этом случае требования являются «предшествующей» документацией, поэтому, улучшив их, мы проактивно предотвращаем возникновение проблем качества в будущем.
Возраст продукта и количество модификаций
Мы занимаемся разработкой ПО, поэтому мне особенно интересны лучшие способы оценки качества программ и, в особенности, программного кода.
Классическое «количество строк кода» имеет мало смысла. Интуитивно разработчики это понимают:
- Часто изменяемый код содержит больше дефектов, чем код, остающийся без изменений на протяжении долгого времени
Иными словами, мы предполагаем, что качество кода будет функцией возраста кода и количества его модификаций. Эмпирически это было подтверждено в работе “Predicting Fault Incidence Using Software Change History”1.
Уверен в том, что, заменив «код» словом «продукт», вы придете к тем же выводам в любой сфере производства комплексного продукта. Думая об этом в контексте стратегии качества, мы сможем более эффективно прогнозировать возникновение проблем и, соответственно, исправлять систему тестирования.
Показатель экспертной оценки (WTF в минуту)
Индикатор похож на показатель неоднозначности требований, однако в этом случае мы можем попросить экспертов проанализировать что угодно: продукт, руководство пользователя, службу поддержки клиентов.
Как представить их обзоры в числовой форме? Шутливый (однако практический) ответ на этот вопрос дал Том Холверда в своих комиксах, созданных для osnews:
- WTF в минуту («What’s This For» или «Для чего это» в минуту).
Эта оригинальная метрика предназначалась для оценки качества кода, однако, как можно предположить, она подойдёт для любой области.
Показатель случайного тестирования
Ещё один индикатор поможет оценить качество при наличии большой выборки.
В основном, он применим для физических продуктов.
- Смешайте образцы
- Выберите несколько случайных предметов
- Проверьте их качество
- Если были обнаружены дефекты, пропорционально оцените реальный масштаб проблемы
В этом случае показателем может быть:
- % дефектов в случайных образцах
Очевидно, этот подход работает на ранних этапах производства продукта, где нередко возникают проблемы качества. По мере разработки систем контроля качества объем выборки для случайного тестирования должен быть увеличен.
Показатель самопроверки качества
Иногда необходимо проверять “качество качества,” то есть работу самой системы контроля качества.
- Действительно ли оценка качества работает?
- Действительно ли автоматизированные тесты выявляют проблемы?
Идея самопроверки состоит во введении заранее известных ошибок и проверке того, будут ли они обнаружены.
Эта процедура была внедрена лабораториями медицинских анализов. Лабораторное оборудование представляет собой сочетание сложных оптических устройств и химических реактивов. Факторами качества являются способ хранения реагентов, качество дистиллированной воды, стабильность электрического тока, человеческий фактор и случайные ошибки.
В этом случае самым простым способом проверки качества является загрузка заранее известных образцов и сравнение фактических результатов с ожидаемыми.
Регулирующие органы используют этот же подход: они проводят слепые испытания, при этом характеристики тестовых образцов заранее не известны.
В этом случае показателями являются:
- Количество самопроверок за период
- Эффективность выявления дефектов, % = Выявленные дефекты / Введенные дефекты
Этот метод является исходной точкой более дорогостоящих и длительных тестов.
Показатель автоматизированного контроля качества
Как и в случае самопроверки, здесь система не представляется как черный ящик, а автоматизированные тесты могут быть более конкретными.
Очевидны преимущества автоматизированных тестов перед тестами, проводимыми вручную:
- Отсутствие человеческого фактора
- Сокращение затрат
При этом необходимо балансировать между охватом автоматизированного тестирования и стоимостью разработки и поддержки подобных тестов.
Возможный показатель:
- Охват автоматизированного тестирования, %
Показатель нагрузочных испытаний
Качество системы может меняться, если среда значительно меняется.
Показатель в этом случае:
- Готовность к перегрузкам, %
Идея состроит в прогнозировании возможных изменений и подготовке к ним. Представьте себе лучший и худший сценарии и продумайте план действий в чрезвычайных ситуациях.
- Тестируете смартфон? Отправляйтесь в зимний поход по горам и проверьте, как долго протянет батарея.
- Управляете сайтом? Переживет ли он DdoS-атаку?
- Разрабатываете потребительские товары? Будут ли они хорошо работать в Индии?
Показатель теста, проводимого вручную
Старые добрые ручные тесты остаются обязательными. Две рекомендации:
- Будьте пользователем собственного продукта
- Учитывайте точки зрения различных сторон, заинтересованных в качестве
В этом случае показателями являются:
- Охват плана тестирования, %
- Время выполнения плана тестирования
Менее формальный, но полезный показатель:
- Время, проведенное в роли конечного пользователя продукта, часов
Например, для иллюстрирования этой статьи и создания системы показателей качества я пользовался нашей программой BSC Designer. Этот способ всегда помогает выработать новые идеи усовершенствования.
Анализ риска изменений
Когда комплексность продукта высока, его изменения могут привести к возникновению многих проблем качества. Решение этой задачи нужно искать на уровне архитектуры продукта. Например, чтобы избежать плохих зависимостей, программисты пользуются микросервисами.
С точки зрения качества, исходным пунктом является оценка риска изменений. Спросите инженеров:
- Если мы изменим функцию “A” продукта, насколько вероятна поломка?
Следуя этой логике, мы можем использовать:
- Показатель количества недавних изменений
в качестве индикатора действия для будущих проблем качества.
Показатель качества ответа
Мы пытались решить проблему на стадии разработки. Мы пытались решить её до того, как она станет заметной клиентам (и другим заинтересованным лицам). Однако иногда, несмотря на все эти фильтры, потребители сталкиваются с проблемой качества. Далее мы обсудим показатели, которые можно отслеживать в этом случае.
Далее мы обсудим следующие показатели:
- Время решения проблемы
- Время ответа
- Незавершенные задачи, связанные с качеством
- Показатель команды качества
- Коэффициент внедрения рекомендаций
- Качество коммуникации
- Эффективность решения
Время решения проблемы
Да, проблема была, но её решили за ночь. Любой пользователь сочтет такой опыт потрясающим.
Показатели:
- Среднее время решения критической проблемы
- Среднее время решения некритической проблемы
Отдельно отслеживайте время для разных заинтересованных сторон. Детали вы найдете в разделе, посвященном риску.
Ещё одной важной идеей является то, что время решения проблемы обычно не включает:
- Время на разработку плана предотвращения или
- Время на внедрение плана предотвращения
Время ответа
Во многих случаях для клиента проблема критической не является, однако для него важен факт того, что вам не всё равно. Короткое сообщение вроде: «Здравствуйте, спасибо за сообщение. Мы работаем над этим. В течение 2 дней проблема будет решена.» сможет продемонстрировать клиенту вашу о нём заботу.
Показатель:
- Время ответа на вопрос о качестве
Запланированные задачи, связанные с качеством
Как и запланированные задачи, связанные с продажами, этот индикатор говорит о том, как подобные задачи решаются в организации.
Отсутствие запланированных задач, связанных с качеством, вероятно, говорит о том, что:
- Вы не меняли продукт или услугу в течение долгого времени (и сам этот факт является проблемой), или
- Вы недостаточно хорошо слушаете своих клиентов
Слишком большое количество задач говорит о том, что вы прикладываете недостаточно усилий к их решению и должны что-то изменить.
Я рекомендую отслеживать этот показатель в динамике:
- Незавершенные задачи, связанные с качеством
Показатель команды качества
Популярным показателем в этом случае является:
- Персонал, отвечающий за качество / Обычный персонал, %
Если индикатор анализируется вместе с временем решения проблем и показателем повторяющихся проблем, %, он может дать информацию об эффективности команды.
Коэффициент внедрения рекомендаций
Представьте, что компания провела аудит качества. Например, она использовала описанный выше анализ неоднозначности требований. Мы должны убедиться в том, обнаруженные проблемы анализируют и решают.
Отслеживаемый показатель:
- Коэффициент внедрения рекомендаций, %
Это не всегда означает, что все рекомендации должны внедряться, однако их необходимо перерабатывать в некую осязаемую форму (например, обновленные требования).
Качество коммуникации
Комплексность является фактором качества.
В этом случае отслеживается показатель избыточности коммуникации:
- Избыточность коммуникации, % = (Средний размер сообщения – наименьший размер сообщения) / средний размер сообщения.
Сделал ли клиент лишь один звонок, или ему пришлом обменяться пятью сообщениями для решения простого вопроса?
В случае обмена сообщениями мы можем подсчитать значение показателя:
- Избыточность коммуникации, % = (5 — 1) / 5 = 80% избыточности.
Также отслеживается:
- Коэффициент решения проблемы при первом контакте, %
Эффективность решения
Используя эффективную коммуникацию на всём протяжении процесса, мы решили проблему. Но была ли она действительно решена?
Отслеживаемый показатель:
- % повторяющихся проблем
или
- Готово с первого раза, %
- OTIF, % — Своевременно и в полном объёме для логистики
Наилучшим образом эти показатели работают в сочетании с метрикой Время решения. Организация должна найти баланс между скорость предоставления решений и их эффективностью.
Культура качества
Культура качества связана с созданием новых привычек поведения, которые помогут избежать возникновения критических проблем и повысить эффективность решения менее критических задач.
Есть ли у вашей команды привычка отслеживания и повышения качества?
Рассматриваемые KPI:
- Отклоненные дефекты
- Показатель анализа коренных причин
- Систематическая ошибка
- Показатель осведомленности о качестве
- Коэффициент принятия улучшений
- Показатель удержания
- Ваш уникальный показатель качества
- Изначально предусмотренное измерение качества
Отклоненные дефекты
Представьте, что пользователь сообщает вам о проблеме продукта, однако, как выясняется, кажущаяся проблема является нормальным поведением продукта. В этом случае разработчики «отклоняют» сообщение как сообщение о дефекте.
Так как качество воспринимается клиентом, ситуация будет рассматриваться им как дефект. Что означает отклоненный дефект? Он говорит о том, что другая система работала плохо. Отслеживаемый показатель:
- % отклоненных дефектов
Рассмотрим пример:
- В маленьком холодильнике производится слишком много льда, что доставляет неудобства владельцам. Они звонят в службу поддержки, появляется сотрудник и сообщает им о том, что маленький холодильник не предназначен для постоянного использования. Обычно он используется в номерах гостиниц, где его регулярно отключают. На эту проблему качества уже затрачиваются ресурсы (последствия для бренда, стоимость гарантийного сервиса), однако дефект будет отклонён. Так в чем состоит проблема? Думаю, она состоит в маркетинге…
Похожая ситуация: испытатель сообщает о проблеме, которую отклоняют инженеры. В чем заключается проблема в этом случае? Я думаю, она состоит в неоднозначности изначальных требований.
Показатель анализа первопричин
Исправление дефектов является неплохим исходным пунктом анализа, однако организация должна уметь учиться на своих ошибках. (см. статью об обеспечении качества в Wikipedia). Сделайте анализ первопричин для проблем качества:
- В чем состояла причина проблемы?
- Почему её не выявили раньше? Что можно изменить в системе контроля качества для выявления подобных проблем?
- Что можно изменить в наших системах для устранения возможности возникновения подобных проблем?
Безусловно, глубина анализа должна соответствовать важности продукта.
Отслеживаемые показатели:
- Действия: проникновение тренинга по анализу первопричин, %
- Результата: % процент проблем, для которых был проведен анализ первопричин
Системная ошибка
Одной из задач обеспечения качества является выявление системных ошибок. Допустим, ваш SaaS размещен на медленном сервере, что приводит к множеству проблем, связанных с неудобством использования системы. Нет смысла анализировать функциональные проблемы, если их вызывает более серьезная системная ошибка.
Показатель осведомленности о качестве
Качество – это задача каждого сотрудника, поэтому необходимые процедуры стоит объяснить каждому члену команды:
- Как необходимо сообщать о «потенциально опасных ситуациях»?
- Что такое анализ первопричин и как он проводится?
- Что такое план реагирования на критические проблемы?
- Каковы наши стандарты качества?
Измеряемые показатели:
- Действия: проникновение тренинга по качеству, %
- Действия: устаревшие учебные материалы, %
- Результата: программа осведомлённости о качестве, %
- Результата: осведомлённость о стандартах качества, %
- Результата: % принципов, понятых сотрудниками
Как можно заметить, показатели результата, относящиеся к осведомленности, сбалансированы показателями действия, имеющими отношение к тренингу. Эксперты, ответственные за обучение, могут сосредоточиться на отслеживании следующих индикаторов:
- Немедленная реакция
- Изменения в действии
- Последствия для бизнеса
Об этом подходе мы говорили с статье, посвященной системе показателей обучения.
Коэффициент принятия улучшений
Ваша команда и партнёры могут предлагать различные идеи улучшения. Вопрос заключается в том, какая их доля анализируется и внедряется инженерами. Если идеи сразу же отправляются в мусорное ведро, нельзя ожидать высокого морального духа среди подчиненных.
Лучшим подходом является создание процедуры обработки идей, похожей на то, о чем говорилось в статье, посвященной системе показателей инноваций.
В этом случае исходным пунктом для измерения производительности является:
- Коэффициент принятия улучшений, % = Предложенные идеи / Внедренные идеи
Показатель удержания
Плохое качество влияет на заинтересованные стороны.
Мы можем заметить, что клиенты перестают рекомендовать наш продукт, или же хорошие сотрудники начинают искать другую работу. В качестве раннего сигнала тревоги вы можете использовать два показателя:
- Показатель удержания клиентов, %
- Текучесть лучших кадров, %
Эти метрики являются индикаторами результата, однако мы также можем использовать показатели с более близким временным горизонтом:
- Вместо того, чтобы наблюдать, как нас покидают клиенты, мы можем проанализировать, чем они делятся в социальных сетях.
- Управляющие персоналом могут отслеживать ранние показатели текучести при помощи системы показателей HR.
Ваши уникальные показатели качества
Думаю, большинство показателей, о которых идет речь в этой статье, подойдут и для вашей области. При этом существует уникальные показатели, которые должны разрабатываться для конкретного бизнеса. Как создать подобные метрики? Я рекомендую вам познакомиться с Системой KPI.
Лучшая рекомендация:
Уникальный показатель качества должен быть связан с процессом, являющимся ограничивающим для вашей организации
Рекомендация оказалась полезной? Это легко объяснить. Если в процессе, который ограничивает систему, возникает проблема, это повлияет на всю систему.
Показатели качества на этапе дизайна
В статье о системе KPI мы также обсудили показатели, внедряемые на этапе дизайна. Вместо попыток измерять что-то потом, необходимо учитывать будущие потребности в измерении на этапе создания продукта.
Применяя эту идею к сфере качества, мы должны будем выяснить, какие показатели могут быть внедрены на этапе дизайна.
Для начала задайте команде, отвечающей за качество, следующие вопросы:
- Когда пользователь сообщает о какой-то проблеме, как мы узнаем в чем ее причина?
- Что можно изменить в продукте или услуге для упрощения отслеживания качества?
Ответом может быть простой чеклист или черный ящик, фиксирующий рабочие процессы.
И вот что важно:
Если вы найдете лучшие способы измерения качества, это автоматически приведет к его повышению.
К примеру, в области разработки программного обеспечения адепты практик DevOps сначала разрабатывают тесты функциональных возможностей ПО, а затем приступают к разработке самих функций. С одной стороны, это позволяет лучше отслеживать качество, с другой, повышает качество готового продукта.
Внедрение культуры качества
Мы рассмотрели некоторые идеи, связанные с культурой измерения качества. Однако более важной темой является переориентация всей культуры компании на качество. На эту тему было написано немало книг, а в части 3 статьи вы найдете мой топ-10 советов, почерпнутых из этих работ.
Часть 2. ССП качества
Сбалансированная система показателей – это фреймворк реализации стратегии. Каковы цели качества? Как эти цели согласуются с общей стратегией организации? Как отследить реализацию этих идей? Далее мы создадим пример ССП качества.
Мы будем придерживаться следующего плана:
- Формулирование миссии
- Помещение на карту целей финансовой перспективы
- Определение потребностей сторон клиентской перспективы
- Объяснение плана реагирования в перспективе внутренних процессов
- Определение факторов, способствующих внутренним улучшениям в перспективе обучения и роста
Миссия
В чем состоит цель сосредоточения на качестве? Попробуем сформулировать вдохновляющую миссию для команды, ответственной за качество:
Эффективное решение проблем качества и разработка плана предотвращения
Это простое послание должно быть понятно каждому члену команды. Мы здесь для того, чтобы:
- Быстро решать проблемы качества
- Разработать и внедрить план предотвращения
Теперь рассмотрим перспективы ССП.
Финансовые последствия качества
Как качество влияет на финансовый аспект? Иными словами, что произойдет, если заинтересованные стороны не будут удовлетворены качеством продукта?
Ответ зависит от того, о какой заинтересованной стороне идет речь:
- Неудовлетворенные клиенты не будут покупать продукт или повторять покупку.
- Если качеством не удовлетворена команда, сотрудники могут начать покидать компанию и искать работу, которая позволит им реализовать свой потенциал.
- Если вы не соответствуете требованиям регулирующего органа, компанию могут оштрафовать.
Я советую зафиксировать эти идеи под целью:
- Устойчивое развитие
Это очень размытая цель. Как можно превратить её в нечто более конкретно? Мы можем согласовать с ней показатели производительности:
- Стоимость плохого качества продемонстрирует финансовые последствия плохого качества
Клиентская перспектива
Для обеспечения устойчивости развития организации необходимо удовлетворить потребности клиентов (конечных потребителей, команду, регулирующие органы).
Цель: Избежать критических дефектов, быстро исправлять некритические дефекты. Именно этого хотят заинтересованные лица. Как можно измерить степень достижения этой цели? Мы можем использовать некоторые показатели, о которых мы говорили ранее. В контексте цели, это будут индикаторы результата:
Как насчет показателей действия? Они будут созданы на основе целей внутренней перспективы, которую мы рассмотрим далее.
Другая цель этой перспективы относится скорее к внутренней заинтересованной стороне:
- Цель: Удобный в сопровождении продукт. Продукт относительно легко обслуживать, модифицировать, тестировать. Именно этого хочет ваша команда.
Какие показатели результата можно использовать для отслеживания реализации цели? Например, будут полезными:
Это простая модель того, как связаны комплексность продукта и вовлечение команды:
- Если продукт станет слишком сложным, члены команды будут жаловаться, и если мы ничего не предпримем, они уйдут.
Как насчет показателей действия? Как мы можем предотвратить подобные ситуации? Это зависит от конкретного контекста, но, в целом, нам необходимо понять причины возникновения проблемы качества/комплексности. По этой причине в перспективу внутренних процессов будет включена цель «Анализ первопричин и обеспечение качества», которая ведет к достижению цели «Удобный в сопровождении продукт».
Внутренняя перспектива
В этой перспективе необходимо ответить на два вопроса:
- Как мы собираемся «избегать критических дефектов» и «быстро исправлять некритические дефекты»?
- Как можно убедиться в том, что наш продукт «легко поддерживать»?
Я сформулирую три цели, а линии связи на скриншоте покажут, как они способствуют достижению целей клиентской перспективы:
- Предотвращение критических проблем качества
- Быстрое решение проблем качества
- Анализ первопричин и обеспечение качества
И вновь эти цели являются слишком неопределенными. Чтобы сделать их более конкретными, мы должны связать их с некоторыми показателями.
Перед тем, как перейти к обсуждению подходов к предотвращению возникновения проблем качества, поговорим о цели “Предотвращение возникновения критических проблем качества”. Возможные показатели результата:
- Отчеты о потенциально опасных ситуациях
- Неоднозначных требований на страницу, %
- Показатель экспертной оценки (WTF в минуту)
Как можно убедиться в том, что команда, к примеру, понимает, когда необходимо сообщать о «потенциально опасных ситуациях»? Для этого в перспективу обучения и роста мы поместим цель «Обучение по отчетам о потенциально опасных ситуациях».
Как насчет цели “Быстрое решение проблем качества”? Его базовым показателем является Время решения критической проблемы.
Также важно научить команду правильно сообщать о проблемах качества. Мы можем отследить достижение этой цели при помощи показателя Коэффициент принятия улучшений.
Наконец, цель “Анализ первопричин и обеспечение качества” способствует достижению цели “Простой в сопровождении продукт”. Можем ли мы убедиться в том, что команда проводит надлежащий анализ первопричин и правильно обеспечивает сопровождение качества?
Начнем с основы. При помощи показателей мы можем отследить, что мысли команды движутся в правильном направлении:
- Время на разработку плана предотвращения
- Время на внедрение плана предотвращения
У вас может возникнуть вопрос:
Как мы поймем, что на этот раз временной бюджет был потрачен эффективно?
Мы не можем убедиться в этом с помощью показателей, однако, если что-то пойдет не так, индикаторы, связанные с целью «Удобный в сопровождении продукт» из клиентской перспективы окажутся в красной зоне:
- Внутренние клиенты будут жаловаться на качество/комплексность продукта (см. показатель “Качество/комплексность продукта для команды”).
Итак, мы знаем, как должна вести себя команда, ответственная за качество. Теперь мы должны снабдить её правильными навыками и инструментами. То, как это сделать, объясняется в перспективе обучения и роста.
Перспектива обучения и роста
В перспективе обучения и роста имеются две цели, способствующие достижению цели Предотвращение критических проблем качества:
- Обучение отчетности по потенциально опасным ситуациям
- Обучение предотвращению проблем качества
Я разделяю их, потому что отчеты о потенциально опасных ситуациях заслуживают особого внимания.
Начнем с цели Обучение отчетности по потенциально опасным ситуациям.
Её показателем действия является:
Очевидно, мы хотим, чтобы все вовлеченные сотрудники были должным образом подготовлены.
Как насчет показателей результата? Если мы относимся к вопросу всерьез (подробности вы найдете в системе показателей обучения), необходимо понять, что именно мы собираемся измерять:
- Результаты обучения
- Изменения в поведении
- Воздействие на бизнес
Результатами обучения является оценка за экзамен. Изменения в поведении измеряются при помощи Отчетов о потенциально опасных ситуациях, согласованных с целью Предотвращение критических проблем качества.
Как определить воздействие тренинга по «потенциально опасным ситуациям» на бизнес? Я смотрю на цель Предотвращение критических дефектов, быстрое исправление некритических дефектов и полагаю, что Число жалоб за период является отличным индикатором для этой задачи.
Перейдем к следующей цели: Обучение предотвращению проблем качества. Здесь мы имеем два показателя результата, связанные с инициативами, которые согласованы с этой целью:
Соответственно, инициативы связаны с идеями обеспечения качества, которые обсуждались прежде:
Последней целью в перспективе обучения и роста является Осведомленность о качестве. Ранее мы говорили о том, как важна поддержка актуальности стандартов качества и соответствующих учебных материалов. Для этой цели мы отслеживаем:
- Показатель действия Устаревшие учебные материалы, %
Для того, чтобы быть уверенным в том, что все сотрудники были обучены, мы вновь используем показатель
- Проникновение тренинга по качеству, %
Для отслеживания результатов программы Осведомленность о качестве, мы используем эти показатели результата:
Как можно численно представить Программу осведомленности о качестве, %? Например, мы можем проводить опросы или тестирование.
Как можно убедиться в том, что программа «Осведомленности о качестве» изменила поведение сотрудников? Необходимо отслеживать конкретные индикаторы поведения. Я выбрал две метрики:
В качестве примера используем эту цель и посмотрим, как работает логика стратегической карты.
Логика стратегической карты в действии
Если наша программа Осведомленности о качестве успешна, можно ожидать, что, например, специалисты службы поддержки клиентов будут отвечать на сообщения быстро (показатель Время ответа на вопрос о качества) и эффективно (показатель Избыточность коммуникации, % ). Перейдем к «внутренней» перспективе.
Цель Осведомленность о качестве является фактором действия для цели Быстрое решение проблем качества. Фактически мы предполагаем, что повышение осведомленности о качестве поможет команде решать проблемы качества более эффективно. Контролировать правильность гипотезы мы будем при помощи показателей Коэффициент принятия улучшений, % и Время решения критических проблем.
Рассмотрим теперь клиентскую перспективу.
Цель Быстрое решение проблем качества способствует достижению цели Предотвращение критических дефектов, быстрое устранение некритических дефектов, которая, наконец, способствует достижению цели финансовой перспективы Устойчивое развитие.
Относительная значимость целей
На стратегической карте мы можем видеть, что на цель Предотвращение критических дефектов, быстрое устранение некритических дефектов влияет производительность двух целей:
- Предотвращение критических проблем качества
- Быстрое решение проблем качества
Одинаково ли эти цели способствуют достижению цели Предотвращение критических дефектов, быстрое устранение некритических дефектов?
Предположим, что предотвращение появления проблем важнее, чем их быстрое решение.
Для отражения этой логики я меняю вес показателей соответственно:
- Предотвращение критических проблем качества, вес 70%
- Быстрое решение проблем качества, вес 30%
Программа BSC Designer, которая использовалась для создания системы показателей в этой статье, учитывает вес при подсчете производительности цели Предотвращение критических дефектов, быстрое устранение некритических дефектов.
Если вы хотите больше узнать о том, как подсчитываются значения системы показателей, прочтите статью Система показателей 101.
Обучающее видео
В этом обучающем видео вы найдете основные выводы статьи.
Фреймворки управления качеством и реализация стратегии
Существует ряд известных моделей управления качеством, например, TQM, Six Sigma, Kaizen (Непрерывное улучшение), Бережливое производство и, разумеется, новейшая версия ISO 9001.
Посмотрим, как можно комбинировать:
- идеи систем управления качеством
с
- идеями ССП, системы реализации стратегии, о которой рассказывается в этой статье.
Система управления качеством или система показателей качества
Ранее мы говорили о ССП качества. ССП (визуально поддерживаемая стратегической картой) является одним из инструментов планирования и реализации стратегии.
Сопоставим концепции систем управления качеством с концепцией системы сбалансированных показателей:
| Системы управления качеством | ССП качества | |
| Непрерывный анализ потребностей клиентов | Большинство систем требуют концентрации на потребностях клиента и их непрерывном анализе. | Идеи фокуса на потребностях клиентов и их непрерывном анализе идеально сочетаются с  клиентской перспективой и перспективой  обучения и роста ССП. |
| Систематические изменения бизнес-системы | Системы управления качеством признают преимущество систематического подхода к настройке бизнес-системы в соответствии с проблемами качества. | В ССП эти изменения включены в  перспективу внутренних процессов, которая связана с клиентской перспективой и перспективой обучения и роста посредством причинно-следственной логики. |
| Согласование с интересами заинтересованных сторон | Системы управления качеством, в частности, последняя ISO 9001 считают, что конечной целью повышения качества является повышение общей эффективности организации. | Та же идея выражена в ССП, все стратегические цели которой связаны с  перспективой финансов/заинтересованных сторон. |
Другие типичные компоненты управления качеством включают:
- Непрерывное улучшение
- Цикл «планирование-выполнение-проверка-действие»
- Вовлечение топ-менеджмента
Рассмотрим, как эти идеи могут быть внедрены в стратегическую систему показателей.
«Непрерывные» улучшения при помощи KPI
Любая система управления качеством подчеркивает важность постоянной и систематической работы над качеством.
- Что это означает в контексте системы показателей качества?
Правильное определение индикаторов само по себе подразумевает систематический подход к повышению качества.
Как насчет непрерывности систематического подхода. Как можно её обеспечить?
Самым простым способом является установление интервалов обновления показателей качества в ССП:
Если вы используете ПО для автоматизации, настройте получение уведомлений, чтобы не пропустить момент, когда показатели будет пора обновить:
Цикл PDCA (цикл Деминга) на основе стратегических инициатив
Цикл PDCA (цикл Деминга или Plan-Do-Check-Act — планирование-действие-проверка-корректировка) присутствует во всех фреймворках качества под различными именами.
- Как система показателей качества поддерживает PDCA?
Любой план улучшений должен разрабатываться в контексте определенных бизнес-задач. В этом смысле:
Хорошо составленная система показателей с правильной стратегической картой предлагает всё, что нам нужно для понимания контекста: бизнес-цели и связи между ними.
Кроме того, инициативы стратегической карты помогают описать планы повышения качества при помощи уточнения бюджета и сроков, а также связи с более детализированными планами действий:
Типичная инициатива по повышению качества имеет несколько фаз. В стратегической системе показателей эти фазы могут быть отражены при помощи статусов инициатив.
В рамках PDCA «проверка» представлена KPI в системе показателей качества. Если вы используете ПО для автоматизации, функции рабочей панели и анализа упростят анализ результатов отслеживания производительности.
Вовлечение топ-менеджмета
В рамках большинства систем управления качеством повышение качество наиболее эффективно, если за него отвечает высшее руководство компании.
- Как это работает на практике?
Исходным пунктом является стратегическая карта качества. Благодаря ней все заинтересованные стороны, включая высшее руководство, будут включены в обсуждение стратегии качества.
Следующим шагом является каскадирование стратегии качества.
Некоторые показатели (KPI качества) будут согласованы с ССП исполнительного директора. Например, показатель“Воспринимаемое качество системы”, речь о котором шла в статье о ССП исполнительного директора:
Некоторые показатели качества отлично впишутся в систему показателей корпоративного управления. Например, KPI, численно представляющие качество управления и общий индекс качества продукта.
Будучи фактором действия качества, ССП корпоративного управления может включать показатель “Определено стандартов и процессов”:
Как и высшее руководство, другие заинтересованные стороны должны быть вовлечены в обсуждение стратегии качества. Например, в системе показателей снабжения мы можем найти “% дефектов”, используемый для “Индекса соответствия.”
Заключение
Как можно заметить, системы управления качеством и реализации стратегии дополняют друг друга.
В контексте управления качеством одним из преимуществ обладания системой показателей является согласование инициатив этого аспекта с0 общей стратегией организации.
Формализованная стратегия качества помогает согласовать инициативы качества с целями каждого отдела и вовлечь в процесс повышения качества все сотрудников компании.
Часть 3. Качество на практике
В предыдущих частях мы рассмотрели создание ССП качества и эффективную реализацию стратегии качества. Как насчет качества на операционном уровне? В этой части мы обсудим десять идей по использованию KPI для постоянного контроля качества.
1. Сначала – бизнес-контекст, затем – показатели
Всегда начинайте с бизнес-контекста! ССП — один из возможных подходов к описанию и реализации стратегии. Если вы отслеживаете показатели качества на операционном уровне, вам может не подойти ССП. Однако я рекомендую прийти к четкому пониманию по поводу следующих вопросов:
- Для чего нам нужно измерение качества?
- Какие аспекты качества важны для наших клиентов?
- Как именно компания планирует достичь текущих бизнес-целей?
- На какие проблемы качества нужно обратить особое внимание?
- Каковы бизнес-задачи вашей компании в данный момент?
В BSC Designer: перейдите во вкладку “KPI”. Здесь вы можете сформулировать бизнес-цели и согласовать с ними KPI.
2. Визуализируйте проблемы качества и их причины
Контроль качества или обеспечение качества в целом – это не только отслеживание показателей и составление отчетов. Необходимо понимать протекающие в организации процессы, видеть их сильные и слабые стороны, стараться предотвращать возможные проблемы.
Необходимо проводить регулярный анализ:
- Типичных процессов
- Проблем качества
- Их причин
- Возможных решений
Результат анализа может быть представлен в виде графика процесса.
В BSC Designer: перейдите во вкладку “Стратегическая карта”, создайте новую карту и используйте её для визуализации процесса. Позднее на этой же карте вы сможете визуализировать некоторые KPI.
3. Баланс между показателями результата и действия
Изучите графики, подготовленные на предыдущем этапе. На каждом этапе используют некоторые входные данные и получают результаты в соответствии с определенными стандартами. С этими контрольными точками могут быть связаны индикаторы качества.
Это могут быть индикаторы действия или результата.
- Индикаторы результата сообщают о том, что произошло. Это полезная информация, однако её можно лишь отслеживать, но не менять.
- Напротив, индикаторы действия являются отражением входных данных, которые влияют на процесс.
В системе показателей качества должны присутствовать как показатели действия, так и показатели результата.
В BSC Designer: во вкладке “Контекст” выберите тип (действия или результата) показателя, поскольку два вида индикаторов рассчитываются по-разному.
4. Какие показатели самые важные?
Вы можете сказать:
- “Все они важны!”
Однако вопрос в том:
Важны ли они в одинаковой степени?
Уменьшение количества дефектов с 0,01% до 0,001% может замедлить работу всей производственной системы, хотя ваши клиенты были бы довольны и уровнем брака, равным 0,01%. Возможно, другие параметры продукта имеют для них большее значение.
Необходимо найти баланс и отразить значение каждого индикатора в системе показателей.
В BSC Designer: функция веса показателя находится во вкладке «Производительность». Что такое вес и как его определить, вы можете узнать здесь.
5. Что такое производительность показателя?
Допустим, показатель дефектов равен 1%. Вы оптимизировали процесс и снизили этот показатель до 0,1%. Наконец, после введения дополнительных мер по управлению качеством средний процент брака снизился до 0,01%.
При этом меня интересует:
Как менялась производительность соответствующего показателя качества? Была ли она улучшена в 10 раз, а затем — еще в 10 раз?
Не обязательно! С точки зрения бизнеса, клиентов, вероятно, устраивал 1% брака. 0.01% брака, возможно, заметно улучшил их восприятие качества, но снижение показателя до 0.01% осталось незамеченным.
В реальной жизни:
- Некоторые индикаторы обладают линейной функцией производительности (вы улучшаете значение индикатора в 10 раз, и производительность вырастает в 10 раз).
- Некоторые показатели характеризуются нелинейной производительностью: сначала производительность может медленно расти, затем функция превращается в почти ровную линию, что означает, что ваши дальнейшие действия не улучшат конечную производительность.
На этапе разработки показателей необходимо выбрать подходящую для них функцию производительности.
Например, в обсуждаемой системе показателей качества имеется индикатор Время разработки плана предотвращения, измеряется в днях посредством настраиваемой функции производительности:
- Если мы не выходим за рамки 6 дней, мы остаемся в зеленой зоне.
- Если разработка плана предотвращения занимает больше времени, производительность быстро оказывается в красной зоне, а затем – падает до 0%.
В BSC Designer: во вкладке «Контекст» индикаторов есть выпадающий список «Оптимизация». В нем можно изменить функцию линейной оптимизации на более подходящую или указать свой вариант.
6. Общий балл системы показателей качества
Если ваша система показателей качества содержит более 50 индикаторов, каждый из которых обладает собственными критериями, функцией производительности, значением и весом, теоретически вы можете подсчитать производительность каждого из них, а затем – производительность всей системы показателей. Результатом этой операции будет одно число (некоторые называют его «баллом качества»).
Некоторые топ-менеджеры требуют представление этого балла, однако в большинстве случаев это не имеет смысла, потому что единое число включает в себя слишком много данных. Лучшим способом является группирование показателей по категориям и представление отчета по производительности в каждой из них.
Например, по данным обсуждаемой системы показателей качества можно понять, насколько эффективна компания с точки зрения обучения и внутренних улучшений.
В BSC Designer: программа может подсчитать значение производительности для показателей, целей, перспектив или всей системы показателей, если вам это необходимо.
7. Планируйте свои действия
Составьте план действий (желательно в письменной форме), согласованный с каждым показателем качества.
- Какими будут ваши действия, если показатель окажется в красной зоне?
- Связаны ли с показателем какие-либо рутинные процедуры?
- Каков предположительный бюджет?
- Как много времени займет реализация плана?
- Как часто вам требуется проверять показатель?
- Кто отвечает за показатель?
Например, в созданной выше системе показателей качества имеется инициатива по обучению в масштабах компании, согласованная с целью Обучение по отчетности о почти аварийных ситуациях, в которой указаны все необходимые детали:
В BSC Designer: Выберите показатель или цель, нажмите на кнопку “Инициативы”, укажите детали, бюджет, ссылку на документы и ответственное лицо.
8. Построение рабочей панели качества
Рабочие панели помогают визуализировать показатели качества. Для некоторых из них вам потребуется диаграмма в виде шкалы, для других — отображение временной диаграммы с линией тренда. Хорошо продуманная панель даст вам общее представление об аспекте качества. Вы можете использовать её вместе с индикаторами, отображаемыми на карте. Дополнительные идеи, связанные с панелями, можно найти на сайте Dashboards Insight.
В BSC Designer: вы можете создать несколько панелей для визуализации показателей.
9. Отслеживайте тренды
Даже регулярно отслеживая показатели, можно пропустить негативную тенденцию. По этой причине необходимо анализировать значение индикаторов в более длительном временном отрезке. Например, основой ваших подсчетов может быть 3-месячный период, который поможет увидеть, что показатель движется в сторону красной зоны. Это послужит отличным сигналом тревоги для вашей команды.
В BSC Designer: используйте функцию “Прогнозные расчеты” во вкладке “Анализ” для прогнозирования значения показателей.
10. Получайте плохие новости как можно раньше
Все вовлеченные в управление качеством специалисты должны немедленно получать уведомление о том, что определенный показатель качества оказался в красной зоне.
Обязательно регулярно обновляйте систему показателей качества. В вашем распоряжении должна находиться актуальная информация.
Заключение
Различные стороны (потенциальные клиенты, покупатели, партнеры, команда и регулирующие органы) воспринимают качество по-разному.
- Хорошая новость заключается в том, что мы можем численно представить, измерить и даже прогнозировать значения показателей качества.
В этой статье мы рассмотрели:
- Часть 1. KPI, помогающие измерять, прогнозировать и делать отчеты по качеству.
- Часть 2. Пример ССП, которая поможет согласовать инициативы качества с общей стратегией компании
- Часть 3. 10 идей улучшений текущего контроля качества
В комментариях вы можете поделиться своим опытом измерения качества.
Что дальше?
- Доступ к шаблонам. Воспользуйтесь бесплатным планом BSC Designer для доступа к 30 шаблонам ССП, включая Система показателей качества из этой статьи.
- Отточите навыки. Запишитесь на тренинг по ССП. Отточите ваши навыки стратегического планирования.
- Автоматизация. Узнайте что такое софт для ССП и как он может облегчить создания стратегически карт и работу с индикаторами.
Другие примеры Сбалансированны Систем Показателей
- Predicting Fault Incidence Using Software Change History, Todd L. Graves, Tood L. Graves, Alan F. Karr, J.S. Marron, Harvey Siy, IEEE Transactions on Software Engineering 26(7):653 — 661 · August 2000 ↩
