Чтобы повысить доверие к ИИ, не ищите одну идеальную систему; объединяйте системы, которые выходят из строя по‑разному.
Ключевые идеи этой статьи впервые были представлены в докладе «Beyond Quality: Measuring Trust in AI Outcomes» на конференции Software Quality Days 2026 в Вене.
Скачайте Trust Architecture Canvas в виде шаблона PDF.
Можем ли мы доверять ИИ? — фундаментальный вопрос всех внедрений ИИ
Все обсуждения об ИИ в конечном итоге сводятся к одному и тому же вопросу:
Можем ли мы доверять ИИ?
В некоторых случаях люди говорят, что не могут официально использовать его, потому что работают в регулируемой отрасли. Другие говорят, что пробовали инструменты ИИ, такие как Cursor или GitHub Copilot, и они работали очень хорошо. Но почему-то все эти обсуждения заканчиваются одним вопросом: «Можем ли мы доверять ИИ?»
Доверие повсюду, но что такое доверие?
Подумайте о двух покупательских тележках:
- Одна с цепочкой для монеты, поэтому перед использованием нужно вставить монету.
- Другая не требует ничего.
В первом случае кажется, что супермаркет мне не доверяет вернуть тележку без залога.
Во втором случае супермаркет доверяет мне достаточно, чтобы я вернул тележку на правильное место и не создавал неудобств другим водителям.
Это небольшой пример, но он показывает, как системы переводят доверие для своих заинтересованных сторон — например, для меня, который делает еженедельные покупки в том или ином супермаркете.
Доверие — постепенное, субъективное и контекстуальное
Это базовые свойства доверия.
- Доверие не бинарно; это степень чего-то.
- Доверие не является внутренним свойством системы; кто-то доверяет чему-то, для конкретной цели, в конкретном контексте.
Почему мы используем доверие в дополнение к качеству
Мы используем доверие из-за естественных ограничений в операционной области; мы используем доверие для более быстрых решений при наличии ограниченной информации.
Показатели качества перестают работать, когда домен становится слишком сложным
Для менее сложных бизнес-доменов стоимость измерений приемлема, поэтому мы можем использовать классические показатели качества. По мере роста сложности домена классические измерения становятся слишком затратными.
На этом этапе у нас есть выбор. Мы можем продолжать пытаться основывать решения только на жёстких показателях или можем использовать то, что мы объединяем под зонтиком доверия: восприятия, социальные доказательства, вероятности и другие прокси-показатели.
Кибербезопасность показывает, как качество превращается в доверие
Десять лет назад кибербезопасность было относительно легко количественно оценивать и измерять: время подбора пароля методом грубой силы, базовые внутренние контроли…
Начиная с 2024 года векторы атак изменились, и мы стали гораздо больше говорить о необходимости анализировать третьих лиц в цепочке поставок.
Мы по-прежнему измеряем качество контролей кибербезопасности или всё чаще измеряем доверие?
Типичная оценка уязвимостей третьей стороны больше связана с опорой на индикаторы доверия, демонстрируемые партнёром, чем на жёсткие метрики качества и безопасности.
Люди и ИИ одинаково уязвимы
Здесь представлена иллюзия Мункера—Уайта.
Иллюзия показывает, что два цвета могут быть объективно одинаковыми, но мы всё равно воспринимаем их как разные. Это лишь один пример того, как нас, людей, можно ввести в заблуждение.
Люди не являются идеальным эталоном. Мы тоже ошибаемся, и нам тоже нужны механизмы контроля, применимые к нашим суждениям.
ИИ тоже можно обмануть
Что касается ИИ, классический пример — вопрос о том, как добраться до автомойки.
ИИ может ответить на вопрос буквально и предложить идти пешком.
Реалистичный вопрос — не «доверять или не доверять», а где эта система даёт сбой?
Как мы измеряем доверие?
Вероятно, абсолютные значения доверия не будут иметь большого смысла (у нас просто нет реальной единицы измерения доверия). Но относительные значения гораздо полезнее.
Полезно понимать, выше или ниже доверие в одной конфигурации по сравнению с другой. Это помогает нам сравнивать системы и обосновывать решения.
Метрики доверия помогают нам вести диалог со стейкхолдерами. Вместо того чтобы говорить: «Мне кажется, это работает», мы можем объяснить, почему определённая конфигурация ИИ является допустимой или почему необходимы дополнительные меры контроля.
Как нам повысить доверие?
Моя практическая модель включает три уровня:
- Уровень первый: личное доверие
- Уровень второй: системное доверие
- Уровень третий: архитектурное доверие
Уровень первый: личное доверие
Личное доверие интуитивно. Вы формируете собственное понимание того, можете ли вы доверять системе или нет.
В случае с ИИ это означает попробовать его на практике. Вы тестируете его, даёте ему задачи, смотрите, где он даёт сбой.
Как доверие выражается количественно и измеряется
- Один показатель — это время, которое вы тратите на написание промптов.
- Другой — это время, которое вы тратите на исправление результата.
Если вы тратите много времени на формулирование промптов или на исправление выходных данных, это говорит вам кое-что о вашем реальном уровне доверия.
План действия
- Протестируйте ИИ в своей работе.
- Отслеживайте, где он помогает, где даёт сбой и сколько усилий вам нужно, чтобы сделать результат пригодным к использованию.
Уровень второй: систематическое доверие
На систематическом уровне мы переходим от личного опыта к масштабу. Это не только «Я знаю, где ИИ даёт сбой». Это: давайте масштабируем это и протестируем для конкретной области или конкретного класса задач.
По сути, мы делаем то же самое, что и на первом уровне, но теперь с большим количеством случаев, большей структурой и большей статистикой.
Как доверие количественно оценивается и измеряется
- Прокси-показателем доверия становится вероятность корректного результата.
Вы рассчитываете её как количество корректных результатов, делённое на общее количество случаев. Плюс вы добавляете доверительный интервал в зависимости от количества тестовых случаев.
План действия
- Используйте публичные бенчмарки, когда это уместно.
- Используйте собственные наборы данных для конкретных областей.
Добавьте случайную выборку и проверку человеком, чтобы понять, соответствует ли статистический результат вашим реальным потребностям в вашей области.
Уровень третий: архитектурное доверие
На архитектурном уровне вопрос снова меняется. Мы не доверяем ИИ на 100% и, вероятно, никогда не будем. Но:
Можем ли мы построить нечто заслуживающее доверия, используя системы, которым мы не доверяем на 100%?
Ответ — «да». Интернет — один из примеров: физические сети — это не то, чему мы можем доверять на 100%, но каким-то образом нам удалось построить Интернет поверх них.
Как доверие количественно оценивается и измеряется
Сначала вы измеряете, как каждая система работает отдельно. Затем вы измеряете, как они работают вместе.
- Важная метрика — общий уровень отказов: случаи, когда все системы выходят из строя одновременно.
План действия
- Определите ключевые системы в цепочке: ИИ, люди, политики, проверки, контроли.
- Измерьте их индивидуальные уровни доверия.
- Протестируйте всю архитектуру, чтобы понять, обеспечивает ли объединённая система более высокий уровень доверия, чем каждая часть по отдельности.
Повышение доверия за счет объединения систем, которые выходят из строя по-разному
Комбинированное доверие зависит от того, как системы выходят из строя вместе.
Если у нас есть система A и система B, каждая со своим уровнем доверия, что происходит, когда мы объединяем их?
- Мы не можем просто суммировать их уровни доверия, потому что тогда можем превысить 100%.
- Мы также не можем просто взять минимум или максимум.
Ответ зависит от того, как системы спроектированы и как они выходят из строя вместе.
Совместный анализ показывает общий уровень доверия
Чтобы понять общее доверие, нам нужен совместный анализ. Мы тестируем систему A и систему B отдельно, а затем также смотрим, как они ведут себя на одних и тех же случаях.
Например, у системы A доверие составляет 84%, а у системы B — 91%. Но когда мы объединяем их, общее доверие становится 95%, потому что общий уровень отказов составляет всего 5%. Они не всегда дают сбой на одних и тех же случаях, и это важный момент.
Надежная архитектура использует перекрывающиеся уровни защиты
В разработке программ peer review работает так же. Другой человек может заметить то, что вы не учли.
В авиации мы также видим резервирование в системах управления и процедурах.
Простое дублирование средств контроля не сильно повысит доверие. Нам нужна разнородная избыточность: оркестрация систем, которые выходят из строя по-разному.
Не каждый резерв является реалистичным
Некоторый резерв полезен в теории, но нереалистичен. Например, в службах такси мы могли бы добавить второго водителя, и, вероятно, сервис стал бы безопаснее. Но это нереалистично.
Поэтому вместо этого мы выстраиваем сеть различных систем: регулирование, политики, рейтинги водителей, контроль в приложении, механизмы отчетности. Все эти системы объединяются и вносят вклад в общий уровень доверия.
Человек в контуре — это еще одна система доверия
Мы можем рассматривать человека в контуре как еще одну систему доверия. Люди привносят интуицию и здравый смысл, а их принципы отличаются от принципов систем ИИ. Это делает людей идеальным фактором доверия.
Архитектура важнее, чем индивидуальные оценки доверия
Две сильные системы всё равно могут потерпеть неудачу вместе, если они дают сбой одинаковым образом.
В то же время две несовершенные системы могут создать более сильную объединённую систему, если они компенсируют недостатки друг друга. Поэтому ключевой вопрос проектирования таков: дают ли эти системы сбой по-разному?
Мы только что заново изобрели надежность?
Не совсем.
Надежность — часть доверия, но доверие охватывает более широкий набор идей. Мы спрашиваем не только о том, работает ли один компонент, — мы рассматриваем весь конвейер принятия решений: ИИ, людей, политики, контрольные механизмы и бизнес-контекст.
Доверие также предполагает большее число заинтересованных сторон: пользователей, менеджеров, регуляторов, владельцев бизнеса, людей в контуре принятия решений и тех, на кого влияет принятое решение.
Ключевой вывод
Надежный ИИ — это не поиск одной идеальной модели ИИ. Любые системы можно сломать, включая системы ИИ, человеческие системы, бизнес-системы, политики и контроли.
Идея заключается в следующем:
- Понять, как ломаются системы, а затем
- Скомбинировать системы, которые ломаются по-разному.
Так можно прийти к чему-то надежному.
Alexis Savkin — архитектор стратегии и основатель BSC Designer, платформы программы для исполнения стратегии, в основе которой лежит Сбалансированная система показателей. Он помогает организациям переводить стратегию в измеримые цели, KPI и инициативы. Alexis является создателем Strategy Execution Canvas, автором более 100 статей о стратегии и измерении эффективности, а также постоянным спикером.