AIへの信頼を高めるために、唯一の完璧なシステムを探すのではなく、異なる壊れ方をするシステムを組み合わせてください。
本記事の中核となる考え方は、ウィーンで開催されたSoftware Quality Days 2026における講演「Beyond Quality: Measuring Trust in AI Outcomes」で初めて提示されました。
Trust Architecture CanvasをPDFテンプレートとしてダウンロードします。
AIは信頼できるのでしょうか？ — すべてのAI導入における根本的な問い
AIに関するあらゆる議論は、最終的に同じ問いに行き着きます。
AIは信頼できるのでしょうか？
場合によっては、規制産業に属しているため公式には利用できないと言う人もいます。別の人は、CursorやGitHub CopilotのようなAIツールを試したところ非常にうまく機能したと言います。しかし、どういうわけか、そうした議論はすべて「AIは信頼できるのか？」という一つの問いで終わるのです。
信頼はあらゆるところにありますが、信頼とは何でしょうか？
2つのショッピングカートについて考えてみてください。
- 一方はコインチェーン付きで、使用前にコインを入れる必要があります。
- もう一方は何も必要ありません。
最初のケースでは、スーパーマーケットは、私がデポジットなしでカートを返却することを信頼していないように見えます。
2つ目のケースでは、スーパーマーケットは、私がカートを所定の場所に戻し、他の運転者に不便を生じさせないと十分に信頼していることになります。
これは小さな例ですが、システムが、私のような利害関係者（あるスーパーマーケットで毎週買い物をするか、別のスーパーマーケットで買い物をするか、といった人）に対して、どのように信頼を伝えるのかを示しています。
信頼は段階的で、主観的で、文脈依存です
これらは信頼の基本的な特性です。
- 信頼は二値ではなく、何かの度合いです。
- 信頼はシステムの内在的な特性ではありません。誰かが、特定の目的のために、特定の文脈において、何かを信頼します。
品質を補完するために信頼を活用してください
運用領域における自然な制約があるため、私たちは信頼を活用します。限られた情報しか得られない場合に、より迅速に意思決定するために信頼を活用します。
領域が過度に複雑になると品質指標は機能しなくなる
複雑性の低いビジネス領域では、測定コストは許容範囲内であるため、従来の品質指標を使用できます。領域の複雑性が増すにつれて、従来の測定はコストがかかりすぎるようになります。
この時点で、私たちには選択肢があります。厳密な指標のみに基づいて意思決定しようとし続けることもできますし、信頼の傘の下にまとめるもの、すなわち認識、社会的証明、確率、その他の代替指標を用いることもできます。
サイバーセキュリティは、品質が信頼へと変わる過程を示しています
10年前、サイバーセキュリティは、比較的容易に定量化して測定できました。総当たり攻撃に要する時間、基本的な内部統制などです……
2024年以降、攻撃ベクトルが変化し、サプライチェーンにおける第三者を分析する必要性について、はるかに多く語られるようになりました。
私たちは依然としてサイバーセキュリティ統制の品質を測定しているのでしょうか。それとも、ますます信頼を測定しているのでしょうか。
典型的な第三者の脆弱性評価は、厳密な品質・セキュリティ指標よりも、パートナーによって示される信頼の指標に依拠することのほうが多いのです。
人間もAIも壊れやすい
ここに、ムンカー＝ホワイト錯視があります。
この錯視は、2つの色が客観的には同一であり得るにもかかわらず、私たちには異なるものとして見えてしまうことを示しています。これは、人間として私たちがだまされ得ることの一例にすぎません。
人間は完全な基準ではありません。私たちも誤り、判断の周囲には統制も必要です。
AIも騙される可能性があります
AIについて言えば、典型的な例は、洗車場への行き方を尋ねることです。
AIは質問を文字どおりに受け取り、徒歩で行くことを提案するかもしれません。
現実的な問いは「信頼するか、しないか」ではなく、このシステムはどこで破綻するのか？
信頼はどのように測定しますか？
おそらく、信頼の絶対的な数値にはあまり意味がないでしょう（信頼を測るための実際の測定単位が存在しないためです）。しかし、相対的な数値のほうがはるかに有用です。
ある設定における信頼が別の設定より高いのか低いのかを理解することは有益です。これにより、システムを比較し、意思決定を説明できます。
信頼の指標は、ステークホルダーと対話する際に役立ちます。「動いている気がします」と言う代わりに、特定のAIの設定が許容可能である理由、または追加の管理策が必要である理由を説明できます。
信頼をどのように向上させますか？
私の実践的なフレームワークには、次の3つのレベルがあります：
- レベル1：個人的信頼
- レベル2：体系的信頼
- レベル3：アーキテクチャ的信頼
レベル1：個人的信頼
個人的信頼は直感的なものです。システムを信頼できるかどうかについて、自分なりの理解が得られます。
AIの場合、これは実際に手を動かして使ってみることを意味します。テストし、タスクを与え、どこで破綻するかを確認します。
信頼がどのように定量化され、測定されるか
- 指標の一つは、プロンプトの作成に費やす時間です。
- もう一つは、結果を修正するために費やす時間です。
プロンプト作成や出力の修復に多くの時間を費やしているなら、それは実際の信頼レベルについて何かを示しています。
アクションプラン
- 自分の業務でAIをテストしてください。
- どこで役立ち、どこで破綻するのか、そして結果を使える状態にするためにどれだけの労力が必要かを確認してください。
レベル2：体系的な信頼
体系的なレベルでは、個人的な経験からスケールへと移行します。単に「AIがどこで破綻するかを知っている」だけではありません。つまり、これをスケールさせ、特定のドメインまたは特定のタスクの種類についてテストしましょう、ということです。
基本的にはレベル1と同じことを行いますが、より多くのケース、より多くの構造、そしてより多くの統計を用います。
信頼がどのように定量化され、測定されるか
- 信頼の代理指標は、正しい出力である確率になります。
正しい出力の数をケース総数で割って算出します。さらに、テストケース数に応じて信頼区間を追加します。
アクションプラン
- 該当する場合は公開ベンチマークを使用してください。
- 特定のドメイン向けには自社のデータセットを使用してください。
統計的な結果が実際のドメインのニーズと一致しているかを理解するために、ランダムサンプリングと人によるレビューを追加してください。
レベル3：アーキテクチャ上の信頼
アーキテクチャのレベルでは、問いは再び変わります。私たちはAIを100%信頼しているわけではなく、おそらく今後もそうはならないでしょう。しかし：
100%信頼できないシステムを用いて、信頼できるものを構築できるのでしょうか？
答えは「はい」です。インターネットはその一例です。物理ネットワークは100%信頼できるものではありませんが、それでも私たちは何とかその上にインターネットを構築してきました。
信頼が定量化され、測定される方法
まず、各システムが個別にどのように機能するかを測定します。次に、それらが一緒にどのように機能するかを測定します。
- 重要な指標は共有故障率です。すべてのシステムが同時に故障するケースを指します。
アクションプラン
- パイプラインにおける主要なシステムを特定してください：AI、人間、ポリシー、検証、コントロール。
- それぞれの個別の信頼レベルを測定してください。
- アーキテクチャ全体をテストし、結合システムが各部分単体よりも高い信頼レベルをもたらすかどうかを確認してください。
異なる形で故障するシステムを組み合わせて信頼を高めてください
複合的な信頼は、システムがどのように一緒に故障するかに依存します。
信頼レベルがそれぞれ異なるシステムAとシステムBがある場合、それらを組み合わせるとどうなるでしょうか？
- 信頼レベルを単純に合計することはできません。そうすると100%を超える可能性があるためです。
- また、最小値または最大値を単純に取ることもできません。
答えは、システムがどのように設計されているか、そしてそれらがどのように一緒に故障するかによって異なります。
共同分析により統合された信頼レベルを示します
統合された信頼を理解するためには、共同分析が必要です。システムAとシステムBをそれぞれ個別にテストし、その後、同一のケースにおいてどのように振る舞うかも確認します。
例えば、システムAの信頼は84%、システムBの信頼は91%です。しかし、それらを組み合わせると、共有される失敗率が5%に過ぎないため、全体の信頼は95%となります。両者は常に同じケースで失敗するわけではなく、これが重要な点です。
信頼できるアーキテクチャは重なり合う安全策を活用します
ソフトウェア工学では、ピアレビューも同じように機能します。別の人が、あなたが捉えきれていない点に気づくことがあります。
航空分野でも、制御や手順における冗長性が見られます。
単に制御を複製するだけでは、信頼はそれほど高まりません。私たちが求めているのは多様な冗長性、すなわち異なる形で故障するシステムを統合的に構成することです。
すべての冗長性が現実的であるとは限りません
一部の冗長性は理論上は有用ですが、現実的ではありません。たとえば、タクシーサービスでは、2人目の運転手を追加すれば、おそらくサービスはより安全になるでしょう。しかし、これは現実的ではありません。
その代わりに、私たちは異なるシステムのネットワークを構築します。規制、方針、運転手の評価、アプリの管理、報告の仕組み。これらすべてのシステムが組み合わさり、全体的な信頼レベルに寄与します。
Human in the Loop はもう1つの信頼システムです
Human in the loop を別の信頼システムとして捉えることができます。 人間は直感と常識をもたらし、その原則はAIシステムとは異なります。これにより、人間は最適な信頼要因となります。
個々の信頼スコアよりもアーキテクチャのほうが重要です
2つの強力なシステムであっても、同じやり方で失敗するなら、同時に失敗し得ます。
同時に、2つの不完全なシステムでも、互いの弱点を補完し合うことで、より強固な統合システムを構築できます。したがって中核となる設計上の問いは、これらのシステムは異なる形で破綻するか？です。
信頼性を再発明しただけなのでしょうか？
必ずしもそうではありません。
信頼性は信頼の一部ですが、信頼はより広範な概念を包含します。私たちは、ある一つのコンポーネントが機能するかどうかだけを問うているのではなく、AI、人間、ポリシー、統制、そしてビジネス文脈を含む意思決定パイプライン全体を見ています。
信頼には、より多くのステークホルダーも関わります。ユーザー、管理者、規制当局、事業責任者、人間が介在するプロセスの関係者、そして意思決定の影響を受ける人々です。
要点
信頼できるAIとは、唯一の完璧なAIモデルを見つけることではありません。AIシステム、人間のシステム、ビジネスシステム、方針、統制を含め、あらゆるシステムは破綻し得ます。
考え方は次のとおりです。
- システムがどのように破綻するのかを理解し、その後
- 異なる形で破綻するシステムを組み合わせます。
これが、信頼できるものへ到達するための方法です。
次は何でしょうか。信頼は、統制、レビュー、パフォーマンス指標を備えた、より広範なAI実装の監督に組み込むことで、より実行可能になります。
Alexis Savkinは、戦略アーキテクトであり、バランスト・スコアカードを中核とする戦略実行ソフトウェア・プラットフォームであるBSC Designerの創設者です。彼は、組織が戦略を測定可能な戦略的目標、KPI、および施策へと落とし込むことを支援しています。Alexisは、Strategy Execution Canvasの考案者であり、戦略とパフォーマンス測定に関する100本以上の記事の著者であり、また定期的な講演者でもあります。