신뢰: AI 구현의 초석 — 이를 측정하고, 개선하며, 이를 위해 설계하는 방법

AI에 대한 신뢰를 높이기 위해 하나의 완벽한 시스템을 찾지 말고, 서로 다른 방식으로 실패하는 시스템들을 결합하십시오.

이 글의 핵심 아이디어는 비엔나에서 열린 Software Quality Days 2026에서 “Beyond Quality: Measuring Trust in AI Outcomes”라는 강연을 통해 처음 발표되었습니다.

신뢰 아키텍처 캔버스를 PDF 템플릿으로 다운로드하십시오.

AI를 신뢰할 수 있을까요? — 모든 AI 구현의 근본적인 질문

AI에 대한 모든 논의는 결국 같은 질문으로 귀결됩니다:

AI를 신뢰할 수 있을까요?

어떤 경우에는 규제 산업에 속해 있기 때문에 공식적으로 사용할 수 없다고 말합니다. 다른 사람들은 Cursor나 GitHub Copilot 같은 AI 도구를 사용해 보았는데 매우 잘 작동했다고 말합니다. 하지만 어찌 되었든 그러한 모든 논의는 한 가지 질문으로 끝납니다: “AI를 신뢰할 수 있을까요?”

신뢰는 어디에나 있지만, 신뢰란 무엇인가?

두 개의 쇼핑 카트를 생각해 보십시오:

• 하나는 동전 체인이 있어 사용하기 전에 동전을 넣어야 합니다.
• 다른 하나는 아무것도 요구하지 않습니다.

첫 번째 경우에는, 슈퍼마켓이 보증금 없이 제가 카트를 돌려놓을 것이라고 신뢰하지 않는 것처럼 보입니다.

두 번째 경우에는, 슈퍼마켓이 제가 카트를 올바른 곳에 돌려놓고 다른 운전자들에게 불편을 만들지 않을 것이라고 충분히 신뢰합니다.

작은 예이지만, 이는 시스템이 신뢰를 이해관계자들에게 어떻게 전달하는지를 보여 줍니다. 예를 들어 제가 매주 어느 슈퍼마켓에서 장을 보느냐와 같은 경우입니다.

신뢰는 점진적이고, 주관적이며, 맥락적입니다

다음은 신뢰의 기본 속성입니다.

• 신뢰는 이분법적이지 않으며, 어떤 정도를 가집니다.
• 신뢰는 시스템의 내재적 속성이 아닙니다. 누군가가 특정 목적을 위해, 특정한 맥락에서 어떤 대상을 신뢰합니다.

품질을 보완하기 위해 신뢰를 사용하는 이유

운영 영역의 자연스러운 제약으로 인해 우리는 신뢰를 사용합니다. 제한된 정보만 उपलब्ध할 때 더 빠른 의사결정을 위해 우리는 신뢰를 사용합니다.

도메인이 지나치게 복잡해지면 품질 지표가 작동하지 않게 됩니다

복잡성이 낮은 비즈니스 도메인에서는 측정 비용이 수용 가능한 수준이므로 고전적인 품질 지표를 사용할 수 있습니다. 도메인의 복잡성이 증가할수록 고전적 측정은 비용이 지나치게 커집니다.

이 시점에서 우리는 선택을 해야 합니다. 오직 확정적인 지표에만 근거해 의사결정을 내리려는 시도를 계속할 수도 있고, 또는 우리가 신뢰의 우산 아래로 묶는 것, 즉 인식, 사회적 증거, 확률, 그리고 기타 대리 지표를 사용할 수도 있습니다.

사이버보안은 품질이 어떻게 신뢰로 전환되는지 보여줍니다

10년 전만 해도 사이버보안은 비교적 정량화하고 측정하기가 쉬웠습니다: 무차별 대입 공격에 필요한 시간, 기본적인 내부 통제…

2024년부터 공격 벡터가 변화했고, 우리는 공급망에서 제3자를 분석할 필요성에 대해 훨씬 더 많이 이야기하기 시작했습니다.

우리는 여전히 사이버보안 통제의 품질을 측정하고 있는 것일까요, 아니면 점점 더 신뢰를 측정하고 있는 것일까요?

전형적인 제3자 취약성 평가는 엄격한 품질 및 보안 지표보다는, 파트너가 입증한 신뢰 지표에 의존하는 데 더 가깝습니다.

인간과 AI는 모두 취약합니다

여기 뮌커–화이트 착시가 있습니다.

이 착시는 두 색상이 객관적으로 동일할 수 있지만, 우리는 여전히 그것들을 다르게 보게 된다는 것을 보여줍니다. 이는 인간으로서 우리가 속을 수 있는 방식의 한 가지 예일 뿐입니다.

인간은 완벽한 기준이 아닙니다. 우리는 또한 실패하며, 우리의 판단을 둘러싼 통제 장치도 필요합니다.

AI도 속일 수 있습니다

AI의 경우, 고전적인 예는 세차장에 어떻게 가는지에 대해 묻는 것입니다.

AI는 질문을 문자 그대로 받아들여 걷는 것을 제안할 수도 있습니다.

현실적인 질문은 “신뢰할 것인가, 신뢰하지 않을 것인가”가 아니라, 이 시스템은 어디에서 무너지는가?입니다.

신뢰를 어떻게 측정합니까?

아마도 절대적인 신뢰 수치는 큰 의미가 없을 것입니다(신뢰에 대한 실제 측정 단위가 없기 때문입니다). 하지만 상대적인 수치는 훨씬 더 유용합니다.

한 설정에서의 신뢰가 다른 설정보다 더 높거나 낮은지 이해하는 것이 유용합니다. 이는 시스템을 비교하고 의사결정을 설명하는 데 도움이 됩니다.

신뢰 지표는 이해관계자와 소통하는 데 도움이 됩니다. “작동하는 것 같다”라고 말하는 대신, 특정 AI 설정이 왜 수용 가능한지 또는 왜 추가 통제가 필요한지를 설명할 수 있습니다.

신뢰를 어떻게 개선할까요?

저의 실무적 프레임워크는 다음 세 가지 수준으로 구성됩니다:

• 1수준: 개인적 신뢰
• 2수준: 체계적 신뢰
• 3수준: 아키텍처적 신뢰

1단계: 개인적 신뢰

개인적 신뢰는 직관적입니다. 시스템을 신뢰할 수 있는지 여부에 대한 여러분만의 이해가 생깁니다.

AI의 경우, 이는 직접 사용해 보는 것을 의미합니다. 테스트하고, 작업을 부여하며, 어디에서 실패하는지 확인합니다.

신뢰가 정량화되고 측정되는 방법

• 한 가지 지표는 프롬프트를 작성하는 데 소비하는 시간입니다.
• 또 다른 지표는 결과를 수정하는 데 소비하는 시간입니다.

프롬프트를 작성하거나 출력물을 복구하는 데 많은 시간을 쓴다면, 이는 실제 신뢰 수준에 대해 무언가를 알려 줍니다.

활동 계획

• 자신의 업무에서 AI를 테스트하십시오.
• 어디에서 도움이 되는지, 어디에서 실패하는지, 그리고 결과를 사용할 수 있게 만드는 데 얼마나 많은 노력이 필요한지 확인하십시오.

2단계: 체계적 신뢰

체계적 수준에서는 개인적 경험에서 규모로 이동합니다. 단지 “AI가 어디에서 실패하는지 나는 안다”가 아니라, 이를 규모화하여 특정 도메인 또는 특정 작업 범주에 대해 테스트하자는 것입니다.

기본적으로 1단계에서 했던 것과 동일하지만, 이제는 더 많은 사례, 더 많은 구조, 그리고 더 많은 통계를 활용합니다.

신뢰를 정량화하고 측정하는 방법

• 신뢰의 대리 지표는 정확한 출력의 확률이 됩니다.

이는 정확한 출력의 수를 전체 사례 수로 나누어 계산합니다. 또한 테스트 사례 수에 따라 신뢰 구간을 추가합니다.

활동 계획

• 관련성이 있을 때는 공개 벤치마크를 사용하십시오.
• 특정 도메인을 위해 자체 데이터셋을 사용하십시오.

통계적 결과가 실제 도메인 요구와 일치하는지 이해하기 위해 무작위 표본추출과 사람의 검토를 추가하십시오.

레벨 3: 아키텍처 신뢰

아키텍처 수준에서는 질문이 다시 바뀝니다. 우리는 AI를 100% 신뢰하지 않으며, 아마도 앞으로도 그럴 일은 없을 것입니다. 하지만:

100% 신뢰할 수 없는 시스템을 사용하여 신뢰할 수 있는 무언가를 구축할 수 있을까요?

답은 “예”입니다. 인터넷이 그 한 가지 예입니다. 물리적 네트워크는 100% 신뢰할 수 있는 것이 아니지만, 우리는 어떻게든 그 위에 인터넷을 구축하는 데 성공했습니다.

신뢰가 정량화되고 측정되는 방식

먼저 각 시스템이 개별적으로 어떻게 성능을 내는지 측정합니다. 그다음 함께 작동할 때 어떻게 성능을 내는지 측정합니다.

• 중요한 지표는 공동 실패율입니다: 모든 시스템이 동시에 실패하는 경우입니다.

활동 계획

• 파이프라인의 핵심 시스템을 식별하십시오: AI, 인간, 정책, 검증, 통제.
• 각 시스템의 개별 신뢰 수준을 측정하십시오.
• 전체 아키텍처를 테스트하여 결합된 시스템이 각 부분 단독보다 더 높은 신뢰 수준을 제공하는지 확인하십시오.

서로 다른 방식으로 고장 나는 시스템을 결합하여 신뢰를 높이기

결합된 신뢰는 시스템들이 함께 어떻게 실패하는지에 달려 있습니다.

신뢰 수준이 각각 다른 시스템 A와 시스템 B가 있을 때, 이를 결합하면 어떻게 될까요?

• 신뢰 수준을 단순히 합산할 수는 없습니다. 그렇게 하면 100%를 초과할 수 있기 때문입니다.
• 또한 최소값이나 최대값만을 단순히 취할 수도 없습니다.

정답은 시스템이 어떻게 설계되었는지, 그리고 함께 실패하는 방식이 어떤지에 따라 달라집니다.

공동 분석은 결합된 신뢰 수준을 보여줍니다

결합 신뢰를 이해하려면 공동 분석이 필요합니다. 시스템 A와 시스템 B를 각각 별도로 테스트한 다음, 동일한 사례에서 어떻게 동작하는지도 살펴봅니다.

예를 들어, 시스템 A의 신뢰 수준이 84%이고 시스템 B의 신뢰 수준이 91%라고 하겠습니다. 그러나 이를 결합하면, 공통 실패율이 5%에 불과하므로 전체 신뢰 수준은 95%가 됩니다. 두 시스템은 항상 동일한 사례에서 실패하는 것은 아니며, 이것이 중요한 부분입니다.

신뢰할 수 있는 아키텍처는 겹겹의 안전망을 활용합니다

소프트웨어 공학에서도 동료 검토는 같은 방식으로 작동합니다. 다른 사람이 당신이 포착하지 못한 무언가를 발견할 수 있습니다.

항공 분야에서도 통제와 절차에서의 중복을 확인할 수 있습니다.

통제를 단순히 복제하는 것만으로는 신뢰가 크게 높아지지 않습니다. 우리가 찾는 것은 다양한 중복성입니다. 즉, 서로 다른 방식으로 고장 나는 시스템들을 조율하는 것입니다.

모든 중복이 현실적인 것은 아닙니다

일부 중복은 이론적으로는 유용하지만, 현실적이지 않습니다. 예를 들어, 택시 서비스에서는 두 번째 운전자를 추가할 수 있으며, 아마도 서비스는 더 안전해질 것입니다. 하지만 이는 현실적이지 않습니다.

대신, 우리는 규정, 정책, 운전자 평점, 앱 통제, 보고 메커니즘 등 서로 다른 시스템으로 이루어진 네트워크를 구축합니다. 이러한 모든 시스템은 결합되어 전반적인 신뢰 수준에 기여합니다.

Human in the Loop은 또 하나의 신뢰 시스템입니다

human in the loop을 또 하나의 신뢰 시스템으로 생각할 수 있습니다. 인간은 직관과 상식을 가져오며, 그 원칙은 AI 시스템의 원칙과 다릅니다. 이로 인해 인간은 완벽한 신뢰 요소가 됩니다.

아키텍처는 개별 신뢰 점수보다 더 중요합니다

두 개의 강력한 시스템도 같은 방식으로 실패한다면 함께 실패할 수 있습니다.

동시에, 두 개의 불완전한 시스템도 서로를 보완한다면 더 강력한 결합 시스템을 만들 수 있습니다. 따라서 핵심 설계 질문은 다음과 같습니다: 이 시스템들은 서로 다른 방식으로 고장 나는가?

신뢰성을 다시 발명한 것일까요?

꼭 그렇지는 않습니다.

신뢰성은 신뢰의 일부이지만, 신뢰는 더 폭넓은 개념을 포괄합니다. 우리는 단지 하나의 구성 요소가 작동하는지 여부만 묻는 것이 아니라, AI, 인간, 정책, 통제, 그리고 비즈니스 맥락을 포함한 전체 의사결정 파이프라인을 살펴보고 있습니다.

신뢰에는 더 많은 이해관계자도 관여합니다: 사용자, 관리자, 규제 기관, 사업 책임자, 인간-루프 참여자, 그리고 그 결정의 영향을 받는 사람들입니다.

핵심 요점

신뢰할 수 있는 AI는 하나의 완벽한 AI 모델을 찾는 것이 아닙니다. AI 시스템, 인간 시스템, 비즈니스 시스템, 정책, 통제를 포함하여 모든 시스템은 취약할 수 있습니다.

핵심은 다음과 같습니다:

1. 시스템이 어떻게 붕괴되는지 이해한 다음
2. 서로 다른 방식으로 붕괴되는 시스템들을 결합합니다.

이것이 신뢰할 수 있는 무언가에 도달하는 방법입니다.

다음은 무엇인가요? 신뢰는 통제, 검토, 성과 지표와 함께 더 광범위한 AI 구현 감독에 내재될 때 더 실행 가능해집니다.