AI 파일럿이 확장에 실패하는 이유: 거버넌스, 지표 및 운영 모델

많은 AI 파일럿은 구현 복잡성이 과소평가되기 때문에 테스트 단계를 넘어가지 못합니다. 더 명확한 전진 경로는 이해관계자를 식별하고, 복잡성이 어디로 이동하는지 이해하며, 창출된 가치에 대한 지표를 정의하는 것에서 시작됩니다.

AI가 운영 모델, 프로세스, 의사결정 전반에 내재화되면, 이러한 더 광범위한 전환은 때때로 AI 전환 또는 AX라고 불립니다.

왜 이렇게 많은 AI 파일럿이 확장에 실패할까요?

조직은 AI를 실험하고, 몇 가지 사용 사례를 테스트하며, 유망한 결과를 확인합니다. 그때 이니셔티브가 파일럿 단계에 머뭅니다:

• 운영 모델의 일부가 되지 않습니다.
• 규모 있게 측정 가능한 비즈니스 영향을 만들어내지 못합니다.

딜로이트는 응답자의 25%만이 AI 실험의 40% 이상을 프로덕션으로 이동했다고 보고했습니다.¹

맥킨지는 유사한 상황을 설명했습니다. 조직의 거의 3분의 2는 몇 가지 파일럿을 넘어 AI를 확장하지 못한 상태였습니다.²

제 관점에서 주요 이유 중 하나는, 고위 이해관계자들이 문제의 복잡성을 종종 과소평가한다는 점입니다:

AI 이니셔티브는 복잡성을 제거할 해결책으로 제시됩니다. 실제로는 복잡성을 다른 곳으로 이동시킵니다.

간단한 예: AI 기반 챗봇

웹사이트의 챗봇을 고려해 보십시오. 챗봇은 고객 질문에 자동으로 답변하고 고객 지원 팀의 업무 부담을 줄입니다. 요청의 상당 부분은 사람의 개입 없이 처리될 것입니다.

고객의 관점에서 이는 잘 작동합니다. 사용자는 즉시 답변을 받고 고객 지원에 문의할 필요가 없습니다.

복잡성은 고객 여정에서 제거됩니다.

동시에 그 복잡성의 일부는 고객 지원 팀과 시스템을 유지관리하는 AI 팀으로 이전됩니다.

최종 사용자에게 무엇이 변경되나요?

최종 사용자에게 주요 질문은 다음과 같습니다: 챗봇이 문제를 해결했는가?

시작 지표는 첫 연락 해결률입니다. 이는 고객 지원 전문가에게 에스컬레이션하지 않고 해결되는 요청이 얼마나 되는지 보여줍니다.

고객 지원 팀에는 어떤 변경 사항이 있습니까?

고객 지원 팀은 챗봇이 해결할 수 없는 요청을 접수합니다. 때로는 챗봇이 너무 늦게 에스컬레이션합니다. 고객은 이미 문제를 해결하려고 시간을 보냈고, 전문가가 대화에 참여할 때쯤에는 불만이 쌓여 있습니다.

때로는 챗봇이 너무 일찍 에스컬레이션합니다. 충분한 정보를 수집하기 전에 건을 이관합니다. 고객 지원 전문가는 불완전한 요청을 받게 되며, 동일한 질문을 다시 해야 합니다.

이는 다음과 같이 정량화할 수 있습니다:

• 에스컬레이션 비율. 고객 지원 팀으로 이관되는 요청의 비율을 측정합니다.
• 지연 에스컬레이션 비율. 에스컬레이션 이전에 고객이 피할 수 있었던 불편을 겪은 사례를 추적합니다.
• 누락된 내용. 더 일찍 수집할 수 있었던 정보를 전문가가 얼마나 자주 요청해야 하는지 측정합니다.
• 고객 지원 업무량. 고객 지원 요청의 양과 난이도의 변화를 모니터링합니다.

고객 지원 팀에 대한 장기적 영향

또한 더 장기적인 질문이 있습니다:

• 고객 지원 전문가를 어떻게 교육해야 합니까?

챗봇이 도입되기 전에는 주니어 전문가들이 간단한 질문에 답변하면서 학습했습니다. 시간이 지나면서 더 어려운 사례에 필요한 경험을 쌓았습니다.

일상적인 요청이 자동화되면 고객 지원 팀은 복잡한 사례가 더 높은 비중으로 집중되어 접수됩니다. 기존의 교육 모델은 더 이상 작동하지 않습니다.

조직에는 전문성을 구축할 새로운 방법이 필요합니다.

AI 팀에는 무엇이 변경됩니까?

프로덕션 환경에서는 챗봇이 지속적인 유지보수가 필요한 시스템이 됩니다.

새로운 고객 질문이 등장합니다. 지식 베이스는 업데이트가 필요합니다. 기존 답변은 변경이 있을 때마다 정확하게 유지되어야 합니다. 안전 프로토콜은 검토되어야 합니다.

이는 다음과 같이 정량화할 수 있습니다:

• 새 사용 사례 추가까지의 시간. 새로운 고객 시나리오를 지원하는 데 걸리는 시간을 측정합니다.
• 회귀 테스트. 새로운 변경 사항이 이전에 지원되던 사용 사례에 영향을 미치는지 확인합니다.
• 지식 베이스 유지보수. 정보를 최신 상태로 유지하는 데 필요한 노력을 추적합니다.
• 안전 프로토콜 커버리지. 민감한 주제에 대해 명확한 규칙과 에스컬레이션 경로가 있는지 확인합니다.

환불, 재무, 계정 접근, 또는 주문 변경에 관한 질문은 상황을 더욱 복잡하게 만듭니다… 챗봇이 질문에 직접 답해야 할까요? 일반적인 안내를 제공해야 할까요? 요청을 전문가에게 이관해야 할까요?

누군가는 이러한 규칙을 정의하고, 테스트하며, 비즈니스 내용이 변경될 때 이를 업데이트해야 합니다.

AI 이니셔티브에 정말 지표가 필요할까요?

이 모든 측정 노력이 필요한지에 대한 질문은 타당합니다. 제 답은 “예!”입니다. 논의 자체가 가치를 창출합니다. 이는 팀이 더 구체적으로 생각하도록 강제합니다:

• 성공적인 챗봇이란 정확히 무엇을 의미하나요?
• 어떤 종류의 에스컬레이션이 수용 가능한가요?
• AI 팀이 감당할 수 있는 유지보수 업무는 어느 정도인가요?
• 고객 지원 전문가를 어떻게 교육할 것인가요?

KPI의 정확한 값이 उपलब्ध하지 않더라도, 이러한 질문들은 구현의 품질을 향상시킵니다.

맥킨지는 생성형 AI의 도입 및 확장 관행 12가지를 분석했습니다. 각 관행은 EBIT 영향과 긍정적인 상관관계를 보였습니다. 연구에 포함된 관행 중에서, 생성형 AI 솔루션에 대해 명확히 정의된 KPI를 추적하는 것은 손익에 강한 영향을 미쳤습니다.³

각 AI 파일럿과 관련된 지표를 지속적으로 추적하려면 규율이 필요합니다. BSC Designer 플랫폼은 성과 측정의 일관성을 보장하고 KPI를 필요한 비즈니스 내용과 정렬함으로써 이 과정을 크게 용이하게 할 수 있습니다.

복잡성 지표로 시작하십시오

각 AI 프로젝트에는 고유한 지표 세트가 필요합니다. 그럼에도 거의 모든 구현에서 검토할 가치가 있는 몇 가지 공통 영역이 있습니다. 첫 번째는 복잡성입니다.

복잡성은 정량화하기 어렵습니다. 조직이 시간, 노력, 예산을 투입하는 영역을 살펴보십시오. 반복되는 커뮤니케이션, 수동 검토, 지연된 의사결정, 예외를 찾아보십시오.

적합한 후보는 다음과 같습니다:

• 예외 처리 시간. AI 시스템이 처리할 수 없는 사례를 해결하는 데 필요한 노력을 측정합니다.
• 반복 커뮤니케이션. 내용 누락 또는 불명확한 답변으로 인해 발생하는 추가 상호작용을 추적합니다.
• 수동 검토. 사람의 검증이 필요한 사례의 규모를 측정합니다.
• 유지보수 노력. 시스템을 업데이트하고 테스트하는 데 필요한 자원을 추적합니다.
• 통제 비용. 안전 및 준수 위험을 관리하는 데 필요한 노력을 모니터링합니다.

이러한 지표는 자동화 이후 복잡성이 어디로 이동했는지를 보여줍니다.

신뢰를 경험적으로 측정하세요

두 번째 영역은 신뢰입니다. 이해관계자들은 AI 출력이 신뢰할 수 있는지 묻게 될 것입니다. 최종 결과가 입력 데이터, 모델, 지식 베이스, 통제, 그리고 에스컬레이션 프로세스에 따라 달라질 때 이 질문은 어려워집니다.

신뢰는 경험적으로 측정할 수 있습니다. 팀은 알려진 데이터로 시스템을 테스트하고, 전형적인 실패 모드를 식별하며, 서로 다른 방식으로 고장 나는 다양한 시스템을 결합했을 때 어떤 일이 발생하는지 확인할 수 있습니다.

파일럿에서 구현으로 이동

AI 파일럿에서 전면 구현으로 전환하려면 이해관계자, 복잡성, 신뢰의 관점에서 기존 AI 이니셔티브를 검토하십시오.

구조화된 워크숍은 팀이 몇 가지 실무적 질문에 답하는 데 도움이 될 수 있습니다:

• 이해관계자. AI 이니셔티브의 영향을 받는 사람은 누구입니까?
• 예상 값. 각 이해관계자는 어떤 개선을 경험해야 합니까?
• 전가된 복잡성. 새로운 업무 부담은 어디에서 발생합니까?
• 역량. 어떤 시스템, 자원, 기술이 필요합니까?
• 위험. 구현 중 무엇이 잘못될 수 있습니까?
• 지표. 팀은 진행 상황과 결과를 어떻게 모니터링할 것입니까?

이 논의를 시작하기 위한 출발점으로 전략 실행 캔버스를 사용할 수 있습니다. 이는 이해관계자의 요구를 목표, 역량, 위험, 가정, 지표와 연결하는 데 도움이 됩니다.