AI 구현 전략: 기술 우선 파일럿에서 전략 우선 실행으로

대부분의 AI 이니셔티브가 실패하는 이유는 기술이 작동하지 않아서가 아니라, 조직이 실제로 어떤 문제를 해결하려고 하는지 알지 못하기 때문입니다.

MIT 연구 State of AI in Business 2025¹에 따르면, 대부분의 조직은 최소한 일부 AI 파일럿을 구현했지만, 여전히 많은 조직이 AI 이니셔티브에서 낮은 영향과 측정 가능한 성과 없음을 언급합니다.

AI 혁명이 약속하는 모든 것에도 불구하고, 우리가 하는 일이 이해관계자에게 결과를 가져오도록 하기 위해서는 여전히 전통적인 가치 기반 접근법이 필요합니다.

전략가들이 AI 이니셔티브를 바라보는 관점

새롭고 번쩍이는 기술이 등장할 때 흔히 그렇듯이, 링크드인 프로필의 태그라인만 바꾸면 전문가가 탄생하곤 합니다. AI도 예외가 아닙니다. 전문가가 너무 많고 AI가 생성한 일반론적 콘텐츠도 넘쳐나는 상황에서, 왜 제 관점을 고려해야 할까요?

저는 2000년, 대학 입학 전 시절에 신경망으로 손글씨 인식 문제를 해결하려고 하면서 AI를 처음 다뤄 보기 시작했습니다. 주니어 대회에서 우승한 것은 정말 좋았지만, 당시 신경망의 발전은 연산 자원에 의해 제한되었습니다. 이후 제 관심 분야는 IT 과학, 응용수학, 물리학으로 옮겨 갔고, 다시 성과 측정과 전략 기획 같은 보다 비즈니스 지향적인 분야로 확장되었습니다. AI는 제 핵심 전문 분야가 아니었습니다(그럼에도 저는 연쇄 함수, 그래디언트, AI 역전파, 그리고 조직의 학습 능력 사이에 몇 가지 유사점을 연결해 보는 것을 좋아합니다).

오늘날 저는 응용수학에 대한 일정한 배경을 바탕으로 전략가의 관점에서 AI를 바라봅니다. LLM은 기술로서 놀랍지만, 전략 기획의 관점에서 저는 이를 기적을 만드는 이니셔티브라기보다 복잡한 디지털 전환 프로젝트에 더 가깝다고 봅니다.

저는 조직의 AI 이니셔티브를 돕기도 하지만, 기술 우선이 아니라 전략 우선 접근으로 합니다. 우리는 보통 이해관계자, 그들의 니즈, 그들의 전략적 의도, 조직의 비전이 장기 목표로 어떻게 번역되는지, 그 목표들이 어떻게 구체적인 목표로 분해되는지, 그리고 KPI로 어떻게 더 구체적이고 모호하지 않게 만드는지에 대해 많은 이야기를 나눕니다.

AI는 이 전략이 어떻게 실행될지에 맞을 수도, 맞지 않을 수도 있는 퍼즐의 한 조각일 뿐입니다.

제가 하는 일이 AI 영역에 명확성을 가져오려는 전반적인 수요와 맞닿아 있는지, 저는 컨퍼런스 발표를 통해서도 제 관점을 공유하고 있습니다. 2026년에는 뮌헨에서 “AI implementation strategy”를, 이후 5월에는 비엔나에서 “Measuring trust in AI”를 다룰 예정입니다.

AI를 구현하기 전에 – 먼저 전략 숙제를 하십시오

위에서 언급한 MIT 리포트는 단순한 진실을 확인해 줍니다:

AI 구현은 쉽지만 – AI로 가치를 창출하는 것은 어렵습니다.

이에 대한 전략가들의 관점은 명확합니다. 어떤 변화 이니셔티브를 고려하기 전에, 귀하의 전략이 적절히 전개되고 모니터링되고 있는지 확인하십시오. 이러한 기본이 없으면, 어떤 전환 이니셔티브든 추진하는 것이 타당하지 않다고 생각합니다.

AI 구현은 기본으로 돌아갈(이해관계자의 요구) 좋은 이유이며, AI가 제공할 수 있는 가능성을 성찰할 기회이기도 합니다.

한계 조건의 관점에서 생각하십시오: AI 구현(기술, 아키텍처, 컴플라이언스, 법무, 인력 등)에 대한 가능한 모든 장벽이 해결된다면 귀하의 조직은 어떤 모습일까요?!

전략 실행의 한 가지 정의는 가설을 실제로 검증하는 것입니다. AI 숙제의 일부로, 그러한 가설을 정식화하는 것이 좋습니다. 기술을 조금 다뤄 보고, 구현·역량 격차·사용자 기대 측면에서 어떤 함정이 있을지 감을 잡기 위해 몇 가지 프로토타입을 만들어 보십시오.

이해관계자를 위한 가시적인 가치를 창출하는 측면에서 AI 구현을 더 성공적으로 만들기 위한 몇 가지 원칙을 논의해 보겠습니다.

원칙 1. 실제 과제를 해결하라 – 이해관계자의 요구를 파악하라

기술 우선 구현과 전략 우선 구현의 차이는 무엇입니까? 전략 우선 구현에서는 항상 비즈니스 맥락에서 시작합니다. 이해관계자와 그들의 요구, 상위 수준의 목표와 구체적 목표를 알고, 새로운 기술이 그 목표를 더 효과적으로 실행하는 데 어떻게 도움이 될지, 특히 추적 중인 지표에 어떤 영향을 미칠지 이해하려고 합니다.

이는 단순히 기술을 만지작거리는 것이 아니라, 중요한 것에 집중하게 합니다.

AI 구현의 좋은 대상 후보는 다음과 같습니다:

• 비용 지표
• 시간 지표
• 비용, 시간 및 순환 복잡도의 파생으로서의 복잡도 지표
• 품질 지표(오류율, 재발 문제의 비율)
• 인재 지표(이직률이 높은 영역)

초기 전략 분해의 중요성을 다시 강조하자면, “AI 우선 조직으로 변모하겠다”가 되어서는 안 됩니다. 해결하고자 하는 구체적인 과제가 있어야 하며, 그 과제 뒤에는 해당 이해관계자가 존재하고, 실행 측면에서 명확한 책임자가 있어야 합니다. 이러한 접근은 우리가 소프트웨어 개발에서 사용하는 애자일 원칙과 강하게 공명합니다.

조직을 재창조하고 AI 우선이 되겠다고 고집한다면, 반드시 전략, 이해관계자, 그리고 그들의 요구에서 시작하십시오!

원칙 2. 장기적으로 대비하라 – 아키텍처를 조기에 고려하라

저는 AI를 또 하나의 디지털 전환, 즉 변화 이니셔티브로 본다고 언급했습니다. 그러나 이 변화 이니셔티브는, 예를 들어 CRM을 구현하는 것보다 분명히 더 복잡합니다.

이러한 의미에서 AI를 위한 아키텍처를 계획하는 것은 매우 중요합니다. 다음을 고려하십시오:

• 컨텍스트와 프롬프트를 어떻게 유지할 것인지;
• AI를 기존 비즈니스 환경에 어떻게 연결할 것인지;
• 여러 AI 도구를 오케스트레이션할 준비를 할 것;
• 특정 워크플로를 처음부터 다시 설계할 준비를 할 것.

예를 들어, 챗봇을 통해 사용자의 질문에 응답하는 데 AI를 사용한다고 상상해 보십시오. 선택하는 아키텍처는 다음과 같은 질문들에 의해 결정될 것입니다:

• 학습 루프는 어떻게 될 것인가?
• 사람의 감독이 있을 것인가? 어떻게 구현될 것인가?
• 시정 조치는 어떻게 도입될 것인가?
• AI가 동일한 사용자와의 이전 대화에 접근할 수 있을 것인가?
• AI가 CRM에서 직접 데이터를 가져올 수 있을 것인가?
• 어떤 보안 메커니즘이 구현될 것인가?

AI가 학습하고, 컨텍스트를 기억하며, 개선하는 능력은 시간이 지남에 따라 채택률의 선행 요인이 될 것입니다. AI 구현을 위해 선택하는 아키텍처가 이러한 학습 요구를 지원하도록 하십시오.

원칙 3. 이해관계자에게 품질과 컴플라이언스를 의미 있게 만들기

AI는 조직의 너무 많은 민감한 지점—고객 데이터에 대한 접근, 제3자 도구 활용, 의사결정 지원, 사용자와의 커뮤니케이션, 그리고 잠재적 감사를 위한 데이터 보관—에 영향을 미칩니다.

AI 구현이 일정 규모에 이르면, 품질 및 컴플라이언스 통제는 필수입니다.

우리는 GRC 영역으로 이동하고 있지만, 다시 말해 이는 AI 자체에 관한 것이 아닙니다. 이는 귀사의 전략, AI가 그 전략에 부과하는 위험, 그리고 우리가 이를 어떻게 예방하고 완화할 수 있는지에 관한 것입니다.

AI 구현을 위해 다음이 필요하다는 이야기를 많이 듣습니다:

• Human in the loop,
• 감사 추적,
• 설명 가능성,
• …

실무에서 빠져 있는 것은 이러한 아이디어와 이해관계자가 실제로 중요하게 여기는 것 사이의 연결입니다.

저는 보타이 위험 분석 방법이 이 역할에 잘 맞는다고 봅니다. 핵심 위험 사건을 대상으로, 해당 예방 통제와 함께 위협을 정의하고, 또한 해당 완화 통제와 함께 위험 사건의 결과를 정의하십시오.

우리는 OOP에서 발표된 “의료 품질 관리에서의 AI 구현” 사례²에서 이러한 분석의 예를 논의했습니다. 그 사례에서 핵심 위험 사건은 “AI로 검증된 결과가 적절한 인간 검토 없이 승인된다”로 정식화되었습니다.

위험 예방 및 위험 완화 통제를 사용하여, 우리는 AI 구현을 이해관계자의 품질 및 컴플라이언스 우려와 정렬했습니다. 이 아이디어를 확장하면, 동일한 통제가 포괄적인 AI 거버넌스 프레임워크를 구축하는 데 도움이 될 것입니다. 이 접근법을 조직 전반으로 확장할 때, 동일한 통제를 사용하여 포괄적인 AI 거버넌스 프레임워크를 수립할 수 있습니다.

요약: AI를 기술에서 전략으로 전환하기

전략 우선 AI 구현을 위해 다음 원칙을 따르십시오:

• 구현을 특정 이해관계자의 요구에 집중하십시오. 이상적으로는 실제 결과와 기대 결과의 정량화가 정의되어야 합니다.
• AI 구현은 LLM의 API에 대한 일회성 연결이 아니라 복잡한 학습 시스템입니다. 이에 맞추어 아키텍처를 계획하십시오.
• 품질 및 컴플라이언스 통제를 수립하고 이를 이해관계자에게 전달하십시오. 이는 향후 AI 구현의 수용성을 결정할 것입니다. 보타이 방법은 이 목적에 매우 유용한 도구로 입증되었습니다.

전략 우선 접근법은 출시 이후에도 지속적인 감독을 필요로 합니다. 전략적 의도를 거버넌스, 품질 통제, 측정 가능한 성과와 연결하기 위해 AI 구현 감독 원칙을 확인하십시오.

Alexis Savkín

Alexis Savkin은 전략 아키텍트이자 BSC Designer의 설립자이며, 균형성과표를 핵심으로 하는 전략 실행 소프트웨어 플랫폼을 제공합니다. 그는 조직이 전략을 측정 가능한 목표, KPI, 그리고 이니셔티브로 전환하도록 지원합니다. Alexis는 전략 실행 캔버스의 창작자이며, 전략 및 성과 측정에 관한 100개 이상의 글을 집필한 저자이고, 정기 연사이기도 합니다.