AI pilot projelerinin ölçeklenememesinin nedenleri: Yönetişim, metrikler ve işletim modeli

Birçok AI pilotu, uygulama karmaşıklığı hafife alındığı için test aşamasının ötesine geçemez. Daha net bir ilerleme yolu, paydaşları belirlemek, karmaşıklığın nereye taşındığını anlamak ve yaratılan değer için metrikleri tanımlamakla başlar.

AI, işletim modelleri, süreçler ve karar alma genelinde yerleşik hâle geldiğinde, daha geniş dönüşüm bazen AI dönüşümü veya AX olarak adlandırılır.

Neden bu kadar çok AI pilotu ölçeklenemiyor?

Organizasyonlar AI ile denemeler yapar, birkaç kullanım senaryosunu test eder ve umut verici sonuçlar görür. Sonra girişim pilot aşamasında kalır:

• Operasyon modelinin bir parçası hâline gelmez.
• Ölçekte ölçülebilir bir işletme etkisi yaratmaz.

Deloitte, katılımcıların yalnızca yüzde 25’inin AI denemelerinin yüzde 40’ını veya daha fazlasını üretime taşındığını bildirdi.¹

McKinsey benzer bir durumu tanımladı: organizasyonların yaklaşık üçte ikisi, AI’yi birkaç pilotun ötesinde ölçekleyememişti.²

Bana göre, temel nedenlerden biri, üst düzey paydaşların sorunun karmaşıklığını çoğu zaman olduğundan az değerlendirmesidir:

Bir AI girişimi, karmaşıklığı ortadan kaldıracak bir çözüm olarak sunulur. Uygulamada ise, karmaşıklığı başka bir yere taşır.

Basit bir örnek: AI destekli bir sohbet botu

Bir web sitesindeki bir sohbet botunu düşünün. Sohbet botu, müşteri sorularını otomatik olarak yanıtlayacak ve destek takımının iş yükünü azaltacaktır. Taleplerin büyük bir yüzdesi, insan müdahalesi olmadan ele alınacaktır.

Müşteri perspektifinden bakıldığında, bu iyi çalışır. Bir kullanıcı yanıtı hemen alır ve destekle iletişime geçmesi gerekmez.

Karmaşıklık, müşteri yolculuğundan kaldırılır.

Aynı zamanda, bu karmaşıklığın bir kısmı destek takımına ve sistemi sürdüren AI takımına aktarılır.

Son kullanıcılar için neler değişir?

Son kullanıcılar için temel soru şudur: sohbet botu sorunu çözdü mü?

Başlangıç metriği ilk temas çözüm oranıdır. Bu metrik, bir destek uzmanına yönlendirme olmadan kaç talebin çözüldüğünü gösterir.

Destek takımı için neler değişir?

Destek takımı, sohbet botunun çözemediği talepleri alır. Bazen sohbet botu çok geç eskalasyon yapar. Bir uzman görüşmeye katıldığında, müşteri sorunu çözmeye çalışarak zaten zaman harcamış ve hayal kırıklığı yaşamış olur.

Bazen de sohbet botu çok erken eskalasyon yapar. Yeterli bilgi toplamadan vakayı aktarır. Destek uzmanı eksik bir taleple karşılaşır ve aynı soruları yeniden sorması gerekir.

Bu durum aşağıdakilerle nicel olarak ölçülebilir:

• Eskalasyon oranı. Destek takımına aktarılan taleplerin yüzdesini ölçün.
• Geç eskalasyon oranı. Eskalasyon öncesinde müşterinin kaçınılabilir sürtünme yaşadığı vakaları takip edin.
• Eksik bağlam. Uzmanların daha önce toplanabilecek bilgileri ne sıklıkla talep etmek zorunda kaldığını ölçün.
• Destek iş yükü. Destek taleplerinin hacmi ve zorluk düzeyindeki değişimleri izleyin.

Destek takımı üzerindeki uzun vadeli etki

Ayrıca daha uzun vadeli bir soru da vardır:

• Destek uzmanları nasıl eğitilmelidir?

Chatbot devreye alınmadan önce, kıdemsiz uzmanlar basit soruları yanıtlayarak öğrenirdi. Zamanla, daha zor vakalar için gereken deneyimi geliştirirlerdi.

Rutin talepler otomatikleştirildiğinde, destek takımı daha yüksek oranda karmaşık vakayla karşılaşır. Eski eğitim modeli artık işe yaramaz.

Organizasyonun uzmanlık geliştirmek için yeni bir yönteme ihtiyacı vardır.

AI ekibi için neler değişir?

Üretimde, sohbet botu sürekli bakım gerektiren bir sistem hâline gelir.

Yeni müşteri soruları ortaya çıkar. Bilgi tabanının güncellenmesi gerekir. Mevcut yanıtların, her değişiklikten sonra doğru kalması gerekir. Güvenlik protokollerinin gözden geçirilmesi gerekir.

Bunu şu şekilde nicelendirebiliriz:

• Yeni bir kullanım senaryosu ekleme süresi. Yeni bir müşteri senaryosunu desteklemenin ne kadar sürdüğünü ölçün.
• Regresyon testi. Yeni değişikliklerin daha önce desteklenen kullanım senaryolarını etkileyip etkilemediğini kontrol edin.
• Bilgi tabanı bakımı. Bilgileri güncel tutmak için gereken çabayı takip edin.
• Güvenlik protokolü kapsamı. Hassas konuların net kurallara ve eskalasyon yollarına sahip olduğunu doğrulayın.

İade, finans, hesap erişimi veya sipariş değişiklikleriyle ilgili sorular durumu daha da karmaşıklaştırır… Sohbet botu soruyu doğrudan yanıtlamalı mı? Genel yönlendirme mi sağlamalı? Talebi bir uzmana mı aktarmalı?

Birinin bu kuralları tanımlaması, test etmesi ve işletme bağlamı değiştiğinde güncellemesi gerekir.

AI girişimleri için gerçekten metriklere ihtiyacımız var mı?

Makûl bir soru, tüm bu ölçüm çabasının gerekli olup olmadığıdır. Benim yanıtım “Evet!” Tartışmanın kendisi değer yaratır. Takımı daha spesifik olmaya zorlar:

• Başarılı bir sohbet botu ile tam olarak neyi kastediyoruz?
• Ne tür bir eskalasyon kabul edilebilir?
• AI ekibi ne kadar bakım işini üstlenebilir?
• Destek uzmanlarını nasıl eğiteceğiz?

KPI’lar için kesin değerler mevcut olmasa bile, bu sorular uygulamanın kalitesini artırır.

McKinsey, üretken AI için 12 benimseme ve ölçeklendirme uygulamasını analiz etti. Her bir uygulama, EBIT etkisi ile pozitif bir korelasyona sahipti. Çalışmaya dahil edilen uygulamalar arasında, üretken AI çözümleri için iyi tanımlanmış KPI’ların izlenmesi, kârlılık üzerinde güçlü bir etkiye sahipti.³

Her bir AI pilotu ile ilgili metriklerin sürekli izlenmesi disiplin gerektirir. BSC Designer platformu, performans ölçümünde tutarlılığı sağlayarak ve KPI’ları gerekli işletme bağlamı ile hizalayarak bu süreci önemli ölçüde kolaylaştırabilir.

Karmaşıklık metrikleriyle başlayın

Her AI projesi kendi gösterge setine ihtiyaç duyar. Yine de, neredeyse her uygulamada gözden geçirilmesi değerli olan birkaç ortak alan vardır. İlki karmaşıklıktır.

Karmaşıklığın nicel olarak ölçülmesi zordur – organizasyonun zaman, emek ve bütçe harcadığı alanlara bakın. Tekrarlanan iletişimi, manuel incelemeleri, geciken kararları ve istisnaları arayın.

İyi adaylar şunlardır:

• İstisna işleme süresi. AI sisteminin ele alamadığı vakaları çözmek için gereken çabayı ölçün.
• Tekrarlanan iletişim. Eksik bağlam veya belirsiz yanıtların neden olduğu ek etkileşimleri takip edin.
• Manuel incelemeler. İnsan doğrulaması gerektiren vaka hacmini ölçün.
• Bakım çabası. Sistemi güncellemek ve test etmek için gereken kaynakları takip edin.
• Kontrol maliyetleri. Güvenlik ve uyum risklerini yönetmek için gereken çabayı izleyin.

Bu metrikler, otomasyondan sonra karmaşıklığın nereye taşındığını gösterir.

Güveni ampirik olarak ölçün

İkinci alan güvendir. Paydaşlar, AI çıktısının güvenilir olup olmadığını soracaktır. Nihai sonuç; girdi verilerine, modele, bilgi tabanına, kontrollerin varlığına ve eskalasyon sürecine bağlı olduğunda bu soru daha da zorlaşır.

Güven ampirik olarak ölçülebilir. Takım, sistemi bilinen verilerle test edebilir, tipik arıza modlarını belirleyebilir ve farklı şekillerde arızalanan çeşitli sistemleri bir araya getirirsek ne olacağını kontrol edebilir.

Pilottan uygulamaya geçin

AI pilotlarından tam ölçekli uygulamaya geçmek için mevcut AI girişimlerini paydaşlar, karmaşıklık ve güven merceklerinden inceleyin.

Yapılandırılmış bir çalıştay, takımın birkaç pratik soruyu yanıtlamasına yardımcı olabilir:

• Paydaşlar. AI girişiminden kimler etkileniyor?
• Beklenen değer. Her bir paydaş hangi iyileşmeyi deneyimlemelidir?
• Aktarılan karmaşıklık. Yeni iş yükü nerede ortaya çıkıyor?
• Yetenekler. Hangi sistemler, kaynaklar ve beceriler gereklidir?
• Riskler. Uygulama sırasında neler ters gidebilir?
• Metrikler. Takım ilerlemeyi ve sonuçları nasıl izleyecek?

Strateji Yürütme Kanvası bu tartışma için bir başlangıç noktası olarak kullanılabilir. Paydaş ihtiyaçlarını hedefler, yetenekler, riskler, varsayımlar ve metriklerle ilişkilendirmeye yardımcı olur.

Alexis Savkín

Alexis Savkin, Kurumsal Karne’yi temel alan bir strateji uygulama yazılım platformu olan BSC Designer’ın Strateji Mimarı ve kurucusudur. Kuruluşların stratejiyi ölçülebilir hedeflere, KPI’lara ve girişimlere dönüştürmesine yardımcı olur. Alexis, Strateji Uygulama Kanvası’nın yaratıcısı, strateji ve performans ölçümü üzerine 100’den fazla makalenin yazarı ve düzenli bir konuşmacıdır.