AI’a olan güveni artırmak için tek bir mükemmel sistem aramayın; farklı şekillerde bozulan sistemleri bir araya getirin.
Bu makalenin temel fikirleri ilk kez Viyana’da, Software Quality Days 2026 kapsamında “Beyond Quality: Measuring Trust in AI Outcomes” başlıklı sunumda paylaşılmıştır.
Trust Architecture Canvas’ı PDF şablonu olarak indirin.
AI’a güvenebilir miyiz? — Tüm AI uygulamalarının temel sorusu
AI hakkında yapılan tüm tartışmalar eninde sonunda aynı soruya gelir:
AI’a güvenebilir miyiz?
Bazı durumlarda, düzenlemeye tabi bir sektörde oldukları için bunu resmî olarak kullanamayacaklarını söylerler. Diğerleri, Cursor veya GitHub Copilot gibi AI araçlarını denediklerini ve bunların gerçekten çok iyi çalıştığını söyler. Ancak bir şekilde tüm bu tartışmalar şu soruyla sona erer: “AI’a güvenebilir miyiz?”
Güven Her Yerde, Peki Güven Nedir?
İki alışveriş arabasını düşünün:
- Biri bozuk para zincirine sahiptir, dolayısıyla kullanmadan önce bir bozuk para koymanız gerekir.
- Diğeri ise hiçbir şey gerektirmez.
İlk durumda, süpermarketin, bir depozito olmadan arabayı geri getireceğime güvenmediği anlaşılıyor.
İkinci durumda ise süpermarket, arabayı doğru yere geri koyacağıma ve diğer sürücüler için rahatsızlık yaratmayacağıma yeterince güvenir.
Bu küçük bir örnek, ancak sistemlerin güveni paydaşlarına nasıl aktardığını gösteriyor — örneğin benim, haftalık alışverişimi bir süpermarkette ya da başka bir süpermarkette yapmam gibi.
Güven kademeli, öznel ve bağlamsaldır
Bunlar güvenin temel özellikleridir.
- Güven ikili değildir; bir şeyin derecesidir.
- Güven, sistemin içkin bir özelliği değildir; birisi, belirli bir amaç için, belirli bir bağlamda bir şeye güvenir.
Kaliteyi tamamlamak için neden güven kullanırız
Faaliyet alanındaki doğal kısıtlamalar nedeniyle güven kullanırız; sınırlı bilgi mevcut olduğunda daha hızlı kararlar almak için güven kullanırız.
Alan çok karmaşık hâle geldiğinde kalite metrikleri yetersiz kalır
Daha az karmaşık işletme alanları için ölçüm maliyeti kabul edilebilirdir; bu nedenle klasik kalite metriklerini kullanabiliriz. Alanın karmaşıklığı arttıkça, klasik ölçüm aşırı maliyetli hâle gelir.
Bu noktada bir seçimimiz vardır. Kararları yalnızca somut metriklere dayandırmaya çalışmayı sürdürebiliriz ya da güven şemsiyesi altında topladığımız bir şeyi kullanabiliriz: algılar, sosyal kanıt, olasılıklar ve diğer vekil göstergeler.
Siber güvenlik, kalitenin güvene nasıl dönüştüğünü gösteriyor
On yıl önce, siber güvenlik nispeten kolay nicelendirilebiliyor ve ölçülebiliyordu: kaba kuvvet süresi, temel iç kontroller…
2024’ten itibaren saldırı vektörleri değişti ve tedarik zincirindeki üçüncü tarafları analiz etme ihtiyacı hakkında çok daha fazla konuşmaya başladık.
Hâlâ siber güvenlik kontrollerinin kalitesini mi ölçüyoruz, yoksa giderek daha fazla güveni mi ölçüyoruz?
Tipik bir üçüncü taraf güvenlik açığı değerlendirmesi, katı kalite ve güvenlik metriklerinden ziyade, iş ortağının sergilediği güven göstergelerine dayanmakla daha çok ilgilidir.
İnsanlar ve AI da kırılgandır
Burada Munker–White illüzyonunu görüyorsunuz.
Bu illüzyon, iki rengin nesnel olarak aynı olabileceğini, ancak yine de onları farklı gördüğümüzü gösterir. Bu, insanlar olarak kandırılabileceğimize dair yalnızca bir örnektir.
İnsanlar kusursuz bir referans değildir. Biz de hata yaparız ve yargılarımızın etrafında kontrollere de ihtiyaç duyarız.
AI da kandırılabilir
AI söz konusu olduğunda, klasik bir örnek, araba yıkamaya nasıl gidileceğini sormaktır.
AI soruyu kelimesi kelimesine yanıtlayabilir ve yürümeyi önerebilir.
Gerçekçi soru “güven ya da güvenme” değil, bu sistem nerede bozuluyor?
Güveni nasıl ölçeriz?
Muhtemelen mutlak güven sayıları pek anlamlı olmayacaktır (güven için gerçek bir ölçüm birimine sahip değiliz). Ancak göreli sayılar çok daha faydalıdır.
Güvenin bir kurulumda diğerine göre daha yüksek mi yoksa daha düşük mü olduğunu anlamak faydalıdır. Bu, sistemleri karşılaştırmamıza ve kararları açıklamamıza yardımcı olur.
Güven metrikleri, paydaşlarla konuşmamıza yardımcı olur. “Çalıştığını hissediyorum” demek yerine, belirli bir AI kurulumunun neden kabul edilebilir olduğunu veya neden ek kontrollere ihtiyaç duyulduğunu açıklayabiliriz.
Güveni nasıl geliştirebiliriz?
Benim pratik çerçevem üç seviyeden oluşur:
- Birinci seviye: kişisel güven
- İkinci seviye: sistematik güven
- Üçüncü seviye: mimari güven
Birinci seviye: Kişisel güven
Kişisel güven sezgiseldir. Sisteme güvenip güvenemeyeceğinize dair kendi değerlendirmenizi yaparsınız.
AI ile bu, onunla bizzat çalışmak anlamına gelir. Onu test eder, görevler verirsiniz, nerede bozulduğunu görürsünüz.
Güven nasıl nicelendirilir ve ölçülür
- Bir ölçüt, istemler yazmaya harcadığınız zamandır.
- Bir diğeri ise sonucu düzeltmeye harcadığınız zamandır.
İstem yazmaya veya çıktıyı onarmaya çok zaman harcıyorsanız, bu size gerçek güven düzeyiniz hakkında bir şey söyler.
Eylem planı
- AI’ı kendi işinizde test edin.
- Nerede yardımcı olduğunu, nerede bozulduğunu ve sonucu kullanılabilir hâle getirmek için ne kadar çaba göstermeniz gerektiğini gözlemleyin.
İkinci seviye: Sistematik güven
Sistematik düzeyde, kişisel deneyimden ölçeğe geçeriz. Bu yalnızca “AI’nin nerede bozulduğunu biliyorum” değildir. Şudur: bunu ölçekleyelim ve belirli bir alan veya belirli bir görev sınıfı için test edelim.
Temelde, birinci seviyedekiyle aynı şeyi yaparız; ancak artık daha fazla vaka, daha fazla yapı ve daha fazla istatistikle.
Güvenin nicelleştirilmesi ve ölçülmesi
- Güven için vekil ölçüt, doğru çıktı olasılığı hâline gelir.
Bunu, doğru çıktı sayısının toplam vaka sayısına bölünmesiyle hesaplarsınız. Ayrıca, test vakalarının sayısına bağlı olarak bir güven aralığı eklersiniz.
Eylem Planı
- Uygun olduğunda kamuya açık kıyaslamaları kullanın.
- Belirli alanlar için kendi veri kümelerinizi kullanın.
İstatistiksel sonucun gerçek alan ihtiyaçlarınızla örtüşüp örtüşmediğini anlamak için rastgele örnekleme ve insan incelemesi ekleyin.
Üçüncü seviye: Mimari güven
Mimari düzeyde soru yeniden değişir. AI’ya %100 güvenmiyoruz ve muhtemelen hiçbir zaman da güvenmeyeceğiz. Ancak:
%100 güvenmediğimiz sistemleri kullanarak güvenilir bir şey inşa edebilir miyiz?
Yanıt “evet.” İnternet bunun bir örneğidir: fiziksel ağlar %100 güvenebileceğimiz bir şey değildir, ancak bir şekilde onların üzerine İnternet’i inşa etmeyi başardık.
Güvenin niceliklendirilmesi ve ölçülmesi
Önce her bir sistemin ayrı ayrı nasıl performans gösterdiğini ölçersiniz. Sonra birlikte nasıl performans gösterdiklerini ölçersiniz.
- Önemli metrik, paylaşılan arıza oranıdır: tüm sistemlerin aynı anda başarısız olduğu durumlar.
Eylem Planı
- Boru hattındaki kilit sistemleri belirleyin: AI, insanlar, politikalar, doğrulamalar, kontroller.
- Bireysel güven düzeylerini ölçün.
- Birleşik sistemin, her bir parçanın tek başına sağladığından daha yüksek bir güven düzeyi sağlayıp sağlamadığını görmek için tüm mimariyi test edin.
Farklı Şekillerde Bozulan Sistemleri Birleştirerek Güveni artırın
Birleşik güven, sistemlerin birlikte nasıl arızalandığına bağlıdır.
Kendi güven düzeyine sahip sistem A ve sistem B varsa, bunları birleştirdiğimizde ne olur?
- Güven düzeylerini basitçe toplayamayız; çünkü bu durumda %100’ün üzerine çıkabiliriz.
- Ayrıca yalnızca minimumu veya maksimumu almak da mümkün değildir.
Yanıt, sistemlerin nasıl tasarlandığına ve birlikte nasıl arızalandıklarına bağlıdır.
Birleşik analiz, birleşik güven düzeyini gösterir
Birleşik güveni anlamak için birleşik analize ihtiyacımız vardır. Sistem A ve sistem B’yi ayrı ayrı test ederiz; ardından aynı vakalarda nasıl davrandıklarına da bakarız.
Örneğin, sistem A’nın güveni %84 ve sistem B’nin güveni %91’dir. Ancak onları birleştirdiğimizde, ortak başarısızlık oranı yalnızca %5 olduğu için genel güven %95’e çıkar. Her zaman aynı vakalarda başarısız olmazlar ve önemli olan kısım da budur.
Güvenilir mimari, örtüşen güvenlik ağlarını kullanır
Yazılım mühendisliğinde, akran değerlendirmesi aynı şekilde işler. Başka bir kişi, sizin yakalayamadığınız bir şeyi fark edebilir.
Havacılıkta da, kontrollerde ve prosedürlerde yedeklilik görürüz.
Kontrolleri basitçe çoğaltmak güveni çok artırmaz. Aradığımız şey çeşitli yedekliliktir: farklı şekillerde arızalanan sistemleri orkestre etmek.
Her yedeklilik gerçekçi değildir
Bazı yedeklilik teoride faydalıdır, ancak gerçekçi değildir. Örneğin, taksi hizmetlerinde ikinci bir sürücü ekleyebiliriz ve muhtemelen hizmet daha güvenli hâle gelir. Ancak bu gerçekçi değildir.
Bunun yerine, farklı sistemlerden oluşan bir ağ kurarız: düzenlemeler, politikalar, sürücü puanlamaları, uygulama kontrolleri, raporlama mekanizmaları. Tüm bu sistemler bir araya gelir ve genel güven düzeyine katkıda bulunur.
Döngüde insan, bir başka güven sistemidir
Döngüde insanı başka bir güven sistemi olarak düşünebiliriz. İnsanlar sezgi ve sağduyu getirir ve ilkeleri AI sistemlerinden farklıdır. Bu da insanları mükemmel bir güven faktörü yapar.
Mimari, bireysel güven puanlarından daha önemlidir
İki güçlü sistem, aynı şekilde başarısız oluyorlarsa yine de birlikte başarısız olabilir.
Aynı zamanda, iki kusurlu sistem birbirlerinin eksiklerini telafi ediyorsa daha güçlü bir birleşik sistem oluşturabilir. Dolayısıyla temel tasarım sorusu şudur: bu sistemler farklı şekillerde mi bozuluyor?
Güvenilirliği Yeniden mi İcat Ettik?
Tam olarak değil.
Güvenilirlik, güvenin bir parçasıdır; ancak güven, daha geniş bir kavramlar kümesini kapsar. Yalnızca bir bileşenin çalışıp çalışmadığını sormuyoruz — AI, insanlar, politikalar, kontroller ve iş bağlamı dâhil olmak üzere tüm karar hattına bakıyoruz.
Güven, ayrıca daha fazla paydaşı da içerir: kullanıcılar, yöneticiler, düzenleyiciler, işletme sahipleri, süreçte insan bulunanlar ve karardan etkilenen kişiler.
Temel çıkarım
Güvenilir AI, tek bir mükemmel AI modeli bulmakla ilgili değildir. AI sistemleri, insan sistemleri, iş sistemleri, politikalar ve kontroller dâhil olmak üzere tüm sistemler kırılabilir.
Amaç şudur:
- Sistemlerin nasıl bozulduğunu anlamak ve ardından
- Farklı şekillerde bozulan sistemleri bir araya getirmek.
Güvenilir bir şeye ulaşmanın yolu budur.
Sırada ne var? Güven, kontroller, gözden geçirmeler ve performans göstergeleriyle birlikte daha geniş AI uygulama gözetimi çerçevesine yerleştirildiğinde daha eyleme dönük hâle gelir.
Alexis Savkin, Kurumsal Karne’yi temel alan bir strateji uygulama yazılım platformu olan BSC Designer’ın Strateji Mimarı ve kurucusudur. Kuruluşların stratejiyi ölçülebilir hedeflere, KPI’lara ve girişimlere dönüştürmesine yardımcı olur. Alexis, Strateji Uygulama Kanvası’nın yaratıcısı, strateji ve performans ölçümü üzerine 100’den fazla makalenin yazarı ve düzenli bir konuşmacıdır.