Untuk meningkatkan kepercayaan pada AI, jangan mencari satu sistem yang sempurna; gabungkan sistem yang gagal dengan cara yang berbeda.
Gagasan inti artikel ini pertama kali dipresentasikan dalam sesi “Beyond Quality: Measuring Trust in AI Outcomes” pada Software Quality Days 2026 di Wina.
Unduh Trust Architecture Canvas sebagai templat PDF.
Dapatkah Kita Memercayai AI? — Pertanyaan Mendasar dari Semua Implementasi AI
Semua diskusi tentang AI pada akhirnya bermuara pada pertanyaan yang sama:
Dapatkah kita memercayai AI?
Dalam beberapa kasus, orang mengatakan bahwa mereka tidak dapat menggunakannya secara resmi karena mereka berada di industri yang diatur. Yang lain mengatakan bahwa mereka telah mencoba alat AI seperti Cursor atau GitHub Copilot, dan alat-alat tersebut bekerja dengan sangat baik. Namun entah bagaimana, semua diskusi itu berakhir dengan satu pertanyaan: “Dapatkah kita memercayai AI?”
Kepercayaan Ada di Mana-Mana, tetapi Apa Itu Kepercayaan?
Pikirkan tentang dua keranjang belanja:
- Yang satu memiliki rantai koin, sehingga Anda perlu memasukkan koin sebelum menggunakannya.
- Yang lainnya tidak memerlukan apa pun.
Dalam kasus pertama, tampaknya supermarket tidak mempercayai saya untuk mengembalikan keranjang tanpa deposit.
Dalam kasus kedua, supermarket cukup mempercayai saya untuk mengembalikan keranjang ke tempat yang benar dan tidak menimbulkan ketidaknyamanan bagi pengemudi lainnya.
Ini adalah contoh kecil, tetapi menunjukkan bagaimana sistem menerjemahkan kepercayaan kepada para pemangku kepentingannya – seperti saya melakukan belanja mingguan di satu supermarket atau yang lain.
Kepercayaan Bersifat Bertahap, Subjektif, dan Kontekstual
Berikut adalah sifat-sifat dasar kepercayaan.
- Kepercayaan tidak bersifat biner; kepercayaan adalah tingkatan dari sesuatu.
- Kepercayaan bukanlah sifat intrinsik dari sistem; seseorang mempercayai sesuatu, untuk tujuan tertentu, dalam konteks tertentu.
Mengapa Kami Menggunakan Kepercayaan untuk Melengkapi Kualitas
Kami menggunakan kepercayaan karena adanya keterbatasan alami dalam domain operasional; kami menggunakan kepercayaan untuk pengambilan keputusan yang lebih cepat ketika informasi yang tersedia terbatas.
Metrik Kualitas Gagal Berfungsi Ketika Domain Menjadi Terlalu Kompleks
Untuk domain bisnis yang kurang kompleks, biaya pengukuran dapat diterima, sehingga kita dapat menggunakan metrik kualitas klasik. Seiring meningkatnya kompleksitas domain, pengukuran klasik menjadi terlalu mahal.
Pada titik ini, kita memiliki pilihan. Kita dapat terus mencoba mendasarkan keputusan hanya pada metrik yang keras, atau kita dapat menggunakan sesuatu yang kita kelompokkan di bawah payung kepercayaan: persepsi, bukti sosial, probabilitas, dan proksi lainnya.
Keamanan siber Menunjukkan Bagaimana Kualitas Berubah Menjadi Kepercayaan
Satu dekade lalu, keamanan siber relatif mudah untuk dikuantifikasi dan diukur: waktu brute-force, kontrol internal dasar…
Mulai tahun 2024, vektor serangan berubah, dan kami mulai jauh lebih banyak membahas kebutuhan untuk menganalisis pihak ketiga dalam rantai pasokan.
Apakah kita masih mengukur kualitas kontrol keamanan siber, ataukah kita semakin mengukur kepercayaan?
Penilaian kerentanan pihak ketiga yang umum lebih banyak bergantung pada indikator kepercayaan yang ditunjukkan oleh mitra daripada pada metrik kualitas dan keamanan yang bersifat keras.
Manusia dan AI Sama-sama Bisa Keliru
Di sini Anda dapat melihat ilusi Munker–White.
Ilusi ini menunjukkan bahwa dua warna dapat secara objektif sama, tetapi kita tetap melihatnya sebagai berbeda. Ini hanyalah salah satu contoh bagaimana, sebagai manusia, kita dapat ditipu.
Manusia bukanlah acuan yang sempurna. Kita juga dapat gagal, dan kita juga memerlukan kontrol dalam penilaian kita.
AI Juga Dapat Ditipu
Terkait AI, contoh klasiknya adalah menanyakan cara menuju tempat cuci mobil.
AI mungkin menjawab pertanyaan tersebut secara harfiah dan menyarankan untuk berjalan kaki.
Pertanyaan yang realistis bukanlah “percaya atau tidak percaya,” melainkan di mana sistem ini gagal?
Bagaimana Kita Mengukur Kepercayaan?
Kemungkinan angka kepercayaan absolut tidak akan terlalu bermakna (kita memang tidak memiliki unit pengukuran yang nyata untuk kepercayaan). Namun, angka relatif jauh lebih berguna.
Penting untuk memahami apakah kepercayaan lebih tinggi atau lebih rendah dalam satu pengaturan dibandingkan dengan yang lain. Hal ini membantu kita membandingkan sistem dan menjelaskan keputusan.
Metrik kepercayaan membantu kita berkomunikasi dengan para pemangku kepentingan. Alih-alih mengatakan, “Saya merasa ini berfungsi,” kita dapat menjelaskan mengapa suatu pengaturan AI tertentu dapat diterima atau mengapa diperlukan kontrol tambahan.
Bagaimana Kita Meningkatkan Kepercayaan?
Kerangka kerja praktis saya mencakup tiga tingkat:
- Tingkat satu: kepercayaan pribadi
- Tingkat dua: kepercayaan sistematis
- Tingkat tiga: kepercayaan arsitektural
Tingkat Satu: Kepercayaan Pribadi
Kepercayaan pribadi bersifat intuitif. Anda memiliki pemahaman sendiri tentang apakah Anda dapat mempercayai sistem tersebut atau tidak.
Dengan AI, ini berarti mencoba menggunakannya secara langsung. Anda mengujinya, memberinya tugas, dan melihat di mana ia gagal.
Bagaimana Kepercayaan Dikuantifikasi dan Diukur
- Salah satu metrik adalah waktu yang Anda habiskan untuk menulis prompt.
- Metrik lainnya adalah waktu yang Anda habiskan untuk memperbaiki hasilnya.
Jika Anda menghabiskan banyak waktu untuk membuat prompt atau memperbaiki output, hal itu memberi tahu Anda sesuatu tentang tingkat kepercayaan Anda yang sebenarnya.
Rencana Tindakan
- Uji AI dalam pekerjaan Anda sendiri.
- Perhatikan di mana AI membantu, di mana AI gagal, dan seberapa besar upaya yang Anda perlukan agar hasilnya dapat digunakan.
Tingkat Dua: Kepercayaan Sistematis
Pada tingkat sistematis, kita beralih dari pengalaman pribadi ke skala. Ini bukan hanya “Saya tahu di mana AI gagal.” Ini adalah: mari kita skalakan ini dan mengujinya untuk domain tertentu atau kelas tugas tertentu.
Pada dasarnya, kita melakukan hal yang sama seperti pada tingkat satu, tetapi sekarang dengan lebih banyak kasus, lebih banyak struktur, dan lebih banyak statistik.
Bagaimana Kepercayaan Dikuantifikasi dan Diukur
- Proksi untuk kepercayaan menjadi probabilitas keluaran yang benar.
Anda menghitungnya sebagai jumlah keluaran yang benar dibagi dengan total jumlah kasus. Selain itu, Anda menambahkan interval kepercayaan bergantung pada jumlah kasus uji.
Rencana Tindakan
- Gunakan tolok ukur publik jika relevan.
- Gunakan kumpulan data Anda sendiri untuk domain tertentu.
Tambahkan pengambilan sampel acak dan peninjauan manusia untuk memahami apakah hasil statistik sesuai dengan kebutuhan domain nyata Anda.
Tingkat Tiga: Kepercayaan Arsitektural
Pada tingkat arsitektural, pertanyaannya berubah lagi. Kita tidak mempercayai AI 100%, dan kemungkinan besar kita tidak akan pernah. Namun:
Dapatkah kita membangun sesuatu yang dapat dipercaya menggunakan sistem yang tidak kita percayai 100%?
Jawabannya adalah “ya.” Internet adalah salah satu contohnya: jaringan fisik bukanlah sesuatu yang dapat kita percayai 100%, tetapi entah bagaimana kita berhasil membangun Internet di atasnya.
Bagaimana Kepercayaan Dikuantifikasi dan Diukur
Pertama, Anda mengukur bagaimana kinerja setiap sistem secara terpisah. Kemudian, Anda mengukur bagaimana kinerja mereka bersama-sama.
- Metrik yang penting adalah tingkat kegagalan bersama: kasus ketika semua sistem gagal pada saat yang sama.
Rencana Tindakan
- Identifikasi sistem-sistem kunci dalam alur: AI, manusia, kebijakan, validasi, kontrol.
- Ukur tingkat kepercayaan masing-masing.
- Uji seluruh arsitektur untuk melihat apakah sistem gabungan memberikan tingkat kepercayaan yang lebih tinggi daripada setiap bagian secara terpisah.
Tingkatkan Kepercayaan dengan Menggabungkan Sistem yang Rusak dengan Cara Berbeda
Kepercayaan gabungan bergantung pada bagaimana sistem gagal secara bersamaan.
Jika kita memiliki sistem A dan sistem B, masing-masing dengan tingkat kepercayaannya sendiri, apa yang terjadi ketika kita menggabungkannya?
- Kita tidak dapat sekadar menjumlahkan tingkat kepercayaannya, karena hasilnya dapat melebihi 100%.
- Kita juga tidak dapat sekadar mengambil nilai minimum atau maksimum.
Jawabannya bergantung pada bagaimana sistem dirancang dan bagaimana sistem tersebut gagal secara bersamaan.
Analisis Gabungan Menunjukkan Tingkat Kepercayaan Gabungan
Untuk memahami kepercayaan gabungan, kita memerlukan analisis gabungan. Kami menguji sistem A dan sistem B secara terpisah, kemudian kami juga melihat bagaimana keduanya berperilaku pada kasus yang sama.
Sebagai contoh, sistem A memiliki tingkat kepercayaan 84% dan sistem B 91%. Namun, ketika keduanya digabungkan, tingkat kepercayaan keseluruhan menjadi 95%, karena tingkat kegagalan bersama hanya 5%. Keduanya tidak selalu gagal pada kasus yang sama, dan ini adalah bagian yang penting.
Arsitektur Tepercaya Menggunakan Jaring Pengaman yang Saling Tumpang Tindih
Dalam rekayasa perangkat lunak, tinjauan sejawat bekerja dengan cara yang sama. Orang lain dapat menangkap sesuatu yang belum Anda tangkap.
Dalam penerbangan, kita juga melihat redundansi dalam kontrol dan prosedur.
Sekadar menduplikasi kontrol tidak akan banyak meningkatkan kepercayaan. Yang kita cari adalah redundansi yang beragam: mengorkestrasi sistem yang gagal dengan cara yang berbeda.
Tidak Semua Redundansi Realistis
Sebagian redundansi bermanfaat secara teori, tetapi tidak realistis. Sebagai contoh, dalam layanan taksi, kita dapat menambahkan pengemudi kedua, dan kemungkinan layanan akan menjadi lebih aman. Namun, hal ini tidak realistis.
Sebagai gantinya, kita membangun jaringan berbagai sistem: peraturan, kebijakan, penilaian pengemudi, kontrol aplikasi, mekanisme pelaporan. Semua sistem ini berpadu dan berkontribusi terhadap tingkat kepercayaan secara keseluruhan.
Manusia dalam Loop Adalah Satu Sistem Kepercayaan Lagi
Kita dapat memandang manusia dalam loop sebagai sistem kepercayaan lainnya. Manusia membawa intuisi dan akal sehat, dan prinsip mereka berbeda dari sistem AI. Hal ini menjadikan manusia sebagai faktor kepercayaan yang sempurna.
Arsitektur Lebih Penting daripada Skor Kepercayaan Individual
Dua sistem yang kuat tetap dapat gagal bersama jika keduanya gagal dengan cara yang sama.
Pada saat yang sama, dua sistem yang tidak sempurna dapat menciptakan sistem gabungan yang lebih kuat jika keduanya saling mengompensasi. Jadi pertanyaan inti dalam perancangan adalah: apakah sistem-sistem ini rusak dengan cara yang berbeda?
Apakah Kita Baru Saja Menciptakan Kembali Keandalan?
Tidak sepenuhnya.
Keandalan adalah bagian dari kepercayaan, tetapi kepercayaan mencakup rangkaian gagasan yang lebih luas. Kita tidak hanya menanyakan apakah satu komponen berfungsi — kita meninjau seluruh alur pengambilan keputusan: AI, manusia, kebijakan, kontrol, dan konteks bisnis.
Kepercayaan juga melibatkan lebih banyak pemangku kepentingan: pengguna, manajer, regulator, pemilik bisnis, manusia dalam proses, dan orang-orang yang terdampak oleh keputusan tersebut.
Inti Utama
AI yang dapat dipercaya bukanlah tentang menemukan satu model AI yang sempurna. Semua sistem dapat dirusak, termasuk sistem AI, sistem manusia, sistem bisnis, kebijakan, dan kontrol.
Gagasannya adalah untuk:
- Pahami bagaimana sistem rusak dan kemudian
- Kombinasikan sistem yang rusak dengan cara yang berbeda.
Inilah cara untuk mencapai sesuatu yang dapat dipercaya.
Apa berikutnya? Kepercayaan menjadi lebih dapat ditindaklanjuti ketika diintegrasikan ke dalam AI implementation oversight yang lebih luas dengan kontrol, tinjauan, dan indikator kinerja.
Alexis Savkin adalah seorang Arsitek Strategi dan pendiri BSC Designer, sebuah platform perangkat lunak pelaksanaan strategi dengan Kartu Skor Berimbang sebagai inti utamanya. Ia membantu organisasi menerjemahkan strategi menjadi tujuan yang terukur, KPI, dan inisiatif. Alexis adalah pencipta Kanvas Pelaksanaan Strategi, penulis lebih dari 100 artikel tentang strategi dan pengukuran kinerja, serta pembicara tetap.