لزيادة الثقة في الذكاء الاصطناعي، لا تبحث عن نظام مثالي واحد؛ بل اجمع بين أنظمة تتعطل بطرق مختلفة.
قُدِّمت الأفكار الأساسية لهذه المقالة لأول مرة في العرض التقديمي «ما وراء الجودة: قياس الثقة في مخرجات الذكاء الاصطناعي» ضمن فعالية Software Quality Days 2026 في فيينا.
حمّل لوحة هندسة الثقة بصفتها قالب PDF.
هل يمكننا الوثوق بالذكاء الاصطناعي؟ — السؤال الجوهري لجميع تطبيقات الذكاء الاصطناعي
تنتهي جميع المناقشات حول الذكاء الاصطناعي في نهاية المطاف إلى السؤال نفسه:
هل يمكننا الوثوق بالذكاء الاصطناعي؟
في بعض الحالات، يقول الناس إنهم لا يستطيعون استخدامه رسميًا لأنهم يعملون في صناعة خاضعة للتنظيم. ويقول آخرون إنهم جرّبوا أدوات ذكاء اصطناعي مثل Cursor أو GitHub Copilot، وقد عملت بشكل جيد جدًا. ولكن بطريقة ما، تنتهي كل تلك المناقشات بسؤال واحد: “هل يمكننا الوثوق بالذكاء الاصطناعي؟”
الثقة موجودة في كل مكان، ولكن ما هي الثقة؟
فكّر في عربتي تسوّق:
- إحداهما مزودة بسلسلة عملة، لذا تحتاج إلى وضع عملة قبل استخدامها.
- والأخرى لا تتطلب أي شيء.
في الحالة الأولى، يبدو أن السوبرماركت لا يثق بي لإعادة العربة دون وديعة.
في الحالة الثانية، السوبرماركت يثق بي بما يكفي لإرجاع العربة إلى المكان الصحيح وعدم التسبب في إزعاج للسائقين الآخرين.
إنه مثال صغير، لكنه يوضح كيف تترجم الأنظمة الثقة إلى أصحاب المصلحة لديها — مثل قيامي بالتسوق الأسبوعي في سوبرماركت دون آخر.
الثقة تدريجية وذاتية وسياقية
هذه هي الخصائص الأساسية للثقة.
- الثقة ليست ثنائية؛ إنها درجة من شيء ما.
- الثقة ليست خاصية جوهرية للنظام؛ فهناك من يثق بشيء ما، لغرض محدد، ضمن سياق محدد.
لماذا نستخدم الثقة لاستكمال الجودة
نستخدم الثقة بسبب القيود الطبيعية في مجال التشغيل؛ ونستخدم الثقة لاتخاذ قرارات أسرع عند توفر معلومات محدودة.
تنهار مقاييس الجودة عندما يصبح المجال شديد التعقيد
بالنسبة لمجالات الأعمال الأقل تعقيدًا، تكون تكلفة القياس مقبولة، لذا يمكننا استخدام مقاييس الجودة الكلاسيكية. ومع زيادة تعقيد المجال، يصبح القياس الكلاسيكي مكلفًا للغاية.
في هذه المرحلة، لدينا خيار. يمكننا الاستمرار في محاولة بناء القرارات على المقاييس الصلبة فقط، أو يمكننا استخدام شيء نجمعه تحت مظلة الثقة: التصورات، والإثبات الاجتماعي، والاحتمالات، ووكلاء بديلون آخرون.
تُظهر الأمن السيبراني كيف تتحوّل الجودة إلى ثقة
قبل عقد من الزمن، كان الأمن السيبراني سهلًا نسبيًا من حيث التكميم والقياس: زمن هجمات القوة الغاشمة، والضوابط الداخلية الأساسية…
ابتداءً من عام 2024، تغيّرت نواقل الهجوم، وبدأنا نتحدث بدرجة أكبر بكثير عن الحاجة إلى تحليل الأطراف الثالثة ضمن سلسلة التوريد.
هل ما زلنا نقيس جودة ضوابط الأمن السيبراني، أم أننا نقيس الثقة على نحو متزايد؟
إن تقييمًا نموذجيًا لقابلية تعرّض طرف ثالث يركّز أكثر على الاعتماد على مؤشرات الثقة التي يبرهن عليها الشريك، بدلًا من مقاييس الجودة والأمن الصلبة.
البشر والذكاء الاصطناعي كلاهما قابلان للخطأ
هنا لديك خداع مونكر–وايت البصري.
تُظهر الخدعة أن لونين يمكن أن يكونا متماثلين موضوعيًا، لكننا ما زلنا نراهما مختلفين. هذا مجرد مثال واحد على كيف يمكن، بصفتنا بشرًا، أن نتعرض للخداع.
البشر ليسوا مرجعًا مثاليًا. نحن نُخفق أيضًا، ونحتاج كذلك إلى ضوابط تحيط بحكمنا.
يمكن خداع الذكاء الاصطناعي أيضًا
أما بالنسبة للذكاء الاصطناعي، فمثال كلاسيكي هو السؤال عن كيفية الوصول إلى مغسلة السيارات.
قد يجيب الذكاء الاصطناعي عن السؤال حرفيًا ويقترح المشي.
السؤال الواقعي ليس «نثق أم لا نثق»، بل أين يتعطل هذا النظام؟
كيف نقيس الثقة؟
من المحتمل أن أرقام الثقة المطلقة لن تكون ذات معنى كبير (إذ لا نملك ببساطة وحدة قياس حقيقية للثقة). لكن الأرقام النسبية أكثر فائدة بكثير.
من المفيد فهم ما إذا كانت الثقة أعلى أو أقل في إعدادٍ ما مقارنةً بآخر. يساعدنا ذلك على مقارنة الأنظمة وشرح القرارات.
تساعدنا مقاييس الثقة على التحدث مع أصحاب المصلحة. فبدلاً من قول: «أشعر أنها تعمل»، يمكننا تفسير سبب كون إعدادٍ معيّن للذكاء الاصطناعي مقبولاً أو سبب الحاجة إلى ضوابط إضافية.
كيف نحسّن الثقة؟
يتضمن إطاري العملي ثلاثة مستويات:
- المستوى الأول: الثقة الشخصية
- المستوى الثاني: الثقة المنهجية
- المستوى الثالث: الثقة المعمارية
المستوى الأول: الثقة الشخصية
الثقة الشخصية حدسية. تكتسب فهمك الخاص لما إذا كان بإمكانك الوثوق بالنظام أم لا.
مع الذكاء الاصطناعي، يعني ذلك أن تضع يديك عليه. تختبره، وتكلفه بمهام، وترى أين يتعطل.
كيف يتم تحديد الثقة وقياسها
- أحد المقاييس هو الوقت الذي تقضيه في كتابة المطالبات.
- مقياس آخر هو الوقت الذي تقضيه في إصلاح النتيجة.
إذا كنت تقضي وقتًا طويلًا في كتابة المطالبات أو إصلاح المخرجات، فهذا يخبرك شيئًا عن مستوى ثقتك الحقيقي.
خطة عمل
- اختبر الذكاء الاصطناعي في عملك الخاص.
- راقب أين يساعدك، وأين يتعطل، وكم من الجهد تحتاجه لجعل النتيجة قابلة للاستخدام.
المستوى الثاني: الثقة المنهجية
على المستوى المنهجي، ننتقل من الخبرة الشخصية إلى التوسّع على نطاق واسع. الأمر لا يقتصر على: «أنا أعرف أين يتعطّل الذكاء الاصطناعي». بل هو: لنجعل هذا قابلاً للتطبيق على نطاق واسع ونختبره لمجال محدد أو لفئة محددة من المهام.
بشكل أساسي، نفعل الشيء نفسه كما في المستوى الأول، ولكن الآن مع حالات أكثر، وبنية أكثر، وإحصاءات أكثر.
كيفية قياس الثقة وتحديدها كمّياً
- يصبح المؤشر البديل للثقة هو احتمالية الحصول على مخرجات صحيحة.
تحسبها على أنها عدد المخرجات الصحيحة مقسوماً على العدد الإجمالي للحالات. إضافةً إلى ذلك، تضيف فاصل ثقة يعتمد على عدد حالات الاختبار.
خطة عمل
- استخدم المعايير المرجعية العامة عند الاقتضاء.
- استخدم مجموعات بياناتك الخاصة للمجالات المحددة.
أضف أخذ عينات عشوائية ومراجعة بشرية لفهم ما إذا كانت النتيجة الإحصائية تتوافق مع احتياجات مجالك الفعلية.
المستوى الثالث: الثقة المعمارية
على المستوى المعماري، يتغير السؤال مرة أخرى. نحن لا نثق بالذكاء الاصطناعي بنسبة 100%، وعلى الأرجح لن نفعل ذلك أبداً. ولكن:
هل يمكننا بناء شيء جدير بالثقة باستخدام أنظمة لا نثق بها بنسبة 100%؟
الإجابة هي “نعم”. الإنترنت مثال واحد: فالشبكات المادية ليست شيئاً يمكننا الوثوق به بنسبة 100%، ولكننا تمكنّا بطريقة ما من بناء الإنترنت فوقها.
كيف تُكمَّم الثقة وتُقاس
أولاً تقيس كيف يؤدّي كل نظام على حدة. ثم تقيس كيف يؤدّون معاً.
- المقياس المهم هو معدل الفشل المشترك: الحالات التي تفشل فيها جميع الأنظمة في الوقت نفسه.
خطة عمل
- حدِّد الأنظمة الرئيسية في خط المعالجة: الذكاء الاصطناعي، البشر، السياسات، عمليات التحقق، الضوابط.
- قِس مستويات الثقة الفردية لكلٍ منها.
- اختبر البنية المعمارية كاملةً لمعرفة ما إذا كان النظام المُدمج يوفّر مستوى ثقة أعلى من كل جزء بمفرده.
زيادة الثقة من خلال دمج أنظمة تتعطل بطرق مختلفة
تعتمد الثقة المجمّعة على كيفية تعطل الأنظمة معًا.
إذا كان لدينا النظام A والنظام B، ولكل منهما مستوى ثقة خاص به، فماذا يحدث عندما ندمجهما؟
- لا يمكننا ببساطة جمع مستويات الثقة، لأن ذلك قد يجعلنا نتجاوز 100%.
- كما لا يمكننا ببساطة أخذ الحد الأدنى أو الحد الأقصى.
تعتمد الإجابة على كيفية تصميم الأنظمة وكيفية تعطلها معًا.
يُظهر التحليل المشترك مستوى الثقة المُجمَّع
لفهم الثقة المُجمَّعة، نحتاج إلى التحليل المشترك. نختبر النظام A والنظام B كلًّا على حدة، ثم ننظر أيضًا إلى كيفية أدائهما على الحالات نفسها.
على سبيل المثال، لدى النظام A ثقة بنسبة 84% ولدى النظام B ثقة بنسبة 91%. ولكن عند دمجهما، تصبح الثقة الإجمالية 95%، لأن معدل الإخفاق المشترك لا يتجاوز 5%. فهما لا يفشلان دائمًا في الحالات نفسها، وهذا هو الجزء المهم.
تستخدم الهندسة المعمارية الجديرة بالثقة شبكات أمان متداخلة
في هندسة البرمجيات، تعمل مراجعة الأقران بالطريقة نفسها. قد يلتقط شخص آخر شيئًا لم تلتقطه أنت.
في مجال الطيران، نرى أيضًا التكرار في عناصر التحكم والإجراءات.
إن مجرد تكرار عناصر التحكم لن يزيد الثقة كثيرًا. ما نبحث عنه هو التكرار المتنوع: تنسيق أنظمة تتعطل بطرق مختلفة.
ليست كل الازدواجية واقعية
بعض الازدواجية مفيدة نظريًا، لكنها غير واقعية. على سبيل المثال، في خدمات سيارات الأجرة، يمكننا إضافة سائقٍ ثانٍ، وربما تصبح الخدمة أكثر أمانًا. لكن هذا غير واقعي.
لذلك، وبدلًا من ذلك، نبني شبكة من أنظمة مختلفة: اللوائح، والسياسات، وتقييمات السائقين، وضوابط التطبيق، وآليات الإبلاغ. تتكامل كل هذه الأنظمة وتُسهم في مستوى الثقة العام.
الإنسان ضمن الحلقة هو نظام ثقة إضافي
يمكننا التفكير في الإنسان ضمن الحلقة باعتباره نظام ثقة آخر. يجلب البشر الحدس والمنطق السليم، وتختلف مبادئهم عن أنظمة الذكاء الاصطناعي. وهذا يجعل البشر عامل ثقة مثاليًا.
تُعَدّ البنية أكثر أهمية من درجات الثقة الفردية
قد يفشل نظامان قويان معًا رغم ذلك إذا فشلا بالطريقة نفسها.
وفي الوقت نفسه، يمكن لنظامين غير مثاليين أن يُنشِئا نظامًا مُشتركًا أقوى إذا عوّض كلٌ منهما الآخر. لذا فإن سؤال التصميم الجوهري هو: هل تنهار هذه الأنظمة بطرق مختلفة؟
هل أعدنا للتو ابتكار الموثوقية؟
ليس تمامًا.
الموثوقية جزء من الثقة، لكن الثقة تغطي مجموعة أوسع من الأفكار. نحن لا نسأل فقط عمّا إذا كان مكوّن واحد يعمل — بل ننظر إلى خط أنابيب القرار بأكمله: الذكاء الاصطناعي، والبشر، والسياسات، والضوابط، والسياق التجاري.
كما تتضمن الثقة أيضًا المزيد من أصحاب المصلحة: المستخدمين، والمديرين، والجهات التنظيمية، وأصحاب الأعمال، والبشر ضمن الحلقة، والأشخاص المتأثرين بالقرار.
الخلاصة الأساسية
الذكاء الاصطناعي الجدير بالثقة لا يتعلق بالعثور على نموذج ذكاء اصطناعي واحد مثالي. جميع الأنظمة قابلة للاختراق، بما في ذلك أنظمة الذكاء الاصطناعي، والأنظمة البشرية، وأنظمة الأعمال، والسياسات، والضوابط.
الفكرة هي:
- افهم كيف تتعطل الأنظمة ثم
- ادمج أنظمة تتعطل بطرق مختلفة.
هذه هي الطريقة للوصول إلى شيء جدير بالثقة.
ما التالي؟ تصبح الثقة أكثر قابلية للتطبيق عندما تُدمج ضمن الإشراف على تنفيذ الذكاء الاصطناعي على نطاق أوسع، مع الضوابط والمراجعات ومؤشرات الأداء.
أليكسيس سافكين هو مهندس استراتيجيات ومؤسس BSC Designer، وهي منصة برمجية لتنفيذ الاستراتيجية تتمحور حول بطاقة الأداء المتوازن. يساعد المؤسسات على ترجمة الاستراتيجية إلى أهداف قابلة للقياس وKPI (مؤشر الأداء الرئيسي) ومبادرات. أليكسيس هو مبتكر لوحة تنفيذ الاستراتيجية، ومؤلف لأكثر من 100 مقال حول الاستراتيجية وقياس الأداء، ومتحدث منتظم.