Um das Vertrauen in KI zu erhöhen, suchen Sie nicht nach einem perfekten System; kombinieren Sie Systeme, die auf unterschiedliche Weise versagen.
Die Kernideen dieses Artikels wurden erstmals in dem Vortrag „Beyond Quality: Measuring Trust in AI Outcomes“ auf den Software Quality Days 2026 in Wien vorgestellt.
Laden Sie das Trust Architecture Canvas als PDF-Vorlage herunter.
Können Wir KI Vertrauen? — Die Grundlegende Frage Aller KI-Implementierungen
Alle Diskussionen über KI enden letztlich mit derselben Frage:
Können wir KI vertrauen?
In einigen Fällen sagen Menschen, sie könnten sie nicht offiziell nutzen, weil sie in einer regulierten Branche tätig sind. Andere sagen, sie hätten KI-Tools wie Cursor oder GitHub Copilot ausprobiert, und diese hätten sehr gut funktioniert. Doch irgendwie enden all diese Diskussionen mit einer Frage: „Können wir KI vertrauen?“
Vertrauen Ist Überall, aber Was Ist Vertrauen?
Denken Sie an zwei Einkaufswagen:
- Der eine hat eine Münzkette, sodass Sie vor der Nutzung eine Münze einwerfen müssen.
- Der andere erfordert nichts.
Im ersten Fall sieht es so aus, als würde der Supermarkt mir nicht vertrauen, den Wagen ohne Pfand zurückzubringen.
Im zweiten Fall vertraut mir der Supermarkt genug, den Wagen an den richtigen Platz zurückzubringen und keine Unannehmlichkeiten für andere Fahrer zu verursachen.
Es ist ein kleines Beispiel, aber es zeigt, wie Systeme Vertrauen für ihre Stakeholder übersetzen – wie ich meinen wöchentlichen Einkauf in dem einen oder dem anderen Supermarkt erledige.
Vertrauen Ist Graduell, Subjektiv und Kontextabhängig
Dies sind die grundlegenden Eigenschaften von Vertrauen.
- Vertrauen ist nicht binär; es ist ein Grad von etwas.
- Vertrauen ist keine intrinsische Eigenschaft des Systems; jemand vertraut etwas, für einen bestimmten Zweck, in einem spezifischen Kontext.
Warum Wir Vertrauen Nutzen, Um Qualität Zu Ergänzen
Wir nutzen Vertrauen aufgrund natürlicher Einschränkungen im operativen Bereich; wir nutzen Vertrauen für schnellere Entscheidungen, wenn nur begrenzte Informationen verfügbar sind.
Qualitätsmetriken Brechen Zusammen, Wenn Die Domäne Zu Komplex Wird
Für weniger komplexe Geschäftsdomänen sind die Messkosten akzeptabel, sodass wir klassische Qualitätsmetriken verwenden können. Mit zunehmender Komplexität der Domäne wird die klassische Messung zu kostspielig.
An diesem Punkt haben wir eine Wahl. Wir können weiterhin versuchen, Entscheidungen ausschließlich auf harte Metriken zu stützen, oder wir können etwas verwenden, das wir unter dem Vertrauensdach zusammenfassen: Wahrnehmungen, Social Proof, Wahrscheinlichkeiten und andere Stellvertretergrößen.
Cybersicherheit Zeigt, Wie Qualität Zu Vertrauen Wird
Vor einem Jahrzehnt war Cybersicherheit relativ leicht zu quantifizieren und zu messen: Brute-Force-Zeit, grundlegende interne Kontrollen…
Ab 2024 haben sich die Angriffsvektoren verändert, und wir haben deutlich mehr über die Notwendigkeit gesprochen, Drittparteien in der Lieferkette zu analysieren.
Messen wir weiterhin die Qualität von Cybersicherheitskontrollen, oder messen wir zunehmend Vertrauen?
Eine typische Bewertung von Schwachstellen bei Drittparteien beruht eher auf Vertrauensindikatoren, die vom Partner nachgewiesen werden, als auf harten Qualitäts- und Sicherheitskennzahlen.
Menschen und KI Sind Beide Fehlbar
Hier sehen Sie die Munker–White-Illusion.
Die Illusion zeigt, dass zwei Farben objektiv gleich sein können, wir sie aber dennoch als unterschiedlich wahrnehmen. Dies ist nur ein Beispiel dafür, wie wir als Menschen getäuscht werden können.
Menschen sind keine perfekte Referenz. Auch wir machen Fehler, und wir benötigen ebenfalls Kontrollen rund um unser Urteilsvermögen.
KI Kann Ebenfalls Getäuscht Werden
Was KI betrifft, ist ein klassisches Beispiel die Frage, wie man zur Autowaschanlage gelangt.
KI kann die Frage wörtlich beantworten und vorschlagen, zu Fuß zu gehen.
Die realistische Frage lautet nicht „vertrauen oder nicht vertrauen“, sondern wo bricht dieses System?
Wie Messen Wir Vertrauen?
Absolute Vertrauenswerte werden wahrscheinlich nicht viel Sinn ergeben (wir haben schlicht keine echte Maßeinheit für Vertrauen). Relative Werte sind jedoch deutlich nützlicher.
Es ist hilfreich zu verstehen, ob das Vertrauen in einem Setup höher oder niedriger ist als in einem anderen. Das hilft uns, Systeme zu vergleichen und Entscheidungen zu erläutern.
Vertrauensmetriken helfen uns, mit Stakeholdern zu sprechen. Statt zu sagen: „Ich habe das Gefühl, es funktioniert“, können wir erklären, warum ein bestimmtes KI-Setup akzeptabel ist oder warum zusätzliche Kontrollen erforderlich sind.
Wie Verbessern Wir Vertrauen?
Mein praktisches Rahmenwerk umfasst drei Ebenen:
- Ebene eins: persönliches Vertrauen
- Ebene zwei: systematisches Vertrauen
- Ebene drei: architektonisches Vertrauen
Stufe Eins: Persönliches Vertrauen
Persönliches Vertrauen ist intuitiv. Sie entwickeln Ihr eigenes Verständnis dafür, ob Sie dem System vertrauen können oder nicht.
Bei KI bedeutet das, sie selbst auszuprobieren. Sie testen sie, geben ihr Aufgaben und sehen, wo sie versagt.
Wie Vertrauen Quantifiziert und Gemessen Wird
- Eine Kennzahl ist die Zeit, die Sie mit dem Schreiben von Prompts verbringen.
- Eine andere ist die Zeit, die Sie damit verbringen, das Ergebnis zu korrigieren.
Wenn Sie viel Zeit mit dem Prompting oder dem Reparieren von Ausgaben verbringen, sagt Ihnen das etwas über Ihr tatsächliches Vertrauensniveau.
Aktionsplan
- Testen Sie KI in Ihrer eigenen Arbeit.
- Beobachten Sie, wobei sie hilft, wo sie versagt und wie viel Aufwand Sie benötigen, um das Ergebnis nutzbar zu machen.
Ebene Zwei: Systematisches Vertrauen
Auf der systematischen Ebene wechseln wir von persönlicher Erfahrung zu Skalierung. Es ist nicht nur „Ich weiß, wo KI versagt.“ Es heißt: Lassen Sie uns das skalieren und für eine bestimmte Domäne oder eine bestimmte Klasse von Aufgaben testen.
Im Grunde machen wir dasselbe wie auf Ebene eins, aber jetzt mit mehr Fällen, mehr Struktur und mehr Statistik.
Wie Vertrauen Quantifiziert und Gemessen Wird
- Der Proxy für Vertrauen wird zur Wahrscheinlichkeit einer korrekten Ausgabe.
Sie berechnen sie als die Anzahl korrekter Ausgaben geteilt durch die Gesamtzahl der Fälle. Außerdem fügen Sie ein Konfidenzintervall hinzu, abhängig von der Anzahl der Testfälle.
Aktionsplan
- Nutzen Sie öffentliche Benchmarks, wenn relevant.
- Nutzen Sie Ihre eigenen Datensätze für spezifische Domänen.
Fügen Sie Zufallsstichproben und eine menschliche Überprüfung hinzu, um zu verstehen, ob das statistische Ergebnis Ihren tatsächlichen Domänenanforderungen entspricht.
Stufe Drei: Architektonisches Vertrauen
Auf der architektonischen Ebene ändert sich die Frage erneut. Wir vertrauen KI nicht zu 100 %, und wahrscheinlich werden wir es auch nie tun. Aber:
Können wir etwas Vertrauenswürdiges bauen, indem wir Systeme verwenden, denen wir nicht zu 100 % vertrauen?
Die Antwort lautet „ja“. Das Internet ist ein Beispiel: Physische Netzwerke sind nichts, dem wir zu 100 % vertrauen können, aber irgendwie ist es uns gelungen, das Internet auf ihnen aufzubauen.
Wie Vertrauen Quantifiziert und Gemessen Wird
Zuerst messen Sie, wie jedes System separat funktioniert. Dann messen Sie, wie sie zusammen funktionieren.
- Die wichtige Kennzahl ist die gemeinsame Ausfallrate: Fälle, in denen alle Systeme gleichzeitig ausfallen.
Aktionsplan
- Identifizieren Sie die Schlüsselsysteme in der Pipeline: KI, Menschen, Richtlinien, Validierungen, Kontrollen.
- Messen Sie deren individuelles Vertrauensniveau.
- Testen Sie die gesamte Architektur, um zu prüfen, ob das kombinierte System ein höheres Vertrauensniveau liefert als jeder Teil für sich.
Erhöhen Sie Vertrauen, Indem Sie Systeme Kombinieren, Die Auf Unterschiedliche Weise Ausfallen
Kombiniertes Vertrauen hängt davon ab, wie Systeme gemeinsam ausfallen.
Wenn wir System A und System B haben, jeweils mit ihrem eigenen Vertrauensniveau, was passiert, wenn wir sie kombinieren?
- Wir können ihre Vertrauensniveaus nicht einfach summieren, da wir dann über 100 % kommen können.
- Wir können auch nicht einfach das Minimum oder Maximum nehmen.
Die Antwort hängt davon ab, wie die Systeme konzipiert sind und wie sie gemeinsam ausfallen.
Gemeinsame Analyse Zeigt Das Kombinierte Vertrauensniveau
Um das kombinierte Vertrauen zu verstehen, benötigen wir eine gemeinsame Analyse. Wir testen System A und System B separat und betrachten dann auch, wie sie sich bei denselben Fällen verhalten.
Zum Beispiel hat System A 84 % Vertrauen und System B 91 %. Wenn wir sie jedoch kombinieren, beträgt das Gesamtvertrauen 95 %, da die gemeinsame Ausfallrate nur 5 % beträgt. Sie versagen nicht immer bei denselben Fällen, und das ist der wichtige Punkt.
Vertrauenswürdige Architektur Nutzt Überlappende Sicherheitsnetze
In der Softwareentwicklung funktioniert ein Peer-Review auf die gleiche Weise. Eine andere Person kann etwas erkennen, das Sie nicht erfasst haben.
In der Luftfahrt sehen wir ebenfalls Redundanz bei Kontrollen und Verfahren.
Das bloße Duplizieren von Kontrollen wird das Vertrauen nicht wesentlich erhöhen. Was wir suchen, ist diverse Redundanz: die Orchestrierung von Systemen, die auf unterschiedliche Weise versagen.
Nicht Jede Redundanz Ist Realistisch
Einige Redundanz ist theoretisch nützlich, aber nicht realistisch. Beispielsweise könnten wir bei Taxidiensten einen zweiten Fahrer hinzufügen, und wahrscheinlich würde der Dienst sicherer werden. Aber das ist nicht realistisch.
Stattdessen bauen wir ein Netzwerk verschiedener Systeme auf: Vorschriften, Richtlinien, Fahrerbewertungen, App-Kontrollen, Meldemechanismen. All diese Systeme wirken zusammen und tragen zum gesamten Vertrauensniveau bei.
Der Mensch im Regelkreis ist ein weiteres Vertrauenssystem
Wir können den Menschen im Regelkreis als ein weiteres Vertrauenssystem betrachten. Menschen bringen Intuition und gesunden Menschenverstand mit, und ihre Prinzipien unterscheiden sich von KI-Systemen. Das macht Menschen zu einem perfekten Vertrauensfaktor.
Die Architektur Ist Wichtiger Als Einzelne Trust-Scores
Zwei starke Systeme können dennoch gemeinsam scheitern, wenn sie auf dieselbe Weise versagen.
Gleichzeitig können zwei unvollkommene Systeme ein stärkeres Gesamtsystem bilden, wenn sie sich gegenseitig ausgleichen. Die zentrale Designfrage lautet daher: versagen diese Systeme auf unterschiedliche Weise?
Haben Wir Gerade Zuverlässigkeit Neu Erfunden?
Nicht ganz.
Zuverlässigkeit ist ein Teil von Vertrauen, aber Vertrauen umfasst ein breiteres Spektrum an Konzepten. Wir fragen nicht nur, ob eine Komponente funktioniert — wir betrachten die gesamte Entscheidungskette: KI, Menschen, Richtlinien, Kontrollen und den geschäftlichen Kontext.
Vertrauen bezieht zudem mehr Stakeholder ein: Benutzer, Manager, Regulierungsbehörden, Geschäftsverantwortliche, Menschen in der Schleife und Personen, die von der Entscheidung betroffen sind.
Zentrale Erkenntnis
Vertrauenswürdige KI bedeutet nicht, ein perfektes KI-Modell zu finden. Alle Systeme sind angreifbar, einschließlich KI-Systeme, menschliche Systeme, Geschäftssysteme, Richtlinien und Kontrollen.
Die Idee ist:
- Zu verstehen, wie Systeme versagen, und dann
- Systeme zu kombinieren, die auf unterschiedliche Weise versagen.
So gelangt man zu etwas Vertrauenswürdigem.
Alexis Savkin ist Strategiearchitekt und Gründer von BSC Designer, einer Softwareplattform zur Strategieumsetzung, deren Kern die Balanced Scorecard bildet. Er unterstützt Organisationen dabei, Strategien in messbare Ziele, KPIs und Initiativen zu übersetzen. Alexis ist der Entwickler des Strategy Execution Canvas, Autor von über 100 Artikeln zu Strategie und Leistungsmessung sowie regelmäßiger Redner.