Leitfaden zur KI-Qualitätssicherung
KI-generierte Berichte, Tabellen, Dashboards und Empfehlungen können professionell wirken und dennoch falsche Nenner, unbelegte Aussagen, fehlende Zeilen oder subtile Formatierungsfehler enthalten. Dieser Leitfaden erklärt, wie Sie die Arbeit unabhängig prüfen: Quellen identifizieren, wesentliche Zahlen neu berechnen, Aussagen zurückverfolgen, die Datenqualität testen, das fertige Ergebnis validieren und eine klare Bewertung abgeben. Er richtet sich an Analysten, Finanz- und Buchhaltungsteams, Führungskräfte im operativen Bereich, Forscher, Ingenieure und alle, die für wichtige KI-gestützte Arbeit verantwortlich sind. Der schnellste verlässliche Ansatz besteht darin, jede wesentliche Aussage durch eine unabhängige Prüfung verifizieren zu lassen und die menschliche Aufmerksamkeit nur auf die markierten Punkte zu richten.
Rachel Hu
Seit über einem Jahrzehnt entwickle ich sichere KI-Systeme für komplexe und anspruchsvolle Umgebungen – von quantitativer Finanzwirtschaft bis hin zu skalierbaren Data-Science-Anwendungen.
Vertraut von mehr als 100.000 Unternehmen weltweit.
Ein KI-Audit ist eine unabhängige Qualitätsprüfung durch einen zweiten Agenten oder Prüfer, der von der KI getrennt ist, die die ursprüngliche Arbeit erstellt hat. Dabei werden Berechnungen überprüft, Aussagen bis zu den Quelldateien zurückverfolgt, die Belegbarkeit von Schlussfolgerungen getestet, die Integrität des fertigen Ergebnisses geprüft und eine Bewertung als Bestanden, Teilweise bestanden, Nicht bestanden oder Warnung vergeben. Ziel ist es, aus „Ich muss alles überprüfen“ ein „Ich muss nur die markierten Punkte prüfen“ zu machen.
Listen Sie Quelldateien, Ergebnisse, Aussagen, Berechnungen, Diagramme, Empfehlungen, Zeiträume sowie geografische oder zeitliche Grenzen auf. Eine Rückverfolgung sollte Dateien wie bls_private_average_hourly_earnings_2017_2026.json und das Ergebnis identifizieren, in dem sie verwendet wurden.
Akzeptieren Sie keine plausible Zahl, ohne sie neu zu berechnen. Beispielsweise wurden 1.284.500 $ über 412 Zeilen korrekt abgestimmt, während eine Wachstumsberechnung 12,0 % als korrekten Anstieg statt 18 % ergab.
Jede wesentliche Aussage sollte Quelldatei, Zeile, Feld, Zelle, Transformation und endgültige Position im Ergebnis angeben. Ein Prüfer sollte beantworten können, woher die Zahl stammt, wie sie verändert wurde und ob das Ergebnis reproduzierbar ist.
Für weiterführende Hinweise verwenden Sie quellengestützte Verifizierung als Standard für wichtige Ergebnisse.
Kennzeichnen Sie Fakten, abgeleitete Zahlen, plausible Interpretationen, unbelegte Aussagen und Aussagen, für die Daten fehlen, getrennt. Der richtige Ablauf besteht darin, eine Erklärung als Schlussfolgerung zu kennzeichnen, anstatt sie als bewiesene Kausalität darzustellen.
Eine gezielte Prüfung zur Erkennung von Halluzinationen hilft, unbelegte Schlussfolgerungen vor der Veröffentlichung aufzudecken.
Prüfen Sie fehlende Werte, Duplikate, ungültige Datensätze, Verknüpfungen, Identifikatoren und die interne Konsistenz, bevor Sie das Ergebnis interpretieren. In einem Tracking-Datensatz fehlten bei 11.801 Sitzungen Quelle und Kampagnen-Tags, während 6.075 HTTP-Referrer hatten und bei 5.726 sowohl Quelle als auch Referrer fehlten.
Prüfen Sie Tabellen, PDFs, Dashboards, Diagramme, Screenshots, Links und interaktive Elemente. Ein Ergebnis kann korrekte Daten enthalten und dennoch scheitern, weil ein Diagramm die letzte Zeile auslässt oder eine Arbeitsmappe mit Leserichtung von rechts nach links ihren primären Index auf der falschen Seite platziert.
Ein Audit-Bericht sollte Ergebnisse und unterstützende Nachweise überprüfbar machen.
Die Demonstration beschreibt, wie Zahlen vor der Veröffentlichung bis zu ihren Quellen zurückverfolgt werden.
Dokumentieren Sie Quelldateien, Ergebnisse, Aussagen, Berechnungen, Diagramme, Empfehlungen, Datum und Umfang. Verknüpfen Sie beispielsweise create_mavenfuzzyfactory_vApril2022.sql und preparing_workbench_vApril2022.sql mit den Berichten, in denen sie verwendet wurden.
Erfolg bedeutet: Für jedes Ergebnis gibt es eine benannte, zugängliche Quelle und einen definierten Abdeckungszeitraum.
Häufiger Fehler: Prüfen Sie keine Schlussfolgerung, ohne festzuhalten, welche Quelldaten und Transformationen sie hervorgebracht haben.
Berechnen Sie Summen, Prozentsätze, Wachstumsraten, Verhältnisse, Nenner und abgeleitete Werte unabhängig neu. Eine Summe von 1.284.500 $ über 412 Zeilen stimmte mit dem Ergebnis überein, aber der korrekte Anstieg von Q4 zu Q1 betrug 12,0 % statt 18 %, da die ursprüngliche Berechnung eine Zwischensumme ohne Facilities verwendete.
Erfolg bedeutet: Ihr unabhängiges Ergebnis stimmt mit dem Ergebnis überein oder führt zu einer dokumentierten Abweichung.
Häufiger Fehler: Akzeptieren Sie niemals ein plausibles Ergebnis, ohne den verwendeten Nenner und Zeitraum zu prüfen.
Dokumentieren Sie für jede wichtige Aussage Quelldatei, Zeile, Feld, Zelle, Transformation und Position im endgültigen Ergebnis. Die Rückverfolgung sollte einem anderen Prüfer ermöglichen, das Ergebnis ohne Rückgriff auf den ursprünglichen KI-Agenten zu reproduzieren.
Erfolg bedeutet: Ein Prüfer kann beantworten, woher die Aussage stammt, wie sie transformiert wurde und wo sie erscheint.
Häufiger Fehler: Eine allgemeine Quellenangabe reicht nicht aus, wenn eine genaue Zeile, ein Feld oder eine Zelle verfügbar ist.
Klassifizieren Sie Aussagen als direkt beobachtet, korrekt abgeleitet, plausibel, aber unbewiesen, unbelegt oder von fehlenden Daten abhängig. Beispielsweise können Softwareausgaben von 298.000 $ belegt sein, während die Aussage, sie seien gegenüber dem Vorquartal um 30 % gestiegen, scheitert, wenn kein Wert des vorherigen Quartals vorliegt.
Erfolg bedeutet: Fakten, Berechnungen, Einschränkungen und Hypothesen sind klar voneinander unterschieden.
Häufiger Fehler: Stellen Sie keine Korrelation oder wahrscheinliche Erklärung als bewiesene Kausalität dar.
Prüfen Sie fehlende Werte, Duplikate, ungültige Werte, IDs, Verknüpfungen, negative Preise, fehlende Sitzungs-IDs, fehlende Produkt-IDs sowie die Übereinstimmung zwischen Positionssummen und Bestellsummen. Trennen Sie rechtmäßig nicht zuordenbare Datensätze von fehlerhaften oder unvollständigen Datensätzen.
Erfolg bedeutet: Sie können erklären, welche Datensätze fehlen oder ungewöhnlich sind und ob sie die Schlussfolgerung beeinflussen.
Häufiger Fehler: Interpretieren Sie keinen Trend, bevor Sie wissen, ob der zugrunde liegende Datensatz für diese Interpretation vollständig genug ist.
Prüfen Sie das tatsächliche Ergebnis, nicht nur den Text, der es beschreibt. Im Beispiel des RTL-Dashboards war die Einstellung aktiviert, aber der primäre Index erschien in Spalte B und die Diagramme endeten in Zeile 6, obwohl die Tabelle bis Afrika in Zeile 7 reichte.
Erfolg bedeutet: Das Ergebnis erfüllt die angeforderten Anforderungen an Format, Layout, Diagrammbereich, Beschriftungen, Links und Interaktivität.
Häufiger Fehler: Betrachten Sie ein professionelles Erscheinungsbild nicht als Beweis dafür, dass das Ergebnis den Anforderungen entspricht.
Verwenden Sie „Bestanden“ für korrekte und belegte Arbeit, „Teilweise bestanden“ für ein korrektes Ergebnis mit methodischer Einschränkung, „Nicht bestanden“ für fehlerhafte, unbelegte oder nicht konforme Arbeit und „Warnung“ für ein mögliches Problem, das die Aufmerksamkeit eines Prüfers erfordert.
Erfolg bedeutet: Jede wesentliche Prüfung hat eine Bewertung und unterstützende Nachweise.
Häufiger Fehler: Verbergen Sie keine fehlgeschlagene Anforderung in einer ansonsten positiven Gesamtzusammenfassung.
Geben Sie an, was bestanden, fehlgeschlagen oder teilweise bestanden ist, was korrigiert werden muss, welche Nachweise jede Schlussfolgerung stützen und welche Einschränkungen bestehen bleiben. Eine starke Bewertung könnte lauten, dass quellenbasierte Summen übereinstimmen, die Wachstumsrate jedoch als 12,0 % angegeben und die unbelegte Aussage zum Softwaretrend entfernt oder qualifiziert werden muss.
Erfolg bedeutet: Der Leser weiß genau, ob die Arbeit veröffentlicht werden kann und was noch ungeklärt ist.
Häufiger Fehler: Geben Sie keine vage Schlussfolgerung wie „größtenteils korrekt“ ab, wenn konkrete Korrekturen möglich sind.
| Problem | Ursache | Lösung |
|---|---|---|
| Falscher Wachstumsprozentsatz | Das Modell verwendete eine Zwischensumme oder einen falschen Nenner. | Berechnen Sie den Wert anhand vollständiger Periodensummen neu und legen Sie den Nenner offen. |
| Unbelegte Trendbehauptung | Der erforderliche Vergleichszeitraum fehlt. | Entfernen Sie die Aussage oder kennzeichnen Sie sie als nicht überprüfbar, weil die Eingabe fehlt. |
| Korrekte Summe mit buchhalterischer Einschränkung | Jährliche Vorauszahlungen wurden einbezogen, ohne ihre Behandlung zu erläutern. | Behalten Sie die abgestimmte Summe bei und weisen Sie darauf hin, dass 84.000 $ möglicherweise amortisiert werden müssen. |
| Diagramm lässt die letzte Zeile aus | Ein Bereichsfehler beendet den Bereich vor dem letzten Datensatz. | Vergleichen Sie den Diagrammbereich mit der letzten Tabellenzeile und erweitern Sie den Bezug. |
| Nationale Nachweise als lokaler Beleg dargestellt | Das Modell überschritt den geografischen Umfang der Daten. | Kennzeichnen Sie die Zahlen als nationale Näherungswerte und behaupten Sie keine lokale Nachfrage oder Akzeptanz ohne lokale Nachweise. |
Energent.ai positioniert seinen unabhängigen KI-Prüfer als Möglichkeit, von anderen KI-Agenten erstellte Ergebnisse anhand der ursprünglichen Quelldokumente zu verifizieren. Der beschriebene Ablauf berechnet Zahlen neu und verfolgt sie zurück, prüft Aussagen, unterstützt mehr als 150 Dateitypen und erstellt ein Ergebnis mit „Bestanden/Nicht bestanden“ sowie einer Nachweiskette.
Verwenden Sie es, wenn Umfang, Dateivielfalt oder Risiko der KI-generierten Arbeit eine manuelle Prüfung kostspielig machen. Betrachten Sie es jedoch nicht als Ersatz für die Prüfung markierter Ergebnisse und methodischer Einschränkungen.
„Ich habe mich nicht nur letztendlich für Energent.ai entschieden, sondern ihr seid mit Abstand absolut die Besten.“
— Alyse H., Kuratorin für digitale Sammlungen, Fortune 500, Einzelhandel und E-Commerce
„Ich hatte Tabellen mit mehr als 45.000 Einträgen, und Energent AI war das einzige Tool, das alles durchsuchen konnte.“
— Roberto C., Spezialist für Datenbetrieb, Fortune 500, Logistik
„Die Verwendung von Energent.ai zum Erstellen komplexer Power-Query-Lösungen war äußerst effektiv und funktioniert für diesen Anwendungsfall ehrlich gesagt deutlich besser als Gemini und ChatGPT.“
— Kay P., Power-Query-Analyst, Fortune 50, Finanzdienstleistungen
Ziel ist es, unabhängig zu überprüfen, ob ein KI-generiertes Ergebnis korrekt, belegt, vollständig und anforderungskonform ist. Ein Audit prüft Berechnungen, Quellenrückverfolgbarkeit, Datenqualität, Schlussfolgerungen und das fertige Ergebnis. Es kann halluzinierte Zahlen, falsche Nenner, unbelegte Trends, fehlende Eingaben sowie Formatierungs- oder Diagrammfehler identifizieren. Das Ergebnis sollte zeigen, was bestanden, fehlgeschlagen oder teilweise bestanden ist und was noch geprüft werden muss. Dadurch richtet sich die menschliche Aufmerksamkeit auf markierte Probleme, anstatt jede Zeile manuell überprüfen zu müssen.
Identifizieren Sie zunächst die genaue Quelldatei, Zeile, das Feld oder die Zelle, aus der die Zahl stammt. Berechnen Sie den Wert anschließend unabhängig anhand derselben Quelldaten neu und prüfen Sie Formel, Nenner, Einheit, Zeitraum und Rundung. Vergleichen Sie dann Ihr Ergebnis mit dem Wert im KI-generierten Ergebnis und dokumentieren Sie jede Abweichung. Fehlt in der Quelle eine erforderliche Eingabe, markieren Sie das Ergebnis als nicht überprüfbar, anstatt einen Ersatz zu erfinden. Vergeben Sie schließlich eine Bewertung und fügen Sie die entsprechende Berechnung oder den Nachweis bei.
„Bestanden“ bedeutet, dass das Ergebnis korrekt und durch die verfügbaren Quelldaten belegt ist. „Teilweise bestanden“ bedeutet, dass das Ergebnis numerisch korrekt ist, aber eine methodische Einschränkung aufweist, etwa jährliche Vorauszahlungen ohne Erläuterung ihrer buchhalterischen Behandlung. „Nicht bestanden“ bedeutet, dass das Ergebnis falsch, unbelegt oder nicht konform mit der geforderten Spezifikation ist. „Warnung“ kennzeichnet ein mögliches Problem, das die Aufmerksamkeit eines Prüfers erfordert, aber noch nicht als Fehler einzustufen ist. Die Anwendung dieser Bezeichnungen auf einzelne Prüfungen macht den Abschlussbericht präziser als eine einzelne Gesamtbewertung.
Ja. Ein Audit kann Inhalte und Struktur von Tabellen, Dashboards, PDFs, Diagrammen, Screenshots und verknüpften Dateien prüfen, sofern die relevanten Dateien und Anforderungen verfügbar sind. Es sollte verifizieren, dass Diagramme alle Zeilen enthalten, Beschriftungen und Daten korrekt sind, Links funktionieren und das angeforderte Layout oder interaktive Verhalten umgesetzt ist. Das RTL-Dashboard-Beispiel zeigt, warum dies wichtig ist: Die Daten können vorhanden sein, während Indexspalte und Diagrammbereich dennoch gegen die Vorgaben verstoßen. Der Prüfer sollte das gerenderte Ergebnis mit den Quelldaten und dem angeforderten Format vergleichen. Eine optisch professionelle Datei ist nicht automatisch eine konforme Datei.
Erfinden Sie die fehlende Eingabe nicht und ersetzen Sie sie nicht stillschweigend durch eine andere Kennzahl. Markieren Sie die Aussage als nicht überprüfbar, erklären Sie, welcher Quellenwert fehlt, und nennen Sie die Nachweise, die für eine vollständige Prüfung erforderlich wären. Abgeleitete Werte dürfen nur angezeigt werden, wenn ihre Eingaben und Methode eindeutig als abgeleitet und nicht als gemeldet gekennzeichnet sind. Beispielsweise konnten ROA und Verschuldungsgrad nicht unabhängig berechnet werden, weil die Gesamtaktiva fehlten. Die abschließende Bewertung sollte diese Einschränkung bewahren, damit Leser eine Annahme nicht mit einem Nachweis verwechseln.
Eine zuverlässige Prüfung KI-generierter Arbeit verbindet unabhängige Neuberechnung, präzise Quellenrückverfolgung, Datenqualitätstests, Klassifizierung von Aussagen und Validierung des Ergebnisses. Der beste Abschlussbericht sagt nicht lediglich, ob sich eine KI-Antwort richtig anfühlt. Er zeigt genau, was bestanden, fehlgeschlagen oder teilweise bestanden ist und was vor der Veröffentlichung geändert werden muss. Beginnen Sie mit einer kleinen Auswahl wesentlicher Aussagen, dokumentieren Sie die Nachweiskette und erweitern Sie die Prüfungen entsprechend dem Risiko und Umfang der Arbeit.