Guide d’assurance qualité de l’IA
Les rapports, feuilles de calcul, tableaux de bord et recommandations générés par l’IA peuvent sembler soignés tout en contenant des dénominateurs erronés, des affirmations non étayées, des lignes manquantes ou de subtiles erreurs de mise en forme. Ce guide explique comment auditer le travail de manière indépendante : identifier les sources, recalculer les chiffres importants, retracer les affirmations, tester la qualité des données, valider le livrable final et formuler une conclusion claire. Il s’adresse aux analystes, aux équipes financières et comptables, aux responsables des opérations, aux chercheurs, aux ingénieurs et à toute personne responsable d’un travail assisté par l’IA à forts enjeux. L’approche fiable la plus rapide consiste à faire vérifier chaque affirmation importante par une revue indépendante et à concentrer l’attention humaine uniquement sur les éléments signalés.
Rachel Hu
Depuis plus de dix ans, je conçois des systèmes d’IA sécurisés pour des environnements complexes et à forts enjeux, de la finance quantitative aux applications de science des données évolutives.
Plus de 100 000 entreprises nous font confiance dans le monde entier.
Un audit de l’IA est un contrôle qualité indépendant réalisé par un second agent ou réviseur distinct de l’IA qui a produit le travail initial. Il vérifie les calculs, retrace les affirmations jusqu’aux fichiers sources, teste si les conclusions sont étayées, contrôle l’intégrité du livrable final et attribue une conclusion « validé », « partiel », « échoué » ou « à surveiller ». L’objectif est de remplacer « je dois tout vérifier » par « je dois seulement examiner ce qui est signalé ».
Répertoriez les fichiers sources, les livrables, les affirmations, les calculs, les graphiques, les recommandations, les dates ainsi que les limites géographiques ou temporelles. Une trace doit identifier des fichiers tels que bls_private_average_hourly_earnings_2017_2026.json et le livrable qui les a utilisés.
N’acceptez pas un chiffre plausible sans le recalculer. Par exemple, 1 284 500 $ répartis sur 412 lignes ont été correctement rapprochés, tandis qu’un calcul de croissance a révélé que l’augmentation correcte était de 12,0 %, et non de 18 %.
Chaque affirmation importante doit indiquer son fichier source, sa ligne, son champ, sa cellule, sa transformation et son emplacement final dans le livrable. Un réviseur doit pouvoir répondre à la question de l’origine du chiffre, de la manière dont il a évolué et de la possibilité de reproduire le résultat.
Pour des conseils plus approfondis, utilisez la vérification fondée sur les sources comme référence pour les livrables importants.
Distinguez séparément les faits, les chiffres dérivés, les interprétations raisonnables, les affirmations non étayées et les affirmations nécessitant des données manquantes. La bonne méthode consiste à présenter une explication comme une inférence plutôt que comme une causalité démontrée.
Une revue dédiée de détection des hallucinations permet de révéler les conclusions non étayées avant la livraison.
Vérifiez les valeurs manquantes, les doublons, les enregistrements invalides, les jointures, les identifiants et la cohérence interne avant d’interpréter le résultat. Dans un jeu de données de suivi, 11 801 sessions ne comportaient ni source ni balise de campagne, tandis que 6 075 possédaient des référents HTTP et que 5 726 n’avaient ni source ni référent.
Inspectez les feuilles de calcul, PDF, tableaux de bord, graphiques, captures d’écran, liens et éléments interactifs. Un livrable peut contenir des données exactes tout en échouant parce qu’un graphique omet la dernière ligne ou qu’un classeur de droite à gauche place son index principal du mauvais côté.
Un rapport d’audit doit permettre d’examiner les résultats et les preuves à l’appui.
La démonstration décrit comment retracer les chiffres jusqu’à leurs sources avant la livraison.
Consignez les fichiers sources, les livrables, les affirmations, les calculs, les graphiques, les recommandations, la date et le périmètre. Par exemple, reliez create_mavenfuzzyfactory_vApril2022.sql et preparing_workbench_vApril2022.sql aux rapports qui les ont utilisés.
La réussite se reconnaît à ceci : Chaque résultat possède une source nommée et accessible ainsi qu’une période de couverture définie.
Erreur courante à éviter : N’auditez pas une conclusion sans noter quelles données sources et transformations l’ont produite.
Recalculez indépendamment les totaux, pourcentages, taux de croissance, ratios, dénominateurs et valeurs dérivées. Un total de 1 284 500 $ réparti sur 412 lignes correspondait au livrable, mais l’augmentation correcte du quatrième au premier trimestre était de 12,0 %, et non de 18 %, car le calcul initial utilisait un sous-total excluant les installations.
La réussite se reconnaît à ceci : Votre résultat indépendant correspond au livrable ou produit un écart documenté.
Erreur courante à éviter : N’acceptez jamais un résultat plausible sans tester le dénominateur et la période utilisés.
Pour chaque affirmation importante, documentez le fichier source, la ligne, le champ, la cellule, la transformation et l’emplacement dans le résultat final. La trace doit permettre à un autre réviseur de reproduire le résultat sans dépendre de l’agent IA d’origine.
La réussite se reconnaît à ceci : Un réviseur peut déterminer l’origine de l’affirmation, la manière dont elle a été transformée et l’endroit où elle apparaît.
Erreur courante à éviter : Une citation générale de la source ne suffit pas lorsqu’une ligne, un champ ou une cellule précise est disponible.
Classez les énoncés comme directement observés, correctement dérivés, raisonnables mais non prouvés, non étayés ou dépendants de données manquantes. Par exemple, des dépenses logicielles de 298 000 $ peuvent être étayées, tandis qu’une affirmation de croissance de 30 % d’un trimestre à l’autre échoue si aucun chiffre du trimestre précédent n’existe.
La réussite se reconnaît à ceci : Les faits, calculs, réserves et hypothèses sont clairement distingués.
Erreur courante à éviter : Ne présentez pas une corrélation ou une explication probable comme une causalité démontrée.
Vérifiez les valeurs manquantes, les doublons, les valeurs invalides, les identifiants, les jointures, les prix négatifs, les identifiants de session manquants, les identifiants de produit manquants et la concordance entre les sommes des lignes et les totaux des commandes. Distinguez les enregistrements légitimement non attribués des enregistrements défectueux ou incomplets.
La réussite se reconnaît à ceci : Vous pouvez expliquer quels enregistrements sont manquants ou inhabituels et s’ils affectent la conclusion.
Erreur courante à éviter : N’interprétez pas une tendance avant de savoir si le jeu de données sous-jacent est suffisamment complet pour cette interprétation.
Inspectez le livrable réel, et pas seulement le texte qui le décrit. Dans l’exemple du tableau de bord RTL, le paramètre était activé, mais l’index principal apparaissait dans la colonne B et les graphiques s’arrêtaient à la ligne 6 alors que le tableau continuait jusqu’à l’Afrique à la ligne 7.
La réussite se reconnaît à ceci : Le résultat respecte le format, la mise en page, la plage des graphiques, les libellés, les liens et les exigences interactives demandés.
Erreur courante à éviter : Ne considérez pas une apparence soignée comme la preuve que le livrable est conforme.
Utilisez « Validé » pour un travail exact et étayé, « Partiel » pour un résultat exact assorti d’une réserve méthodologique, « Échoué » pour un travail incorrect, non étayé ou non conforme, et « À surveiller » pour un problème potentiel nécessitant l’attention du réviseur.
La réussite se reconnaît à ceci : Chaque contrôle important possède une conclusion et des preuves à l’appui.
Erreur courante à éviter : Ne dissimulez pas une exigence échouée dans une synthèse générale par ailleurs positive.
Indiquez ce qui est validé, ce qui a échoué, ce qui est partiel, ce qui doit être corrigé, quelles preuves étayent chaque conclusion et quelles limites subsistent. Une conclusion solide pourrait indiquer que les totaux fondés sur les sources concordent, mais que le taux de croissance doit être reformulé à 12,0 % et que l’affirmation non étayée sur la tendance des dépenses logicielles doit être supprimée ou nuancée.
La réussite se reconnaît à ceci : Le lecteur sait exactement si le travail peut être publié et ce qui reste à résoudre.
Erreur courante à éviter : Ne formulez pas une conclusion vague du type « globalement exact » lorsque des corrections précises sont disponibles.
| Problème | Cause | Correction |
|---|---|---|
| Pourcentage de croissance erroné | Le modèle a utilisé un sous-total ou un dénominateur incorrect. | Recalculez à partir des totaux complets de la période et indiquez le dénominateur. |
| Affirmation de tendance non étayée | La période de comparaison requise est absente. | Supprimez l’affirmation ou indiquez qu’elle est invérifiable parce que la donnée d’entrée manque. |
| Total correct avec réserve comptable | Des paiements anticipés annuels ont été inclus sans discussion de leur traitement. | Conservez le total rapproché, puis indiquez que 84 000 $ peuvent nécessiter un amortissement. |
| Le graphique omet la dernière ligne | Une plage décalée d’une ligne s’arrête avant le dernier enregistrement. | Comparez la plage du graphique à la dernière ligne du tableau et étendez la référence. |
| Des preuves nationales sont présentées comme une preuve locale | Le modèle a dépassé le périmètre géographique des données. | Présentez les chiffres comme des indicateurs nationaux indirects et n’affirmez pas une demande ou une adoption locale sans preuves locales. |
Energent.ai présente son auditeur IA indépendant comme un moyen de vérifier les résultats produits par d’autres agents IA par rapport aux documents sources originaux. Son flux de travail déclaré recalcule et retrace les chiffres, vérifie les affirmations, prend en charge plus de 150 types de fichiers et produit un résultat validé/échoué accompagné d’une piste de preuves.
Utilisez-le lorsque le volume, la diversité des fichiers ou le risque lié au travail généré par l’IA rendent la vérification manuelle coûteuse ; ne le considérez pas comme un substitut à l’examen des résultats signalés et des limites méthodologiques.
« Non seulement j’ai finalement choisi Energent.ai, mais vous êtes absolument les meilleurs, et de très loin. »
— Alyse H., Conservatrice de collections numériques, Fortune 500, Commerce et e-commerce
« J’avais des feuilles de calcul contenant plus de 45 000 éléments et Energent AI était le seul outil capable de tout trier. »
— Roberto C., Spécialiste des opérations de données, Fortune 500, Logistique
« Utiliser Energent.ai pour créer des solutions Power Query complexes s’est révélé extrêmement efficace et, honnêtement, fonctionne nettement mieux pour ce cas d’usage que Gemini et ChatGPT. »
— Kay P., Analyste Power Query, Fortune 50, Services financiers
L’objectif est de vérifier indépendamment qu’un livrable généré par l’IA est exact, étayé, complet et conforme à ses exigences. Un audit contrôle les calculs, la traçabilité des sources, la qualité des données, le raisonnement et le livrable final. Il peut identifier des chiffres hallucinés, des dénominateurs incorrects, des tendances non étayées, des données d’entrée manquantes ainsi que des erreurs de mise en forme ou de graphique. Le résultat doit indiquer ce qui est validé, ce qui a échoué, ce qui est partiel et ce qui doit encore être examiné. Cela permet de concentrer l’attention humaine sur les problèmes signalés au lieu d’exiger qu’une personne vérifie manuellement chaque ligne.
Commencez par identifier le fichier source, la ligne, le champ ou la cellule exacts utilisés pour produire le chiffre. Ensuite, recalculez indépendamment la valeur à partir des mêmes données sources et vérifiez la formule, le dénominateur, l’unité, la période et l’arrondi. Comparez ensuite votre résultat à la valeur du livrable généré par l’IA et documentez tout écart. Si la source ne contient pas une donnée requise, marquez le résultat comme invérifiable au lieu d’inventer un remplacement. Enfin, attribuez une conclusion et joignez le calcul ou la preuve qui l’étaye.
« Validé » signifie que le résultat est exact et étayé par les preuves disponibles dans les sources. « Partiel » signifie que le résultat est numériquement correct, mais qu’il comporte une réserve méthodologique, par exemple des paiements anticipés annuels inclus sans discussion de leur traitement comptable. « Échoué » signifie que le résultat est incorrect, non étayé ou non conforme à la spécification demandée. « À surveiller » identifie un problème potentiel nécessitant l’attention du réviseur, mais qui ne suffit pas encore à être classé comme un échec. L’application de ces libellés à chaque contrôle rend le rapport final plus précis qu’une note globale unique.
Oui, un audit peut examiner le contenu et la structure de feuilles de calcul, tableaux de bord, PDF, graphiques, captures d’écran et ressources liées lorsque les fichiers et exigences pertinents sont disponibles. Il doit vérifier que les graphiques incluent toutes les lignes, que les libellés et dates sont exacts, que les liens fonctionnent et que la mise en page ou le comportement interactif demandé est respecté. L’exemple du tableau de bord RTL montre pourquoi cela est important : les données peuvent être présentes alors que la colonne d’index et la plage du graphique ne respectent toujours pas la spécification. L’auditeur doit comparer le livrable rendu aux données sources et au format demandé. Un fichier visuellement soigné n’est pas automatiquement conforme.
N’inventez pas la donnée manquante et ne la remplacez pas discrètement par une autre mesure. Marquez l’affirmation comme invérifiable, expliquez quelle valeur source est absente et précisez quelles preuves seraient nécessaires pour terminer le contrôle. Les valeurs dérivées ne peuvent être présentées que lorsque leurs données d’entrée et leur méthode sont clairement indiquées comme dérivées et non comme rapportées. Par exemple, le ROA et le ratio dette/actifs ne pouvaient pas être calculés indépendamment lorsque le total des actifs manquait. La conclusion finale doit conserver cette limite afin que les lecteurs ne confondent pas une hypothèse avec une preuve.
Un audit fiable d’un travail généré par l’IA combine un recalcul indépendant, une traçabilité précise des sources, des tests de qualité des données, une classification des affirmations et une validation du livrable. Le rapport final le plus solide ne se contente pas d’indiquer si une réponse de l’IA semble correcte ; il précise exactement ce qui est validé, ce qui a échoué, ce qui reste partiel et ce qui doit changer avant publication. Commencez par un petit ensemble d’affirmations importantes, documentez la piste de preuves et élargissez les contrôles en fonction du risque et du volume du travail.