Guide pratique pour vérifier l’IA à partir de sources

Comment vérifier les résultats de l’IA par rapport aux documents sources (étape par étape)

Les rapports générés par l’IA peuvent sembler précis tout en utilisant un mauvais dénominateur, en omettant des lignes ou en formulant des affirmations que la source ne permet pas d’étayer. Ce guide explique comment vérifier systématiquement les résultats : identifier les fichiers sources, recalculer les chiffres importants, relier chaque affirmation à des éléments précis, tester l’inférence et consigner une conclusion claire avant la livraison.

Rachel Hu
Rachel Hu
Depuis plus de dix ans, je conçois des systèmes d’IA sécurisés pour des environnements complexes et à forts enjeux, de la finance quantitative aux applications de science des données évolutives.

Que signifie vérifier les résultats de l’IA par rapport aux documents sources ? (Définition rapide)

Vérifier les résultats de l’IA par rapport aux documents sources est un processus indépendant de contrôle qualité qui vérifie que les chiffres, affirmations, graphiques et conclusions générés concordent avec les fichiers d’origine. Il est utilisé par les analystes, les équipes financières et comptables, les services opérationnels, les chercheurs, les ingénieurs et toute personne responsable d’un livrable reproductible. Ce processus évite de faire confiance à une réponse bien présentée sans savoir si ses preuves, calculs, hypothèses et comparaisons sont valides.

La vérification indépendante en pratique

Recalculer, et pas seulement examiner

Un chiffre présenté doit être recalculé directement à partir de la source. Lors d’un audit des dépenses, le total du premier trimestre correspondait au centime près sur 412 lignes, tandis qu’une comparaison en pourcentage a échoué parce que le résultat utilisait un sous-total incomplet du quatrième trimestre.

Retracer chaque affirmation importante

Un résultat défendable indique le fichier source, la ligne ou le champ, le calcul, l’emplacement dans le livrable et la référence aux preuves. Cela crée une chaîne traçable plutôt qu’un score de confiance opaque.

Examiner le livrable lui-même

La vérification inclut les feuilles de calcul, PDF, tableaux de bord, graphiques et résultats mis en forme. Un tableau de bord peut contenir des chiffres corrects tout en échouant parce qu’une plage de graphique omet la dernière ligne ou qu’une propriété de mise en page requise est incorrecte.

Capture d’écran d’un rapport d’audit Energent

Concentrer l’attention sur les éléments signalés

Le changement consiste à passer d’une vérification manuelle de tout à un examen des exceptions. Un résultat réussi/échoué accompagné de preuves permet de cibler le travail de contrôle restant.

Réponse rapide (Commencez par ceci)

  • Énumérez les documents sources exacts utilisés pour produire le résultat de l’IA.
  • Énumérez chaque livrable à vérifier, notamment les feuilles de calcul, PDF, tableaux de bord et fichiers narratifs.
  • Recalculez chaque chiffre important à partir des lignes, champs ou cellules sources.
  • Vérifiez les dénominateurs, périodes de comparaison, unités, devises, dates et traitements des valeurs manquantes.
  • Reliez chaque affirmation importante à un emplacement précis dans la source et le livrable.
  • Distinguez les résultats rapportés, calculés, implicites, partiels, non étayés et échoués.
  • Examinez uniquement les problèmes signalés avant d’accepter ou de livrer le travail.

Prérequis (Ce dont vous avez besoin)

  • Les fichiers sources originaux utilisés par l’agent d’IA producteur.
  • Les livrables générés par l’IA à vérifier.
  • L’accès aux lignes, champs, cellules, textes marqués et logiques de calcul.
  • Une définition cohérente des dates, périodes, unités, devises et catégories.
  • Un emplacement pour consigner les preuves, hypothèses, limites et conclusions.
  • L’autorisation d’examiner les fichiers mis en forme et les graphiques associés.

Étape par étape : vérifier les résultats de l’IA par rapport aux documents sources

Étape 1 : Identifier les documents sources

Que faire : Enregistrez chaque fichier utilisé pour créer le résultat, comme vendor_invoices_q1.csv, q4_spend_summary.xlsx, les fichiers SQL sources, gapminder.csv ou les métadonnées mondiales de Street View. Enregistrez séparément les livrables, notamment les rapports, classeurs, guides et tableaux de bord.

À quoi ressemble la réussite : Chaque conclusion peut être associée à un ou plusieurs fichiers sources nommés et à un livrable précis.

Erreur courante à éviter : Ne vérifiez pas uniquement le texte narratif en ignorant le classeur, le graphique, le PDF ou le tableau de bord qui contient le résultat final.

Étape 2 : Recalculer chaque chiffre important

Que faire : Recalculez directement à partir de la source les totaux, moyennes, taux, classements et évolutions rapportés. Par exemple, la somme de vendor_invoices_q1.csv a produit un total de 1 284 500,00 $ au premier trimestre sur 412 lignes.

À quoi ressemble la réussite : Le résultat recalculé concorde avec le livrable ou est explicitement marqué comme échoué ou partiel.

Erreur courante à éviter : Ne considérez pas la précision du chiffre affiché comme une preuve de l’exactitude du calcul.

Étape 3 : Vérifier le dénominateur et la période de comparaison

Que faire : Vérifiez que le numérateur et le dénominateur utilisent des définitions correspondantes et des périodes complètes. Dans l’exemple des dépenses, le premier trimestre s’élevait à 1 284 500 $ et le quatrième à 1 147 000 $, soit une hausse correcte de 12,0 %, et non de 18 % ; le résultat incorrect utilisait un sous-total du quatrième trimestre excluant les installations.

À quoi ressemble la réussite : La comparaison peut être reproduite à partir de valeurs clairement définies et comparables.

Erreur courante à éviter : Ne comparez pas une période complète avec un sous-total, une période partielle ou une catégorie définie différemment.

Étape 4 : Relier l’affirmation à l’emplacement exact dans la source

Que faire : Notez le fichier source, la ligne ou le champ, le calcul, l’emplacement dans le livrable et la référence aux preuves. Un classement des fournisseurs peut être documenté ainsi : Acme Logistics à 312 000 $, avec des dépenses de la catégorie Logistique rapprochées à 512 000 $.

À quoi ressemble la réussite : Un autre contrôleur peut suivre la piste des preuves sans demander à l’analyste d’origine d’expliquer les étapes cachées.

Erreur courante à éviter : Ne citez pas uniquement le nom d’un fichier lorsque l’affirmation dépend d’une ligne, d’un champ, d’une cellule ou d’un passage précis.

Étape 5 : Vérifier que la source étaye l’inférence

Que faire : Distinguez un chiffre observable d’une interprétation plus large. Des dépenses logicielles de 298 000 $ étaient présentes, dont 84 000 $ de paiements anticipés annuels, mais l’affirmation selon laquelle les logiciels avaient augmenté d’environ 30 % d’un trimestre à l’autre a échoué, car aucun chiffre logiciel du trimestre précédent n’existait.

À quoi ressemble la réussite : Les conclusions ne vont pas au-delà de ce que la source permet d’établir.

Erreur courante à éviter : Ne transformez pas une explication plausible en conclusion causale vérifiée lorsque la source ne contient qu’une corrélation ou une couverture incomplète.

Étape 6 : Classer le statut des preuves

Que faire : Étiquetez chaque résultat comme rapporté, calculé, implicite, partiel, non étayé ou échoué. Utilisez « Réussi » lorsque le résultat concorde avec un calcul source reproductible, « Partiel » lorsque la méthodologie doit être précisée, « Échec » lorsque l’affirmation est contredite ou mal calculée et « Non étayé » lorsque la source ne permet pas de l’établir.

À quoi ressemble la réussite : Les contrôleurs identifient immédiatement les affirmations directement étayées et celles qui nécessitent une correction ou une réserve.

Erreur courante à éviter : Ne remplacez pas les conclusions explicites par un langage vague sur la confiance qui dissimule la raison de l’incertitude.

Étape 7 : Vérifier le fichier final et documenter les limites

Que faire : Examinez les graphiques, propriétés de mise en page, plages, formats, enregistrements manquants et couverture des sources. Lors de l’audit du tableau de bord RTL, la propriété de la feuille et les agrégations ont réussi, tandis que l’inversion des colonnes et la plage du graphique ont échoué, car le graphique omettait la dernière ligne.

À quoi ressemble la réussite : Le livrable final est à la fois correct sur le plan numérique et utilisable sur le plan structurel, avec les données manquantes et les limites clairement documentées.

Erreur courante à éviter : Ne supposez pas qu’un calcul correct signifie que le fichier final est correct à tous égards.

Liste de contrôle de validation (Assurez-vous que tout fonctionne)

  • ☐ Chaque chiffre important est associé à un fichier source nommé.
  • ☐ Chaque calcul utilise le bon numérateur et le bon dénominateur.
  • ☐ Les périodes de comparaison utilisent des définitions correspondantes et une couverture complète.
  • ☐ Les totaux concordent avec les lignes ou champs sous-jacents.
  • ☐ Les unités, devises et dates sont cohérentes.
  • ☐ Les valeurs manquantes sont distinguées des vraies valeurs nulles.
  • ☐ Les enregistrements en double et mal formés ont été contrôlés.
  • ☐ Les chiffres dérivés et implicites sont clairement étiquetés.
  • ☐ Les graphiques incluent toutes les lignes et colonnes prévues.
  • ☐ Les références aux preuves pointent vers des lignes, champs, cellules ou textes précis.

Problèmes courants et solutions

Problème Cause Solution
La variation en pourcentage est incorrecte. Le dénominateur utilise un sous-total incomplet ou une période différente. Reconstruisez les totaux des deux périodes à partir des mêmes définitions de catégories, puis recalculez la variation.
Une tendance est présentée comme vérifiée. La source ne contient pas de période précédente ni de référence comparable. Marquez l’affirmation comme non étayée ou reformulez-la comme une observation de la période actuelle.
Le chiffre est correct, mais l’interprétation est fragile. La classification ou la méthodologie modifie le sens du chiffre. Étiquetez le résultat comme partiel et expliquez l’hypothèse, par exemple lorsque des paiements anticipés annuels nécessitent une comptabilisation par amortissement.
Le graphique du tableau de bord omet des données. La plage du graphique n’inclut pas l’intégralité du tableau. Étendez la plage jusqu’à la dernière ligne prévue et vérifiez le graphique rendu.
La couverture source est vide pour une affirmation géographique. Le jeu de données ne contient aucun enregistrement pour le pays, lieu ou élément concerné. Documentez l’impossibilité d’une correspondance directe et identifiez des preuves alternatives sans considérer l’absence comme une réfutation.

Bonnes pratiques (Pour bien faire sur le long terme)

  • Conservez les fichiers sources et les livrables dans un inventaire nommé : cela rend le périmètre de l’audit explicite.
  • Recalculez indépendamment les chiffres importants : la précision d’une réponse de l’IA ne prouve pas son exactitude.
  • Consignez les emplacements exacts des preuves : un autre contrôleur doit pouvoir reproduire le résultat.
  • Séparez les preuves des inférences : cela empêche des explications plausibles de devenir des faits non étayés.
  • Utilisez des conclusions explicites Réussi, Partiel, Échec et Non étayé : des libellés clairs accélèrent les décisions de contrôle.
  • Vérifiez le fichier final, et pas seulement le texte narratif : le formatage, les plages de graphiques et les propriétés des classeurs peuvent également échouer.
  • Documentez la couverture source absente ou incomplète : une limite est plus utile qu’une fausse précision.

Pour les équipes qui gèrent régulièrement des activités financières ou opérationnelles, les audits de l’IA fondés sur les sources peuvent rendre ce processus reproductible. Des flux associés peuvent également prendre en charge les contrôles de rapprochement financier et la validation Power Query.

Données de cas d’utilisation : ce que les audits ont réellement trouvé

Les exemples ci-dessous montrent pourquoi la vérification doit contrôler à la fois l’arithmétique et le sens. Les chiffres proviennent des cas d’audit fournis et sont présentés comme des résultats observables, et non comme des références généralisées.

Diagnostic des revenus : de juillet à août

Revenus bruts : juillet83,3 k$
Revenus bruts : août84,8 k$
Revenus nets : juillet80,0 k$
Revenus nets : août77,0 k$

L’audit a également constaté une hausse des remboursements, de 3,2 k$ à 7,8 k$, et une augmentation des remboursements de The Original Mr. Fuzzy, de 42 à 132 unités.

Audit budgétaire : trois perspectives

PerspectiveDépenses totalesSignification
Budget adopté12,41 milliards de dollarsLimite légale et objectif initiaux
Budget estimé6,06 milliards de dollarsMise à jour officielle des prévisions
Dépenses réelles5,92 milliards de dollarsRéalité des dépenses en fin d’année

Les dépenses réelles représentaient environ 47 % du budget adopté. L’audit a également enregistré des dépenses de police supérieures de 2,4 % au budget adopté et des dépenses de collecte des déchets et d’assainissement supérieures de 2,1 %.

Statut de vérification des affirmations de l’audit des dépenses

AffirmationConclusionPreuve
Les dépenses du premier trimestre totalisaient 1 284 500 $RéussiSomme recalculée indépendamment sur 412 lignes et correspondance confirmée.
Les dépenses avaient augmenté de 18 % par rapport au quatrième trimestreÉchecLa comparaison correcte était de 12,0 % avec le total complet du quatrième trimestre.
Acme Logistics était le principal fournisseur avec 312 000 $RéussiLe maximum du fournisseur a été confirmé et les dépenses de la catégorie rapprochées.
Les dépenses logicielles s’élevaient à 298 000 $PartielLe chiffre était correct, mais incluait 84 000 $ de paiements anticipés annuels.
Les dépenses logicielles avaient augmenté d’environ 30 % d’un trimestre à l’autreNon étayéAucun chiffre logiciel du trimestre précédent n’existait dans la source.

La même rigueur s’applique lorsque les équipes recoupent les documents financiers, transforment les corrections en flux réutilisables ou détectent les affirmations de l’IA non étayées.

Outil recommandé (facultatif) : Energent.ai

Energent Audit est présenté comme un auditeur IA indépendant : un second agent distinct de celui qui a produit le travail. Il recalcule les chiffres, relie les données aux fichiers et champs sources, compare les affirmations aux références, identifie les erreurs lorsque cela est possible et rend une conclusion réussi/échoué accompagnée de preuves.

  • Vérifie les feuilles de calcul, PDF, fichiers CAO, numérisations et autres types de documents pris en charge.
  • Prend en charge plus de 150 types de fichiers, notamment CAO, G-code, numérisations, InDesign, nomenclatures, PDF, XLSX et DOCX.
  • Crée une piste de preuves afin que les contrôleurs puissent se concentrer sur les résultats signalés.
  • Transforme les tâches répétitives et les corrections en flux de travail et règles d’audit réutilisables.
  • Fournit des résultats prêts à être présentés aux parties prenantes, pouvant être personnalisés et proposés en marque blanche.

Utilisez-le lorsque le résultat est répétitif, volumineux, fortement dépendant de sources ou à forts enjeux ; ne considérez aucun outil comme un substitut à la documentation des hypothèses, limites et responsabilités humaines.

Questions fréquentes

Que signifie vérifier les résultats de l’IA par rapport aux documents sources ?

Cela signifie vérifier un résultat généré par l’IA par rapport aux fichiers originaux qui l’étayent. L’examen comprend le recalcul des chiffres, le contrôle des affirmations, la traçabilité des preuves et l’inspection du livrable final. La vérification teste également si la source permet l’inférence formulée. Une réponse qui semble précise n’est pas vérifiée tant qu’un autre contrôleur ne peut pas reproduire ses résultats importants. Le processus vise à révéler les calculs incorrects, tendances non étayées, enregistrements manquants et erreurs de formatage ou de graphique.

Pourquoi est-il nécessaire de recalculer un chiffre si l’IA montre son calcul ?

Une IA peut présenter un calcul plausible tout en utilisant les mauvaises lignes, le mauvais dénominateur, la mauvaise période ou une définition de catégorie incorrecte. Recalculer à partir de la source teste le résultat de manière indépendante, plutôt que d’accepter l’explication telle quelle. Dans l’exemple de dépenses fourni, le total du premier trimestre correspondait sur 412 lignes, mais la hausse annoncée de 18 % a échoué, car la comparaison utilisait un sous-total incomplet du quatrième trimestre. Le recalcul indépendant vérifie donc à la fois l’arithmétique et les données sélectionnées pour cette arithmétique. Il est particulièrement important pour les totaux, ratios, classements, prévisions et évolutions dans le temps.

Quelle est la différence entre Réussi, Partiel, Échec et Non étayé ?

« Réussi » signifie que le résultat concorde avec la source et que le calcul est reproductible. « Partiel » signifie que le chiffre peut être correct, mais que sa méthodologie, sa classification ou ses hypothèses doivent être précisées. « Échec » signifie que l’affirmation est contredite par la source ou mal calculée. « Non étayé » signifie que la source ne contient pas suffisamment d’informations pour établir l’affirmation. Ces catégories rendent visible la raison de la décision de contrôle au lieu de la dissimuler derrière un indicateur général de confiance. Elles aident également les équipes à hiérarchiser les corrections avant la livraison.

L’absence de données sources peut-elle prouver qu’une affirmation de l’IA est fausse ?

L’absence de données sources ne réfute pas automatiquement une affirmation. Elle établit que la source disponible ne permet pas de la vérifier directement. Dans l’exemple de géolocalisation, les métadonnées ne contenaient aucun enregistrement pour l’Ukraine, Kipti et Haiove ; la correspondance directe avec Street View était donc indisponible, et non réfutée. La bonne réponse consistait à documenter la limite et à identifier des sources alternatives comme l’imagerie satellite, Sentinel-2, Maxar, les photosphères importées par les utilisateurs ou des images de caméras embarquées locales. Un audit rigoureux distingue l’absence de preuve de la preuve de l’absence.

Quand une équipe doit-elle utiliser un auditeur IA indépendant ?

Un auditeur IA indépendant est utile lorsqu’un système d’IA produit des livrables fortement dépendants de sources, répétitifs ou à forts enjeux qui nécessitent une vérification distincte. Il peut être particulièrement utile pour les feuilles de calcul, PDF, numérisations, fichiers CAO, tableaux de bord et rapports lorsque le contrôleur a besoin d’une piste de preuves. Energent Audit est présenté comme un second agent qui recalcule, retrace, compare et rend des résultats réussi/échoué. L’outil peut réduire le contrôle manuel en orientant l’attention vers les éléments signalés. Les équipes doivent néanmoins documenter les hypothèses, limites et responsabilités, plutôt que de considérer l’automatisation comme un remplacement du jugement.

Découvrez le flux de vérification

La vidéo présente un agent indépendant qui vérifie les chiffres, les retrace jusqu’à leurs sources et fournit un rapport contrôlable.

La confiance de plus de 100 000 entreprises dans le monde.

Amazon
AWS
UC Berkeley
Experian
GE
PwC
Stanford
Amazon
AWS
UC Berkeley
Experian
GE
PwC
Stanford

Conclusion

Un résultat d’IA fiable n’est pas accepté parce qu’il paraît convaincant ; il l’est parce que ses chiffres importants, affirmations, hypothèses et livrables peuvent être reliés aux preuves sources. Commencez par lister les fichiers, recalculer les chiffres, contrôler les dénominateurs et la couverture, classer chaque résultat et examiner les éléments signalés. Pour les tâches récurrentes, vous pouvez essayer Energent Audit ou réserver une démo pour découvrir un flux de vérification indépendant.