Guia de garantia de qualidade de IA
Relatórios, planilhas, painéis e recomendações gerados por IA podem parecer bem elaborados, mas conter denominadores incorretos, afirmações sem suporte, linhas ausentes ou falhas sutis de formatação. Este guia explica como auditar o trabalho de forma independente: identificar fontes, recalcular números relevantes, rastrear afirmações, testar a qualidade dos dados, validar o artefato final e emitir um parecer claro. Ele foi escrito para analistas, equipes financeiras e contábeis, líderes de operações, pesquisadores, engenheiros e qualquer pessoa responsável por trabalhos de alto risco auxiliados por IA. A abordagem confiável mais rápida é permitir que uma revisão independente verifique cada afirmação relevante e concentre a atenção humana apenas no que for sinalizado.
Rachel Hu
Passei mais de uma década desenvolvendo sistemas de IA seguros para ambientes complexos e de alto risco, desde finanças quantitativas até aplicações escaláveis de ciência de dados.
Mais de 100 mil empresas em todo o mundo confiam em nós.
Uma auditoria de IA é uma verificação independente de qualidade realizada por um segundo agente ou revisor, separado da IA que produziu o trabalho original. Ela verifica cálculos, rastreia afirmações até os arquivos de origem, testa se as conclusões são fundamentadas, verifica a integridade do artefato de saída e atribui um parecer de aprovado, parcial, reprovado ou alerta. O objetivo é substituir “preciso verificar tudo” por “só preciso analisar o que foi sinalizado”.
Liste os arquivos de origem, entregáveis, afirmações, cálculos, gráficos, recomendações, datas e limites geográficos ou temporais. Um rastreamento deve identificar arquivos como bls_private_average_hourly_earnings_2017_2026.json e o entregável que os utilizou.
Não aceite um número plausível sem recalculá-lo. Por exemplo, US$ 1.284.500 em 412 linhas foi conciliado corretamente, enquanto um cálculo de crescimento revelou 12,0% como o aumento correto, em vez de 18%.
Cada afirmação relevante deve mostrar seu arquivo de origem, linha, campo, célula, transformação e localização final no entregável. Um revisor deve conseguir responder de onde veio o número, como ele mudou e se o resultado pode ser reproduzido.
Para orientações mais detalhadas, use a verificação fundamentada em fontes como padrão para resultados importantes.
Marque separadamente fatos, números derivados, interpretações razoáveis, afirmações sem suporte e afirmações que exigem dados ausentes. O fluxo correto é identificar uma explicação como inferência, em vez de apresentá-la como causalidade comprovada.
Uma revisão dedicada de detecção de alucinações ajuda a revelar conclusões sem suporte antes da entrega.
Verifique valores ausentes, duplicatas, registros inválidos, junções, identificadores e consistência interna antes de interpretar o resultado. Em um conjunto de dados de rastreamento, 11.801 sessões não tinham etiquetas de origem e campanha, enquanto 6.075 tinham referenciadores HTTP e 5.726 não tinham nem origem nem referenciador.
Inspecione planilhas, PDFs, painéis, gráficos, capturas de tela, links e elementos interativos. Uma saída pode conter dados corretos e ainda assim falhar porque um gráfico omite a última linha ou porque uma pasta de trabalho da direita para a esquerda coloca seu índice principal no lado errado.
Um relatório de auditoria deve tornar as descobertas e as evidências de suporte passíveis de revisão.
A demonstração descreve como rastrear os números até suas fontes antes da entrega.
Registre os arquivos de origem, entregáveis, afirmações, cálculos, gráficos, recomendações, data e escopo. Por exemplo, conecte create_mavenfuzzyfactory_vApril2022.sql e preparing_workbench_vApril2022.sql aos relatórios que os utilizaram.
O sucesso é: Toda saída tem uma fonte nomeada, acessível e um período de cobertura definido.
Erro comum a evitar: Não audite uma conclusão sem registrar quais dados de origem e transformações a produziram.
Recalcule totais, porcentagens, taxas de crescimento, proporções, denominadores e valores derivados de forma independente. Um total de US$ 1.284.500 em 412 linhas foi conciliado com o entregável, mas o aumento correto do quarto para o primeiro trimestre foi de 12,0%, e não 18%, porque o cálculo original usou um subtotal que excluía Facilities.
O sucesso é: Seu resultado independente corresponde ao entregável ou produz uma discrepância documentada.
Erro comum a evitar: Nunca aceite um resultado plausível sem testar o denominador e o período utilizados.
Para cada afirmação importante, documente o arquivo de origem, a linha, o campo, a célula, a transformação e a localização na saída final. O rastreamento deve permitir que outro revisor reproduza o resultado sem depender do agente de IA original.
O sucesso é: Um revisor consegue responder de onde veio a afirmação, como foi transformada e onde aparece.
Erro comum a evitar: Uma citação geral da fonte não é suficiente quando uma linha, campo ou célula específica está disponível.
Classifique as declarações como diretamente observadas, corretamente derivadas, razoáveis mas não comprovadas, sem suporte ou dependentes de dados ausentes. Por exemplo, gastos de US$ 298.000 com software podem ser fundamentados, enquanto uma afirmação de que cresceram 30% trimestre a trimestre falha se não existir um valor do trimestre anterior.
O sucesso é: Fatos, cálculos, ressalvas e hipóteses são claramente diferenciados.
Erro comum a evitar: Não apresente uma correlação ou explicação provável como causalidade comprovada.
Verifique valores ausentes, duplicatas, valores inválidos, IDs, junções, preços negativos, IDs de sessão ausentes, IDs de produto ausentes e a concordância entre as somas dos itens e os totais dos pedidos. Separe registros legitimamente não atribuídos de registros quebrados ou incompletos.
O sucesso é: Você consegue explicar quais registros estão ausentes ou são incomuns e se afetam a conclusão.
Erro comum a evitar: Não interprete uma tendência antes de saber se o conjunto de dados subjacente é completo o suficiente para essa interpretação.
Inspecione o artefato real, não apenas o texto que o descreve. No exemplo do painel RTL, a configuração estava ativada, mas o índice principal aparecia na Coluna B e os gráficos terminavam na linha 6, embora a tabela continuasse até a África na linha 7.
O sucesso é: A saída atende aos requisitos solicitados de formato, layout, intervalo do gráfico, rótulos, links e interatividade.
Erro comum a evitar: Não trate uma aparência refinada como evidência de que o artefato está em conformidade.
Use Aprovado para trabalhos corretos e fundamentados, Parcial para um resultado correto com uma ressalva metodológica, Reprovado para trabalhos incorretos, sem suporte ou não conformes e Alerta para um possível problema que exige a atenção do revisor.
O sucesso é: Cada verificação relevante tem um parecer e evidências de suporte.
Erro comum a evitar: Não esconda um requisito reprovado dentro de um resumo geral positivo.
Declare o que foi aprovado, reprovado ou ficou parcial, o que precisa ser corrigido, quais evidências sustentam cada conclusão e quais limitações permanecem. Um parecer sólido poderia dizer que os totais fundamentados nas fontes foram conciliados, mas que a taxa de crescimento deve ser reformulada como 12,0% e a afirmação sem suporte sobre a tendência de software deve ser removida ou qualificada.
O sucesso é: O leitor sabe exatamente se o trabalho pode ser publicado e o que permanece sem solução.
Erro comum a evitar: Não emita uma conclusão vaga de “majoritariamente preciso” quando correções específicas estão disponíveis.
| Problema | Causa | Solução |
|---|---|---|
| Porcentagem de crescimento incorreta | O modelo usou um subtotal ou denominador incorreto. | Recalcule usando os totais completos do período e informe o denominador. |
| Afirmação de tendência sem suporte | O período de comparação necessário está ausente. | Remova a afirmação ou identifique-a como não verificável porque o dado de entrada está ausente. |
| Total correto com ressalva contábil | Pré-pagamentos anuais foram incluídos sem discutir seu tratamento. | Mantenha o total conciliado e informe que US$ 84.000 podem exigir amortização. |
| O gráfico omite a última linha | Um intervalo deslocado em uma unidade termina antes do registro final. | Compare o intervalo do gráfico com a última linha da tabela e amplie a referência. |
| Evidência nacional apresentada como prova local | O modelo ultrapassou o escopo geográfico dos dados. | Identifique os números como indicadores nacionais e não alegue demanda ou adoção local sem evidências locais. |
A Energent.ai apresenta seu auditor independente de IA como uma forma de verificar resultados produzidos por outros agentes de IA em relação aos documentos de origem originais. Seu fluxo declarado recalcula e rastreia números, verifica afirmações, oferece suporte a mais de 150 tipos de arquivo e produz um resultado de aprovado/reprovado com um registro de evidências.
Use-a quando o volume, a variedade de arquivos ou o risco do trabalho gerado por IA tornar a verificação manual cara; não a trate como substituta da revisão das descobertas sinalizadas e das limitações metodológicas.
“Não apenas escolhi a Energent.ai, como vocês são, de longe, os melhores.”
— Alyse H., Curadora de Coleções Digitais, Fortune 500, Varejo e comércio eletrônico
“Eu tinha planilhas com mais de 45 mil itens e a Energent AI foi a única ferramenta capaz de analisar tudo.”
— Roberto C., Especialista em Operações de Dados, Fortune 500, Logística
“Usar a Energent.ai para criar soluções complexas no Power Query foi extremamente eficaz e, honestamente, funciona significativamente melhor para este caso de uso do que Gemini e ChatGPT.”
— Kay P., Analista de Power Query, Fortune 50, Serviços financeiros
O objetivo é verificar de forma independente se um entregável gerado por IA está correto, fundamentado, completo e em conformidade com seus requisitos. Uma auditoria verifica cálculos, rastreabilidade das fontes, qualidade dos dados, raciocínio e o artefato de saída final. Ela pode identificar números alucinados, denominadores incorretos, tendências sem suporte, dados de entrada ausentes e erros de formatação ou gráficos. O resultado deve mostrar o que foi aprovado, reprovado ou ficou parcial e o que ainda precisa ser revisado. Isso direciona a atenção humana para os problemas sinalizados, em vez de exigir que uma pessoa verifique manualmente cada linha.
Primeiro, identifique o arquivo, a linha, o campo ou a célula exatos usados para produzir o número. Em seguida, recalcule o valor de forma independente usando os mesmos dados de origem e verifique a fórmula, o denominador, a unidade, o período e o arredondamento. Depois, compare seu resultado com o valor no entregável gerado por IA e documente qualquer discrepância. Se a fonte não tiver um dado de entrada necessário, marque o resultado como não verificável, em vez de inventar uma substituição. Por fim, atribua um parecer e anexe o cálculo ou a evidência que o sustenta.
Aprovado significa que o resultado está correto e é fundamentado pelas evidências de origem disponíveis. Parcial significa que o resultado é numericamente correto, mas tem uma ressalva metodológica, como pré-pagamentos anuais incluídos sem discussão do tratamento contábil. Reprovado significa que o resultado está incorreto, sem suporte ou não atende à especificação solicitada. Alerta identifica um possível problema que exige a atenção do revisor, mas ainda não é suficiente para classificá-lo como falha. Aplicar esses rótulos a verificações individuais torna o relatório final mais preciso do que uma única pontuação geral.
Sim, uma auditoria pode examinar o conteúdo e a estrutura de planilhas, painéis, PDFs, gráficos, capturas de tela e ativos vinculados quando os arquivos e requisitos relevantes estão disponíveis. Ela deve verificar se os gráficos incluem todas as linhas, se rótulos e datas estão corretos, se os links funcionam e se o layout ou comportamento interativo solicitado está operacional. O exemplo do painel RTL mostra por que isso importa: os dados podiam estar presentes, mas a coluna de índice e o intervalo do gráfico ainda violavam a especificação. O auditor deve comparar o artefato renderizado com os dados de origem e o formato solicitado. Um arquivo visualmente refinado não é automaticamente um arquivo em conformidade.
Não invente o dado ausente nem substitua silenciosamente uma medida diferente. Marque a afirmação como não verificável, explique qual valor de origem está ausente e identifique quais evidências seriam necessárias para concluir a verificação. Valores derivados só podem ser apresentados quando seus dados de entrada e método estiverem claramente identificados como derivados, e não como informados. Por exemplo, não foi possível calcular ROA e dívida sobre ativos de forma independente quando os ativos totais estavam ausentes. O parecer final deve preservar essa limitação para que os leitores não confundam uma suposição com evidência.
Uma auditoria confiável de trabalho gerado por IA combina recálculo independente, rastreamento preciso de fontes, testes de qualidade dos dados, classificação de afirmações e validação do artefato. O relatório final mais sólido não diz apenas se uma resposta de IA parece correta; ele identifica exatamente o que foi aprovado, reprovado ou ficou parcial e o que deve mudar antes da publicação. Comece com um pequeno conjunto de afirmações relevantes, documente o registro de evidências e amplie as verificações de acordo com o risco e o volume do trabalho.