Можно ли обнаружить галлюцинации ИИ?
Да — если проверка независима от генерации. Модель, проверяющая свой собственный ответ, наследует свои же слепые зоны. Energent запускает отдельного состязательного аудитора со свежим контекстом, который открывает готовый файл и перепроверяет результат: он пересчитывает строки, пересчитывает итоговые суммы и отслеживает каждое число до его исходного документа. Ошибки выявляются и исправляются до того, как работа будет доставлена.
Как Energent проверяет результаты работы ИИ?
Каждый результат проходит независимый аудит, прежде чем вы его увидите. Аудитор — отдельный агент, который никогда не читает рабочий диалог, — открывает фактический выходной файл и проверяет его по четким критериям: файл открывается, количество строк совпадает, формулы активны, итоговые суммы сверяются с источником, и каждая цифра имеет ссылку на страницу или ячейку, из которой она была взята. Если какая-либо проверка не пройдена, работа исправляется и проходит повторный аудит. Вы получаете только ту работу, которая прошла проверку.
Что такое аудит ИИ?
Аудит ИИ — это автоматизированная состязательная проверка продукта, созданного ИИ, включающая пересчет вычислений, повторный подсчет извлеченных данных и проверку того, что каждое утверждение подкреплено доказательствами. В отличие от оценки уверенности, аудит заканчивается вердиктом: работа проходит проверку или не доставляется.
Это обязательный или финансовый аудит?
Нет. Аудит Energent — это автоматизированная проверка продукта, созданного ИИ. Он проверяет, что результаты являются полными, внутренне согласованными и соответствуют исходным документам. Это не обязательный аудит, не услуги сертифицированного бухгалтера (CPA) и не замена вашему бухгалтеру или лицензированному аудитору.
Почему бы просто не перепроверить работу ИИ самому?
Вы можете — большинство так и делают, и это незаметно отнимает больше времени, чем сэкономил ИИ. Аудитор Energent выполняет перепроверку за вас: он открывает результат, пересчитывает его по исходным данным и блокирует все, что не проходит проверку. Вы просматриваете вердикт и его доказательную базу, а не весь результат с нуля.
Что означает «в 3 раза меньше галлюцинаций»?
На нашем внутреннем наборе для оценки результаты, полученные с использованием цикла аудита Energent, содержали в три раза меньше вымышленных фактов, чем те же результаты без него. Полная методология — набор данных, система оценки и ограничения — опубликована вместе с результатами наших бенчмарков.
Какие форматы файлов можно аудировать?
В производственном использовании находится более 50 форматов — Excel (XLSX/XLS/XLSM), PDF, включая сканы, Word, CSV, PowerPoint, изображения и инженерные форматы, такие как DXF, DWG и STEP. Аудитор проверяет каждый формат в соответствии с его особенностями: формулы пересчитываются в электронной таблице, подсчеты перепроверяются по чертежу.
Что означает «3× меньше галлюцинаций»?
На нашем внутреннем наборе для оценки результаты, подготовленные с использованием цикла аудита Energent, содержали втрое меньше выдуманных фактов, чем тот же процесс без него. Полная методология — набор данных, система оценки и ограничения — опубликована вместе с результатами нашего бенчмарка.
Какие форматы файлов можно проверять?
В реальной работе используется более 50 форматов — Excel (XLSX/XLS/XLSM), PDF, включая сканы, Word, CSV, PowerPoint, изображения и инженерные форматы вроде DXF, DWG и STEP. Аудитор проверяет каждый формат по его собственным правилам: формулы пересчитываются в таблице, а количества заново снимаются с чертежа.