Можно ли обнаружить галлюцинации ИИ?
Да — если проверка независима от генерации. Модель, проверяющая свой собственный ответ, наследует свои же слепые зоны. Energent запускает отдельного состязательного аудитора со свежим контекстом, который открывает готовый файл и перепроверяет результат: он пересчитывает строки, пересчитывает итоги и отслеживает каждое число до его исходного документа. Ошибки обнаруживаются и исправляются до того, как работа будет доставлена.
Как Energent проверяет результаты работы ИИ?
Каждый результат проходит независимый аудит, прежде чем вы его увидите. Аудитор — отдельный агент, который никогда не читает рабочую переписку — открывает фактический выходной файл и проверяет его по четким критериям: файл открывается, количество строк совпадает, формулы активны, итоги сходятся с источником, и каждая цифра ссылается на страницу или ячейку, из которой она взята. Если какая-либо проверка не пройдена, работа исправляется и повторно проверяется. Вы получаете только ту работу, которая прошла проверку.
Что такое аудит ИИ?
Аудит ИИ — это автоматизированная состязательная проверка работы, сгенерированной ИИ, по ее исходным материалам — пересчет вычислений, пересчет извлеченных данных и проверка того, что каждое утверждение подкреплено доказательствами. В отличие от оценки уверенности, аудит заканчивается вердиктом: работа проходит проверку, или она не доставляется.
Это обязательный или финансовый аудит?
Нет. Аудит Energent — это автоматизированная проверка продукта работы ИИ. Он проверяет, что результаты полны, внутренне согласованы и соответствуют исходным документам. Это не обязательный аудит, не заключение сертифицированного бухгалтера (CPA) и не замена вашему бухгалтеру или лицензированному аудитору.
Почему бы просто не перепроверить работу ИИ самому?
Вы можете — большинство людей так и делают, и это незаметно отнимает больше времени, чем сэкономил ИИ. Аудитор Energent выполняет перепроверку за вас: он открывает результат, пересчитывает его по источнику и блокирует все, что не проходит проверку. Вы просматриваете вердикт и его доказательную базу, а не весь результат с нуля.
Что означает "в 3 раза меньше галлюцинаций"?
На нашем внутреннем наборе для оценки результаты, полученные с использованием цикла аудита Energent, содержали в три раза меньше вымышленных фактов, чем те же результаты без него. Полная методология — набор данных, система оценки и ограничения — опубликована вместе с результатами наших бенчмарков.
Какие форматы файлов можно аудировать?
В производственном использовании находится более 50 форматов — Excel (XLSX/XLS/XLSM), PDF, включая сканы, Word, CSV, PowerPoint, изображения и инженерные форматы, такие как DXF, DWG и STEP. Аудитор проверяет каждый формат в его собственных терминах: формулы пересчитываются в электронной таблице, подсчеты перепроверяются по чертежу.