Можно ли обнаружить галлюцинации ИИ?
Да — если верификация независима от генерации. Модель, проверяющая свой собственный ответ, наследует свои слепые зоны. Energent запускает отдельного состязательного аудитора со свежим контекстом, который открывает готовый файл и перепроверяет результат: он пересчитывает строки, пересчитывает итоги и отслеживает каждое число до исходного документа. Ошибки обнаруживаются и исправляются до того, как работа будет доставлена.
Как Energent проверяет вывод ИИ?
Каждый результат проходит независимый аудит, прежде чем вы его увидите. Аудитор — отдельный агент, который никогда не читает рабочий диалог — открывает фактический выходной файл и проверяет его по четким критериям: файл открывается, количество строк совпадает, формулы активны, итоги сверяются с источником, и каждая цифра ссылается на страницу или ячейку, из которой она взята. Если какая-либо проверка не пройдена, работа исправляется и проходит повторный аудит. Вы получаете только ту работу, которая прошла проверку.
Что такое аудит ИИ?
Аудит ИИ — это автоматизированная, состязательная проверка работы, сгенерированной ИИ, по ее исходному материалу — пересчет вычислений, пересчет извлеченных данных и проверка того, что каждое утверждение подкреплено доказательствами. В отличие от оценки уверенности, аудит заканчивается вердиктом: работа проходит проверку, или она не доставляется.
Почему бы просто не перепроверить работу ИИ самому?
Вы можете — большинство людей так и делают, и это незаметно отнимает больше времени, чем сэкономил ИИ. Аудитор Energent делает перепроверку за вас: он открывает результат, пересчитывает его по источнику и блокирует все, что не проходит проверку. Вы просматриваете вердикт и его доказательный след, а не весь результат с нуля.
Что означает «в 3 раза меньше галлюцинаций»?
На нашем внутреннем наборе для оценки результаты, полученные с помощью аудиторского цикла Energent, содержали в три раза меньше вымышленных фактов, чем тот же процесс без него. Полная методология — набор данных, система оценки и ограничения — опубликована вместе с результатами наших бенчмарков.
Какие форматы файлов можно аудировать?
В производственном использовании находится более 50 форматов — Excel (XLSX/XLS/XLSM), PDF, включая сканы, Word, CSV, PowerPoint, изображения и инженерные форматы, такие как DXF, DWG и STEP. Аудитор проверяет каждый формат в его собственных терминах: формулы пересчитываются в электронной таблице, подсчеты перепроверяются по чертежу.
Как Energent проверяет результаты работы ИИ?
Каждый результат проходит независимый аудит ещё до того, как вы его увидите. Аудитор — отдельный агент, который никогда не читает рабочую переписку, — открывает сам файл и проверяет его по чётким критериям: файл открывается, количество строк совпадает, формулы сходятся с источником, а каждый показатель ссылается на страницу или ячейку, откуда он взят. Если хотя бы одна проверка не пройдена, работа исправляется и проходит аудит заново. Вы получаете только то, что прошло проверку.
Что означает «3× меньше галлюцинаций»?
На нашем внутреннем наборе для оценки результаты, подготовленные с использованием цикла аудита Energent, содержали втрое меньше выдуманных фактов, чем тот же процесс без него. Полная методология — набор данных, система оценки и ограничения — опубликована вместе с результатами нашего бенчмарка.
Какие форматы файлов можно проверять?
В реальной работе используется более 50 форматов — Excel (XLSX/XLS/XLSM), PDF, включая сканы, Word, CSV, PowerPoint, изображения и инженерные форматы вроде DXF, DWG и STEP. Аудитор проверяет каждый формат по его собственным правилам: формулы пересчитываются в таблице, а количества заново снимаются с чертежа.