حدّد نطاق التدقيق
أدرج ملفات المصدر، والمخرجات، والادعاءات، والحسابات، والمخططات، والتوصيات، والتواريخ، والحدود الجغرافية أو الزمنية. يجب أن يحدد التتبع ملفات مثل bls_private_average_hourly_earnings_2017_2026.json والمخرج الذي استخدمتها.
دليل ضمان جودة الذكاء الاصطناعي
قد تبدو التقارير وجداول البيانات ولوحات المعلومات والتوصيات المُنشأة بالذكاء الاصطناعي متقنة، رغم احتوائها على مقامات خاطئة، أو ادعاءات غير مدعومة، أو صفوف مفقودة، أو أخطاء تنسيق دقيقة. يشرح هذا الدليل كيفية تدقيق العمل بصورة مستقلة: تحديد المصادر، وإعادة حساب الأرقام الجوهرية، وتتبع الادعاءات، واختبار جودة البيانات، والتحقق من المنتج النهائي، وإصدار حكم واضح. كُتب هذا الدليل للمحللين، وفرق المالية والمحاسبة، وقادة العمليات، والباحثين، والمهندسين، وكل من يتحمل مسؤولية العمل المدعوم بالذكاء الاصطناعي في البيئات عالية المخاطر. ويتمثل أسرع نهج موثوق في أن تتولى مراجعة مستقلة التحقق من كل ادعاء جوهري، مع توجيه انتباه البشر فقط إلى ما يتم الإبلاغ عنه.
راشيل هو
أمضيت أكثر من عقد في بناء أنظمة ذكاء اصطناعي آمنة للبيئات المعقدة وعالية المخاطر، بدءًا من التمويل الكمي ووصولًا إلى تطبيقات علوم البيانات القابلة للتوسع.
تحظى بثقة أكثر من 100 ألف شركة حول العالم.
تدقيق الذكاء الاصطناعي هو فحص جودة مستقل ينفذه وكيل أو مراجع ثانٍ منفصل عن الذكاء الاصطناعي الذي أنتج العمل الأصلي. ويتحقق من الحسابات، ويتتبع الادعاءات إلى ملفات المصدر، ويختبر ما إذا كانت الاستنتاجات مدعومة، ويفحص سلامة المنتج النهائي، ويُسند حكمًا من نوع اجتياز أو جزئي أو فشل أو تحذير. والهدف هو استبدال عبارة «عليّ التحقق من كل شيء» بعبارة «لا أحتاج إلا إلى مراجعة ما تم الإبلاغ عنه».
أدرج ملفات المصدر، والمخرجات، والادعاءات، والحسابات، والمخططات، والتوصيات، والتواريخ، والحدود الجغرافية أو الزمنية. يجب أن يحدد التتبع ملفات مثل bls_private_average_hourly_earnings_2017_2026.json والمخرج الذي استخدمتها.
لا تقبل رقمًا يبدو منطقيًا من دون إعادة حسابه. فعلى سبيل المثال، تمت مطابقة مبلغ 1,284,500 دولار عبر 412 صفًا بصورة صحيحة، بينما كشف حساب النمو أن الزيادة الصحيحة هي 12.0% بدلًا من 18%.
ينبغي أن يوضح كل ادعاء جوهري ملف المصدر، والصف، والحقل، والخلية، والتحويل، والموقع النهائي في المخرج. يجب أن يتمكن المراجع من الإجابة عن مصدر الرقم، وكيف تغير، وما إذا كان بالإمكان إعادة إنتاج النتيجة.
للحصول على إرشادات أعمق، استخدم التحقق المستند إلى المصدر معيارًا للمخرجات المهمة.
ميّز بين الحقائق، والأرقام المشتقة، والتفسيرات المعقولة، والادعاءات غير المدعومة، والادعاءات التي تتطلب بيانات مفقودة. يتمثل سير العمل الصحيح في تصنيف التفسير على أنه استنتاج بدلًا من عرضه كسببية مثبتة.
تساعد مراجعة مخصصة لـ اكتشاف الهلوسة في كشف الاستنتاجات غير المدعومة قبل التسليم.
تحقق من القيم المفقودة، والتكرارات، والسجلات غير الصالحة، وعمليات الربط، والمعرّفات، والاتساق الداخلي قبل تفسير النتيجة. في إحدى مجموعات بيانات التتبع، افتقدت 11,801 جلسة وسوم المصدر والحملة، بينما احتوت 6,075 جلسة على مُحيلات HTTP وافتقدت 5,726 جلسة كلاً من المصدر والمُحيل.
افحص جداول البيانات، وملفات PDF، ولوحات المعلومات، والمخططات، ولقطات الشاشة، والروابط، والعناصر التفاعلية. قد تحتوي المخرجات على بيانات صحيحة، ومع ذلك تفشل لأن مخططًا يحذف الصف الأخير أو لأن مصنفًا من اليمين إلى اليسار يضع فهرسه الأساسي في الجانب الخطأ.
ينبغي أن يجعل تقرير التدقيق النتائج والأدلة الداعمة قابلة للمراجعة.
يوضح العرض كيفية تتبع الأرقام إلى مصادرها قبل التسليم.
سجّل ملفات المصدر، والمخرجات، والادعاءات، والحسابات، والمخططات، والتوصيات، والتاريخ، والنطاق. على سبيل المثال، اربط create_mavenfuzzyfactory_vApril2022.sql وpreparing_workbench_vApril2022.sql بالتقارير التي استخدمتها.
تبدو النتيجة الناجحة هكذا: لكل مخرج مصدر مسمى يمكن الوصول إليه وفترة تغطية محددة.
خطأ شائع يجب تجنبه: لا تدقق استنتاجًا من دون تسجيل بيانات المصدر والتحويلات التي أنتجته.
أعد حساب المجاميع والنسب ومعدلات النمو والمقامات والقيم المشتقة بصورة مستقلة. تمت مطابقة إجمالي قدره 1,284,500 دولار عبر 412 صفًا مع المخرج، لكن الزيادة الصحيحة من الربع الرابع إلى الربع الأول كانت 12.0% لا 18%، لأن الحساب الأصلي استخدم مجموعًا فرعيًا استبعد قسم المرافق.
تبدو النتيجة الناجحة هكذا: تتطابق نتيجتك المستقلة مع المخرج أو تنتج فرقًا موثقًا.
خطأ شائع يجب تجنبه: لا تقبل أبدًا نتيجة تبدو منطقية من دون اختبار المقام والفترة المستخدمين.
لكل ادعاء مهم، وثّق ملف المصدر، والصف، والحقل، والخلية، والتحويل، والموقع في المخرج النهائي. ينبغي أن يتيح التتبع لمراجع آخر إعادة إنتاج النتيجة من دون الاعتماد على وكيل الذكاء الاصطناعي الأصلي.
تبدو النتيجة الناجحة هكذا: يستطيع المراجع معرفة مصدر الادعاء، وكيف حُوّل، وأين يظهر.
خطأ شائع يجب تجنبه: لا يكفي الاستشهاد بمصدر عام عندما يتوفر صف أو حقل أو خلية محددة.
صنّف العبارات على أنها مرصودة مباشرة، أو مشتقة بصورة صحيحة، أو معقولة لكنها غير مثبتة، أو غير مدعومة، أو تعتمد على بيانات مفقودة. فعلى سبيل المثال، قد يكون الإنفاق على البرمجيات البالغ 298,000 دولار مدعومًا، بينما يفشل الادعاء بأنه نما بنسبة 30% على أساس ربع سنوي إذا لم يتوفر رقم للربع السابق.
تبدو النتيجة الناجحة هكذا: يتم تمييز الحقائق والحسابات والتحفظات والفرضيات بوضوح.
خطأ شائع يجب تجنبه: لا تعرض الارتباط أو التفسير المحتمل على أنه سببية مثبتة.
تحقق من القيم المفقودة، والتكرارات، والقيم غير الصالحة، والمعرّفات، وعمليات الربط، والأسعار السالبة، ومعرّفات الجلسات المفقودة، ومعرّفات المنتجات المفقودة، والتوافق بين مجاميع بنود الطلب وإجماليات الطلبات. ميّز بين السجلات المشروعة غير المنسوبة والسجلات المعطلة أو غير المكتملة.
تبدو النتيجة الناجحة هكذا: يمكنك توضيح السجلات المفقودة أو غير المعتادة وما إذا كانت تؤثر في الاستنتاج.
خطأ شائع يجب تجنبه: لا تفسر اتجاهًا قبل معرفة ما إذا كانت مجموعة البيانات الأساسية مكتملة بما يكفي لذلك التفسير.
افحص المنتج الفعلي، لا النص الذي يصفه فحسب. في مثال لوحة المعلومات من اليمين إلى اليسار، كان الإعداد مفعّلًا، لكن الفهرس الأساسي ظهر في العمود B، وتوقفت المخططات عند الصف 6 رغم استمرار الجدول حتى أفريقيا في الصف 7.
تبدو النتيجة الناجحة هكذا: يستوفي المخرج التنسيق والتخطيط ونطاق المخطط والتسميات والروابط والمتطلبات التفاعلية المطلوبة.
خطأ شائع يجب تجنبه: لا تعتبر المظهر المتقن دليلًا على امتثال المنتج.
استخدم «اجتياز» للعمل الصحيح والمدعوم، و«جزئي» للنتيجة الصحيحة مع تحفظ منهجي، و«فشل» للعمل غير الصحيح أو غير المدعوم أو غير الممتثل، و«تحذير» لمشكلة محتملة تتطلب انتباه المراجع.
تبدو النتيجة الناجحة هكذا: لكل فحص جوهري حكم واحد وأدلة داعمة.
خطأ شائع يجب تجنبه: لا تخفِ متطلبًا فاشلًا داخل ملخص عام إيجابي.
اذكر ما اجتاز الفحص، وما فشل، وما هو جزئي، وما يجب تصحيحه، والأدلة التي تدعم كل استنتاج، والقيود المتبقية. قد ينص الحكم القوي على أن المجاميع المدعومة بالمصادر متطابقة، لكن يجب إعادة صياغة معدل النمو ليصبح 12.0% وحذف ادعاء اتجاه البرمجيات غير المدعوم أو تقييده.
تبدو النتيجة الناجحة هكذا: يعرف القارئ بالضبط ما إذا كان يمكن نشر العمل وما الذي لم يُحسم بعد.
خطأ شائع يجب تجنبه: لا تصدر حكمًا غامضًا مثل «دقيق في الغالب» عندما تتوفر تصحيحات محددة.
| المشكلة | السبب | الإصلاح |
|---|---|---|
| نسبة نمو خاطئة | استخدم النموذج مجموعًا فرعيًا أو مقامًا غير صحيح. | أعد الحساب من إجماليات الفترات الكاملة، وأفصح عن المقام. |
| ادعاء اتجاه غير مدعوم | فترة المقارنة المطلوبة غير موجودة. | احذف الادعاء أو صنّفه على أنه غير قابل للتحقق بسبب غياب المدخل. |
| إجمالي صحيح مع تحفظ محاسبي | أُدرجت الدفعات المقدمة السنوية دون مناقشة معالجتها. | احتفظ بالإجمالي المطابق، ثم أفصح عن أن مبلغ 84,000 دولار قد يتطلب الإطفاء. |
| المخطط يحذف الصف الأخير | يتوقف نطاق يتضمن خطأ بمقدار واحد قبل السجل الأخير. | قارن نطاق المخطط بالصف الأخير في الجدول ومدّد المرجع. |
| عرض أدلة وطنية على أنها إثبات محلي | تجاوز النموذج النطاق الجغرافي للبيانات. | صنّف الأرقام على أنها مؤشرات وطنية بديلة، ولا تدّعِ وجود طلب أو تبنٍّ محلي من دون أدلة محلية. |
تقدّم Energent.ai مدقق الذكاء الاصطناعي المستقل لديها كوسيلة للتحقق من المخرجات التي تنتجها وكلاء ذكاء اصطناعي آخرون، ومقارنتها بوثائق المصدر الأصلية. ويعيد سير العمل المعلن حساب الأرقام وتتبعها، ويفحص الادعاءات، ويدعم أكثر من 150 نوعًا من الملفات، وينتج نتيجة اجتياز/فشل مع مسار للأدلة.
استخدمها عندما يجعل حجم العمل أو تنوع الملفات أو مخاطر العمل المُنشأ بالذكاء الاصطناعي التحقق اليدوي مكلفًا؛ ولا تعتبرها بديلًا عن مراجعة النتائج المُبلّغ عنها والقيود المنهجية.
«لم أختر Energent.ai فحسب، بل إنكم الأفضل على الإطلاق وبفارق كبير.»
— أليز هـ.، أمينة مجموعات رقمية، شركة مدرجة ضمن Fortune 500، التجزئة والتجارة الإلكترونية
«كانت لدي جداول بيانات تضم أكثر من 45 ألف عنصر، وكانت Energent AI الأداة الوحيدة القادرة على فرز كل شيء.»
— روبرتو س.، أخصائي عمليات البيانات، شركة مدرجة ضمن Fortune 500، الخدمات اللوجستية
«كان استخدام Energent.ai لبناء حلول Power Query المعقدة فعالًا للغاية، وبصراحة يعمل بشكل أفضل بكثير لحالة الاستخدام هذه من Gemini وChatGPT.»
— كاي ب.، محلل Power Query، شركة مدرجة ضمن Fortune 50، الخدمات المالية
الغرض هو التحقق بصورة مستقلة من أن المخرج المُنشأ بالذكاء الاصطناعي صحيح ومدعوم ومكتمل ومتوافق مع متطلباته. يفحص التدقيق الحسابات، وإمكانية تتبع المصادر، وجودة البيانات، والاستدلال، ومنتج الإخراج النهائي. ويمكنه تحديد الأرقام المُهلوسة، والمقامات غير الصحيحة، والاتجاهات غير المدعومة، والمدخلات المفقودة، وأخطاء التنسيق أو المخططات. وينبغي أن توضح النتيجة ما اجتاز وما فشل وما هو جزئي وما لا يزال بحاجة إلى مراجعة. وبهذا يتجه انتباه البشر إلى المشكلات المُبلّغ عنها بدلًا من مطالبة شخص بالتحقق يدويًا من كل سطر.
ابدأ بتحديد ملف المصدر أو الصف أو الحقل أو الخلية المحددة المستخدمة لإنتاج الرقم. ثم أعد حساب القيمة بصورة مستقلة باستخدام بيانات المصدر نفسها، وافحص الصيغة والمقام والوحدة والفترة والتقريب. بعد ذلك قارن نتيجتك بالقيمة الموجودة في المخرج المُنشأ بالذكاء الاصطناعي ووثّق أي فرق. إذا كان المصدر يفتقد مدخلًا مطلوبًا، فصنّف النتيجة على أنها غير قابلة للتحقق بدلًا من اختلاق بديل. وأخيرًا، أسند حكمًا وأرفق الحساب أو الدليل الذي يدعمه.
يعني الاجتياز أن النتيجة صحيحة ومدعومة بأدلة المصدر المتاحة. ويعني الجزئي أن النتيجة صحيحة رقميًا لكنها تتضمن تحفظًا منهجيًا، مثل إدراج الدفعات المقدمة السنوية من دون مناقشة المعالجة المحاسبية. ويعني الفشل أن النتيجة غير صحيحة أو غير مدعومة أو غير ممتثلة للمواصفات المطلوبة. أما التحذير فيحدد مشكلة محتملة تتطلب انتباه المراجع، لكنها لا تكفي بعد لتصنيفها على أنها فشل. ويجعل تطبيق هذه التسميات على الفحوص الفردية التقرير النهائي أكثر دقة من نتيجة إجمالية واحدة.
نعم، يمكن للتدقيق فحص محتوى وبنية جداول البيانات ولوحات المعلومات وملفات PDF والمخططات ولقطات الشاشة والأصول المرتبطة عندما تتوفر الملفات والمتطلبات ذات الصلة. وينبغي أن يتحقق من أن المخططات تتضمن جميع الصفوف، وأن التسميات والتواريخ صحيحة، وأن الروابط تعمل، وأن التخطيط أو السلوك التفاعلي المطلوب يعمل. ويوضح مثال لوحة المعلومات من اليمين إلى اليسار سبب أهمية ذلك: قد تكون البيانات موجودة، بينما يظل عمود الفهرس ونطاق المخطط مخالفين للمواصفات. وينبغي للمدقق مقارنة المنتج المعروض ببيانات المصدر والتنسيق المطلوب. فالملف المتقن بصريًا ليس بالضرورة ملفًا ممتثلًا.
لا تختلق المدخل المفقود ولا تستبدله بهدوء بمقياس مختلف. صنّف الادعاء على أنه غير قابل للتحقق، واشرح قيمة المصدر الغائبة، وحدد الأدلة المطلوبة لإكمال الفحص. لا يجوز عرض القيم المشتقة إلا عندما تكون مدخلاتها وطريقتها موضحة بوضوح على أنها مشتقة وليست مُبلّغًا عنها. فعلى سبيل المثال، تعذر حساب العائد على الأصول ونسبة الدين إلى الأصول بصورة مستقلة عند غياب إجمالي الأصول. وينبغي أن يحافظ الحكم النهائي على هذا القيد حتى لا يخلط القراء بين الافتراض والدليل.
يجمع التدقيق الموثوق للعمل المُنشأ بالذكاء الاصطناعي بين إعادة الحساب المستقلة، والتتبع الدقيق للمصادر، واختبار جودة البيانات، وتصنيف الادعاءات، والتحقق من المنتج. ولا يكتفي التقرير النهائي الأقوى بالقول إن إجابة الذكاء الاصطناعي تبدو صحيحة؛ بل يحدد بدقة ما اجتاز وما فشل وما بقي جزئيًا وما يجب تغييره قبل النشر. ابدأ بمجموعة صغيرة من الادعاءات الجوهرية، ووثّق مسار الأدلة، ووسّع نطاق الفحوص وفقًا لمخاطر العمل وحجمه.