Yapay zekâ kalite güvencesi rehberi
Yapay zekâ tarafından üretilen raporlar, elektronik tablolar, panolar ve öneriler; hatalı paydalar, desteklenmeyen iddialar, eksik satırlar veya fark edilmesi zor biçimlendirme hataları içermelerine rağmen kusursuz görünebilir. Bu rehber, çalışmaları bağımsız olarak nasıl denetleyeceğinizi açıklar: kaynakları belirleyin, önemli sayıları yeniden hesaplayın, iddiaları izleyin, veri kalitesini test edin, nihai çıktıyı doğrulayın ve net bir sonuç sunun. Rehber; analistler, finans ve muhasebe ekipleri, operasyon yöneticileri, araştırmacılar, mühendisler ve yüksek riskli yapay zekâ destekli çalışmalardan sorumlu herkes için hazırlanmıştır. Güvenilir sonuçlara ulaşmanın en hızlı yolu, bağımsız bir incelemenin tüm önemli iddiaları doğrulamasına ve insanların dikkatini yalnızca işaretlenen konulara vermesine olanak tanımaktır.
Rachel Hu
Nicel finans alanından ölçeklenebilir veri bilimi uygulamalarına kadar karmaşık ve yüksek riskli ortamlar için güvenli yapay zekâ sistemleri geliştirmeye on yılı aşkın zaman harcadım.
Dünya genelinde 100 binden fazla şirket tarafından güveniliyor.
Yapay zekâ denetimi, ilk çalışmayı üreten yapay zekâdan bağımsız ikinci bir aracı veya incelemeci tarafından gerçekleştirilen bağımsız bir kalite kontrolüdür. Hesaplamaları doğrular, iddiaları kaynak dosyalara kadar izler, sonuçların desteklenip desteklenmediğini test eder, çıktı dosyasının bütünlüğünü kontrol eder ve geçti, kısmi, başarısız veya uyarı sonucunu atar. Amaç, "her şeyi doğrulamam gerekiyor" yaklaşımını "yalnızca işaretlenen konulara bakmam yeterli" yaklaşımıyla değiştirmektir.
Kaynak dosyaları, teslimatları, iddiaları, hesaplamaları, grafikleri, önerileri, tarihleri ve coğrafi veya zamansal sınırları listeleyin. İzleme kaydı, bls_private_average_hourly_earnings_2017_2026.json gibi dosyaları ve bunları kullanan teslimatı tanımlamalıdır.
Makul görünen bir sayıyı yeniden hesaplamadan kabul etmeyin. Örneğin, 412 satırdaki 1.284.500 ABD doları doğru şekilde mutabık kalırken, büyüme hesabı %18 yerine doğru artışın %12,0 olduğunu ortaya çıkardı.
Her önemli iddia; kaynak dosyasını, satırını, alanını, hücresini, dönüşümünü ve teslimattaki nihai konumunu göstermelidir. Bir incelemeci sayının nereden geldiğini, nasıl değiştiğini ve sonucun yeniden üretilebilir olup olmadığını yanıtlayabilmelidir.
Daha ayrıntılı rehberlik için önemli çıktılarda kaynak temelli doğrulamayı standart olarak kullanın.
Gerçekleri, türetilmiş rakamları, makul yorumları, desteklenmeyen iddiaları ve eksik veri gerektiren iddiaları ayrı ayrı işaretleyin. Doğru iş akışı, bir açıklamayı kanıtlanmış nedensellik olarak sunmak yerine çıkarım olarak etiketlemektir.
Özel bir halüsinasyon tespiti incelemesi, teslimattan önce desteklenmeyen sonuçların ortaya çıkarılmasına yardımcı olur.
Sonucu yorumlamadan önce eksik değerleri, yinelenen kayıtları, geçersiz kayıtları, birleştirmeleri, tanımlayıcıları ve iç tutarlılığı kontrol edin. Bir izleme veri kümesinde 11.801 oturumda kaynak ve kampanya etiketleri eksikti; 6.075 oturumda HTTP yönlendirenleri vardı, 5.726 oturumda ise hem kaynak hem de yönlendiren eksikti.
Elektronik tabloları, PDF'leri, panoları, grafikleri, ekran görüntülerini, bağlantıları ve etkileşimli öğeleri inceleyin. Bir çıktı doğru veriler içerebilir ancak grafik son satırı göstermediği veya sağdan sola bir çalışma kitabı birincil dizinini yanlış tarafa yerleştirdiği için yine de başarısız olabilir.
Bir denetim raporu, bulguları ve destekleyici kanıtları incelenebilir hâle getirmelidir.
Tanıtım, teslimattan önce rakamların kaynaklarına kadar izlenmesini açıklar.
Kaynak dosyaları, teslimatları, iddiaları, hesaplamaları, grafikleri, önerileri, tarihi ve kapsamı kaydedin. Örneğin, create_mavenfuzzyfactory_vApril2022.sql ve preparing_workbench_vApril2022.sql dosyalarını bunları kullanan raporlarla ilişkilendirin.
Başarı şöyle görünür: Her çıktının adı belirlenmiş, erişilebilir bir kaynağı ve tanımlı bir kapsama dönemi vardır.
Kaçınılması gereken yaygın hata: Hangi kaynak verilerin ve dönüşümlerin sonucu oluşturduğunu kaydetmeden bir sonucu denetlemeyin.
Toplamları, yüzdeleri, büyüme oranlarını, oranları, paydaları ve türetilmiş değerleri bağımsız olarak yeniden hesaplayın. 412 satırdaki 1.284.500 ABD doları toplamı teslimatla mutabık kaldı; ancak orijinal hesaplama Tesisler'i hariç tutan bir ara toplam kullandığı için doğru 4. çeyrekten 1. çeyreğe artış %18 değil, %12,0 idi.
Başarı şöyle görünür: Bağımsız sonucunuz teslimatla eşleşir veya belgelenmiş bir fark ortaya çıkarır.
Kaçınılması gereken yaygın hata: Kullanılan paydayı ve dönemi test etmeden makul görünen bir sonucu asla kabul etmeyin.
Her önemli iddia için kaynak dosyasını, satırı, alanı, hücreyi, dönüşümü ve nihai çıktıdaki konumu belgeleyin. İzleme kaydı, başka bir incelemecinin orijinal yapay zekâ aracına güvenmeden sonucu yeniden üretmesine olanak tanımalıdır.
Başarı şöyle görünür: Bir incelemeci iddianın nereden geldiğini, nasıl dönüştürüldüğünü ve nerede yer aldığını yanıtlayabilir.
Kaçınılması gereken yaygın hata: Kesin bir satır, alan veya hücre mevcutken genel bir kaynak gösterimi yeterli değildir.
İfadeleri doğrudan gözlemlenen, doğru şekilde türetilen, makul ancak kanıtlanmamış, desteklenmeyen veya eksik verilere bağlı olarak sınıflandırın. Örneğin, 298.000 ABD doları yazılım harcaması desteklenebilir; ancak önceki çeyreğe ait bir rakam yoksa, çeyrekten çeyreğe %30 arttığı iddiası başarısız olur.
Başarı şöyle görünür: Gerçekler, hesaplamalar, uyarılar ve varsayımlar görünür biçimde birbirinden ayrılır.
Kaçınılması gereken yaygın hata: Korelasyonu veya olası bir açıklamayı kanıtlanmış nedensellik olarak sunmayın.
Eksik değerleri, yinelenen kayıtları, geçersiz değerleri, kimlikleri, birleştirmeleri, negatif fiyatları, eksik oturum kimliklerini, eksik ürün kimliklerini ve satır kalemi toplamlarıyla sipariş toplamları arasındaki uyumu kontrol edin. Meşru şekilde ilişkilendirilemeyen kayıtları bozuk veya eksik kayıtlardan ayırın.
Başarı şöyle görünür: Hangi kayıtların eksik veya olağandışı olduğunu ve bunların sonucu etkileyip etkilemediğini açıklayabilirsiniz.
Kaçınılması gereken yaygın hata: Temel veri kümesinin bu yorumu destekleyecek kadar eksiksiz olup olmadığını bilmeden bir eğilimi yorumlamayın.
Yalnızca onu açıklayan metni değil, gerçek dosyayı inceleyin. Sağdan sola pano örneğinde ayar etkinleştirilmişti; ancak tablo 7. satırda Afrika'ya kadar devam etmesine rağmen birincil dizin B Sütunu'nda görünüyordu ve grafikler 6. satırda sona eriyordu.
Başarı şöyle görünür: Çıktı, istenen biçim, düzen, grafik aralığı, etiketler, bağlantılar ve etkileşim gereksinimlerini karşılar.
Kaçınılması gereken yaygın hata: Kusursuz bir görünümü, dosyanın gereksinimlere uygun olduğuna dair kanıt olarak görmeyin.
Doğru ve desteklenen çalışmalar için Geçti, metodolojik bir uyarı içeren doğru sonuçlar için Kısmi, yanlış, desteklenmeyen veya gereksinimlere uygun olmayan çalışmalar için Başarısız ve incelemecinin dikkatini gerektiren olası bir sorun için Uyarı kullanın.
Başarı şöyle görünür: Her önemli kontrolün bir sonucu ve destekleyici kanıtı vardır.
Kaçınılması gereken yaygın hata: Başarısız bir gereksinimi, genel olarak olumlu bir özetin içinde gizlemeyin.
Nelerin geçtiğini, nelerin başarısız olduğunu, nelerin kısmi kaldığını, neyin düzeltilmesi gerektiğini, her sonucu hangi kanıtın desteklediğini ve hangi sınırlamaların devam ettiğini belirtin. Güçlü bir sonuç; kaynak destekli toplamların mutabık kaldığını, ancak büyüme oranının %12,0 olarak yeniden ifade edilmesi ve desteklenmeyen yazılım eğilimi iddiasının kaldırılması veya nitelendirilmesi gerektiğini söyleyebilir.
Başarı şöyle görünür: Okuyucu, çalışmanın yayınlanıp yayınlanamayacağını ve hangi konuların çözümsüz kaldığını tam olarak bilir.
Kaçınılması gereken yaygın hata: Özel düzeltmeler mümkünken belirsiz bir "büyük ölçüde doğru" sonucu vermeyin.
| Sorun | Neden | Çözüm |
|---|---|---|
| Yanlış büyüme yüzdesi | Model bir ara toplam veya yanlış bir payda kullandı. | Tam dönem toplamlarından yeniden hesaplayın ve paydayı açıklayın. |
| Desteklenmeyen eğilim iddiası | Gerekli karşılaştırma dönemi mevcut değil. | İddiayı kaldırın veya girdi eksik olduğu için doğrulanamaz olarak etiketleyin. |
| Muhasebe uyarısı içeren doğru toplam | Yıllık peşin ödemeler, muhasebe uygulaması tartışılmadan dâhil edildi. | Mutabık kalınan toplamı koruyun, ardından 84.000 ABD dolarının itfa gerektirebileceğini açıklayın. |
| Grafik son satırı göstermiyor | Bir adetlik kayma içeren aralık son kayıttan önce sona eriyor. | Grafik aralığını tablonun son satırıyla karşılaştırın ve başvuruyu genişletin. |
| Ulusal kanıt yerel kanıt olarak sunuluyor | Model, verilerin coğrafi kapsamını aştı. | Rakamları ulusal göstergeler olarak etiketleyin ve yerel kanıt olmadan yerel talep veya benimseme iddiasında bulunmayın. |
Energent.ai, bağımsız yapay zekâ denetçisini diğer yapay zekâ aracıları tarafından üretilen çıktıları orijinal kaynak belgelerle karşılaştırarak doğrulamanın bir yolu olarak konumlandırır. Belirtilen iş akışı sayıları yeniden hesaplar ve izler, iddiaları kontrol eder, 150'den fazla dosya türünü destekler ve kanıt iziyle birlikte geçti/başarısız sonucu üretir.
Yapay zekâ tarafından üretilen çalışmaların hacmi, dosya çeşitliliği veya riski manuel doğrulamayı maliyetli hâle getirdiğinde kullanın; işaretlenen bulguları ve metodolojik sınırlamaları incelemenin yerine geçtiğini düşünmeyin.
"Sonunda yalnızca Energent.ai'yi seçmekle kalmadım, açık ara en iyisi sizsiniz."
— Alyse H., Dijital Koleksiyon Küratörü, Fortune 500, Perakende ve E-ticaret
"45 binden fazla öğe içeren elektronik tablolarım vardı ve Energent AI her şeyi inceleyebilen tek araçtı."
— Roberto C., Veri Operasyonları Uzmanı, Fortune 500, Lojistik
"Karmaşık Power Query çözümleri oluşturmak için Energent.ai'yi kullanmak son derece etkili oldu ve dürüst olmak gerekirse bu kullanım alanında Gemini ve ChatGPT'den çok daha iyi çalışıyor."
— Kay P., Power Query Analisti, Fortune 50, Finansal Hizmetler
Amaç, yapay zekâ tarafından üretilen bir teslimatın doğru, desteklenmiş, eksiksiz ve gereksinimlere uygun olup olmadığını bağımsız olarak doğrulamaktır. Bir denetim; hesaplamaları, kaynak izlenebilirliğini, veri kalitesini, akıl yürütmeyi ve nihai çıktı dosyasını kontrol eder. Uydurulmuş rakamları, yanlış paydaları, desteklenmeyen eğilimleri, eksik girdileri ve biçimlendirme veya grafik hatalarını belirleyebilir. Sonuç; nelerin geçtiğini, nelerin başarısız olduğunu, nelerin kısmi kaldığını ve hangi konuların hâlâ incelenmesi gerektiğini göstermelidir. Böylece insanların her satırı manuel olarak doğrulaması yerine dikkatlerini işaretlenen sorunlara vermesi sağlanır.
Önce sayıyı üretmek için kullanılan tam kaynak dosyasını, satırı, alanı veya hücreyi belirleyin. Ardından aynı kaynak verileri kullanarak değeri bağımsız biçimde yeniden hesaplayın ve formülü, paydayı, birimi, dönemi ve yuvarlamayı kontrol edin. Sonra sonucunuzu yapay zekâ tarafından üretilen teslimattaki değerle karşılaştırın ve her farkı belgeleyin. Kaynakta gerekli bir girdi yoksa, yerine bir şey uydurmak yerine sonucu doğrulanamaz olarak işaretleyin. Son olarak bir sonuç atayın ve bunu destekleyen hesaplamayı veya kanıtı ekleyin.
Geçti, sonucun doğru olduğu ve mevcut kaynak kanıtlarıyla desteklendiği anlamına gelir. Kısmi, sonucun sayısal olarak doğru ancak yıllık peşin ödemelerin muhasebe uygulaması tartışılmadan dâhil edilmesi gibi metodolojik bir uyarı içerdiği anlamına gelir. Başarısız, sonucun yanlış, desteklenmemiş veya istenen şartnameye uygun olmadığı anlamına gelir. Uyarı, incelemecinin dikkatini gerektiren ancak henüz başarısızlık olarak sınıflandırılmaya yeterli olmayan olası bir sorunu belirtir. Bu etiketlerin tek tek kontrollere uygulanması, nihai raporu tek bir genel puandan daha kesin hâle getirir.
Evet, ilgili dosyalar ve gereksinimler mevcut olduğunda bir denetim elektronik tabloların, panoların, PDF'lerin, grafiklerin, ekran görüntülerinin ve bağlantılı varlıkların içeriğini ve yapısını inceleyebilir. Grafiklerin tüm satırları içerdiğini, etiketlerin ve tarihlerin doğru olduğunu, bağlantıların açıldığını ve istenen düzenin veya etkileşimli davranışın çalıştığını doğrulamalıdır. Sağdan sola pano örneği bunun neden önemli olduğunu gösterir: Veriler mevcut olabilirken dizin sütunu ve grafik aralığı yine de şartnameyi ihlal edebilir. Denetçi, oluşturulmuş dosyayı kaynak verilerle ve istenen biçimle karşılaştırmalıdır. Görsel olarak kusursuz bir dosya otomatik olarak gereksinimlere uygun değildir.
Eksik girdiyi uydurmayın veya sessizce farklı bir ölçümle değiştirmeyin. İddiayı doğrulanamaz olarak işaretleyin, hangi kaynak değerinin eksik olduğunu açıklayın ve kontrolü tamamlamak için hangi kanıtın gerekli olduğunu belirtin. Türetilmiş değerler yalnızca girdileri ve yöntemi raporlanan değil türetilmiş olarak açıkça etiketlendiğinde gösterilebilir. Örneğin, toplam varlıklar eksik olduğunda ROA ve borç/varlık oranı bağımsız olarak hesaplanamaz. Okuyucuların bir varsayımı kanıtla karıştırmaması için nihai sonuç bu sınırlamayı korumalıdır.
Yapay zekâ tarafından üretilen çalışmaların güvenilir bir denetimi; bağımsız yeniden hesaplamayı, kesin kaynak izlemeyi, veri kalitesi testini, iddia sınıflandırmasını ve dosya doğrulamasını bir araya getirir. En güçlü nihai rapor, bir yapay zekâ yanıtının yalnızca doğru görünüp görünmediğini söylemez; tam olarak nelerin geçtiğini, nelerin başarısız olduğunu, nelerin kısmi kaldığını ve yayınlanmadan önce neyin değişmesi gerektiğini belirler. Küçük bir dizi önemli iddiayla başlayın, kanıt izini belgeleyin ve kontrolleri çalışmanın riskine ve hacmine göre genişletin.