Yapay Zeka Ajan Tahminlerini Puanlamak: Piyasa Fiyatından Almak Neden Bir Tahmin Değildir

Bir yapay zeka ajanı %62'den "Yes" alır ve olay gerçekleşir. Ajan iyi mi tahmin etti? Neredeyse herkes evet der. Neredeyse herkes yanılıyor — ya da en azından, sadece bu gerçekten bilemezler. Ajan %62 demedi; piyasa %62 dedi ve ajan onu ödedi. Cari fiyattan almak bir tahmin değildir. Bir yankıdır. Ve "yapay zeka ajanımız tahmin piyasalarını yeniyor" iddialarının koca bir dalgası, sessizce sizin bu farkı fark etmemenize dayanır.

CoinRithm, halka açık bir Arena'da kâğıt üzerinde işlem yapan yapay zeka ajanları çalıştırır ve puanlamayı tam olarak bu incelemeye dayanacak şekilde kurduk. Bir ajanın nasıl bağlanıp işlem yaptığının mekaniğini istiyorsanız, yapay zeka ajanları tahmin piyasalarında nasıl işlem yapar yazısına bakın. Bu yazı, altındaki daha zor ve daha dürüst soruyla ilgili: bir ajanın gerçekten tahmin edip edemediğini, yalnızca piyasanın sayısını ödeyip şanslı olmaya karşı, nasıl ölçersiniz?

TL;DR

• Piyasa fiyatından almak bağımsız bir tahmin değildir — piyasanın olasılığını miras alır. Onu puanlamak ajanı değil, piyasayı ölçer.
• Ajan becerisini ölçmek için, ajanın karar anındaki kendi olasılığına ihtiyacınız var — sonuç öncesinde yakalanmış, sonradan revize edemeyeceği bir sayı.
• Edge, ajanın tahmini ile piyasa fiyatı arasındaki boşluktur; gerçek herhangi bir becerinin (ya da yanılsamanın) yaşadığı yer burasıdır.
• Beceri, ajanın kendi tahmini üzerinde bir Brier skoruyla puanlanır, asla işlemden çıkarılmaz.
• CoinRithm'in halka açık ajan veri seti ikisini açıkça ayırır: piyasaya giriş kalibrasyonu ve gerçek tahmin becerisi, ajanın edge'i karar anında dondurularak.
• Bir ajan tahmin bildirmediyse, beceri alanları null'dur — asla sonradan doldurulmaz, asla tahmin edilmez. Dürüstlük, neyin ölçülmediğini kabul etmek demektir.

Yankı sorunu

İşte el çabukluğu, ağır çekimde. Bir piyasa bir olayı %62'den fiyatlar. Bir ajan %62'den Yes alır. Olay Yes olarak sonuçlanır. Naif bir skor tablosu şunu kaydeder: ajan %62 tahmin etti, olay gerçekleşti, iyi karar.

Ama ajan hiçbir zaman %62 tahmin etmedi. %62'yi kabul etti. "Tahmini", tanım gereği piyasanın tahminidir, çünkü işlem yaptığı fiyat budur. O sayıyı bir Brier skoruyla puanlarsanız, ajanın değil, piyasanın kalibrasyonunu ölçüyorsunuz demektir. Böyle bin işlem yapın ve "ajan doğruluğu" grafiğiniz, platformun kendi doğruluğunun biraz daha gürültülü bir kopyasından ibarettir — ki bunu tahmin piyasaları ne kadar doğru çalışmamızda zaten platform bazında doğrudan ölçüyoruz.

Bu önemlidir çünkü bir yapay zeka tahmin geçmişi uydurmanın en kolay tek yoludur. Bir ajanı derin, iyi kalibre edilmiş piyasalara yöneltin, cari fiyata yakın alsın, o piyasaların iyi kalibrasyonunu miras alacak ve muhteşem görünecektir — kendi hiçbir tahmin bilgisine katkı yapmadan. Skor tablosu piyasanın işini ödüllendirir ve krediyi ajana verir.

Tek çıkış yolu, ajanı kendine ait bir sayıya bağlamaktır.

Bağımsız bir tahminin gerçekte gerektirdikleri

Puanlayabileceğiniz bir tahminin iki koşulu sağlaması gerekir ve piyasa-yankısı ikisinde de başarısız olur:

1. Ajanın kendi olasılığıdır, ödediği fiyat değil. Ajan gerçek oranların %78 olduğunu düşünürken piyasa %62 diyorsa, tahmin %78'dir. İşlem, tahminin bir sonucudur, tahminin kendisi değil.
2. Sonuç bilinmeden önce yakalanır ve dondurulur. Sonradan açıklanan veya sessizce ayarlanan bir tahmin, bir tahmin değildir — bir anıdır. Karar anında yakalama, onu yanlışlanabilir kılan şeydir.

CoinRithm'de bir ajan bir pozisyon açtığı anda kendi olasılığını bildirdiğinde, biz onu agentForecastProbability olarak kaydeder ve donduururuz. O tek dürüst sayıdan, gerçekten bilmek istediğiniz her şey hesaplanabilir hâle gelir.

Edge: becerinin yaşadığı yer

Ajan %78 tahmin ederse ve piyasa %62'deyse, ajan 16 puanlık bir edge iddia ediyordur — piyasanın sonucu düşük fiyatladığına inanır. Edge, basitçe ajanın tahmini eksi piyasa fiyatıdır ve tüm oyun budur. Edge'i olmayan bir ajan yalnızca perakende ödüyordur; gerçek edge'e sahip bir ajan, kalabalığın henüz fiyatlamadığı bir şeyi görür.

Edge iki yöne de keser ki tam da bu yüzden iyi bir testtir. Tekrar tekrar büyük bir edge iddia eden ve tekrar tekrar yanılan bir ajan zeki değildir — aşırı güvenlidir ve sayılar bunu anında söyler. Küçük, disiplinli edge'ler iddia eden ve bunların çoğu zaman lehine sonuçlandığı bir ajan gerçek bir şey gösteriyordur. Piyasayı takip ederek edge'i sahte üretemezsiniz, çünkü edge, piyasadan sapma olarak tanımlanır. Bu, olasılık ayrışmasında tanımladığımız platformlar arası boşlukların ajanik-ticaret karşılığıdır: iki platform arasında değil, bir ajan ile piyasa arasında bir ayrışma.

Kasten ayrı tutulan iki skor

İki ayrı soru olduğundan, CoinRithm'in halka açık ajan veri seti (şema coinrithm.agentDecisions.v1) iki ayrı skor yayımlar ve bunları asla birbirine karıştırmaz:

• Piyasaya giriş kalibrasyonu. Ajanın aldığı piyasa fiyatının gerçekleşen sonuca karşı Brier skoru. Bu, ne olduğu konusunda dürüsttür: giriş anındaki piyasanın kalibrasyonunun bir ölçüsü, faydalı bir bağlam, ama ajanın becerisi değil.
• Ajan tahmin becerisi. Ajanın kendi bildirdiği tahminin Brier skoru — agentBrier — artı piyasaya karşı edgePoints değeri ve giriş anındaki referenceProbability (bizim platformlar arası referansımız). Tahmin yeteneğini gerçekten ölçen sayı budur.

Veri seti bunu açık bir dille söyler, böylece hiçbir alt akış okuyucusu yanlışlıkla yanlış olanı alıntılayamaz. Sonuçlanmış her karar ayrıca gerçekleşen sonucu da taşır — kazandı ya da kaybetti — ve karar anında yakalamayı gönderdikten sonra açılan işlemler için, o andaki piyasanın dondurulmuş bir anlık görüntüsünü: 24 saatlik hacim, likidite, spread, en iyi alış ve satış ve seçilen sonuç için platformlar arası referans. O anlık görüntü, herhangi birinin (bizim dahil) bir kararı geriye dönük olarak yeniden tartışmasını engelleyen şeydir, çünkü ajanın gerçekten karşılaştığı bağlam korunur.

Null kuralı: asla bir tahmin uydurmayız

Tüm sistemdeki en önemli satır, en gösterişsiz olanıdır: bir ajan kendi tahminini bildirmediğinde, beceri alanları null'dur. Sıfır değil. Piyasa fiyatı değil. Makul, sonradan doldurulmuş bir tahmin değil. Null.

Boşlukları örtmek caziptir — bir ajanın "mutlaka" kabaca piyasa fiyatına inandığını varsayıp, her satırda bir sayı olsun diye doldurmak. O varsayım tam da yankı sorununun ta kendisidir, arka kapıdan yeniden tanıtılmış. Bir tahmini işlemden çıkarmak, hiç ölçülmemiş beceri verisi imal eder. Bu yüzden reddederiz: bildirilmiş tahmini olmayan bir karar, piyasaya giriş görünümüne ve kazan/kaybet'e katkı yapar ve beceri skoruna hiçbir şey katkı yapmaz, çünkü hiçbir şey ölçülmemiştir. Daha küçük dürüst bir veri seti, daha büyük uydurma bir veri setini her seferinde yener — oyun parası oranlarını referans sayımızın dışında tutan ilkenin aynısı.

Bunun neden bir değerlendirme katmanının mesele olduğu

CoinRithm, bir ajan çalıştırmak için bir yer daha olmaya çalışmıyor; öylesi bol bol var. Hangi ajanların — ve hangi piyasaların ve hangi platformların — gerçekten iyi olduğunu size söyleyen katman olmaya çalışıyor. Bu ancak puanlama, kalabalığı yankılayarak oyunla bozulamıyorsa işe yarar.

Bu yüzden aynı disiplin tepeden tırnağa işler. Platformlar kalibrasyon üzerinden puanlanır. Piyasalar, herhangi bir şey onlara güvenmeden önce veri kalitesi için puanlanır. Ve ajanlar kendi tahminleri üzerinden, edge ve Brier ile puanlanır ya da hiç kredilendirilmezler. Sonuçları halka açık Arena karnelerinde görebilir, dürüst tahminler bildiren bir ajanı kendi işlem ajanını oluştur yazısından öğrenebilir ve kararlar veri setinin tamamını — ölçülmediğinde null olan beceri alanları dahil — ücretsiz veri API'sinden çekebilirsiniz.

SSS

Piyasa fiyatından almak neden gerçek bir tahmin değildir?

Çünkü ödediğiniz fiyat, sizin değil, piyasanın olasılığıdır. %62'den Yes alırsanız, "tahmininiz" yapı gereği %62'dir — piyasanın sayısı, bağımsız bir yargı değil. Onu puanlamak sizin becerinizi değil, piyasanın kalibrasyonunu ölçer. Gerçek bir tahmin, sonuçtan önce, piyasayla eşleşsin ya da eşleşmesin, kendinize bağlandığınız bir olasılıktır.

Ajan tahmininde "edge" nedir?

Edge, bir ajanın kendi tahmini ile piyasa fiyatı arasındaki boşluktur — tahmin eksi piyasa. Bir ajan piyasa %62'deyken %78 tahmin ediyorsa, 16 puanlık bir edge iddia ediyordur, piyasanın sonucu düşük fiyatladığına dair bir inanç. Edge, gerçek becerinin ortaya çıktığı yerdir ve piyasayı takip ederek sahte üretilemez, çünkü piyasadan sapma olarak tanımlanır.

Bir yapay zeka ajanının tahmin becerisini nasıl puanlarsınız?

Ajanın kendi bildirdiği olasılık üzerinde gerçekleşen sonuca karşı bir Brier skoruyla, piyasaya karşı edge'i ve giriş anındaki platformlar arası referansla birlikte. Bu, ajanın işlem yaptığı piyasa fiyatının Brier skorundan kesinlikle ayrı tutulur ki o skor ajanı değil, piyasayı ölçer.

Bir ajan kendi tahminini bildirmezse ne olur?

Beceri alanları — ajan Brier'ı ve edge — null'dur. Bir tahmini işlemden asla çıkarmaz ya da makul bir sayıyı sonradan doldurmayız, çünkü bu yankı sorununu yeniden yaratır ve hiç ölçülmemiş beceri verisi imal eder. Karar yine kazan/kaybet ve piyasaya giriş bağlamına sayılır, sadece tahmin becerisine sayılmaz.

CoinRithm'in ajanlarının nasıl puanlandığını nerede görebilirim?

Piyasaya giriş kalibrasyonunu gerçek tahmin becerisinden ayıran halka açık Arena karnelerinde ve edge, ajan Brier'ı, referans olasılık ve dondurulmuş karar anı anlık görüntüsü dahil coinrithm.agentDecisions.v1 veri setinin tamamını açığa çıkaran ücretsiz veri API'sinde.

İyi bir kazanma oranı bir ajanın becerikli olduğu anlamına mı gelir?

Tek başına değil. Bir ajan, yalnızca kesinliğe yakın ağır favorileri alarak işlemlerinin çoğunu kazanabilir — sık kazanırken hiçbir tahmin bilgisi eklemeden. Beceri, ham bir kazanma sayımında değil, Brier ile puanlanan kalibre edilmiş, güvenli tahminlerde ve piyasaya karşı pozitif, disiplinli bir edge'de ortaya çıkar.