Tahmin Piyasaları Ne Kadar Doğru? Kalibrasyon, Brier Skorları ve Verilerin Gösterdikleri

"Tahmin piyasaları genelde haklı çıkar" iddiası, insanların hiç doğrulamadan tekrarladığı türden bir sözdür. Aynı zamanda test edilebilir de: %70 diyen bir piyasa on seferden yaklaşık yedisinde kazanmalıdır ve eğer bunu yapmıyorsa, piyasa hayranlarının düşündüğü kadar doğru değildir. Doğruluk bir his değildir; sonuçlanmış olaylara karşı, her platform için tek tek ölçebileceğiniz aritmetik bir özelliktir.

Hâlâ tahmin piyasalarının ne olduğu ve fiyatlarının nasıl olasılığa dönüştüğü konusunda bir resim oluşturuyorsanız, oradan başlayın. Bu rehber daha zor soruyla ilgili: bir piyasa bir sayı bastığında, o sayı ne kadar iyi ve bunu nasıl anlarsınız? Tahmin piyasaları ne kadar doğru sorusunun kısa cevabı şudur: en iyileri çarpıcı biçimde iyi kalibre edilmiştir, en kötüleri değildir ve bunları birbirinden ayırmanın tek dürüst yolu onları puanlamaktır.

TL;DR

• Doğruluğun kesin bir anlamı vardır: iyi kalibre edilmiş bir piyasanın %70'lik olayları zamanın yaklaşık %70'inde gerçekleşir. Bu, sonuçlanmış piyasalara karşı ölçülebilir.
• İki sayı işi görür: kalibrasyon hatası (ECE) — tahmin edilen olasılıkların gerçekleşen oranlardan ne kadar saptığı — ve güveni de ödüllendiren Brier skoru.
• İyi kalibrasyon için adil bir test gerekir: yeterince sonuçlanmış piyasa, sağlayıcı tarafından doğrulanmış sonuçlar ve gerçek bir çözümlenme öncesi geçmiş. Kısa ömürlü piyasalar ve zayıf defterler bunu bozar.
• Derin likiditeye sahip gerçek para platformları (Polymarket, Kalshi) genellikle iyi kalibre edilmiştir; oyun parası ve tahmin platformları da olabilir, ancak teşvikler farklıdır.
• CoinRithm, kalibrasyonu her platform için sonuçlanmış olaylardan puanlar ve bunu kaynaklar sayfasında yayımlar — böylece "doğru", bir pazarlama cümlesi değil, inceleyebileceğiniz bir sayıdır.
• Hiçbir piyasa kristal küre değildir. Kalibrasyon, geleceğe dair kesinliği değil, oranların dürüstlüğünü ölçer.

"Doğru" gerçekte ne anlama gelir

İnsanların doğru bir tahmin piyasasından kastettiği iki farklı şey vardır ve bunları birbirine karıştırmak kafa karışıklığının çoğuna neden olur.

Birincisi çözümlenme doğruluğudur: piyasanın en olası dediği sonuç gerçekten gerçekleşti mi? Bu sezgisel olanıdır — "piyasa seçimi bildi" — ama tek başına neredeyse işe yaramaz. %55 diyen ve favorinin kazandığı bir piyasa "haklı" görünür, ancak isabet eden bir %55 tahmini, yazı tura atmaktan güçlükle daha bilgilendiricidir. Olasılıksal bir tahmini, favorisinin kazanıp kazanmadığına göre yargılamak, onu en baştan bir tahmin yapan sayıyı çöpe atmaktır.

İkincisi ve asıl önemli olanı kalibrasyondur: bir platformun "%70" dediği tüm zamanlarda, o şey zamanın yaklaşık %70'inde gerçekleşti mi? Mükemmel kalibre edilmiş bir platform, belirttiği olasılıkların toplamda gerçeklikle eşleştiği platformdur. Herhangi bir tek piyasada yanılabilir — bir olasılığın anlamı budur — ama yüzlerce piyasa boyunca olağanüstü güvenilir olabilir. Kalibrasyon, daha önce hiç görmediğiniz bir fiyata güvenmenizi sağlayan özelliktir ki bu, bir piyasayı soğuktan okuduğunuzda tam olarak ihtiyacınız olan şeydir.

Aşağıdaki her şey bu ikinci şeyi ölçmekle ilgilidir.

Tek bir resimde kalibrasyon

Bir platformdaki sonuçlanmış her piyasayı alın ve tahminlerini atadığı olasılığa göre gruplayın: tüm %0–10 tahminleri bir kutuya, %10–20 sonrakine, ve böylece %90–100'e kadar. Şimdi her kutunun içinde gerçekleşen oranı hesaplayın — o olayların hangi kısmı gerçekten gerçekleşti.

İyi kalibre edilmiş bir platform için ikisi hizalanır: %20–30 kutusu zamanın yaklaşık dörtte birinde Evet olarak sonuçlanır, %70–80 kutusu ise yaklaşık dörtte üçünde. Tahmin edilen olasılığı gerçekleşen orana karşı çizin, noktalar köşegene sarılır. Noktaların çizginin altına düştüğü yerde platform aşırı güvenliydi (%80 dedi ama o olaylar zamanın %65'inde gerçekleşti); üstünde ilerlediği yerde ise yetersiz güvenliydi.

CoinRithm, yeterli geçmişe sahip her platform için tam olarak bu güvenilirlik kutularını, piyasanın çözümlenmeden yaklaşık 24 saat önce atadığı olasılığı kullanarak oluşturur — bilginin çoğunun fiyata girmiş olması için yeterince geç, gerçek bir tahmin olup çözümlenme formalitesi olmaması için yeterince erken. Bu, bir hava durumu servisinin "%30 yağmur ihtimali" günlerinin gerçekten zamanın %30'unda yağmur yağıp yağmadığını kontrol ederken kullandığı disiplinin aynısıdır.

Bunu özetleyen iki skor

Bir güvenilirlik grafiği dürüsttür ama bir bakışta karşılaştırması zordur, bu yüzden iki tek sayı onu yoğunlaştırır.

Kalibrasyon hatası (ECE)

Beklenen Kalibrasyon Hatası, her kutunun tahmin edilen olasılığı ile gerçekleşen oranı arasındaki örneklem ağırlıklı ortalama boşluktur. Sıfır mükemmeldir; büyüdükçe, bir platformun belirttiği oranlar gerçeklikten o kadar sapar. ECE, "bu platformun sayısı güvenilir mi?" için daha temiz bir başlıktır çünkü hiçbir şeyi görmezden gelmez ve hiçbir şeyi güzel göstermez — sadece gerçekten olan uzaklığı ölçer. CoinRithm'in örnekleminde, en iyi kalibre edilmiş gerçek para platformları köşegene yakın oturur, kalibrasyon hataları olasılıklarını olduğu gibi kabul etmeye değecek kadar küçüktür; her platformun güncel rakamını kaynaklar sayfasında okuyabilirsiniz.

Brier skoru

Brier skoru, olasılıksal bir tahminin ortalama kare hatasıdır: her piyasa için, gerçekten gerçekleşene atanan olasılık ile 1 (gerçekleşmeyen için 0) arasındaki boşluğu alın, karesini alın ve ortalayın. Hem kalibre hem güvenli olmayı ödüllendirir — her şeyi %50'ye doğru çeken bir platform kalibre görünürken neredeyse işe yaramaz olabilir ve Brier bu çekingenliği cezalandırır. Düşük olan daha iyidir; 0 mükemmel güvenli bir tahmincidir, 0,25 ise her şeye %50 diyerek elde ettiğiniz skordur.

İki skor farklı soruları yanıtlar. Kalibrasyon hatası "oranlar dürüst mü?" diye sorar. Brier "oranlar dürüst ve keskin mi?" diye sorar. Ciddi bir doğruluk iddiası ikisini de belirtir.

Adil bir testin neden göründüğünden daha zor olduğu

Çoğu "tahmin piyasaları %90 doğru" manşeti sessizce hile yapar, genellikle şu yollardan biriyle — ve bunlardan kaçınmak, rakamlarımızın başka yerlerde göreceğiniz pazarlama figürlerinden neden daha muhafazakâr olduğunun sebebidir.

• Seçilmiş çözümlenme doğruluğu. Olasılığı puanlamak yerine "favori kazandı mı" diye saymak, çok sayıda tek taraflı, neredeyse kesin piyasası olan herhangi bir platformu şişirir. Kazananları değil, olasılıkları puanlayın.
• Zaten çözülmüş piyasalarda not verme. Bir piyasanın çözümlenmeden hemen önceki olasılığını — cevabın zaten belli olduğu anı — dahil etmek her platformu kâhin gibi gösterir. Biz fiyatı ~24 saat öncesinden puanlarız ki gerçek bir tahmin olsun.
• Küçük ya da zayıf örneklemler. On sonuçlanmış piyasa hiçbir şey kanıtlamaz. Kalibrasyon minimum bir örneklem gerektirir (bir platformun rakamını yayımlamadan önce bir alt taban şartı koşarız) ve fiyatların bir bayat emirden çok gerçek kanaati yansıtması için yeterli likidite gerektirir.
• Zor olanı dışlamak. Gerçek bir çözümlenme öncesi geçmişi olmayan kısa süreli piyasalar temiz bir kalibrasyon testinden çıkarılır ki bu dürüstçe bazı platformların örneklem boyutlarını azaltır — daha büyük, güzel gösteren bir sayı yerine daha küçük, adil bir sayı göstermeyi tercih ederiz.

Doğruluğun neden bir kategori olarak "tahmin piyasaları" özelliği değil de platform bazında, metodoloji bazında bir nicelik olduğunun sebebi budur. İki platform da kendine doğru diyebilir ve çılgınca farklı şeyler kastedebilir.

Peki — doğrular mı?

Adil bir testi geçen platformlar için, evet, ve çoğu zaman etkileyici biçimde. Polymarket gibi derin gerçek para piyasaları ve CFTC düzenlemeli Kalshi büyük örneklemlerde genellikle iyi kalibre edilmiştir: onların %70'i gerçekten yaklaşık %70'tir. Bu sihir değil — paradır. Yanılmak gerçek sermayeye mal olduğunda, aşırı güvenli fiyatlar gerçeğe doğru arbitrajlanır ki bu, olasılık ayrışması rehberimizin platformlar arasında tanımladığı mekanizmanın aynısıdır.

Manifold ve Metaculus gibi oyun parası ve tahmin platformları da iyi kalibre edilmiş olabilir — bazen çarpıcı biçimde — çünkü itibar ve puanlama kuralları tahmincilere dürüst olmak için kendi teşviklerini verir. Ama finansal olarak hiçbir şey tehlikede olmadığı için, onların oranlarını asla parayla desteklenen bir sayıya karıştırmayız; referans olasılık tam da bu nedenle yalnızca gerçek paradır.

Temel uyarı: kalibrasyon gelecek hakkında değil, oranlar hakkında bir ifadedir. %30 diyen mükemmel kalibre edilmiş bir piyasa, %30'luk sonuç gerçekleştiğinde bile size doğruyu söylüyordur. Doğruluk, fiyatın dürüst bir olasılık olduğu anlamına gelir — piyasanın ne olacağını bildiği anlamına gelmez. İyi kalibre edilmiş bir %80'i kesinlik gibi ele almak, en yaygın tahmin piyasası hatalarından biridir.

CoinRithm bunu nasıl ölçer ve gösterir

Kalibrasyonu, sağlayıcı tarafından doğrulanmış sonuçlara sahip sonuçlanmış piyasalardan hesaplarız — yani piyasanın nasıl çözümlendiğini bir tahmin değil, platformun kendisi bildirmiştir — ve sağlayıcı tarafından doğrulanmış çözümlenme zamanlarından, sonra her (sonuç, olasılık) çiftini gerçekliğe karşı puanlarız. Her platformun geçmişinin ne kadarının adil bir kalibrasyon testi için kullanılabilir olduğu da dahil olmak üzere platform bazlı sonuçlar, ücret modeli, çözümlenme para birimi ve çözümlenme sağlığıyla birlikte kaynaklar sayfasında görünür.

Doğruluk güven katmanımızı da yönlendirir. Güvenle dayanılamayacak kadar zayıf, muğlak veya çözümlenmeye çok yakın piyasalar, sessizce güvenilmek yerine veri kalitesi motorumuz tarafından işaretlenir — düşük kaliteli bir fiyat tam olarak bir platformun kalibrasyonunu aşındıran türdür. Ve yapay zeka ajanları platformumuzda işlem yaptığında, onların tahminlerini de aynı Brier disipliniyle puanlarız ki bu ajan tahminlerini nasıl notlandırdığımızda anlatılmıştır, böylece bir ajan kanıtlamadığı bir beceriyi iddia edemez.

Tüm bunları kendiniz kontrol etmek isterseniz, sonuçlanmış her piyasaya ve sağlayıcı tarafından doğrulanmış sonucuna ücretsiz tahmin piyasası veri API'sinden ulaşabilirsiniz ve puanlama yaklaşımının tamamı metodoloji sayfamızda yazılıdır.

SSS

Tahmin piyasaları tek bir cümlede ne kadar doğru?

İyi yönetilen, derin likiditeli olanlar iyi kalibre edilmiştir — %70'lik olayları zamanın yaklaşık %70'inde gerçekleşir — oysa zayıf veya kısa ömürlü piyasalar çok daha az güvenilirdir ki bu, doğruluğun tüm kategori için varsayılmak yerine neden platform bazında ölçülmesi gerektiğinin sebebidir.

Kalibrasyon ile Brier skoru arasındaki fark nedir?

Kalibrasyon hatası (ECE), bir platformun belirttiği olasılıkların gerçekleşen oranlarla eşleşip eşleşmediğini ölçer — "oranlar dürüst mü?" Brier skoru aynı şeyi ölçer ama güveni de ödüllendirir, her şeyi %50'ye doğru çeken bir tahminciyi cezalandırır — "oranlar dürüst ve keskin mi?" İnandırıcı bir doğruluk iddiası ikisini de raporlar.

Tahmin piyasaları anketlerden daha mı doğru?

Çoğu zaman, toplamda ve çözümlenmeye daha yakın, çünkü piyasalar yeni bilgiyi sürekli fiyatlar ve kanaatin arkasına para koyar — ama yanılmazlar değildir ve duyguyla hareket edebilirler. İkisini doğrudan tahmin piyasaları vs anketler yazısında karşılaştırıyoruz.

Neden sadece favorinin ne sıklıkta kazandığını saymıyorsunuz?

Çünkü bu, olasılığı çöpe atar. %55 diyen ve kazanan bir piyasa yazı turadan güçlükle daha bilgilendiricidir, oysa on seferden birinde kaybeden iyi kalibre edilmiş bir %90 yine de iyi bir tahmindi. Olasılığı gerçekleşen sonuca karşı puanlamak — kazananı değil — tek adil testtir.

Bir tahmin piyasası iyi kalibre edilmiş olup yine de yanılabilir mi?

Evet, ve mesele de budur. %30 diyen kalibre edilmiş bir piyasa, %30'luk sonuç gerçekleştiğinde bile size oranlar hakkında doğruyu söylüyordur. Kalibrasyon, geleceğe dair kesinliği değil, fiyatın dürüstlüğünü ölçer — hiçbir piyasa kristal küre değildir.

CoinRithm'in doğruluk rakamlarını nerede görebilirim?

Platform bazında kalibrasyon ve çözümlenme sağlığını gösteren kaynaklar sayfasında ve yapay zeka ajanları için Arena ajan karnelerinde. Altta yatan sonuçlanmış piyasa verileri genel API üzerinden ücretsiz okunabilir.