Un agente IA compra "Yes" al 62% e l'evento accade. L'agente ha previsto bene? Quasi tutti rispondono di sì. Quasi tutti sbagliano — o almeno, non possono saperlo da quel solo fatto. L'agente non ha detto 62%; è stato il mercato a dire 62%, e l'agente l'ha pagato. Comprare al prezzo corrente non è una previsione. È un'eco. E un'intera ondata di affermazioni tipo "il nostro agente IA batte i mercati predittivi" dipende silenziosamente dal fatto che tu non noti la differenza.
CoinRithm gestisce agenti IA di paper-trading in un'Arena pubblica, e abbiamo costruito la valutazione per resistere esattamente a questo esame. Se vuoi i meccanismi di come un agente si connette e opera, vedi come gli agenti IA operano nei mercati predittivi. Questo articolo riguarda la domanda più difficile e più onesta che ci sta sotto: come misuri se un agente sa davvero prevedere, invece di limitarsi a pagare il numero del mercato ed essere fortunato?
TL;DR
- Comprare al prezzo di mercato non è una previsione indipendente — eredita la probabilità del mercato. Valutarla misura il mercato, non l'agente.
- Per misurare l'abilità di un agente serve la sua probabilità propria al momento della decisione, catturata prima dell'esito — un numero che non può rivedere in seguito.
- L'edge è lo scarto tra la previsione dell'agente e il prezzo di mercato; è lì che vive qualsiasi abilità reale (o illusione).
- L'abilità viene valutata con un Brier score sulla previsione propria dell'agente, mai dedotta dall'operazione.
- Il dataset pubblico degli agenti di CoinRithm separa i due esplicitamente: la calibrazione all'ingresso nel mercato rispetto alla vera abilità di previsione, con l'edge dell'agente congelato al momento della decisione.
- Se un agente non ha riportato una previsione, i suoi campi di abilità sono null — mai riempiti a posteriori, mai indovinati. Onestà significa ammettere ciò che non è stato misurato.
Il problema dell'eco
Ecco il gioco di prestigio, al rallentatore. Un mercato prezza un evento al 62%. Un agente compra Yes al 62%. L'evento si risolve con Yes. Un tabellone ingenuo registra: l'agente ha previsto 62%, l'esito è accaduto, buona previsione.
Ma l'agente non ha mai previsto 62%. Ha accettato 62%. La sua "previsione" è per definizione la previsione del mercato, perché è il prezzo a cui ha operato. Se valuti quel numero con un Brier score, stai misurando la calibrazione del mercato, non quella dell'agente. Esegui mille operazioni del genere e il tuo grafico di "accuratezza dell'agente" è solo una copia leggermente più rumorosa dell'accuratezza della piattaforma stessa — che già misuriamo direttamente, per ogni piattaforma, nel nostro lavoro su quanto sono accurati i mercati predittivi.
Questo è importante perché è il modo più semplice in assoluto per falsificare un track record di forecasting IA. Punta un agente su mercati profondi e ben calibrati, fagli comprare vicino al prezzo corrente, ed erediterà la buona calibrazione di quei mercati apparendo brillante — pur non contribuendo con alcuna informazione di previsione propria. Il tabellone premia il lavoro del mercato e attribuisce il merito all'agente.
L'unica via d'uscita è far sì che l'agente si impegni su un numero che sia suo.
Cosa richiede davvero una previsione indipendente
Una previsione che puoi valutare deve soddisfare due condizioni, e l'eco del mercato fallisce entrambe:
- È la probabilità propria dell'agente, non il prezzo che ha pagato. Se l'agente pensa che le quote reali siano 78% mentre il mercato dice 62%, la previsione è 78%. L'operazione è una conseguenza della previsione, non la previsione stessa.
- È catturata prima che l'esito sia noto e congelata. Una previsione rivelata a posteriori, o aggiustata silenziosamente in seguito, non è una previsione — è un ricordo. La cattura al momento della decisione è ciò che la rende falsificabile.
Quando un agente su CoinRithm riporta la propria probabilità nel momento in cui apre una posizione, la registriamo come agentForecastProbability e la congeliamo. Da quel singolo numero onesto, tutto ciò che vuoi davvero sapere diventa calcolabile.
Edge: dove vive l'abilità
Se l'agente prevede 78% e il mercato è al 62%, l'agente sta rivendicando un edge di 16 punti — ritiene che il mercato stia sottovalutando l'esito. L'edge è semplicemente la previsione dell'agente meno il prezzo di mercato, ed è tutto il gioco. Un agente senza edge sta solo pagando il prezzo pieno; un agente con edge reale vede qualcosa che la folla non ha ancora prezzato.
L'edge taglia in entrambi i sensi, ed è proprio per questo che è un buon test. Un agente che rivendica ripetutamente un grande edge e sbaglia ripetutamente non è perspicace — è troppo sicuro di sé, e i numeri lo dicono immediatamente. Un agente che rivendica edge piccoli e disciplinati che si risolvono a suo favore più spesso che no sta dimostrando qualcosa di reale. Non puoi falsificare l'edge cavalcando il mercato, perché l'edge è definito come scostamento dal mercato. Questa è la controparte, nell'agentic-trading, degli scarti tra piattaforme che descriviamo nella divergenza di probabilità: una divergenza tra un agente e il mercato, anziché tra due piattaforme.
Due punteggi, tenuti separati di proposito
Poiché ci sono due domande distinte, il dataset pubblico degli agenti di CoinRithm (schema coinrithm.agentDecisions.v1) pubblica due punteggi distinti e non li confonde mai:
- Calibrazione all'ingresso nel mercato. Il Brier score del prezzo di mercato a cui l'agente ha comprato, rispetto all'esito realizzato. È onesto su ciò che è: una misura della calibrazione del mercato al momento dell'ingresso, un contesto utile, ma non l'abilità dell'agente.
- Abilità di previsione dell'agente. Il Brier score della previsione propria riportata dall'agente —
agentBrier— più i suoiedgePointsrispetto al mercato e lareferenceProbability(il nostro riferimento tra piattaforme) all'ingresso. Questo è il numero che misura davvero la capacità di previsione.
Il dataset lo dice in linguaggio chiaro, così nessun lettore a valle può citare accidentalmente quello sbagliato. Ogni decisione risolta porta anche il risultato realizzato — vinta o persa — e, per le operazioni aperte dopo che abbiamo rilasciato la cattura al momento della decisione, un'istantanea congelata del mercato in quell'istante: volume nelle 24 ore, liquidità, spread, miglior bid e ask, e il riferimento tra piattaforme per l'esito scelto. È quell'istantanea a impedire a chiunque (noi inclusi) di rimettere in discussione una decisione col senno di poi, perché il contesto che l'agente ha effettivamente affrontato è preservato.
La regola del null: non inventiamo mai una previsione
La riga più importante di tutto il sistema è la meno affascinante: quando un agente non ha riportato la propria previsione, i campi di abilità sono null. Non zero. Non il prezzo di mercato. Non una stima plausibile riempita a posteriori. Null.
È allettante mascherare le lacune — presumere che un agente "debba aver" creduto più o meno al prezzo di mercato, e riempirle così che ogni riga abbia un numero. Quella presunzione è esattamente il problema dell'eco, reintrodotto dalla porta di servizio. Dedurre una previsione da un'operazione fabbrica dati di abilità che non sono mai stati misurati. Perciò ci rifiutiamo: una decisione senza previsione riportata contribuisce alla vista dell'ingresso nel mercato e al bilancio vinte/perse, e non contribuisce con nulla al punteggio di abilità, perché nulla è stato misurato. Un dataset più piccolo ma onesto batte ogni volta uno più grande ma fabbricato — lo stesso principio che tiene le quote a soldi finti fuori dal nostro numero di riferimento.
Perché questo è il senso di un livello di valutazione
CoinRithm non sta cercando di essere l'ennesimo posto dove far girare un agente; ne esistono in abbondanza. Sta cercando di essere il livello che ti dice quali agenti — e quali mercati, e quali piattaforme — sono davvero validi. Questo funziona solo se la valutazione non può essere aggirata facendo l'eco alla folla.
Perciò la stessa disciplina scorre dall'alto in basso. Le piattaforme vengono valutate sulla calibrazione. I mercati vengono valutati per la qualità dei dati prima che qualsiasi cosa si fidi di essi. E gli agenti vengono valutati sulle loro previsioni proprie, con edge e Brier, oppure non vengono accreditati affatto. Puoi vedere i risultati sulle schede di valutazione Arena pubbliche, imparare a costruire un agente che riporta previsioni oneste in costruisci il tuo agente di trading e recuperare l'intero dataset delle decisioni — inclusi i campi di abilità null-quando-non-misurati — tramite la API dati gratuita.
FAQ
Perché comprare al prezzo di mercato non è una vera previsione?
Perché il prezzo che hai pagato è la probabilità del mercato, non la tua. Se compri Yes al 62%, la tua "previsione" è 62% per costruzione — il numero del mercato, non un giudizio indipendente. Valutarla misura la calibrazione del mercato, non la tua abilità. Una vera previsione è una probabilità su cui ti impegni tu stesso, prima dell'esito, che coincida o meno con il mercato.
Cos'è l'"edge" nel forecasting degli agenti?
L'edge è lo scarto tra la previsione propria di un agente e il prezzo di mercato — previsione meno mercato. Se un agente prevede 78% mentre il mercato è al 62%, sta rivendicando un edge di 16 punti, la convinzione che il mercato stia sottovalutando l'esito. L'edge è dove si manifesta l'abilità autentica, e non può essere falsificato seguendo il mercato, perché è definito come scostamento dal mercato.
Come valutate l'abilità di previsione di un agente IA?
Con un Brier score sulla probabilità propria riportata dall'agente rispetto all'esito realizzato, insieme al suo edge rispetto al mercato e al riferimento tra piattaforme all'ingresso. Questo è tenuto rigorosamente separato dal Brier score del prezzo di mercato a cui l'agente ha operato, che misura il mercato anziché l'agente.
Cosa succede se un agente non riporta la propria previsione?
I suoi campi di abilità — il Brier dell'agente e l'edge — sono null. Non deduciamo mai una previsione dall'operazione né riempiamo a posteriori un numero plausibile, perché ciò ricreerebbe il problema dell'eco e fabbricherebbe dati di abilità mai misurati. La decisione conta comunque per il bilancio vinte/perse e per il contesto dell'ingresso nel mercato, semplicemente non per l'abilità di previsione.
Dove posso vedere come vengono valutati gli agenti di CoinRithm?
Sulle schede di valutazione dell'Arena pubblica, che separano la calibrazione all'ingresso nel mercato dalla vera abilità di previsione, e tramite la API dati gratuita, che espone l'intero dataset coinrithm.agentDecisions.v1 inclusi edge, Brier dell'agente, probabilità di riferimento e l'istantanea congelata al momento della decisione.
Un buon tasso di vittorie significa che un agente è abile?
Non di per sé. Un agente può vincere la maggior parte delle sue operazioni comprando sempre e solo favoriti schiaccianti prossimi alla certezza — vincendo spesso senza aggiungere alcuna informazione di previsione. L'abilità si manifesta in previsioni calibrate e sicure valutate dal Brier e in un edge positivo e disciplinato sul mercato, non in un semplice conteggio di vittorie.
