Un agente IA valuta mille mercati e ne tratta dieci. Quale insieme ti dice se e davvero bravo: i dieci che ha preso, o i novecentonovanta da cui si e tirato indietro? Quasi ogni classifica di agenti risponde "i dieci", registra solo quelli, e chiama il risultato uno storico. Non lo e. E una raccolta dei momenti migliori con i fallimenti tagliati via, ed e proprio nel taglio che si nasconde la bugia.
CoinRithm gestisce agenti IA in paper trading all'interno di un'Arena pubblica, e una delle cose meno appariscenti, ma piu importanti, che fa e conservare le decisioni su cui l'agente non ha agito. Se hai gia letto come rendiamo verificabile una singola decisione in come verificare lo storico di un agente IA, questo e il problema gemello: non "questa decisione e onesta?", ma "sto vedendo tutte le decisioni, o solo quelle piu lusinghiere?"
TL;DR
- Registrare solo le operazioni effettuate da un agente produce un bias di selezione: le decisioni saltate contengono informazioni, e scartarle gonfia silenziosamente il registro.
- CoinRithm cattura anche le decisioni non aperte: astensioni, rifiuti per rischio, quotazioni scadute, fallimenti di validazione, ciascuna come artefatto di prima classe con una motivazione.
- Un'astensione e una previsione vera e propria: "ho valutato e ho scelto di non agire" e un giudizio su cui si puo avere ragione o torto, e un rifiuto disciplinato e un'abilita, non un vuoto.
- Il dataset pubblico espone queste decisioni tramite
?includeOpportunities=true, cosi la tua visione di un agente non e filtrata per survivorship verso le sue vittorie. - L'Opportunity Explorer mostra fianco a fianco le decisioni prese e quelle saltate da ogni agente, con la motivazione di ogni rifiuto.
- In questo momento le astensioni superano di gran lunga le operazioni: centinaia di "no" onesti per agente, esattamente cio che un agente disciplinato dovrebbe mostrare, e esattamente cio che una raccolta dei momenti migliori nasconderebbe.
Il bias nascosto in "ecco le sue operazioni"
Il bias di selezione e l'assassino silenzioso delle affermazioni di trading, e non richiede che nessuno menta. Supponi che la regola di un agente sia vaga e che effettui operazioni in modo un po' casuale, ma che lui, o chi lo gestisce, si preoccupi di registrare solo quelle andate bene, o solo quelle che si sentiva abbastanza sicuro da aprire. L'insieme registrato e ora sistematicamente non rappresentativo del giudizio reale dell'agente. Ogni numero calcolato a partire da esso, tasso di vittoria, calibrazione, "accuratezza", descrive una popolazione filtrata dal risultato o dall'attenzione selettiva dell'agente stesso, non la popolazione delle decisioni che l'agente ha effettivamente affrontato.
Questo e lo stesso tipo di errore del survivorship bias, il classico sbaglio di studiare solo i fondi sopravvissuti, gli aerei rientrati, le startup che ce l'hanno fatta. I sopravvissuti sono visibili, i fallimenti sono silenziosamente assenti, e qualsiasi statistica costruita solo sui sopravvissuti e sbagliata, con sicurezza e invisibilmente. Una classifica di agenti che conserva solo le operazioni aperte fa esattamente questo: le astensioni sono gli aerei che non sono rientrati, e mancano dai dati proprio quando ti direbbero di piu.
La soluzione non e una statistica piu intelligente. Non puoi correggere dati che non sono mai stati registrati. La soluzione va a monte: catturare le decisioni che altrimenti avresti scartato.
Un'astensione e una previsione, non un vuoto
Ecco il cambio di prospettiva che rende ovviamente giusto catturare le non-operazioni, invece di farle sembrare pura contabilita. Quando un agente osserva un mercato quotato al 96% e rifiuta di agire, non ha prodotto nulla. Ha prodotto un giudizio: qui non c'e un margine che valga la pena prendere. Quel giudizio puo essere corretto o sbagliato. Un agente che si astiene da un mercato che avrebbe dovuto tradare ha lasciato soldi sul tavolo; un agente che si astiene da un lancio di moneta travestito da cosa certa ha dimostrato disciplina. In entrambi i casi, l'astensione e un dato sul processo dell'agente, e scartarla significa perdere segnale.
Questo conta soprattutto per la modalita di fallimento che preoccupa tutti riguardo agli agenti IA: quella che tratta tutto, con sicurezza, senza discriminare. Il modo piu chiaro per distinguere un agente disciplinato da una slot machine e guardare cosa rifiuta. Un agente che rinuncia a novecento mercati e prende dieci posizioni ponderate ti sta dicendo qualcosa che un agente che spara su tutti e mille non potrebbe mai dirti. Ma puoi vedere quella differenza solo se i rifiuti vengono registrati. Scartali, e la slot machine e il cecchino sembreranno identici in classifica, almeno finche la varianza della slot machine non la raggiunge.
Cosa cattura davvero CoinRithm
Per questo CoinRithm registra le decisioni non aperte come artefatti di prima classe, ciascuna con una motivazione del rifiuto, accanto alle operazioni. Il dataset distingue diversi tipi onesti di "non aperta":
- Astenuta (Abstained): l'agente ha valutato il mercato e ha scelto di non agire (per esempio, "nessun setup attuabile").
- Rifiutata per rischio (Risk rejected): la decisione e stata bloccata da una regola di rischio prima di poter essere aperta.
- Fallita in validazione (Validation failed): l'operazione prevista non ha superato un controllo di coerenza o di idoneita.
- Quotazione scaduta (Quote expired): l'opportunita era reale, ma il prezzo si e mosso prima che l'agente potesse agire.
- Rifiutata in esecuzione (Execution rejected): l'ordine e stato respinto nella fase di esecuzione.
Ognuna di queste racconta una storia diversa sul processo dell'agente, e ciascuna viene conservata con il proprio artefatto immutabile e content hash, esattamente come un'operazione aperta. Una decisione non aperta puo persino portare con se la previsione dell'agente e il suo margine rispetto al mercato, oltre a un contesto di coorte congelato: quanti mercati erano nell'insieme di considerazione dell'agente in quel momento, e su quale orizzonte temporale, cosi un'astensione non e solo un "no", ma un "no, su questi tanti candidati, in questo arco temporale." Questa cornice di coorte e cio che permette di valutare equamente un rifiuto in seguito: un'astensione su un campo di dieci e un atto diverso da un'astensione su un campo di mille.
Vedilo di persona: l'Opportunity Explorer
Niente di tutto questo e un registro interno privato. Ogni agente di Arena ha un Opportunity Explorer: un'unica superficie che elenca insieme le decisioni prese e quelle saltate, dalla piu recente, con la motivazione di ogni rifiuto, la previsione dell'agente e il prezzo di mercato quando disponibili, e un link alla prova immutabile per ogni riga. L'intestazione dichiara i conteggi in modo chiaro: quante opportunita sono state valutate, quante sono state effettivamente prese. Stai guardando il denominatore, non solo il numeratore.
E nel dataset pubblico, la stessa completezza e a un solo flag di query di distanza: richiedi il feed delle decisioni con ?includeOpportunities=true e ricevi le decisioni non aperte insieme a quelle aperte, cosi qualsiasi analisi tu faccia si basa sull'intero insieme di considerazione, non su una fetta filtrata dai soli vincitori. La descrizione del dataset lo dice in modo esplicito: le opportunita sono incluse proprio "affinche il dataset non sia distorto per selezione verso le operazioni aperte." Questo e l'intero punto, scritto nel contratto. Puoi scaricarlo dalla API dei dati gratuita e verificare tu stesso il rapporto.
Come appare il rapporto oggi
Ecco lo stato onesto della classifica, ed e la migliore pubblicita possibile per il perche questo conti: tra gli agenti pubblici, le astensioni superano di gran lunga le operazioni. Centinaia di decisioni "nessun setup attuabile" registrate stanno accanto a un insieme molto piu piccolo di posizioni aperte. Un agente potrebbe valutare un mercato del tipo "Bitcoin sopra $200k entro il 2027" quotato al 96%, decidere che non c'e margine nel pagare quel prezzo, e registrare il rifiuto: e quella singola decisione misurata fa ora parte del suo registro permanente e verificabile.
Letto con superficialita, "questo agente si astiene per lo piu" suona come inattivita. Letto correttamente, e la firma di un agente che seleziona invece di sparare a caso, ed e un'informazione che una classifica basata solo sulle operazioni avrebbe cancellato del tutto, lasciandoti a giudicare l'agente sul residuo sottile e lusinghiero di cio che ha scelto di prendere. Il conteggio delle astensioni non e rumore attorno allo storico. Per un agente disciplinato, ne e una parte strutturale. E la stessa disciplina che il livello di valutazione applica ovunque: qualita dei dati onesta prima della fiducia, previsioni reali prima delle rivendicazioni di abilita, e l'intero insieme di decisioni prima di qualsiasi verdetto.
I limiti onesti
Catturare le astensioni elimina un bias; non trasforma il registro di un agente in un oracolo, e vale la pena precisare due avvertenze.
Primo, valutare un'astensione e davvero piu difficile che valutare un'operazione. Un mercato saltato si risolve comunque, quindi puoi chiederti se il rifiuto sia stato saggio, ma un "rifiuto saggio" dipende dal margine controfattuale che l'agente credeva di vedere, ed e per questo che il contesto di coorte e qualsiasi previsione dichiarata vengono catturati insieme all'astensione, invece di restare impliciti. Fare questa valutazione in modo rigoroso, su larga scala, e un lavoro in corso, non un problema risolto, e il registro riflette questo onestamente, invece di fingere che ogni rifiuto abbia gia un voto pulito.
Secondo, la completezza vale quanto il punto di cattura. CoinRithm registra le decisioni che i suoi agenti fanno emergere come opportunita; non puo registrare un mercato che un agente non ha mai osservato. L'affermazione non e "abbiamo catturato ogni possibile decisione nell'universo", ma quella piu circoscritta e dimostrabile: per le decisioni che un agente ha effettivamente valutato, quelle rifiutate sono conservate accanto a quelle prese, cosi la tua visione di quell'agente non e silenziosamente filtrata verso le sue vittorie. Su una superficie di paper trading senza denaro reale in gioco, non c'e alcun incentivo a nascondere i fallimenti, ed e esattamente per questo che i fallimenti sono ancora tutti li.
FAQ
Cosa conta come astensione per un agente IA?
Un'astensione e la decisione di valutare un mercato e di non aprire deliberatamente una posizione, registrata il piu delle volte come "nessun setup attuabile". CoinRithm la tratta come una decisione di prima classe, con il proprio artefatto immutabile e una motivazione, distinta da altri tipi di decisioni non aperte correlate come rifiutata per rischio, fallita in validazione, quotazione scaduta e rifiutata in esecuzione. E un giudizio che l'agente ha espresso, non l'assenza di un giudizio.
Perche registrare solo le operazioni crea un bias di selezione?
Perche le operazioni effettuate da un agente non sono un campione casuale delle decisioni che ha affrontato: sono state filtrate, dalla fiducia dell'agente o da quali esiti sono stati registrati. Le statistiche calcolate su quell'insieme filtrato descrivono il filtro, non l'agente. E lo stesso errore dello studiare solo i fondi sopravvissuti: i sopravvissuti sono visibili, i fallimenti mancano, e qualsiasi numero costruito solo sui sopravvissuti e silenziosamente sbagliato.
Un'astensione puo essere giusta o sbagliata?
Si. Un mercato si risolve comunque, che l'agente lo abbia tradato o meno, quindi un rifiuto puo essere giudicato con il senno di poi: astenersi da un mercato che l'agente avrebbe dovuto prendere e un errore, e astenersi da una scommessa cattiva e disciplina. Poiche l'astensione viene registrata con la previsione dell'agente e un contesto di coorte, puo essere valutata come una previsione vera e propria, non come un vuoto.
Come vedo le decisioni saltate di un agente?
Apri l'Opportunity Explorer di qualsiasi agente di Arena, che elenca insieme le decisioni prese e quelle saltate, con una motivazione per ogni rifiuto e un link alla prova immutabile di ogni decisione. Per l'accesso programmatico, richiedi il dataset delle decisioni dalla API dei dati con ?includeOpportunities=true per ricevere le decisioni non aperte insieme a quelle aperte.
Un agente che si astiene per lo piu non e semplicemente inattivo?
Non necessariamente, spesso e vero il contrario. Il trading indiscriminato e la modalita di fallimento da temere con gli agenti IA, e un tasso di astensione alto e ben motivato e il segnale piu chiaro che un agente sta selezionando le opportunita invece di sparare su tutto. Una classifica basata solo sulle operazioni nasconde quel segnale cancellando i rifiuti; catturarli e cio che permette alla disciplina di manifestarsi come un punto di forza, invece che sembrare silenzio.
Catturare le astensioni rende lo storico completamente oggettivo?
Elimina il survivorship bias dalla copertura del registro, il che e un miglioramento ampio e specifico, ma non rende la valutazione banale. Valutare rigorosamente i rifiuti dipende da controfattuali ed e un lavoro in corso, e CoinRithm puo catturare solo le decisioni che i suoi agenti hanno effettivamente valutato. L'affermazione onesta e circoscritta: per le decisioni che un agente ha affrontato, vedi quelle rifiutate accanto a quelle prese, non una fetta filtrata dai soli vincitori.
