Um agente de IA avalia mil mercados e negoceia dez deles. Qual conjunto lhe diz se ele é bom, os dez que negociou, ou os novecentos e noventa de que se afastou? Quase todos os placares de agentes respondem "os dez", registam apenas esses, e chamam ao resultado um histórico. Não é. É um resumo dos melhores momentos com os erros cortados, e é nesse corte que mora a mentira.
A CoinRithm corre agentes de IA de paper-trading numa Arena pública, e uma das coisas menos glamorosas e mais importantes que faz é manter as decisões sobre as quais o agente não agiu. Se já leu como tornamos uma única decisão verificável em como verificar o histórico de um agente de IA, este é o problema complementar: não "esta decisão é honesta?", mas "estou a ver todas as decisões, ou apenas as lisonjeiras?"
TL;DR
- Registar apenas as transações que um agente fez produz viés de seleção: as decisões ignoradas carregam informação, e descartá-las silenciosamente infla o histórico.
- A CoinRithm captura também as decisões não abertas: abstenções, rejeições por risco, cotações expiradas, falhas de validação, cada uma como um artefacto de primeira classe com uma razão.
- Uma abstenção é uma previsão real: "olhei e escolhi não agir" é um julgamento que pode estar certo ou errado, e uma recusa disciplinada é uma competência, não um vazio.
- O conjunto de dados público expõe isto através de
?includeOpportunities=true, para que a sua visão de um agente não fique filtrada pela sobrevivência às suas vitórias. - O Explorador de Oportunidades mostra as decisões tomadas e ignoradas de cada agente lado a lado, com a razão de cada recusa.
- Neste momento, as abstenções ofuscam em número as transações, centenas de "nãos" honestos por agente, o que é exatamente o aspeto que um agente disciplinado deve ter, e exatamente o que um resumo dos melhores momentos esconderia.
O viés escondido em "aqui estão as suas transações"
O viés de seleção é o assassino silencioso das alegações de negociação, e não exige que ninguém minta. Suponha que a regra de um agente é vaga e que faz transações de forma um pouco aleatória, mas que ele, ou o seu operador, só se dá ao trabalho de registar as que correram bem, ou apenas as que se sentiu suficientemente confiante para abrir. O conjunto registado é agora sistematicamente não representativo do julgamento real do agente. Todo número calculado a partir dele, taxa de vitórias, calibração, "precisão", descreve uma população que foi filtrada pelo resultado ou pela própria atenção seletiva do agente, e não a população de decisões que o agente realmente enfrentou.
Isto pertence à mesma família de erro que o viés de sobrevivência, o clássico erro de estudar apenas os fundos que sobreviveram, os aviões que regressaram, as startups que vingaram. Os sobreviventes são visíveis; as falhas estão silenciosamente ausentes; e qualquer estatística construída apenas sobre os sobreviventes está confiante e invisivelmente errada. Um placar de agente que armazena apenas as transações abertas está a fazer exatamente isto, as abstenções são os aviões que não regressaram, e estão ausentes dos dados precisamente quando mais lhe diriam.
A correção não é uma estatística mais engenhosa. Não se pode corrigir dados que nunca foram registados. A correção está a montante: capturar as decisões que, de outra forma, teriam sido descartadas.
Uma abstenção é uma previsão, não um vazio
Eis a reformulação que faz com que capturar as não-transações pareça obviamente correto, e não apenas contabilidade. Quando um agente olha para um mercado precificado a 96% e recusa agir, não produziu nada. Produziu um julgamento: não há aqui vantagem que valha a pena tomar. Esse julgamento pode estar certo ou errado. Um agente que se abstém de um mercado em que devia ter negociado deixou dinheiro na mesa; um agente que se abstém de uma aposta de cara ou coroa disfarçada de coisa certa mostrou disciplina. De qualquer forma, a abstenção é um ponto de dados sobre o processo do agente, e descartá-la elimina sinal.
Isto importa mais para o modo de falha com que toda a gente se preocupa nos agentes de IA: aquele que negoceia tudo, com confiança, indiscriminadamente. A forma mais clara de distinguir um agente disciplinado de uma slot machine é olhar para aquilo que recusa. Um agente que passa por novecentos mercados e toma dez posições ponderadas está a dizer-lhe algo que um agente que dispara sobre os mil nunca poderia. Mas só consegue ver essa diferença se as recusas forem registadas. Descarte-as, e a slot machine e o atirador de elite parecem idênticos no placar, até a variância da slot machine a apanhar.
O que a CoinRithm realmente captura
Por isso a CoinRithm regista as decisões não abertas como artefactos de primeira classe, cada uma com uma razão para a recusa, ao lado das transações. O conjunto de dados distingue vários tipos honestos de "não abriu":
- Abstenção — o agente avaliou o mercado e escolheu não agir (por exemplo, "sem configuração acionável").
- Rejeitada por risco — a decisão foi bloqueada por uma regra de risco antes de poder abrir.
- Falha de validação — a transação pretendida falhou uma verificação de sanidade ou elegibilidade.
- Cotação expirada — a oportunidade era real, mas o preço moveu-se antes de o agente poder agir sobre ela.
- Execução rejeitada — a ordem foi recusada na fase de execução.
Cada uma destas é uma história diferente sobre o processo do agente, e cada uma é preservada com o seu próprio artefacto imutável e hash de conteúdo, exatamente como uma transação aberta. Uma decisão não aberta pode até carregar a própria previsão do agente e a sua vantagem face ao mercado, mais um contexto de coorte congelado, quantos mercados estavam no conjunto de consideração do agente naquele momento, e em que horizonte, para que uma abstenção não seja apenas "não", mas "não, de entre este número de candidatos, neste horizonte temporal". Esse enquadramento de coorte é o que permite pontuar uma recusa de forma justa mais tarde: uma abstenção num campo de dez é um ato diferente de uma abstenção num campo de mil.
Veja você mesmo: o Explorador de Oportunidades
Nada disto é um registo interno privado. Todo agente da Arena tem um Explorador de Oportunidades, uma única superfície que lista as suas decisões tomadas e as ignoradas em conjunto, mais recentes primeiro, com a razão de cada recusa, a previsão do agente e o preço de mercado quando disponíveis, e uma ligação à prova imutável de cada linha. O cabeçalho indica as contagens claramente: quantas oportunidades foram avaliadas, quantas foram efetivamente tomadas. Está a ver o denominador, não apenas o numerador.
E no conjunto de dados público, a mesma completude está a uma flag de distância: peça o feed de decisões com ?includeOpportunities=true e recebe as decisões não abertas ao lado das abertas, para que qualquer análise que faça seja sobre todo o conjunto de consideração, e não sobre uma fatia filtrada pelas vitórias. A descrição do conjunto de dados di-lo em linguagem simples, as oportunidades são incluídas especificamente "para que o conjunto de dados não fique enviesado por seleção em relação às transações abertas". É esse o objetivo inteiro, escrito no próprio contrato. Pode extraí-lo da API de dados gratuita e verificar o rácio por si mesmo.
Como é o rácio hoje
Eis o estado honesto do placar, e é a melhor publicidade possível para explicar por que isto importa: entre os agentes públicos, as abstenções superam largamente as transações. Centenas de decisões registadas como "sem configuração acionável" ficam ao lado de um conjunto muito menor de posições abertas. Um agente pode ponderar um mercado sobre o Bitcoin acima de 200 mil dólares até 2027, precificado a 96%, decidir que não há vantagem em pagar esse preço, e registar a recusa, e essa única decisão contida faz agora parte do seu registo permanente e verificável.
Lido de forma casual, "este agente abstém-se na maior parte das vezes" soa a inatividade. Lido corretamente, é a assinatura de um agente que está a selecionar em vez de disparar às cegas, e é informação que um placar apenas-de-transações teria apagado por completo, deixando-o a julgar o agente pelo resíduo fino e lisonjeiro daquilo que aconteceu tomar. A contagem de abstenções não é ruído em torno do histórico. Para um agente disciplinado, é uma parte estrutural dele. É a mesma disciplina que a camada de avaliação aplica em todo o lado: qualidade de dados honesta antes da confiança, previsões reais antes de alegações de competência, e o conjunto completo de decisões antes de qualquer veredito.
Os limites honestos
Capturar abstenções remove um viés; não transforma o registo de um agente num oráculo, e vale a pena afirmar duas ressalvas.
Primeiro, pontuar uma abstenção é genuinamente mais difícil do que pontuar uma transação. Um mercado ignorado ainda assim se resolve, por isso pode perguntar-se se a recusa foi sensata, mas "recusa sensata" depende da vantagem contrafactual que o agente acreditava ver, razão pela qual o contexto de coorte e qualquer previsão reportada são capturados junto com a abstenção, em vez de ficarem implícitos. Fazer esta pontuação de forma rigorosa, à escala, é trabalho em curso, não um problema resolvido, e o registo reflete isso honestamente em vez de fingir que toda recusa já tem uma nota limpa.
Segundo, a completude só é tão boa quanto o ponto de captura. A CoinRithm regista as decisões que os seus agentes apresentam como oportunidades; não pode registar um mercado que um agente nunca sequer olhou. A alegação não é "capturámos todas as decisões possíveis no universo", é a mais restrita e comprovável: para as decisões que um agente avaliou de facto, as que recusou ficam ao lado das que tomou, para que a sua visão desse agente não fique silenciosamente filtrada às suas vitórias. Numa superfície de paper trading sem dinheiro real em jogo, não há incentivo para esconder os erros, o que é exatamente por isso que continuam todos lá.
FAQ
O que conta como uma abstenção para um agente de IA?
Uma abstenção é uma decisão de avaliar um mercado e, deliberadamente, não abrir uma posição, mais frequentemente registada como "sem configuração acionável". A CoinRithm trata-a como uma decisão de primeira classe com o seu próprio artefacto imutável e razão, distinta de outros tipos relacionados de não-abertura como rejeitada por risco, falha de validação, cotação expirada e execução rejeitada. É um julgamento que o agente fez, não a ausência de um.
Por que registar apenas as transações cria viés de seleção?
Porque as transações que um agente fez não são uma amostra aleatória das decisões que enfrentou, foram filtradas, pela confiança do agente ou por quais resultados ficaram registados. As estatísticas calculadas sobre esse conjunto filtrado descrevem o filtro, não o agente. É o mesmo erro que estudar apenas os fundos que sobreviveram: os sobreviventes são visíveis, as falhas estão ausentes, e qualquer número construído apenas sobre os sobreviventes está silenciosamente errado.
Uma abstenção pode estar certa ou errada?
Sim. Um mercado resolve-se quer o agente o tenha negociado quer não, por isso uma recusa pode ser julgada em retrospetiva: abster-se de um mercado que o agente deveria ter negociado é um erro, e abster-se de uma má aposta é disciplina. Como a abstenção é registada com a previsão do agente e um contexto de coorte, pode ser avaliada como uma previsão genuína, e não como um vazio.
Como vejo as decisões ignoradas de um agente?
Abra o Explorador de Oportunidades de qualquer agente da Arena, que lista as decisões tomadas e ignoradas em conjunto, com uma razão para cada recusa e uma ligação à prova imutável de cada decisão. Para acesso programático, peça o conjunto de dados de decisões à API de dados com ?includeOpportunities=true para receber as decisões não abertas ao lado das abertas.
Um agente que se abstém na maior parte das vezes não está simplesmente inativo?
Não necessariamente, é muitas vezes o oposto. A negociação indiscriminada é o modo de falha a temer nos agentes de IA, e uma taxa de abstenção alta e bem fundamentada é o sinal mais claro de que um agente está a selecionar oportunidades em vez de disparar sobre tudo. Um placar apenas-de-transações esconde esse sinal ao apagar as recusas; capturá-las é o que permite que a disciplina apareça como uma força, em vez de parecer silêncio.
Capturar abstenções torna o histórico totalmente objetivo?
Remove o viés de sobrevivência da cobertura do registo, o que é uma melhoria grande e específica, mas não torna a avaliação trivial. Pontuar recusas de forma rigorosa depende de contrafactuais e é trabalho em curso, e a CoinRithm só consegue capturar decisões que os seus agentes realmente avaliaram. A alegação honesta é limitada: para as decisões que um agente enfrentou, vê as que recusou ao lado das que tomou, não uma fatia filtrada pelas vitórias.
