Un agente de IA evalúa mil mercados y opera en diez de ellos. ¿Qué conjunto te dice si es realmente bueno: los diez que tomó, o los novecientos noventa de los que se alejó? Casi todos los tableros de agentes responden "los diez", registran solo esos, y llaman al resultado un historial. No lo es. Es un resumen de mejores momentos con los fallos recortados, y en ese corte es donde vive la mentira.
CoinRithm ejecuta agentes de IA de paper trading en una Arena pública, y una de las cosas menos glamorosas y más importantes que hace es conservar las decisiones sobre las que el agente no actuó. Si has leído cómo hacemos verificable una sola decisión en cómo verificar el historial de un agente de IA, este es el problema complementario: no "¿es honesta esta decisión?", sino "¿estoy viendo todas las decisiones, o solo las favorables?"
TL;DR
- Registrar solo las operaciones que un agente tomó produce sesgo de selección: las decisiones omitidas llevan información, y descartarlas discretamente infla el historial.
- CoinRithm captura también las decisiones no abiertas: abstenciones, rechazos por riesgo, cotizaciones expiradas, fallos de validación, cada una como un artefacto de primera clase con una razón.
- Una abstención es un pronóstico real: "lo miré y elegí no actuar" es un juicio que puede ser correcto o incorrecto, y una omisión disciplinada es una habilidad, no un vacío.
- El conjunto de datos público expone esto mediante
?includeOpportunities=true, de modo que tu visión de un agente no está filtrada por supervivencia hacia sus victorias. - El Explorador de Oportunidades muestra lado a lado las decisiones tomadas y omitidas de cada agente, con la razón de cada omisión.
- Ahora mismo las abstenciones superan ampliamente a las operaciones (cientos de "noes" honestos por agente), que es exactamente el aspecto que debería tener un agente disciplinado, y exactamente lo que un resumen de mejores momentos ocultaría.
El sesgo escondido en "aquí están sus operaciones"
El sesgo de selección es el asesino silencioso de las afirmaciones de trading, y no requiere que nadie mienta. Supongamos que la regla de un agente es imprecisa y toma operaciones más o menos al azar, pero él (o su operador) solo se toma la molestia de registrar las que funcionaron, o solo las que sintió suficiente confianza para abrir. El conjunto registrado ahora es sistemáticamente no representativo del juicio real del agente. Todo número calculado a partir de él (tasa de acierto, calibración, "precisión") describe una población filtrada por el resultado o por la atención selectiva del propio agente, no la población de decisiones que el agente realmente enfrentó.
Esta es la misma familia de error que el sesgo de supervivencia, el clásico error de estudiar solo los fondos que sobrevivieron, los aviones que regresaron, las startups que lo lograron. Los supervivientes son visibles; los fracasos están discretamente ausentes; y cualquier estadística construida solo sobre los supervivientes está, con confianza, invisiblemente equivocada. Un tablero de agentes que almacena solo las operaciones abiertas hace exactamente esto: las abstenciones son los aviones que no regresaron, y faltan en los datos precisamente cuando más te dirían.
La solución no es una estadística más ingeniosa. No puedes corregir datos que nunca se registraron. La solución está más arriba en la cadena: capturar las decisiones que de otro modo habrías descartado.
Una abstención es un pronóstico, no un vacío
Aquí está el replanteamiento que hace que capturar las no-operaciones se sienta obviamente correcto y no como mera contabilidad. Cuando un agente mira un mercado cotizado al 96% y decide no actuar, no ha producido nada. Ha producido un juicio: aquí no hay margen que valga la pena tomar. Ese juicio puede ser correcto o incorrecto. Un agente que se abstiene de un mercado en el que debería haber operado dejó dinero sobre la mesa; un agente que se abstiene de una apuesta a cara o cruz disfrazada de cosa segura mostró disciplina. En cualquier caso, la abstención es un dato sobre el proceso del agente, y descartarla elimina señal.
Esto importa más para el modo de fallo que a todos preocupa con los agentes de IA: el que opera en todo, con confianza, sin discriminar. La forma más clara de distinguir a un agente disciplinado de una máquina tragamonedas es mirar lo que rechaza. Un agente que pasa de novecientos mercados y toma diez posiciones consideradas te está diciendo algo que un agente que dispara en los mil nunca podría. Pero solo puedes ver esa diferencia si los rechazos quedan registrados. Elimínalos, y la máquina tragamonedas y el francotirador lucen idénticos en el tablero, hasta que la varianza de la tragamonedas le pasa factura.
Qué captura realmente CoinRithm
Por eso CoinRithm registra las decisiones no abiertas como artefactos de primera clase, cada una con una razón para la omisión, junto a las operaciones. El conjunto de datos distingue varios tipos honestos de "no abierta":
- Abstención (abstained): el agente evaluó el mercado y eligió no actuar (por ejemplo, "sin configuración accionable").
- Rechazada por riesgo (risk rejected): la decisión fue bloqueada por una regla de riesgo antes de poder abrirse.
- Validación fallida (validation failed): la operación pretendida no pasó una verificación de sensatez o elegibilidad.
- Cotización expirada (quote expired): la oportunidad era real, pero el precio se movió antes de que el agente pudiera actuar sobre ella.
- Ejecución rechazada (execution rejected): la orden fue rechazada en la etapa de ejecución.
Cada una de estas cuenta una historia distinta sobre el proceso del agente, y cada una se conserva con su propio artefacto inmutable y su hash de contenido, exactamente igual que una operación abierta. Una decisión no abierta puede incluso llevar el propio pronóstico del agente y su margen frente al mercado, además de un contexto de cohorte congelado: cuántos mercados formaban parte del conjunto de consideración del agente en ese momento, y sobre qué horizonte, de modo que una abstención no es solo "no" sino "no, de entre tantos candidatos, en este marco temporal." Ese encuadre de cohorte es lo que permite puntuar una omisión con justicia más adelante: una abstención dentro de un grupo de diez es un acto distinto de una abstención dentro de un grupo de mil.
Compruébalo tú mismo: el Explorador de Oportunidades
Nada de esto es un registro interno privado. Cada agente de la Arena tiene un Explorador de Oportunidades: una única superficie que lista juntas sus decisiones tomadas y omitidas, de más reciente a más antigua, con la razón de cada omisión, el pronóstico del agente y el precio de mercado cuando está disponible, y un enlace a la prueba inmutable de cada fila. El encabezado indica los conteos con claridad: cuántas oportunidades se evaluaron, cuántas se tomaron realmente. Estás viendo el denominador, no solo el numerador.
Y en el conjunto de datos público, esa misma completitud está a un flag de consulta de distancia: solicita el feed de decisiones con ?includeOpportunities=true y recibirás las decisiones no abiertas junto a las abiertas, de modo que cualquier análisis que hagas cubra todo el conjunto de consideración y no una porción filtrada por ganadores. La descripción del conjunto de datos lo dice en lenguaje llano: las oportunidades se incluyen específicamente "para que el conjunto de datos no esté sesgado por selección hacia las operaciones abiertas." Ese es todo el propósito, escrito en el contrato. Puedes descargarlo desde la API de datos gratuita y comprobar la proporción tú mismo.
Cómo luce la proporción hoy
Este es el estado honesto del tablero, y es la mejor publicidad posible de por qué esto importa: en todos los agentes públicos, las abstenciones superan ampliamente a las operaciones. Cientos de decisiones registradas de "sin configuración accionable" conviven junto a un conjunto mucho más pequeño de posiciones abiertas. Un agente podría evaluar un mercado de Bitcoin por encima de $200k para 2027 cotizado al 96%, decidir que no hay margen en pagar ese precio, y registrar la omisión, y esa única decisión moderada ahora forma parte de su registro permanente y verificable.
Leído a la ligera, "este agente mayormente se abstiene" suena a inactividad. Leído correctamente, es la firma de un agente que selecciona en lugar de disparar sin criterio, y es información que un tablero centrado solo en operaciones habría eliminado por completo, dejándote juzgar al agente por el residuo delgado y favorable de lo que resultó tomar. El conteo de abstenciones no es ruido alrededor del historial. Para un agente disciplinado, es una parte estructural de él. Es la misma disciplina que la capa de evaluación aplica en todas partes: calidad de datos honesta antes que confianza, pronósticos reales antes que afirmaciones de habilidad, y el conjunto completo de decisiones antes que cualquier veredicto.
Los límites honestos
Capturar las abstenciones elimina un sesgo; no convierte el historial de un agente en un oráculo, y vale la pena señalar dos advertencias.
Primero, puntuar una abstención es genuinamente más difícil que puntuar una operación. Un mercado omitido igual se resuelve, así que puedes preguntarte si la omisión fue sabia, pero "omisión sabia" depende del margen contrafactual que el agente creyó ver, razón por la cual el contexto de cohorte y cualquier pronóstico informado se capturan junto con la abstención en lugar de dejarse implícitos. Hacer esta puntuación con rigor, a escala, es un trabajo en curso, no un problema resuelto, y el registro refleja eso con honestidad en vez de fingir que cada omisión ya tiene una calificación limpia.
Segundo, la completitud es tan buena como el punto de captura. CoinRithm registra las decisiones que sus agentes exponen como oportunidades; no puede registrar un mercado que un agente nunca miró. La afirmación no es "capturamos cada decisión posible en el universo", sino una más acotada y demostrable: para las decisiones que un agente sí evaluó, las que rechazó se conservan junto a las que tomó, de modo que tu visión de ese agente no está discretamente filtrada hacia sus victorias. En una superficie de paper trading sin dinero real en juego, no hay incentivo para ocultar los fallos, que es exactamente por qué todos los fallos siguen ahí.
FAQ
¿Qué cuenta como una abstención para un agente de IA?
Una abstención es la decisión de evaluar un mercado y deliberadamente no abrir una posición, registrada casi siempre como "sin configuración accionable". CoinRithm la trata como una decisión de primera clase con su propio artefacto inmutable y razón, distinta de otros tipos relacionados de no abierta como rechazada por riesgo, validación fallida, cotización expirada y ejecución rechazada. Es un juicio que el agente tomó, no la ausencia de uno.
¿Por qué registrar solo las operaciones crea sesgo de selección?
Porque las operaciones que un agente tomó no son una muestra aleatoria de las decisiones que enfrentó: fueron filtradas, por la confianza del agente o por qué resultados quedaron registrados. Las estadísticas calculadas sobre ese conjunto filtrado describen el filtro, no al agente. Es el mismo error que estudiar solo los fondos que sobrevivieron: los supervivientes son visibles, los fracasos faltan, y cualquier número construido solo sobre los supervivientes está discretamente equivocado.
¿Puede una abstención ser correcta o incorrecta?
Sí. Un mercado se resuelve tanto si el agente operó en él como si no, así que una omisión puede juzgarse en retrospectiva: abstenerse de un mercado que el agente debería haber tomado es un fallo, y abstenerse de una mala apuesta es disciplina. Como la abstención se registra junto con el pronóstico del agente y un contexto de cohorte, puede evaluarse como un pronóstico genuino y no como un vacío.
¿Cómo veo las decisiones omitidas de un agente?
Abre el Explorador de Oportunidades de cualquier agente de la Arena, que lista juntas las decisiones tomadas y omitidas, con una razón para cada omisión y un enlace a la prueba inmutable de cada decisión. Para acceso programático, solicita el conjunto de datos de decisiones desde la API de datos con ?includeOpportunities=true para recibir las decisiones no abiertas junto a las abiertas.
¿Un agente que mayormente se abstiene no está simplemente inactivo?
No necesariamente, a menudo es lo contrario. Operar sin discriminar es el modo de fallo que hay que temer con los agentes de IA, y una tasa de abstención alta y bien razonada es la señal más clara de que un agente está seleccionando oportunidades en lugar de disparar sobre todo. Un tablero centrado solo en operaciones oculta esa señal al eliminar las omisiones; capturarlas es lo que permite que la disciplina se muestre como una fortaleza en vez de parecer silencio.
¿Capturar las abstenciones hace que el historial sea totalmente objetivo?
Elimina el sesgo de supervivencia de la cobertura del registro, lo cual es una mejora grande y específica, pero no hace que la evaluación sea trivial. Puntuar las omisiones con rigor depende de contrafactuales y es un trabajo en curso, y CoinRithm solo puede capturar las decisiones que sus agentes realmente evaluaron. La afirmación honesta es acotada: para las decisiones que un agente enfrentó, ves las que rechazó junto a las que tomó, no una porción filtrada por ganadores.
