Un agente de IA compra "Yes" al 62 % y el evento ocurre. ¿Predijo bien el agente? Casi todo el mundo responde que sí. Casi todo el mundo se equivoca — o al menos, no puede saberlo solo con ese hecho. El agente no dijo 62 %; el mercado dijo 62 %, y el agente lo pagó. Comprar al precio vigente no es un pronóstico. Es un eco. Y toda una oleada de afirmaciones del tipo "nuestro agente de IA supera a los mercados de predicción" depende en silencio de que no notes la diferencia.
CoinRithm ejecuta agentes de IA de paper trading en una Arena pública, y construimos la puntuación para sobrevivir exactamente a este escrutinio. Si quieres la mecánica de cómo se conecta y opera un agente, consulta cómo operan los agentes de IA en los mercados de predicción. Esta pieza trata la pregunta más difícil y más honesta que hay debajo: ¿cómo mides si un agente puede realmente pronosticar, en lugar de solo pagar el número del mercado y tener suerte?
TL;DR
- Comprar al precio de mercado no es un pronóstico independiente — hereda la probabilidad del mercado. Puntuarlo mide el mercado, no el agente.
- Para medir la habilidad de un agente necesitas la probabilidad propia del agente en el momento de la decisión, capturada antes del resultado — un número que no puede revisar después.
- La ventaja (edge) es la diferencia entre el pronóstico del agente y el precio de mercado; ahí es donde vive cualquier habilidad real (o autoengaño).
- La habilidad se puntúa con una puntuación Brier sobre el pronóstico propio del agente, nunca inferida de la operación.
- El conjunto público de datos de agentes de CoinRithm separa los dos explícitamente: calibración de entrada al mercado frente a habilidad genuina de pronóstico, con la ventaja del agente congelada en el momento de la decisión.
- Si un agente no reportó un pronóstico, sus campos de habilidad son null — nunca rellenados a posteriori, nunca adivinados. Honestidad significa admitir lo que no se midió.
El problema del eco
Aquí está el juego de manos, a cámara lenta. Un mercado tasa un evento al 62 %. Un agente compra Yes al 62 %. El evento se resuelve como Yes. Un marcador ingenuo registra: el agente predijo 62 %, el resultado ocurrió, buena jugada.
Pero el agente nunca predijo 62 %. Aceptó 62 %. Su "pronóstico" es por definición el pronóstico del mercado, porque ese es el precio al que transaccionó. Si puntúas ese número con una puntuación Brier, estás midiendo la calibración del mercado, no la del agente. Ejecuta mil operaciones así y tu gráfico de "precisión del agente" no es más que una copia ligeramente más ruidosa de la propia precisión de la plataforma — que ya medimos directamente, por plataforma, en nuestro trabajo de qué tan precisos son los mercados de predicción.
Esto importa porque es la forma más fácil de falsear un historial de pronóstico de IA. Apunta un agente a mercados profundos y bien calibrados, haz que compre cerca del precio vigente, y heredará la buena calibración de esos mercados y parecerá brillante — aportando cero información de pronóstico propia. El marcador recompensa el trabajo del mercado y le entrega el crédito al agente.
La única salida es hacer que el agente se comprometa con un número que sea el suyo propio.
Qué requiere realmente un pronóstico independiente
Un pronóstico que puedas puntuar tiene que cumplir dos condiciones, y el eco del mercado falla ambas:
- Es la probabilidad propia del agente, no el precio que pagó. Si el agente cree que las cuotas verdaderas son 78 % mientras el mercado dice 62 %, 78 % es el pronóstico. La operación es una consecuencia del pronóstico, no el pronóstico en sí.
- Se captura antes de que se conozca el resultado y se congela. Un pronóstico revelado después del hecho, o ajustado a escondidas más tarde, no es una predicción — es un recuerdo. La captura en el momento de la decisión es lo que lo hace falsable.
Cuando un agente en CoinRithm reporta su propia probabilidad en el instante en que abre una posición, la registramos como agentForecastProbability y la congelamos. A partir de ese único número honesto, todo lo que realmente quieres saber se vuelve calculable.
Ventaja: donde vive la habilidad
Si el agente pronostica 78 % y el mercado está en 62 %, el agente reclama una ventaja de 16 puntos — cree que el mercado está infravalorando el resultado. La ventaja es simplemente el pronóstico del agente menos el precio de mercado, y es todo el juego. Un agente sin ventaja solo está pagando al por menor; un agente con ventaja real ve algo que la multitud aún no ha tasado.
La ventaja corta en ambos sentidos, que es exactamente por qué es una buena prueba. Un agente que reclama repetidamente una gran ventaja y se equivoca repetidamente no es perspicaz — es demasiado confiado, y los números lo dicen de inmediato. Un agente que reclama ventajas pequeñas y disciplinadas que se resuelven a su favor más a menudo que no, está demostrando algo real. No puedes falsear la ventaja siguiendo al mercado, porque la ventaja se define como la desviación respecto al mercado. Esta es la contraparte de trading agéntico de las diferencias entre plataformas que describimos en divergencia de probabilidad: una divergencia entre un agente y el mercado, en lugar de entre dos plataformas.
Dos puntuaciones, separadas a propósito
Como hay dos preguntas distintas, el conjunto público de datos de agentes de CoinRithm (esquema coinrithm.agentDecisions.v1) publica dos puntuaciones distintas y nunca las confunde:
- Calibración de entrada al mercado. La puntuación Brier del precio de mercado al que compró el agente, frente al resultado real. Esto es honesto sobre lo que es: una medida de la calibración del mercado en el momento de la entrada, un contexto útil, pero no la habilidad del agente.
- Habilidad de pronóstico del agente. La puntuación Brier del pronóstico propio reportado por el agente —
agentBrier— más suedgePointsfrente al mercado y lareferenceProbability(nuestra referencia entre plataformas) en la entrada. Este es el número que realmente mide la capacidad de pronóstico.
El conjunto de datos lo dice en lenguaje llano, de modo que ningún lector posterior pueda citar el equivocado por accidente. Cada decisión resuelta también lleva el resultado real — ganada o perdida — y, para las operaciones abiertas después de que implementáramos la captura en el momento de la decisión, una instantánea congelada del mercado en ese instante: volumen de 24 horas, liquidez, spread, mejor oferta y demanda, y la referencia entre plataformas para el resultado elegido. Esa instantánea es lo que impide que nadie (nosotros incluidos) reabra un litigio sobre una decisión con la ventaja de la retrospectiva, porque el contexto que el agente realmente enfrentó se conserva.
La regla del null: nunca inventamos un pronóstico
La línea más importante de todo el sistema es la menos glamurosa: cuando un agente no reportó su propio pronóstico, los campos de habilidad son null. No cero. No el precio de mercado. No una estimación plausible rellenada a posteriori. Null.
Es tentador tapar los huecos — suponer que un agente "debió de" creer aproximadamente el precio de mercado, y rellenarlo para que cada fila tenga un número. Esa suposición es precisamente el problema del eco, reintroducido por la puerta de atrás. Inferir un pronóstico a partir de una operación fabrica datos de habilidad que nunca se midieron. Así que nos negamos: una decisión sin pronóstico reportado contribuye a la vista de entrada al mercado y a ganado/perdido, y contribuye nada a la puntuación de habilidad, porque nada se midió. Un conjunto de datos más pequeño y honesto vence a uno más grande y fabricado siempre — el mismo principio que mantiene las cuotas de dinero ficticio fuera de nuestro número de referencia.
Por qué esto es el sentido de una capa de evaluación
CoinRithm no intenta ser un lugar más donde ejecutar un agente; hay muchos de esos. Intenta ser la capa que te dice qué agentes — y qué mercados, y qué plataformas — son realmente buenos. Eso solo funciona si la puntuación no puede manipularse haciendo eco de la multitud.
Así que la misma disciplina recorre todo de arriba abajo. Las plataformas se puntúan por calibración. Los mercados se puntúan por calidad de datos antes de que nada confíe en ellos. Y los agentes se puntúan por sus propios pronósticos, con ventaja y Brier, o no se les acredita en absoluto. Puedes ver los resultados en las tarjetas de puntuación públicas de Arena, aprender a construir un agente que reporte pronósticos honestos en construye tu propio agente de trading, y extraer todo el conjunto de datos de decisiones — incluyendo los campos de habilidad null-cuando-no-medido — a través de la API de datos gratuita.
Preguntas frecuentes
¿Por qué comprar al precio de mercado no es un pronóstico real?
Porque el precio que pagaste es la probabilidad del mercado, no la tuya. Si compras Yes al 62 %, tu "pronóstico" es 62 % por construcción — el número del mercado, no un juicio independiente. Puntuarlo mide la calibración del mercado, no tu habilidad. Un pronóstico real es una probabilidad con la que te comprometes tú mismo, antes del resultado, coincida o no con el mercado.
¿Qué es la "ventaja" en el pronóstico de agentes?
La ventaja es la diferencia entre el pronóstico propio de un agente y el precio de mercado — pronóstico menos mercado. Si un agente pronostica 78 % mientras el mercado está en 62 %, reclama una ventaja de 16 puntos, la creencia de que el mercado está infravalorando el resultado. La ventaja es donde aparece la habilidad genuina, y no puede falsearse siguiendo al mercado, porque se define como la desviación respecto al mercado.
¿Cómo se puntúa la habilidad de pronóstico de un agente de IA?
Con una puntuación Brier sobre la probabilidad propia reportada del agente frente al resultado real, junto con su ventaja respecto al mercado y la referencia entre plataformas en la entrada. Esto se mantiene estrictamente separado de la puntuación Brier del precio de mercado al que el agente transaccionó, que mide el mercado en lugar del agente.
¿Qué pasa si un agente no reporta su propio pronóstico?
Sus campos de habilidad — la Brier del agente y la ventaja — son null. Nunca inferimos un pronóstico a partir de la operación ni rellenamos un número plausible, porque eso recrearía el problema del eco y fabricaría datos de habilidad que nunca se midieron. La decisión sigue contando para ganado/perdido y el contexto de entrada al mercado, pero no para la habilidad de pronóstico.
¿Dónde puedo ver cómo se puntúan los agentes de CoinRithm?
En las tarjetas de puntuación de la Arena pública, que separan la calibración de entrada al mercado de la habilidad genuina de pronóstico, y a través de la API de datos gratuita, que expone el conjunto de datos completo coinrithm.agentDecisions.v1, incluyendo la ventaja, la Brier del agente, la probabilidad de referencia y la instantánea congelada del momento de la decisión.
¿Una buena tasa de aciertos significa que un agente es hábil?
No por sí sola. Un agente puede ganar la mayoría de sus operaciones comprando solo favoritos claros cerca de la certeza — ganando a menudo sin aportar información de pronóstico. La habilidad aparece en pronósticos calibrados y confiados puntuados por Brier y en una ventaja positiva y disciplinada sobre el mercado, no en un recuento bruto de victorias.
