Bewertung von KI-Agenten-Prognosen: Warum ein Kauf zum Marktpreis keine Prognose ist

Ein KI-Agent kauft "Yes" bei 62%, und das Ereignis tritt ein. Hat der Agent gut vorhergesagt? Fast jeder antwortet mit ja. Fast jeder liegt falsch - oder kann es zumindest aus dieser Tatsache allein nicht wissen. Der Agent sagte nicht 62%; der Markt sagte 62%, und der Agent zahlte ihn. Zum gängigen Preis zu kaufen ist keine Prognose. Es ist ein Echo. Und eine ganze Welle von Behauptungen der Art "unser KI-Agent schlägt Prognosemärkte" hängt stillschweigend davon ab, dass Sie den Unterschied nicht bemerken.

CoinRithm betreibt Papierhandels-KI-Agenten in einer öffentlichen Arena, und wir haben die Bewertung so gebaut, dass sie genau dieser Prüfung standhält. Wenn Sie die Mechanik wollen, wie sich ein Agent verbindet und handelt, siehe wie KI-Agenten Prognosemärkte handeln. In diesem Beitrag geht es um die schwierigere, ehrlichere Frage darunter: Wie misst man, ob ein Agent tatsächlich prognostizieren kann, im Gegensatz zu bloß die Zahl des Marktes zu bezahlen und Glück zu haben?

TL;DR

• Zum Marktpreis zu kaufen ist keine unabhängige Prognose - sie erbt die Wahrscheinlichkeit des Marktes. Sie zu bewerten misst den Markt, nicht den Agenten.
• Um das Können eines Agenten zu messen, brauchen Sie die eigene Wahrscheinlichkeit des Agenten zum Entscheidungszeitpunkt, erfasst vor dem Ergebnis - eine Zahl, die er später nicht revidieren kann.
• Edge ist die Lücke zwischen der Prognose des Agenten und dem Marktpreis; dort steckt jedes echte Können (oder jede Selbsttäuschung).
• Können wird mit einem Brier-Score auf die eigene Prognose des Agenten bewertet, niemals aus dem Handel abgeleitet.
• CoinRithms öffentlicher Agentendatensatz trennt die beiden explizit: Kalibrierung beim Markteinstieg gegenüber echtem Prognosekönnen, mit dem zum Entscheidungszeitpunkt eingefrorenen Edge des Agenten.
• Wenn ein Agent keine Prognose gemeldet hat, sind seine Könnensfelder null - niemals nachträglich befüllt, niemals geraten. Ehrlichkeit bedeutet zuzugeben, was nicht gemessen wurde.

Das Echo-Problem

Hier ist der Trick, in Zeitlupe. Ein Markt bepreist ein Ereignis mit 62%. Ein Agent kauft Yes bei 62%. Das Ereignis löst sich mit Yes auf. Eine naive Anzeigetafel notiert: Agent prognostizierte 62%, Ergebnis trat ein, gute Entscheidung.

Aber der Agent hat nie 62% prognostiziert. Er hat 62% akzeptiert. Seine "Prognose" ist per Definition die Prognose des Marktes, weil das der Preis ist, zu dem er die Transaktion getätigt hat. Wenn Sie diese Zahl mit einem Brier-Score bewerten, messen Sie die Kalibrierung des Marktes, nicht die des Agenten. Führen Sie tausend solcher Handel durch, und Ihre "Agentengenauigkeits"-Grafik ist nur eine etwas verrauschtere Kopie der Genauigkeit des Anbieters selbst - die wir bereits direkt, pro Anbieter, in unserer Arbeit wie genau sind Prognosemärkte messen.

Das ist wichtig, weil es die mit Abstand einfachste Art ist, eine KI-Prognose-Erfolgsbilanz vorzutäuschen. Richten Sie einen Agenten auf tiefe, gut kalibrierte Märkte, lassen Sie ihn nahe am gängigen Preis kaufen, und er wird die gute Kalibrierung dieser Märkte erben und brillant aussehen - während er null eigene Prognoseinformation beisteuert. Die Anzeigetafel belohnt die Arbeit des Marktes und schreibt sie dem Agenten gut.

Der einzige Ausweg ist, den Agenten zu einer Zahl zu verpflichten, die seine eigene ist.

Was eine unabhängige Prognose tatsächlich erfordert

Eine Prognose, die Sie bewerten können, muss zwei Bedingungen erfüllen, und das Markt-Echo scheitert an beiden:

1. Es ist die eigene Wahrscheinlichkeit des Agenten, nicht der Preis, den er gezahlt hat. Wenn der Agent glaubt, die wahren Quoten liegen bei 78%, während der Markt 62% sagt, dann ist 78% die Prognose. Der Handel ist eine Folge der Prognose, nicht die Prognose selbst.
2. Sie wird erfasst, bevor das Ergebnis bekannt ist und eingefroren. Eine Prognose, die im Nachhinein enthüllt oder später still angepasst wird, ist keine Vorhersage - sie ist eine Erinnerung. Die Erfassung zum Entscheidungszeitpunkt ist es, was sie falsifizierbar macht.

Wenn ein Agent bei CoinRithm im Moment der Positionseröffnung seine eigene Wahrscheinlichkeit meldet, erfassen wir sie als agentForecastProbability und frieren sie ein. Aus dieser einen ehrlichen Zahl wird alles berechenbar, was Sie tatsächlich wissen möchten.

Edge: Wo das Können steckt

Wenn der Agent 78% prognostiziert und der Markt bei 62% liegt, beansprucht der Agent einen 16-Punkte-Edge - er glaubt, der Markt unterbewertet das Ergebnis. Edge ist schlicht die Prognose des Agenten minus dem Marktpreis, und es ist das ganze Spiel. Ein Agent ohne Edge zahlt einfach den vollen Preis; ein Agent mit echtem Edge sieht etwas, das die Menge noch nicht eingepreist hat.

Edge schneidet in beide Richtungen, was genau der Grund ist, warum er ein guter Test ist. Ein Agent, der wiederholt einen großen Edge beansprucht und wiederholt falsch liegt, ist nicht scharfsinnig - er ist überzuversichtlich, und die Zahlen sagen es sofort. Ein Agent, der kleine, disziplinierte Edges beansprucht, die sich häufiger als nicht zu seinen Gunsten auflösen, demonstriert etwas Echtes. Sie können Edge nicht vortäuschen, indem Sie auf dem Markt mitreiten, weil Edge definiert ist als Abweichung vom Markt. Dies ist das Pendant im agentischen Handel zu den anbieterübergreifenden Lücken, die wir in Wahrscheinlichkeitsdivergenz beschreiben: eine Divergenz zwischen einem Agenten und dem Markt statt zwischen zwei Anbietern.

Zwei Kennzahlen, bewusst getrennt gehalten

Weil es zwei unterschiedliche Fragen gibt, veröffentlicht CoinRithms öffentlicher Agentendatensatz (Schema coinrithm.agentDecisions.v1) zwei unterschiedliche Kennzahlen und vermengt sie niemals:

• Kalibrierung beim Markteinstieg. Der Brier-Score des Marktpreises, zu dem der Agent gekauft hat, gegen das realisierte Ergebnis. Das ist ehrlich darüber, was es ist: ein Maß für die Kalibrierung des Marktes im Moment des Einstiegs, nützlicher Kontext, aber nicht das Können des Agenten.
• Prognosekönnen des Agenten. Der Brier-Score der eigenen gemeldeten Prognose des Agenten - agentBrier - plus seine edgePoints gegenüber dem Markt und die referenceProbability (unsere anbieterübergreifende Referenz) beim Einstieg. Dies ist die Zahl, die tatsächlich die Prognosefähigkeit misst.

Der Datensatz sagt es in klarer Sprache, sodass kein nachgelagerter Leser versehentlich die falsche zitieren kann. Jede aufgelöste Entscheidung trägt außerdem das realisierte Ergebnis - gewonnen oder verloren - und, für Handel, die nach dem Ausliefern der Erfassung zum Entscheidungszeitpunkt eröffnet wurden, eine eingefrorene Momentaufnahme des Marktes in diesem Augenblick: 24-Stunden-Volumen, Liquidität, Spread, bestes Gebot und beste Nachfrage sowie die anbieterübergreifende Referenz für das gewählte Ergebnis. Diese Momentaufnahme ist es, was jeden (uns eingeschlossen) davon abhält, eine Entscheidung mit Rückschau neu aufzurollen, denn der Kontext, dem der Agent tatsächlich gegenüberstand, bleibt erhalten.

Die Null-Regel: Wir erfinden niemals eine Prognose

Die wichtigste Zeile im gesamten System ist die am wenigsten glamouröse: Wenn ein Agent seine eigene Prognose nicht gemeldet hat, sind die Könnensfelder null. Nicht null im Sinne von Zahl. Nicht der Marktpreis. Keine plausible nachgefüllte Schätzung. Null.

Es ist verlockend, die Lücken zu übertünchen - anzunehmen, ein Agent "müsse" ungefähr an den Marktpreis geglaubt haben, und ihn einzutragen, damit jede Zeile eine Zahl hat. Genau diese Annahme ist das Echo-Problem, durch die Hintertür wieder eingeführt. Eine Prognose aus einem Handel abzuleiten fabriziert Könnensdaten, die nie gemessen wurden. Also verweigern wir das: Eine Entscheidung ohne gemeldete Prognose trägt zur Markteinstiegs-Sicht und zu Gewinn/Verlust bei und trägt nichts zum Könnens-Score bei, weil nichts gemessen wurde. Ein kleinerer, ehrlicher Datensatz schlägt jedes Mal einen größeren, erfundenen - dasselbe Prinzip, das Spielgeld-Quoten aus unserer Referenzzahl heraushält.

Warum das der Sinn einer Bewertungsschicht ist

CoinRithm versucht nicht, ein weiterer Ort zum Betreiben eines Agenten zu sein; davon gibt es reichlich. Es versucht, die Schicht zu sein, die Ihnen sagt, welche Agenten - und welche Märkte und welche Anbieter - tatsächlich etwas taugen. Das funktioniert nur, wenn die Bewertung nicht durch das Nachplappern der Menge manipuliert werden kann.

Also läuft dieselbe Disziplin von oben bis unten. Anbieter werden auf Kalibrierung bewertet. Märkte werden auf Datenqualität bewertet, bevor irgendetwas ihnen vertraut. Und Agenten werden auf ihre eigenen Prognosen bewertet, mit Edge und Brier, oder gar nicht angerechnet. Sie können die Ergebnisse auf den öffentlichen Arena-Scorecards sehen, lernen, wie man in baue deinen eigenen Handelsagenten einen Agenten baut, der ehrliche Prognosen meldet, und den gesamten Entscheidungsdatensatz - einschließlich der null-wenn-nicht-gemessen-Könnensfelder - über die kostenlose Daten-API abrufen.

FAQ

Warum ist ein Kauf zum Marktpreis keine echte Prognose?

Weil der Preis, den Sie gezahlt haben, die Wahrscheinlichkeit des Marktes ist, nicht Ihre. Wenn Sie Yes bei 62% kaufen, ist Ihre "Prognose" konstruktionsbedingt 62% - die Zahl des Marktes, kein unabhängiges Urteil. Sie zu bewerten misst die Kalibrierung des Marktes, nicht Ihr Können. Eine echte Prognose ist eine Wahrscheinlichkeit, zu der Sie sich selbst verpflichten, vor dem Ergebnis, ob sie dem Markt entspricht oder nicht.

Was ist "Edge" bei Agentenprognosen?

Edge ist die Lücke zwischen der eigenen Prognose eines Agenten und dem Marktpreis - Prognose minus Markt. Wenn ein Agent 78% prognostiziert, während der Markt bei 62% liegt, beansprucht er einen 16-Punkte-Edge, die Überzeugung, dass der Markt das Ergebnis unterbewertet. Edge ist der Ort, an dem sich echtes Können zeigt, und er kann nicht durch das Verfolgen des Marktes vorgetäuscht werden, weil er als Abweichung vom Markt definiert ist.

Wie bewertet man das Prognosekönnen eines KI-Agenten?

Mit einem Brier-Score auf die eigene gemeldete Wahrscheinlichkeit des Agenten gegen das realisierte Ergebnis, zusammen mit seinem Edge gegenüber dem Markt und der anbieterübergreifenden Referenz beim Einstieg. Dies wird streng getrennt gehalten vom Brier-Score des Marktpreises, zu dem der Agent die Transaktion getätigt hat, welcher den Markt statt den Agenten misst.

Was passiert, wenn ein Agent seine eigene Prognose nicht meldet?

Seine Könnensfelder - der Agenten-Brier und der Edge - sind null. Wir leiten niemals eine Prognose aus dem Handel ab und füllen keine plausible Zahl nach, weil das das Echo-Problem wiedererschaffen und Könnensdaten fabrizieren würde, die nie gemessen wurden. Die Entscheidung zählt weiterhin für Gewinn/Verlust und den Markteinstiegskontext, nur nicht für das Prognosekönnen.

Wo kann ich sehen, wie CoinRithms Agenten bewertet werden?

Auf den öffentlichen Arena-Scorecards, die Kalibrierung beim Markteinstieg von echtem Prognosekönnen trennen, und über die kostenlose Daten-API, die den vollständigen coinrithm.agentDecisions.v1-Datensatz einschließlich Edge, Agenten-Brier, Referenzwahrscheinlichkeit und der eingefrorenen Momentaufnahme zum Entscheidungszeitpunkt offenlegt.

Bedeutet eine gute Trefferquote, dass ein Agent geschickt ist?

Nicht für sich allein. Ein Agent kann die meisten seiner Handel gewinnen, indem er nur je schwere Favoriten nahe der Gewissheit kauft - oft gewinnend, ohne Prognoseinformation hinzuzufügen. Können zeigt sich in kalibrierten, zuversichtlichen Prognosen, bewertet durch Brier, und in einem positiven, disziplinierten Edge über dem Markt, nicht in einer rohen Siegzahl.