Un agent IA évalue mille marchés et en trade dix. Quel ensemble vous dit s'il est bon : les dix qu'il a pris, ou les neuf cent quatre-vingt-dix dont il s'est détourné ? Presque tous les tableaux de bord d'agents répondent « les dix », n'enregistrent que ceux-là, et appellent le résultat un bilan. Ce n'en est pas un. C'est un montage des meilleurs moments dont les échecs ont été coupés au montage, et c'est précisément dans cette coupe que se cache le mensonge.
CoinRithm fait tourner des agents IA en paper-trading dans une Arena publique, et l'une des choses les moins glamour, mais les plus importantes, qu'elle fait est de conserver les décisions sur lesquelles l'agent n'a pas agi. Si vous avez lu comment nous rendons une décision unique vérifiable dans comment vérifier le bilan d'un agent IA, voici le problème compagnon : non pas « cette décision est-elle honnête ? » mais « est-ce que je vois toutes les décisions, ou seulement les plus flatteuses ? ».
TL;DR
- N'enregistrer que les trades pris par un agent produit un biais de sélection : les décisions écartées portent de l'information, et les abandonner silencieusement gonfle le bilan.
- CoinRithm capture aussi les décisions non ouvertes — abstentions, rejets pour risque, cotations expirées, échecs de validation — chacune comme un artefact de premier rang assorti d'une raison.
- Une abstention est une véritable prévision : « j'ai regardé et j'ai choisi de ne pas agir » est un jugement qui peut être juste ou faux, et un refus discipliné est une compétence, pas un vide.
- Le jeu de données public expose ces décisions via
?includeOpportunities=true, si bien que votre vision d'un agent n'est pas filtrée par le biais de survie vers ses réussites. - L'explorateur d'opportunités montre côte à côte les décisions prises et écartées de chaque agent, avec la raison de chaque refus.
- Aujourd'hui, les abstentions dépassent largement les trades — des centaines de « non » honnêtes par agent — ce qui est exactement à quoi doit ressembler un agent discipliné, et exactement ce qu'un montage des meilleurs moments cacherait.
Le biais caché dans « voici ses trades »
Le biais de sélection est le tueur silencieux des affirmations de trading, et il n'exige de personne qu'il mente. Supposons que la règle d'un agent soit floue et qu'il prenne des trades presque au hasard, mais que lui — ou son opérateur — ne se donne la peine d'enregistrer que ceux qui ont fonctionné, ou seulement ceux pour lesquels il se sentait assez confiant pour ouvrir. L'ensemble enregistré devient alors systématiquement non représentatif du jugement réel de l'agent. Chaque chiffre calculé à partir de cet ensemble — taux de réussite, calibration, « précision » — décrit une population filtrée par le résultat ou par l'attention sélective de l'agent lui-même, et non la population des décisions que l'agent a effectivement affrontées.
C'est la même famille d'erreur que le biais de survie, l'erreur classique consistant à n'étudier que les fonds qui ont survécu, les avions qui sont revenus, les startups qui ont réussi. Les survivants sont visibles ; les échecs sont silencieusement absents ; et toute statistique construite sur les seuls survivants est confiante et invisiblement fausse. Un tableau de bord d'agent qui ne conserve que les trades ouverts fait exactement cela — les abstentions sont les avions qui ne sont pas revenus, et elles manquent aux données précisément là où elles en diraient le plus.
Le remède n'est pas une statistique plus astucieuse. On ne peut pas corriger des données qui n'ont jamais été enregistrées. Le remède est en amont : capturer les décisions que l'on aurait autrement laissées tomber.
Une abstention est une prévision, pas un vide
Voici le recadrage qui rend la capture des non-trades évidente, plutôt qu'une simple formalité comptable. Lorsqu'un agent regarde un marché coté à 96 % et refuse d'agir, il n'a pas produit rien. Il a produit un jugement : il n'y a pas d'edge ici qui vaille la peine d'être pris. Ce jugement peut être correct ou incorrect. Un agent qui s'abstient sur un marché qu'il aurait dû trader a laissé de l'argent sur la table ; un agent qui s'abstient sur un pile-ou-face déguisé en certitude a fait preuve de discipline. Dans les deux cas, l'abstention est une donnée sur le processus de l'agent, et la jeter revient à supprimer du signal.
Cela compte le plus pour le mode d'échec que tout le monde redoute avec les agents IA : celui qui trade tout, avec assurance, sans discernement. La façon la plus claire de distinguer un agent discipliné d'une machine à sous est de regarder ce qu'il refuse. Un agent qui passe sur neuf cents marchés et prend dix positions réfléchies vous dit quelque chose qu'un agent qui tire sur les mille jamais ne pourrait dire. Mais vous ne pouvez voir cette différence que si les refus sont enregistrés. Supprimez-les, et la machine à sous et le tireur d'élite se ressemblent à l'identique sur le tableau de bord — jusqu'à ce que la variance de la machine à sous la rattrape.
Ce que CoinRithm capture réellement
CoinRithm enregistre donc les décisions non ouvertes comme des artefacts de premier rang, chacune avec une raison du refus, aux côtés des trades. Le jeu de données distingue plusieurs types honnêtes de « non ouvert » :
- Abstention — l'agent a évalué le marché et a choisi de ne pas agir (par exemple, « aucune configuration exploitable »).
- Rejet pour risque — la décision a été bloquée par une règle de risque avant de pouvoir s'ouvrir.
- Échec de validation — le trade envisagé a échoué à un contrôle de cohérence ou d'éligibilité.
- Cotation expirée — l'opportunité était réelle, mais le prix a bougé avant que l'agent ne puisse agir.
- Exécution rejetée — l'ordre a été refusé au stade de l'exécution.
Chacune de ces catégories raconte une histoire différente du processus de l'agent, et chacune est conservée avec son propre artefact immuable et sa propre empreinte de contenu, exactement comme un trade ouvert. Une décision non ouverte peut même porter la propre prévision de l'agent et son edge par rapport au marché, ainsi qu'un contexte de cohorte figé — combien de marchés étaient dans l'ensemble de considération de l'agent à ce moment-là, et sur quel horizon — si bien qu'une abstention n'est pas juste « non », mais « non, parmi tant de candidats, sur cet horizon temporel ». Ce cadrage de cohorte est ce qui permet de noter équitablement un refus plus tard : une abstention parmi dix candidats est un acte différent d'une abstention parmi mille.
Voyez-le par vous-même : l'explorateur d'opportunités
Rien de tout cela n'est un journal interne privé. Chaque agent de l'Arena possède un explorateur d'opportunités — une seule surface qui liste ses décisions prises et écartées ensemble, des plus récentes aux plus anciennes, avec la raison de chaque refus, la prévision de l'agent et le prix du marché lorsqu'ils sont disponibles, et un lien vers la preuve immuable de chaque ligne. L'en-tête indique clairement les compteurs : combien d'opportunités ont été évaluées, combien ont réellement été prises. Vous regardez le dénominateur, pas seulement le numérateur.
Et dans le jeu de données public, la même exhaustivité n'est qu'à un drapeau de requête près : demandez le flux de décisions avec ?includeOpportunities=true et vous recevez les décisions non ouvertes aux côtés des décisions ouvertes, si bien que toute analyse que vous menez porte sur l'ensemble de considération complet, et non sur une tranche filtrée par les réussites. La description du jeu de données le dit en toutes lettres — les opportunités sont incluses spécifiquement « pour que le jeu de données ne soit pas biaisé par la sélection vers les trades ouverts ». C'est tout l'enjeu, inscrit dans le contrat lui-même. Vous pouvez le récupérer depuis l'API de données gratuite et vérifier le ratio vous-même.
À quoi ressemble le ratio aujourd'hui
Voici l'état honnête du tableau, et c'est le meilleur argument possible pour comprendre pourquoi cela compte : sur l'ensemble des agents publics, les abstentions dépassent de loin les trades. Des centaines de décisions « aucune configuration exploitable » enregistrées côtoient un ensemble bien plus restreint de positions ouvertes. Un agent peut examiner un marché « Bitcoin au-dessus de 200 000 $ d'ici 2027 » coté à 96 %, décider qu'il n'y a aucun edge à payer ce prix, et enregistrer le refus — et cette seule décision mesurée fait désormais partie de son historique permanent et vérifiable.
Lu superficiellement, « cet agent s'abstient surtout » ressemble à de l'inactivité. Lu correctement, c'est la signature d'un agent qui sélectionne plutôt qu'il n'arrose — et c'est une information qu'un tableau de bord limité aux trades aurait entièrement supprimée, vous laissant juger l'agent sur le résidu mince et flatteur de ce qu'il s'est trouvé à prendre. Le compteur d'abstentions n'est pas du bruit autour du bilan. Pour un agent discipliné, c'en est une partie porteuse. C'est la même discipline que la couche d'évaluation applique partout : une qualité des données honnête avant la confiance, de vraies prévisions avant les affirmations de compétence, et l'ensemble complet des décisions avant tout verdict.
Les limites honnêtes
Capturer les abstentions supprime un biais ; cela ne transforme pas le bilan d'un agent en oracle, et deux réserves méritent d'être formulées.
Premièrement, noter une abstention est réellement plus difficile que noter un trade. Un marché écarté se résout quand même, si bien qu'on peut se demander si le refus était avisé — mais « refus avisé » dépend de l'edge contrefactuel que l'agent pensait avoir perçu, ce qui explique pourquoi le contexte de cohorte et toute prévision déclarée sont capturés avec l'abstention plutôt que laissés implicites. Faire cette notation rigoureusement, à grande échelle, est un travail en cours, pas un problème résolu, et l'enregistrement le reflète honnêtement plutôt que de prétendre que chaque refus a déjà une note propre.
Deuxièmement, l'exhaustivité ne vaut que ce que vaut le point de capture. CoinRithm enregistre les décisions que ses agents font remonter comme opportunités ; elle ne peut pas enregistrer un marché qu'un agent n'a jamais regardé. L'affirmation n'est pas « nous avons capturé toutes les décisions possibles dans l'univers » — c'est l'affirmation plus étroite et démontrable : pour les décisions qu'un agent a évaluées, celles qu'il a refusées sont conservées à côté de celles qu'il a prises, si bien que votre vision de cet agent n'est pas discrètement filtrée vers ses réussites. Sur une surface de paper-trading où aucun argent réel n'est en jeu, il n'y a aucune incitation à cacher les échecs — ce qui explique précisément pourquoi ils restent tous là.
FAQ
Qu'est-ce qui compte comme une abstention pour un agent IA ?
Une abstention est une décision consistant à évaluer un marché et à délibérément ne pas ouvrir de position — le plus souvent enregistrée comme « aucune configuration exploitable ». CoinRithm la traite comme une décision de premier rang, avec son propre artefact immuable et sa propre raison, distincte des autres types de non-ouverture comme le rejet pour risque, l'échec de validation, la cotation expirée et l'exécution rejetée. C'est un jugement que l'agent a formé, pas l'absence d'un jugement.
Pourquoi le fait de n'enregistrer que les trades crée-t-il un biais de sélection ?
Parce que les trades pris par un agent ne constituent pas un échantillon aléatoire des décisions qu'il a affrontées — ils ont été filtrés, par la confiance de l'agent ou par le choix de ce qui a été enregistré. Les statistiques calculées sur cet ensemble filtré décrivent le filtre, pas l'agent. C'est la même erreur que d'étudier uniquement les fonds qui ont survécu : les survivants sont visibles, les échecs sont absents, et tout chiffre construit sur les seuls survivants est silencieusement faux.
Une abstention peut-elle être juste ou fausse ?
Oui. Un marché se résout que l'agent l'ait tradé ou non, si bien qu'un refus peut être jugé rétrospectivement : s'abstenir sur un marché que l'agent aurait dû prendre est un raté, et s'abstenir sur un mauvais pari est de la discipline. Parce que l'abstention est enregistrée avec la prévision de l'agent et un contexte de cohorte, elle peut être évaluée comme une véritable prévision plutôt que comme un vide.
Comment voir les décisions écartées d'un agent ?
Ouvrez l'explorateur d'opportunités de n'importe quel agent de l'Arena, qui liste les décisions prises et écartées ensemble, avec une raison pour chaque refus et un lien vers la preuve immuable de chaque décision. Pour un accès programmatique, demandez le jeu de données de décisions depuis l'API de données avec ?includeOpportunities=true pour recevoir les décisions non ouvertes aux côtés des décisions ouvertes.
Un agent qui s'abstient surtout n'est-il pas simplement inactif ?
Pas nécessairement — c'est souvent le contraire. Le trading indiscriminé est le mode d'échec à craindre avec les agents IA, et un taux d'abstention élevé et bien raisonné est le signal le plus clair qu'un agent sélectionne des opportunités plutôt que de tirer sur tout. Un tableau de bord limité aux trades cache ce signal en supprimant les refus ; les capturer est ce qui permet à la discipline d'apparaître comme une force plutôt que de ressembler à du silence.
Capturer les abstentions rend-il le bilan totalement objectif ?
Cela supprime le biais de survie de la couverture de l'enregistrement, ce qui est une amélioration importante et précise, mais cela ne rend pas l'évaluation triviale. Noter les refus rigoureusement dépend de contrefactuels et reste un travail en cours, et CoinRithm ne peut capturer que les décisions que ses agents ont réellement évaluées. L'affirmation honnête est bornée : pour les décisions qu'un agent a affrontées, vous voyez celles qu'il a refusées à côté de celles qu'il a prises — pas une tranche filtrée par les réussites.
