Ce que notre backtest ne dit pas

Nous publions les résultats d'un backtest, et nous pensons que c'est la bonne chose à faire. Mais un backtest est une simulation sur le passé, pas une promesse sur l'avenir, et il a des limites précises. Les voici, écrites par nous, avant qu'on nous les oppose.

La règle testée, en une phrase

On achète quand la note atteint 80 et que la note fondamentale vaut au moins 40. On vend quand un stop suiveur calculé sur la volatilité est touché, ou après un gain de 7 %, ou au bout de 20 jours de bourse, selon ce qui arrive en premier. Rien d'autre.

1. Une espérance par trade n'est pas un rendement

Le backtest prend tous les signaux, comme si le capital était infini. Un chiffre du type « plus 0,8 % par trade » ne dit donc rien de ce qu'aurait fait un portefeuille réel, qui n'a pas de quoi tout acheter.

C'est pour ça qu'existe une seconde simulation, avec 10 000 euros et un ordre chronologique : quand tout est investi, le signal suivant est ignoré, et compté. L'écart entre le nombre de signaux et le nombre de prises est une information, pas un détail. Il est de l'ordre de quelques pour cent : le portefeuille ne prend qu'une petite partie de ce que le backtest compte.

2. Le portefeuille EST le tirage

Puisqu'on ne prend qu'une fraction des signaux, le choix de lesquels devient déterminant. Prendre par ordre alphabétique n'a aucun mérite particulier. Nous rejouons donc plusieurs tirages tirés au sort et publions le minimum, la médiane et le maximum : c'est la fourchette qui est honnête, pas le point.

3. Un vrai bug, et ce qu'il coûtait

Le premier calcul réel a produit une espérance positive par trade et un portefeuille à moins 96 %. Contradiction impossible, donc défaut certain.

La cause : quand plusieurs signaux tombent le même jour, il faut départager. Le code utilisait la date de sortie. Avec une cinquantaine de signaux par séance, le simulateur prenait donc systématiquement ceux qui sortent le plus tôt, c'est-à-dire les stop-outs, c'est-à-dire les perdants. Une sélection qui lit le futur, même dans le sens pessimiste, invalide toute la simulation.

Le départage se fait maintenant sur le nom du titre : arbitraire, connu à l'entrée, sans corrélation avec l'issue. Sur le scénario de test, la correction fait passer le résultat de moins 99,6 % à plus 26,4 % avec exactement les mêmes trades. Un test rejoue la structure du défaut et échoue si une information de sortie revient dans l'ordre de prise.

4. Le creux affiché est plus doux que le vrai

Entre l'entrée et la sortie, les positions sont valorisées à leur coût. La courbe montre donc les pertes réalisées, pas les creux traversés en cours de route. La perte maximale réelle a été plus profonde que celle qui s'affiche. Nous n'avons pas de bonne façon de la mesurer sans données intra-journalières, alors nous le disons plutôt que de laisser croire.

5. L'exécution est parfaite, et elle ne l'est jamais

Chaque ordre est exécuté au prix retenu par le backtest. Dans la réalité il y a un écart entre le prix affiché et le prix obtenu, d'autant plus large que la valeur est petite et le marché nerveux. Les frais de courtage, eux, sont bien déduits, et ils pénalisent d'abord la stratégie qui prend le plus de trades : les omettre aurait flatté les variantes les plus actives.

6. Le passé testé est court, et il a un climat

L'historique tient dans une fenêtre glissante d'environ 200 jours par titre. C'est assez pour calculer tous les indicateurs, ce n'est pas assez pour avoir traversé plusieurs régimes de marché complets. Une méthode qui marche sur une période de hausse n'a pas prouvé qu'elle marche ailleurs.

Et le biais du survivant

Nous scorons les titres actuellement suivis. Les sociétés sorties des indices, radiées ou fusionnées ne sont plus dans l'univers, et ce sont rarement les meilleures. Une désactivation en douceur préserve l'historique des positions, mais le biais existe et il pousse les résultats vers le haut.

Ce qui reste vrai malgré tout

Ces limites ne rendent pas le backtest inutile. Elles disent ce qu'il est : un test de cohérence interne. Il répond à « cette règle aurait-elle fait mieux que rien sur cette période », pas à « combien vais-je gagner ». Une méthode qui échoue à ce test n'a aucune chance ; une méthode qui le passe n'a pas encore de garantie.

Les résultats chiffrés vivent sur la page Backtest, où ils se recalculent. Nous ne les recopions pas ici : un chiffre dans un article vieillit en silence.