Invesmind

Partie E · Module 19

Tester une méthode sur le passé

Toutes les règles de ce cours ont été confrontées à vingt ans de données mondiales, sociétés disparues comprises. Ce module explique comment mener un tel test sans se tromper soi-même, et donne les résultats tels quels, y compris les échecs.

En bref

Testée sur vingt ans de données mondiales, sociétés disparues comprises, la méthode a battu l'ensemble des petites valeurs de 7,5 points par an sur 2006-2015 et de 1,6 point sur 2016-2025. Son résultat le plus solide : la note classe bien les actions dans toutes les régions. Une méthode value peut toutefois décevoir plusieurs années de suite.

Objectifs du module
  • Reconnaître les biais qui font paraître une méthode meilleure qu'elle n'est.
  • Comprendre pourquoi les règles de décision doivent être écrites avant le test.
  • Lire les résultats de la méthode du cours, ses forces et ses faiblesses.
  • Savoir quoi attendre d'une méthode fondée sur la valeur, y compris de longues années difficiles.

1. Pourquoi tester sur le passé

Une règle peut sembler évidente et ne rien rapporter. Le seul moyen de le savoir est de l'appliquer au passé comme si on y était : à chaque date, ne regarder que ce qu'on pouvait connaître ce jour-là, choisir les actions, les garder un an, et compter ce qu'elles ont rapporté, frais compris. Le test de ce cours porte sur 40 dates de sélection (1er mai et 1er novembre de 2006 à 2025), des dizaines de milliers de sociétés dans une trentaine de pays, et compare la méthode à l'ensemble des petites valeurs à poids égaux (l'« univers »).

Le passé ne garantit pas l'avenir. Mais une règle qui n'a rien apporté pendant vingt ans a peu de chances de bien fonctionner demain.

2. Les pièges d'un test

Le biais du survivant. Une base qui ne contient que les sociétés encore cotées aujourd'hui oublie les faillites : le passé paraît plus rose qu'il n'était. Le test inclut les sociétés radiées, mais la source n'a pas les comptes de toutes : il manque ceux de 92 % des sociétés disparues entre 2006 et 2010, contre 7 % après 2021. Les rendements de la première décennie sont donc trop flatteurs, pour l'univers comme pour la méthode.

Le biais d'anticipation. Des comptes annuels clos le 31 décembre ne sont publiés qu'en mars ou en avril. Le test n'utilise que les exercices clos au moins 120 jours avant la date de sélection.

Les données fausses. Une erreur de cours suffit à fausser une moyenne : une société de Hong Kong dont le cours avait été multiplié par 1 000 dans la base ajoutait à elle seule 21 points au rendement de l'univers d'une année. Environ 14 % des séries contenaient des sauts aberrants : elles ont été nettoyées, et 561 sociétés trop abîmées écartées.

Les frais. Sur une petite valeur peu échangée, l'écart entre prix acheteur et prix vendeur coûte bien plus que le courtage. Le test compte 0,5 % à 3 % par achat et par vente selon la liquidité.

La sur-optimisation. En essayant vingt variantes, certaines gagnent par hasard. Choisir la meilleure après coup, c'est ajuster la règle au passé, sans rien gagner pour l'avenir.

Fondement académique

Harvey, Liu et Zhu (2016) ont recensé plus de 300 « facteurs » publiés censés expliquer les rendements des actions, et montré qu'une grande partie ne résiste pas à la correction des tests multiples : à force de chercher, on trouve. Bailey et López de Prado ont formalisé le risque de sur-optimisation des backtests : plus on essaie de variantes, plus le meilleur résultat obtenu est flatté par le hasard.

3. Écrire les règles avant de regarder

Avant le test complet, un protocole a fixé par écrit ce qui serait mesuré et ce qui déciderait :

Piège

Même avec un protocole, un faux positif passe : une mesure de la qualité (croissance des capitaux propres tangibles) a franchi tous les critères de justesse. Vérifiée de plus près, elle ne faisait mieux qu'une date sur deux, et, prise seule, elle prédisait même à l'envers. Elle a été écartée. Un résultat juste au-dessus du seuil mérite toujours une seconde vérification.

4. Ce que donne la méthode

Portefeuille « Meilleurs scores » (les 20 actions les mieux notées, poids égaux, refait chaque année), tous pays, rendement annuel en euros frais compris :

2006-20152016-2025
Méthode (Meilleurs scores)14,9 % par an, pire baisse −49 %9,6 %, −45 %
Univers (toutes les petites valeurs, poids égaux)7,4 %, −59 %7,9 %, −37 %
Écart+7,5 points par an, baisse plus faible+1,6 point par an, baisse plus forte de 8 points

Selon les critères fixés à l'avance, la méthode réussit nettement sur 2006-2015 mais échoue sur 2016-2025 : le gain y est faible et la pire baisse dépasse celle de l'univers de plus de 5 points.

Le résultat le plus solide est ailleurs : la note classe bien les actions. Rangées en cinq groupes selon leur note, les actions rapportent d'autant plus que leur note est haute, sur les deux moitiés et dans toutes les régions.

Rendement moyen sur 12 mois20 % les moins bien notées23420 % les mieux notées
2006-2015+7,9 %+10,8 %+13,2 %+14,6 %+17,3 %
2016-2025+5,1 %+9,2 %+10,2 %+11,6 %+14,3 %

La faiblesse vient de la dernière étape : un portefeuille de 20 lignes, refait une fois par an, est très sensible au hasard des quelques titres retenus.

5. Selon les régions

Région2006-2015 : méthode / univers2016-2025 : méthode / univers
Europe12,4 % / 6,3 %13,7 % / 6,8 %
Asie-Pacifique20,2 % / 9,4 %14,1 % / 6,2 %
Amérique du Nord8,7 % / 7,0 %12,9 % / 11,3 % (pire baisse −52 % contre −39 %)

L'Europe et l'Asie-Pacifique donnent un avantage net et régulier. L'Amérique du Nord est le point faible : de 2016 à 2020, les sélections y ont perdu de l'argent pendant que l'ensemble du marché montait. Ce fut l'« hiver de la valeur » : taux proches de zéro, valeurs de croissance très recherchées, et beaucoup de sociétés bon marché qui l'étaient pour de bonnes raisons (commerce physique concurrencé par Internet, pétrole de schiste). Depuis fin 2020, la méthode y a regagné du terrain.

Piège

Une méthode fondée sur la valeur peut traverser plusieurs années de retard. Celui qui l'abandonne au bout de trois ans de déception la quitte souvent juste avant qu'elle ne redevienne gagnante. Il faut le savoir avant de commencer.

6. Ce qui a été retiré

Chaque règle du modèle a été retirée seule pour voir si elle servait. Trois ne changeaient rien et ont été supprimées :

Les cinq familles de la note (valorisation, solidité, qualité, tendance, sécurité) et les alertes sur les comptes sont toutes utiles sur au moins une des deux périodes, et ont été gardées.

7. Ce qui n'a pas marché

Une vingtaine de variantes, écrites à l'avance, ont été comparées au modèle. Aucune n'a été adoptée :

Résultat : un modèle plus simple qu'avant le test, sans aucune règle ajoutée.

8. Ce qu'il faut en conclure

À retenir
  • Un test honnête inclut les sociétés disparues, n'utilise que l'information connue à chaque date et compte des frais réalistes.
  • Les règles de décision s'écrivent avant de regarder les résultats ; un gain juste au-dessus du seuil se vérifie deux fois.
  • La méthode a battu l'ensemble des petites valeurs de 7,5 points par an sur 2006-2015 et de 1,6 point sur 2016-2025, avec une pire baisse plus forte sur la seconde période.
  • La note classe bien les actions dans toutes les régions : c'est l'apport le plus solide.
  • Une méthode fondée sur la valeur peut décevoir plusieurs années de suite ; il faut l'accepter à l'avance.
  • Simplifier quand une règle n'apporte rien : le modèle sort du test plus simple qu'il n'y est entré.

Exercices

Exercice 1 : le survivant

Une base ne contient que les 800 sociétés cotées aujourd'hui. Il y a quinze ans, 1 200 sociétés étaient cotées ; 250 ont fait faillite, 150 ont été rachetées. Quel biais affecte un test qui utilise cette base ?

Corrigé. Le biais du survivant : les 250 faillites, souvent des pertes totales, disparaissent du test, et les rachats, souvent faits avec une prime, aussi. Le rendement moyen paraît plus élevé et la pire baisse plus faible qu'en réalité.

Exercice 2 : vingt variantes

Vous testez vingt variantes d'une règle. Une seule bat la référence de 1,2 point par an, sur une seule des deux périodes. Que faites-vous ?

Corrigé. Rien. Sur vingt essais, il est normal qu'une variante gagne par hasard. Une règle qui ne gagne que sur une période, et de peu, ne satisfait pas le critère : on garde la version la plus simple.

Exercice 3 : trois ans de retard

Votre portefeuille fait 4 points de moins que le marché trois années de suite. Quels éléments vérifiez-vous avant d'abandonner la méthode ?

Corrigé. Si le retard vient du style (les valeurs bon marché sont délaissées, comme de 2016 à 2020) ou d'une erreur d'application (règles non suivies, titres mal choisis, frais trop élevés). Si la note continue de bien classer les actions et que les règles ont été suivies, le retard est probablement celui du style, que le test a montré possible ; si les règles n'ont pas été suivies, c'est l'application qu'il faut corriger.