Partie E · Module 19
Tester une méthode sur le passé
Toutes les règles de ce cours ont été confrontées à vingt ans de données mondiales, sociétés disparues comprises. Ce module explique comment mener un tel test sans se tromper soi-même, et donne les résultats tels quels, y compris les échecs.
Testée sur vingt ans de données mondiales, sociétés disparues comprises, la méthode a battu l'ensemble des petites valeurs de 7,5 points par an sur 2006-2015 et de 1,6 point sur 2016-2025. Son résultat le plus solide : la note classe bien les actions dans toutes les régions. Une méthode value peut toutefois décevoir plusieurs années de suite.
- Reconnaître les biais qui font paraître une méthode meilleure qu'elle n'est.
- Comprendre pourquoi les règles de décision doivent être écrites avant le test.
- Lire les résultats de la méthode du cours, ses forces et ses faiblesses.
- Savoir quoi attendre d'une méthode fondée sur la valeur, y compris de longues années difficiles.
1. Pourquoi tester sur le passé
Une règle peut sembler évidente et ne rien rapporter. Le seul moyen de le savoir est de l'appliquer au passé comme si on y était : à chaque date, ne regarder que ce qu'on pouvait connaître ce jour-là, choisir les actions, les garder un an, et compter ce qu'elles ont rapporté, frais compris. Le test de ce cours porte sur 40 dates de sélection (1er mai et 1er novembre de 2006 à 2025), des dizaines de milliers de sociétés dans une trentaine de pays, et compare la méthode à l'ensemble des petites valeurs à poids égaux (l'« univers »).
Le passé ne garantit pas l'avenir. Mais une règle qui n'a rien apporté pendant vingt ans a peu de chances de bien fonctionner demain.
2. Les pièges d'un test
Le biais du survivant. Une base qui ne contient que les sociétés encore cotées aujourd'hui oublie les faillites : le passé paraît plus rose qu'il n'était. Le test inclut les sociétés radiées, mais la source n'a pas les comptes de toutes : il manque ceux de 92 % des sociétés disparues entre 2006 et 2010, contre 7 % après 2021. Les rendements de la première décennie sont donc trop flatteurs, pour l'univers comme pour la méthode.
Le biais d'anticipation. Des comptes annuels clos le 31 décembre ne sont publiés qu'en mars ou en avril. Le test n'utilise que les exercices clos au moins 120 jours avant la date de sélection.
Les données fausses. Une erreur de cours suffit à fausser une moyenne : une société de Hong Kong dont le cours avait été multiplié par 1 000 dans la base ajoutait à elle seule 21 points au rendement de l'univers d'une année. Environ 14 % des séries contenaient des sauts aberrants : elles ont été nettoyées, et 561 sociétés trop abîmées écartées.
Les frais. Sur une petite valeur peu échangée, l'écart entre prix acheteur et prix vendeur coûte bien plus que le courtage. Le test compte 0,5 % à 3 % par achat et par vente selon la liquidité.
La sur-optimisation. En essayant vingt variantes, certaines gagnent par hasard. Choisir la meilleure après coup, c'est ajuster la règle au passé, sans rien gagner pour l'avenir.
Harvey, Liu et Zhu (2016) ont recensé plus de 300 « facteurs » publiés censés expliquer les rendements des actions, et montré qu'une grande partie ne résiste pas à la correction des tests multiples : à force de chercher, on trouve. Bailey et López de Prado ont formalisé le risque de sur-optimisation des backtests : plus on essaie de variantes, plus le meilleur résultat obtenu est flatté par le hasard.
3. Écrire les règles avant de regarder
Avant le test complet, un protocole a fixé par écrit ce qui serait mesuré et ce qui déciderait :
- Deux moitiés jugées séparément : 2006-2015 et 2016-2025. Une règle doit marcher sur les deux.
- Une variante n'entre dans le modèle que si elle gagne au moins 1 point par an sur chaque moitié, sans aggraver la pire baisse de plus de 2 points, et dans au moins deux des trois grandes régions. Elle remplace une règle existante, jamais ne s'y ajoute.
- Une règle existante sort du modèle si la retirer ne coûte ni rendement ni sécurité.
- Toute modification du protocole est datée et motivée, et écrite avant d'en voir l'effet.
Même avec un protocole, un faux positif passe : une mesure de la qualité (croissance des capitaux propres tangibles) a franchi tous les critères de justesse. Vérifiée de plus près, elle ne faisait mieux qu'une date sur deux, et, prise seule, elle prédisait même à l'envers. Elle a été écartée. Un résultat juste au-dessus du seuil mérite toujours une seconde vérification.
4. Ce que donne la méthode
Portefeuille « Meilleurs scores » (les 20 actions les mieux notées, poids égaux, refait chaque année), tous pays, rendement annuel en euros frais compris :
| 2006-2015 | 2016-2025 | |
|---|---|---|
| Méthode (Meilleurs scores) | 14,9 % par an, pire baisse −49 % | 9,6 %, −45 % |
| Univers (toutes les petites valeurs, poids égaux) | 7,4 %, −59 % | 7,9 %, −37 % |
| Écart | +7,5 points par an, baisse plus faible | +1,6 point par an, baisse plus forte de 8 points |
Selon les critères fixés à l'avance, la méthode réussit nettement sur 2006-2015 mais échoue sur 2016-2025 : le gain y est faible et la pire baisse dépasse celle de l'univers de plus de 5 points.
Le résultat le plus solide est ailleurs : la note classe bien les actions. Rangées en cinq groupes selon leur note, les actions rapportent d'autant plus que leur note est haute, sur les deux moitiés et dans toutes les régions.
| Rendement moyen sur 12 mois | 20 % les moins bien notées | 2 | 3 | 4 | 20 % les mieux notées |
|---|---|---|---|---|---|
| 2006-2015 | +7,9 % | +10,8 % | +13,2 % | +14,6 % | +17,3 % |
| 2016-2025 | +5,1 % | +9,2 % | +10,2 % | +11,6 % | +14,3 % |
La faiblesse vient de la dernière étape : un portefeuille de 20 lignes, refait une fois par an, est très sensible au hasard des quelques titres retenus.
5. Selon les régions
| Région | 2006-2015 : méthode / univers | 2016-2025 : méthode / univers |
|---|---|---|
| Europe | 12,4 % / 6,3 % | 13,7 % / 6,8 % |
| Asie-Pacifique | 20,2 % / 9,4 % | 14,1 % / 6,2 % |
| Amérique du Nord | 8,7 % / 7,0 % | 12,9 % / 11,3 % (pire baisse −52 % contre −39 %) |
L'Europe et l'Asie-Pacifique donnent un avantage net et régulier. L'Amérique du Nord est le point faible : de 2016 à 2020, les sélections y ont perdu de l'argent pendant que l'ensemble du marché montait. Ce fut l'« hiver de la valeur » : taux proches de zéro, valeurs de croissance très recherchées, et beaucoup de sociétés bon marché qui l'étaient pour de bonnes raisons (commerce physique concurrencé par Internet, pétrole de schiste). Depuis fin 2020, la méthode y a regagné du terrain.
Une méthode fondée sur la valeur peut traverser plusieurs années de retard. Celui qui l'abandonne au bout de trois ans de déception la quitte souvent juste avant qu'elle ne redevienne gagnante. Il faut le savoir avant de commencer.
6. Ce qui a été retiré
Chaque règle du modèle a été retirée seule pour voir si elle servait. Trois ne changeaient rien et ont été supprimées :
- la pénalité infligée à une action en hausse mais moins forte que son marché ;
- l'exclusion automatique des actions en phase 4 dans les portefeuilles : la tendance compte déjà dans la note, et une action en baisse n'atteint presque jamais les meilleures notes ;
- la correction des acquisitions et cessions importantes dans le calcul de la croissance.
Les cinq familles de la note (valorisation, solidité, qualité, tendance, sécurité) et les alertes sur les comptes sont toutes utiles sur au moins une des deux périodes, et ont été gardées.
7. Ce qui n'a pas marché
Une vingtaine de variantes, écrites à l'avance, ont été comparées au modèle. Aucune n'a été adoptée :
- Tendance : variantes des phases de Weinstein, rendement rapporté à la volatilité sur un an, proximité du plus haut annuel. La dernière gagnait au total, mais dans aucune région prise seule.
- Valorisation : multiples comparés au secteur plutôt qu'à des seuils fixes, VE/CA comparé à sa propre moyenne sur dix ans, profil de croissance tiré de l'EBITDA.
- Construction : parité de risque (retirée de la méthode, résultats quasi identiques), mélange des deux portefeuilles, seuils de liquidité plus bas, attendre un repli vers la moyenne de 40 semaines avant d'acheter.
- Climat : six signaux de sortie du marché, tous utiles contre les grands krachs mais coûteux en rendement (module 18).
Résultat : un modèle plus simple qu'avant le test, sans aucune règle ajoutée.
8. Ce qu'il faut en conclure
- La note fonctionne : choisir parmi les mieux notées a rapporté davantage que choisir au hasard, partout et sur vingt ans.
- Le gain n'est pas régulier : très net de 2006 à 2015, faible de 2016 à 2025, avec des années de retard, surtout aux États-Unis.
- La méthode ne protège pas des krachs : elle réduit la baisse, sans l'éviter. Le signal de protection et la part des petites valeurs dans le patrimoine servent à cela.
- Les chiffres sont trop beaux en niveau, surtout avant 2016, à cause des sociétés disparues sans comptes. Les écarts entre la méthode et l'univers sont plus fiables que les rendements eux-mêmes.
- Mieux vaut diversifier entre régions : l'avantage a été plus fort et plus régulier en Europe et en Asie-Pacifique.
- Un test honnête inclut les sociétés disparues, n'utilise que l'information connue à chaque date et compte des frais réalistes.
- Les règles de décision s'écrivent avant de regarder les résultats ; un gain juste au-dessus du seuil se vérifie deux fois.
- La méthode a battu l'ensemble des petites valeurs de 7,5 points par an sur 2006-2015 et de 1,6 point sur 2016-2025, avec une pire baisse plus forte sur la seconde période.
- La note classe bien les actions dans toutes les régions : c'est l'apport le plus solide.
- Une méthode fondée sur la valeur peut décevoir plusieurs années de suite ; il faut l'accepter à l'avance.
- Simplifier quand une règle n'apporte rien : le modèle sort du test plus simple qu'il n'y est entré.
Exercices
Exercice 1 : le survivant
Une base ne contient que les 800 sociétés cotées aujourd'hui. Il y a quinze ans, 1 200 sociétés étaient cotées ; 250 ont fait faillite, 150 ont été rachetées. Quel biais affecte un test qui utilise cette base ?
Corrigé. Le biais du survivant : les 250 faillites, souvent des pertes totales, disparaissent du test, et les rachats, souvent faits avec une prime, aussi. Le rendement moyen paraît plus élevé et la pire baisse plus faible qu'en réalité.
Exercice 2 : vingt variantes
Vous testez vingt variantes d'une règle. Une seule bat la référence de 1,2 point par an, sur une seule des deux périodes. Que faites-vous ?
Corrigé. Rien. Sur vingt essais, il est normal qu'une variante gagne par hasard. Une règle qui ne gagne que sur une période, et de peu, ne satisfait pas le critère : on garde la version la plus simple.
Exercice 3 : trois ans de retard
Votre portefeuille fait 4 points de moins que le marché trois années de suite. Quels éléments vérifiez-vous avant d'abandonner la méthode ?
Corrigé. Si le retard vient du style (les valeurs bon marché sont délaissées, comme de 2016 à 2020) ou d'une erreur d'application (règles non suivies, titres mal choisis, frais trop élevés). Si la note continue de bien classer les actions et que les règles ont été suivies, le retard est probablement celui du style, que le test a montré possible ; si les règles n'ont pas été suivies, c'est l'application qu'il faut corriger.