Teil E · Modul 19
Eine Methode an der Vergangenheit testen
Alle Regeln dieses Kurses wurden an zwanzig Jahren weltweiter Daten geprüft, verschwundene Gesellschaften eingeschlossen. Dieses Modul erklärt, wie man einen solchen Test durchführt, ohne sich selbst zu täuschen, und gibt die Ergebnisse unverändert wieder, Misserfolge eingeschlossen.
Mit zwanzig Jahren weltweiter Daten getestet, verschwundene Gesellschaften eingeschlossen, schlug die Methode die Gesamtheit der kleinen Werte 2006-2015 um 7,5 Punkte pro Jahr und 2016-2025 um 1,6 Punkte. Ihr robustestes Ergebnis: Die Punktzahl ordnet die Aktien in allen Regionen gut. Eine Value-Methode kann dennoch mehrere Jahre in Folge enttäuschen.
- Die Verzerrungen erkennen, die eine Methode besser erscheinen lassen, als sie ist.
- Verstehen, warum Entscheidungsregeln vor dem Test festgelegt werden müssen.
- Die Ergebnisse der Methode des Kurses, ihre Stärken und Schwächen lesen.
- Wissen, was man von einer wertbasierten Methode erwarten kann, einschließlich langer schwieriger Jahre.
1. Warum an der Vergangenheit testen
Eine Regel kann einleuchtend wirken und nichts bringen. Der einzige Weg, es herauszufinden, ist, sie auf die Vergangenheit anzuwenden, als wäre man dabei gewesen: an jedem Datum nur das betrachten, was man an diesem Tag wissen konnte, die Aktien auswählen, sie ein Jahr halten und zählen, was sie nach Kosten eingebracht haben. Der Test dieses Kurses umfasst 40 Auswahldaten (1. Mai und 1. November von 2006 bis 2025), Zehntausende Gesellschaften in rund dreißig Ländern und vergleicht die Methode mit allen kleinen Werten gleichgewichtet (dem „Universum“).
Die Vergangenheit garantiert nicht die Zukunft. Doch eine Regel, die zwanzig Jahre lang nichts gebracht hat, wird morgen kaum gut funktionieren.
2. Die Fallen eines Tests
Der Survivorship Bias. Eine Datenbank, die nur heute noch notierte Gesellschaften enthält, vergisst die Pleiten: Die Vergangenheit wirkt rosiger, als sie war. Der Test schließt delistete Gesellschaften ein, doch die Quelle hat nicht für alle die Abschlüsse: Es fehlen jene von 92 % der zwischen 2006 und 2010 verschwundenen Gesellschaften, gegenüber 7 % nach 2021. Die Renditen des ersten Jahrzehnts sind daher zu schmeichelhaft, für das Universum wie für die Methode.
Der Look-ahead Bias. Zum 31. Dezember abgeschlossene Jahresabschlüsse werden erst im März oder April veröffentlicht. Der Test verwendet nur Geschäftsjahre, die mindestens 120 Tage vor dem Auswahldatum abgeschlossen waren.
Falsche Daten. Ein einziger Kursfehler genügt, um einen Durchschnitt zu verfälschen: Eine Gesellschaft aus Hongkong, deren Kurs in der Datenbank mit 1000 multipliziert war, fügte der Rendite des Universums in einem Jahr allein 21 Prozentpunkte hinzu. Etwa 14 % der Reihen enthielten abwegige Sprünge: Sie wurden bereinigt, und 561 zu beschädigte Gesellschaften wurden ausgeschlossen.
Die Kosten. Bei einem wenig gehandelten kleinen Wert kostet die Spanne zwischen Geld- und Briefkurs weit mehr als die Ordergebühr. Der Test rechnet je nach Liquidität mit 0,5 % bis 3 % je Kauf und je Verkauf.
Die Überoptimierung. Probiert man zwanzig Varianten, gewinnen manche zufällig. Hinterher die beste auszuwählen heißt, die Regel an die Vergangenheit anzupassen, ohne für die Zukunft etwas zu gewinnen.
Harvey, Liu und Zhu (2016) haben über 300 veröffentlichte „Faktoren“ erfasst, die Aktienrenditen erklären sollen, und gezeigt, dass ein großer Teil der Korrektur für Mehrfachtests nicht standhält: Wer lange genug sucht, findet etwas. Bailey und López de Prado haben das Risiko der Überoptimierung von Backtests formalisiert: Je mehr Varianten man probiert, desto mehr ist das beste erzielte Ergebnis vom Zufall geschönt.
3. Die Regeln vor dem Hinsehen festlegen
Vor dem vollständigen Test legte ein Protokoll schriftlich fest, was gemessen und was entscheiden würde:
- Zwei getrennt beurteilte Hälften: 2006-2015 und 2016-2025. Eine Regel muss in beiden funktionieren.
- Eine Variante kommt nur ins Modell, wenn sie in jeder Hälfte mindestens 1 Prozentpunkt pro Jahr gewinnt, ohne den schlimmsten Rückgang um mehr als 2 Prozentpunkte zu verschlechtern, und in mindestens zwei der drei großen Regionen. Sie ersetzt eine bestehende Regel, kommt nie hinzu.
- Eine bestehende Regel fliegt aus dem Modell, wenn ihre Streichung weder Rendite noch Sicherheit kostet.
- Jede Änderung des Protokolls wird datiert und begründet und festgehalten, bevor man ihre Wirkung sieht.
Selbst mit einem Protokoll rutscht ein Fehltreffer durch: Ein Qualitätsmaß (Wachstum des materiellen Eigenkapitals) erfüllte alle Trefferkriterien. Genauer geprüft schnitt es nur an jedem zweiten Datum besser ab und sagte, für sich genommen, sogar das Gegenteil voraus. Es wurde verworfen. Ein Ergebnis knapp über der Schwelle verdient immer eine zweite Prüfung.
4. Was die Methode liefert
Portfolio „Beste Punktzahlen“ (die 20 bestbewerteten Aktien, gleiche Gewichte, jährlich neu gebildet), alle Länder, Jahresrendite in Euro nach Kosten:
| 2006-2015 | 2016-2025 | |
|---|---|---|
| Methode (Beste Punktzahlen) | 14,9 % pro Jahr, schlimmster Rückgang −49 % | 9,6 %, −45 % |
| Universum (alle kleinen Werte, gleiche Gewichte) | 7,4 %, −59 % | 7,9 %, −37 % |
| Abweichung | +7,5 Prozentpunkte pro Jahr, geringerer Rückgang | +1,6 Prozentpunkte pro Jahr, Rückgang um 8 Prozentpunkte stärker |
Nach den im Voraus festgelegten Kriterien hat die Methode 2006-2015 klar Erfolg, scheitert aber 2016-2025: Der Gewinn ist dort gering und der schlimmste Rückgang übersteigt den des Universums um mehr als 5 Prozentpunkte.
Das robusteste Ergebnis liegt woanders: Die Punktzahl ordnet die Aktien gut. In fünf Gruppen nach ihrer Punktzahl sortiert, bringen Aktien umso mehr, je höher ihre Punktzahl, in beiden Hälften und in allen Regionen.
| Durchschnittliche Rendite über 12 Monate | Die am schlechtesten bewerteten 20 % | 2 | 3 | 4 | Die am besten bewerteten 20 % |
|---|---|---|---|---|---|
| 2006-2015 | +7,9 % | +10,8 % | +13,2 % | +14,6 % | +17,3 % |
| 2016-2025 | +5,1 % | +9,2 % | +10,2 % | +11,6 % | +14,3 % |
Die Schwäche liegt im letzten Schritt: Ein Portfolio aus 20 Positionen, einmal im Jahr neu gebildet, ist sehr anfällig für den Zufall der wenigen ausgewählten Titel.
5. Nach Regionen
| Region | 2006-2015: Methode / Universum | 2016-2025: Methode / Universum |
|---|---|---|
| Europa | 12,4 % / 6,3 % | 13,7 % / 6,8 % |
| Asien-Pazifik | 20,2 % / 9,4 % | 14,1 % / 6,2 % |
| Nordamerika | 8,7 % / 7,0 % | 12,9 % / 11,3 % (schlimmster Rückgang −52 % gegenüber −39 %) |
Europa und Asien-Pazifik bieten einen klaren und regelmäßigen Vorsprung. Nordamerika ist der Schwachpunkt: Von 2016 bis 2020 verloren die Auswahlen dort Geld, während der Gesamtmarkt stieg. Das war der „Value-Winter“: Zinsen nahe null, sehr gefragte Wachstumswerte und viele günstige Gesellschaften, die es aus gutem Grund waren (stationärer Handel gegen das Internet, Schieferöl). Seit Ende 2020 hat die Methode dort wieder Boden gutgemacht.
Eine wertbasierte Methode kann mehrere Jahre zurückliegen. Wer sie nach drei enttäuschenden Jahren aufgibt, verlässt sie oft kurz bevor sie wieder gewinnt. Das muss man vor dem Start wissen.
6. Was gestrichen wurde
Jede Regel des Modells wurde einzeln gestrichen, um zu sehen, ob sie nützte. Drei änderten nichts und wurden entfernt:
- die Strafe für eine Aktie, die steigt, aber schwächer als ihr Markt;
- der automatische Ausschluss von Aktien in Phase 4 aus den Portfolios: Der Trend zählt bereits in der Punktzahl, und eine fallende Aktie erreicht fast nie die besten Punktzahlen;
- die Bereinigung größerer Übernahmen und Verkäufe bei der Berechnung des Wachstums.
Die fünf Bausteine der Punktzahl (Bewertung, Solidität, Qualität, Trend, Sicherheit) und die Warnungen zu den Abschlüssen sind alle in mindestens einem der beiden Zeiträume nützlich und wurden behalten.
7. Was nicht funktioniert hat
Rund zwanzig im Voraus festgelegte Varianten wurden mit dem Modell verglichen. Keine wurde übernommen:
- Trend: Varianten der Weinstein-Phasen, Rendite im Verhältnis zur Volatilität über ein Jahr, Nähe zum Jahreshoch. Die letzte gewann insgesamt, aber in keiner Region für sich.
- Bewertung: Multiples im Vergleich zur Branche statt fester Schwellen, EV/Umsatz im Vergleich zum eigenen Zehnjahresdurchschnitt, aus dem EBITDA abgeleitetes Wachstumsprofil.
- Aufbau: Risikoparität (aus der Methode gestrichen, nahezu gleiche Ergebnisse), Mischung der beiden Portfolios, niedrigere Liquiditätsschwellen, vor dem Kauf auf einen Rücksetzer zum 40-Wochen-Durchschnitt warten.
- Marktklima: sechs Signale zum Ausstieg aus dem Markt, alle nützlich gegen große Crashs, aber teuer an Rendite (Modul 18).
Ergebnis: ein einfacheres Modell als vor dem Test, ohne hinzugefügte Regel.
8. Was daraus folgt
- Die Punktzahl funktioniert: Unter den Bestbewerteten auszuwählen hat mehr gebracht als zufällig auszuwählen, überall und über zwanzig Jahre.
- Der Gewinn ist nicht gleichmäßig: sehr deutlich von 2006 bis 2015, gering von 2016 bis 2025, mit Jahren des Rückstands, vor allem in den USA.
- Die Methode schützt nicht vor Crashs: Sie verringert den Rückgang, ohne ihn zu verhindern. Dafür sind das Schutzsignal und der Anteil kleiner Werte am Vermögen da.
- Die Zahlen sind im Niveau zu schön, vor allem vor 2016, wegen ohne Abschlüsse verschwundener Gesellschaften. Die Abstände zwischen Methode und Universum sind verlässlicher als die Renditen selbst.
- Besser über Regionen streuen: Der Vorsprung war in Europa und Asien-Pazifik stärker und regelmäßiger.
- Ein ehrlicher Test schließt verschwundene Gesellschaften ein, verwendet nur die an jedem Datum bekannte Information und rechnet mit realistischen Kosten.
- Entscheidungsregeln werden vor dem Blick auf die Ergebnisse festgelegt; ein Gewinn knapp über der Schwelle wird zweimal geprüft.
- Die Methode schlug alle kleinen Werte 2006-2015 um 7,5 Prozentpunkte pro Jahr und 2016-2025 um 1,6 Prozentpunkte, mit einem stärkeren schlimmsten Rückgang im zweiten Zeitraum.
- Die Punktzahl ordnet die Aktien in allen Regionen gut: der robusteste Beitrag.
- Eine wertbasierte Methode kann mehrere Jahre in Folge enttäuschen; das muss man im Voraus akzeptieren.
- Vereinfachen, wenn eine Regel nichts bringt: Das Modell kommt aus dem Test einfacher heraus, als es hineinging.
Übungen
Übung 1: der Überlebende
Eine Datenbank enthält nur die 800 heute notierten Gesellschaften. Vor fünfzehn Jahren waren 1200 Gesellschaften notiert; 250 gingen pleite, 150 wurden übernommen. Welche Verzerrung betrifft einen Test mit dieser Datenbank?
Lösung. Der Survivorship Bias: Die 250 Pleiten, oft Totalverluste, verschwinden aus dem Test, ebenso die Übernahmen, oft mit Aufschlag erfolgt. Die Durchschnittsrendite wirkt höher und der schlimmste Rückgang geringer als in Wirklichkeit.
Übung 2: zwanzig Varianten
Sie testen zwanzig Varianten einer Regel. Nur eine schlägt die Referenz um 1,2 Prozentpunkte pro Jahr, und nur in einem der beiden Zeiträume. Was tun Sie?
Lösung. Nichts. Bei zwanzig Versuchen ist es normal, dass eine Variante zufällig gewinnt. Eine Regel, die nur in einem Zeitraum und knapp gewinnt, erfüllt das Kriterium nicht: Man behält die einfachste Version.
Übung 3: drei Jahre Rückstand
Ihr Portfolio schneidet drei Jahre in Folge 4 Prozentpunkte schlechter ab als der Markt. Was prüfen Sie, bevor Sie die Methode aufgeben?
Lösung. Ob der Rückstand vom Stil kommt (günstige Aktien vernachlässigt, wie 2016 bis 2020) oder von einem Anwendungsfehler (Regeln nicht befolgt, schlecht gewählte Titel, zu hohe Kosten). Ordnet die Punktzahl die Aktien weiter gut und wurden die Regeln befolgt, ist es wahrscheinlich der Rückstand des Stils, den der Test als möglich gezeigt hat; wurden die Regeln nicht befolgt, muss man die Anwendung korrigieren.