Invesmind

Teil E · Modul 19

Eine Methode an der Vergangenheit testen

Alle Regeln dieses Kurses wurden an zwanzig Jahren weltweiter Daten geprüft, verschwundene Gesellschaften eingeschlossen. Dieses Modul erklärt, wie man einen solchen Test durchführt, ohne sich selbst zu täuschen, und gibt die Ergebnisse unverändert wieder, Misserfolge eingeschlossen.

Kurz gesagt

Mit zwanzig Jahren weltweiter Daten getestet, verschwundene Gesellschaften eingeschlossen, schlug die Methode die Gesamtheit der kleinen Werte 2006-2015 um 7,5 Punkte pro Jahr und 2016-2025 um 1,6 Punkte. Ihr robustestes Ergebnis: Die Punktzahl ordnet die Aktien in allen Regionen gut. Eine Value-Methode kann dennoch mehrere Jahre in Folge enttäuschen.

Lernziele des Moduls
  • Die Verzerrungen erkennen, die eine Methode besser erscheinen lassen, als sie ist.
  • Verstehen, warum Entscheidungsregeln vor dem Test festgelegt werden müssen.
  • Die Ergebnisse der Methode des Kurses, ihre Stärken und Schwächen lesen.
  • Wissen, was man von einer wertbasierten Methode erwarten kann, einschließlich langer schwieriger Jahre.

1. Warum an der Vergangenheit testen

Eine Regel kann einleuchtend wirken und nichts bringen. Der einzige Weg, es herauszufinden, ist, sie auf die Vergangenheit anzuwenden, als wäre man dabei gewesen: an jedem Datum nur das betrachten, was man an diesem Tag wissen konnte, die Aktien auswählen, sie ein Jahr halten und zählen, was sie nach Kosten eingebracht haben. Der Test dieses Kurses umfasst 40 Auswahldaten (1. Mai und 1. November von 2006 bis 2025), Zehntausende Gesellschaften in rund dreißig Ländern und vergleicht die Methode mit allen kleinen Werten gleichgewichtet (dem „Universum“).

Die Vergangenheit garantiert nicht die Zukunft. Doch eine Regel, die zwanzig Jahre lang nichts gebracht hat, wird morgen kaum gut funktionieren.

2. Die Fallen eines Tests

Der Survivorship Bias. Eine Datenbank, die nur heute noch notierte Gesellschaften enthält, vergisst die Pleiten: Die Vergangenheit wirkt rosiger, als sie war. Der Test schließt delistete Gesellschaften ein, doch die Quelle hat nicht für alle die Abschlüsse: Es fehlen jene von 92 % der zwischen 2006 und 2010 verschwundenen Gesellschaften, gegenüber 7 % nach 2021. Die Renditen des ersten Jahrzehnts sind daher zu schmeichelhaft, für das Universum wie für die Methode.

Der Look-ahead Bias. Zum 31. Dezember abgeschlossene Jahresabschlüsse werden erst im März oder April veröffentlicht. Der Test verwendet nur Geschäftsjahre, die mindestens 120 Tage vor dem Auswahldatum abgeschlossen waren.

Falsche Daten. Ein einziger Kursfehler genügt, um einen Durchschnitt zu verfälschen: Eine Gesellschaft aus Hongkong, deren Kurs in der Datenbank mit 1000 multipliziert war, fügte der Rendite des Universums in einem Jahr allein 21 Prozentpunkte hinzu. Etwa 14 % der Reihen enthielten abwegige Sprünge: Sie wurden bereinigt, und 561 zu beschädigte Gesellschaften wurden ausgeschlossen.

Die Kosten. Bei einem wenig gehandelten kleinen Wert kostet die Spanne zwischen Geld- und Briefkurs weit mehr als die Ordergebühr. Der Test rechnet je nach Liquidität mit 0,5 % bis 3 % je Kauf und je Verkauf.

Die Überoptimierung. Probiert man zwanzig Varianten, gewinnen manche zufällig. Hinterher die beste auszuwählen heißt, die Regel an die Vergangenheit anzupassen, ohne für die Zukunft etwas zu gewinnen.

Wissenschaftliche Grundlage

Harvey, Liu und Zhu (2016) haben über 300 veröffentlichte „Faktoren“ erfasst, die Aktienrenditen erklären sollen, und gezeigt, dass ein großer Teil der Korrektur für Mehrfachtests nicht standhält: Wer lange genug sucht, findet etwas. Bailey und López de Prado haben das Risiko der Überoptimierung von Backtests formalisiert: Je mehr Varianten man probiert, desto mehr ist das beste erzielte Ergebnis vom Zufall geschönt.

3. Die Regeln vor dem Hinsehen festlegen

Vor dem vollständigen Test legte ein Protokoll schriftlich fest, was gemessen und was entscheiden würde:

Falle

Selbst mit einem Protokoll rutscht ein Fehltreffer durch: Ein Qualitätsmaß (Wachstum des materiellen Eigenkapitals) erfüllte alle Trefferkriterien. Genauer geprüft schnitt es nur an jedem zweiten Datum besser ab und sagte, für sich genommen, sogar das Gegenteil voraus. Es wurde verworfen. Ein Ergebnis knapp über der Schwelle verdient immer eine zweite Prüfung.

4. Was die Methode liefert

Portfolio „Beste Punktzahlen“ (die 20 bestbewerteten Aktien, gleiche Gewichte, jährlich neu gebildet), alle Länder, Jahresrendite in Euro nach Kosten:

2006-20152016-2025
Methode (Beste Punktzahlen)14,9 % pro Jahr, schlimmster Rückgang −49 %9,6 %, −45 %
Universum (alle kleinen Werte, gleiche Gewichte)7,4 %, −59 %7,9 %, −37 %
Abweichung+7,5 Prozentpunkte pro Jahr, geringerer Rückgang+1,6 Prozentpunkte pro Jahr, Rückgang um 8 Prozentpunkte stärker

Nach den im Voraus festgelegten Kriterien hat die Methode 2006-2015 klar Erfolg, scheitert aber 2016-2025: Der Gewinn ist dort gering und der schlimmste Rückgang übersteigt den des Universums um mehr als 5 Prozentpunkte.

Das robusteste Ergebnis liegt woanders: Die Punktzahl ordnet die Aktien gut. In fünf Gruppen nach ihrer Punktzahl sortiert, bringen Aktien umso mehr, je höher ihre Punktzahl, in beiden Hälften und in allen Regionen.

Durchschnittliche Rendite über 12 MonateDie am schlechtesten bewerteten 20 %234Die am besten bewerteten 20 %
2006-2015+7,9 %+10,8 %+13,2 %+14,6 %+17,3 %
2016-2025+5,1 %+9,2 %+10,2 %+11,6 %+14,3 %

Die Schwäche liegt im letzten Schritt: Ein Portfolio aus 20 Positionen, einmal im Jahr neu gebildet, ist sehr anfällig für den Zufall der wenigen ausgewählten Titel.

5. Nach Regionen

Region2006-2015: Methode / Universum2016-2025: Methode / Universum
Europa12,4 % / 6,3 %13,7 % / 6,8 %
Asien-Pazifik20,2 % / 9,4 %14,1 % / 6,2 %
Nordamerika8,7 % / 7,0 %12,9 % / 11,3 % (schlimmster Rückgang −52 % gegenüber −39 %)

Europa und Asien-Pazifik bieten einen klaren und regelmäßigen Vorsprung. Nordamerika ist der Schwachpunkt: Von 2016 bis 2020 verloren die Auswahlen dort Geld, während der Gesamtmarkt stieg. Das war der „Value-Winter“: Zinsen nahe null, sehr gefragte Wachstumswerte und viele günstige Gesellschaften, die es aus gutem Grund waren (stationärer Handel gegen das Internet, Schieferöl). Seit Ende 2020 hat die Methode dort wieder Boden gutgemacht.

Falle

Eine wertbasierte Methode kann mehrere Jahre zurückliegen. Wer sie nach drei enttäuschenden Jahren aufgibt, verlässt sie oft kurz bevor sie wieder gewinnt. Das muss man vor dem Start wissen.

6. Was gestrichen wurde

Jede Regel des Modells wurde einzeln gestrichen, um zu sehen, ob sie nützte. Drei änderten nichts und wurden entfernt:

Die fünf Bausteine der Punktzahl (Bewertung, Solidität, Qualität, Trend, Sicherheit) und die Warnungen zu den Abschlüssen sind alle in mindestens einem der beiden Zeiträume nützlich und wurden behalten.

7. Was nicht funktioniert hat

Rund zwanzig im Voraus festgelegte Varianten wurden mit dem Modell verglichen. Keine wurde übernommen:

Ergebnis: ein einfacheres Modell als vor dem Test, ohne hinzugefügte Regel.

8. Was daraus folgt

Das Wichtigste
  • Ein ehrlicher Test schließt verschwundene Gesellschaften ein, verwendet nur die an jedem Datum bekannte Information und rechnet mit realistischen Kosten.
  • Entscheidungsregeln werden vor dem Blick auf die Ergebnisse festgelegt; ein Gewinn knapp über der Schwelle wird zweimal geprüft.
  • Die Methode schlug alle kleinen Werte 2006-2015 um 7,5 Prozentpunkte pro Jahr und 2016-2025 um 1,6 Prozentpunkte, mit einem stärkeren schlimmsten Rückgang im zweiten Zeitraum.
  • Die Punktzahl ordnet die Aktien in allen Regionen gut: der robusteste Beitrag.
  • Eine wertbasierte Methode kann mehrere Jahre in Folge enttäuschen; das muss man im Voraus akzeptieren.
  • Vereinfachen, wenn eine Regel nichts bringt: Das Modell kommt aus dem Test einfacher heraus, als es hineinging.

Übungen

Übung 1: der Überlebende

Eine Datenbank enthält nur die 800 heute notierten Gesellschaften. Vor fünfzehn Jahren waren 1200 Gesellschaften notiert; 250 gingen pleite, 150 wurden übernommen. Welche Verzerrung betrifft einen Test mit dieser Datenbank?

Lösung. Der Survivorship Bias: Die 250 Pleiten, oft Totalverluste, verschwinden aus dem Test, ebenso die Übernahmen, oft mit Aufschlag erfolgt. Die Durchschnittsrendite wirkt höher und der schlimmste Rückgang geringer als in Wirklichkeit.

Übung 2: zwanzig Varianten

Sie testen zwanzig Varianten einer Regel. Nur eine schlägt die Referenz um 1,2 Prozentpunkte pro Jahr, und nur in einem der beiden Zeiträume. Was tun Sie?

Lösung. Nichts. Bei zwanzig Versuchen ist es normal, dass eine Variante zufällig gewinnt. Eine Regel, die nur in einem Zeitraum und knapp gewinnt, erfüllt das Kriterium nicht: Man behält die einfachste Version.

Übung 3: drei Jahre Rückstand

Ihr Portfolio schneidet drei Jahre in Folge 4 Prozentpunkte schlechter ab als der Markt. Was prüfen Sie, bevor Sie die Methode aufgeben?

Lösung. Ob der Rückstand vom Stil kommt (günstige Aktien vernachlässigt, wie 2016 bis 2020) oder von einem Anwendungsfehler (Regeln nicht befolgt, schlecht gewählte Titel, zu hohe Kosten). Ordnet die Punktzahl die Aktien weiter gut und wurden die Regeln befolgt, ist es wahrscheinlich der Rückstand des Stils, den der Test als möglich gezeigt hat; wurden die Regeln nicht befolgt, muss man die Anwendung korrigieren.