Brier Score
Zahlenbeispiele verwenden die englische Schreibweise: Das Komma trennt Tausendergruppen, der Punkt die Nachkommastellen. 1,000 bedeutet eintausend, 1.25 eins und ein Viertel.
Prognostizieren Sie vor jeder von vier Beobachtungen die Wahrscheinlichkeit, dass EUR/USD in der nächsten Stunde über dem aktuellen Bid schließt. Die Prognosen lauten 0.8, 0.6, 0.3 und 0.1; die tatsächlich beobachteten Ereigniskennungen sind 1, 0, 1 und 0. Nach der binären 0–1-Konvention beträgt der Brier Score (0.04 + 0.36 + 0.49 + 0.01) / 4 = 0.225. Konstante Prognosen von 0.5 für dieselben Ereignisse ergeben 0.25. Dies demonstriert die Rechnung; vier Beobachtungen belegen keine künftige Prognosequalität.
Ereignis und Prognosezeit zuerst definieren
Die Kennung 1 muss bei jeder Beobachtung dieselbe Bedingung, denselben Horizont und dieselbe Datenquelle bezeichnen. Erfassen Sie die Prognose, bevor das Ergebnis bekannt ist. Vermischen Sie einen Kursanstieg über eine Stunde nicht mit dem Erreichen eines Ziels vor einem Stop: Das sind unterschiedliche Ereignisse. Legen Sie den Umgang mit fehlenden Daten und Gleichständen fest. Überlappende Horizonte können abhängige Beobachtungen erzeugen, sodass die Anzahl der Prognosen nicht der Anzahl unabhängiger Informationen entsprechen muss.
Geeigneten Vergleich nutzen
Auf derselben Stichprobe und nach derselben Konvention ist ein niedrigerer Wert besser. Eine ständige Prognose von 0.5 ergibt 0.25. Bei seltenen Ereignissen kann jedoch eine anhand früherer Daten geschätzte Häufigkeit die bessere Vergleichsbasis sein. Wählen Sie diese nicht anhand der Testergebnisse aus. Halten Sie auch die Konvention der Bibliothek fest: Eine Summe über alle Klassen oder eine Mehrklassenformulierung kann eine andere Skala haben. Prüfen Sie die Kennung der positiven Klasse, statt anzunehmen, dass eine Wahrscheinlichkeitsspalte eine Aufwärtsbewegung bezeichnet.
Gute Kennzahl ist keine rentable Strategie
Der Brier Score bewertet Wahrscheinlichkeitsprognosen, nicht die monetären Handelsergebnisse. Er erfasst mehr als die Kalibrierung allein; untersuchen Sie Kalibrierung und Stabilität außerhalb der Entwicklungsstichprobe getrennt. Selbst eine tatsächliche Wahrscheinlichkeit von 60% ergibt bei Ergebnissen von +1R oder −2R einen Erwartungswert von 0.6 × 1R − 0.4 × 2R = −0.2R vor Kosten. Eine Handelsentscheidung erfordert zusätzlich Angaben zu Ergebnissen, Ausführung, Positionsgröße und Risikobeschränkungen.
Weiterführendes Lernen und Quellen
10.1 Handel unter Unsicherheit – Entscheidungen mit unbekanntem Ausgang beurteilen; 11.9 KI und LLMs im Trading – Anwendungen, Grenzen und Risiken; 15.9 Forex-Handelsjournal — R-Multiple, Erwartungswert, SQN und MAE/MFE.
Primärquellen (geprüft 2026-10-11): scikit-learn — brier_score_loss; scikit-learn — Bewertung von Wahrscheinlichkeitsprognosen.