1 / 29

2.7 Validierung durch Backtesting

2.7 Validierung durch Backtesting. Problem aller bisheriger Methoden: Ergebnis ist nur so gut wie das Modell selbst. Modell besteht im Wesentlichen aus zwei Faktoren: Einflussgrößen Modellierungsalgorithmus

turi
Télécharger la présentation

2.7 Validierung durch Backtesting

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 2.7 Validierung durch Backtesting • Problem aller bisheriger Methoden: Ergebnis ist nur so gut wie das Modell selbst. • Modell besteht im Wesentlichen aus zwei Faktoren: • Einflussgrößen • Modellierungsalgorithmus • Einflussgrößen sind oft real beobachtbare Marktdaten, z.B. Aktienpreise -> Keine Genauigkeitsprobleme bei börsengehandelten Produkten • Genauigkeit des VaR beim Marktrisiko liegt also in der tatsächlichen VaR-Berechnung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  2. Backtesting = Vergleich der prognostizierten VaRs mit den tatsächlich eingetretenen Wertänderungen • Vergleich dazu Stresstesting = Analyse möglicher zukünftiger Wertänderungen mittels Szenarien und Expertenschätzungen. • Wesentlich für die Auswahl des Backtestingverfahrens sind • Beobachtungszeitraum • Genauigkeit der Analyse / interner vs. offizieller Backtest • Automatisierbarkeit • Konfidenzniveau • Art der VaR-Berechnung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  3. Regulatorische Vorgaben • Seit 1996 können Banken eigene Verfahren zur VaR-Berechnung ihres Marktrisikos verwenden • Wie ist der Zusammenhang zwischen VaR und tatsächlich benötigtem Eigenkapital? • Banken: „VaR = Eigenkapital“ • Problem: Modellrisiko nicht mit eingerechnet Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  4. Value-at-Risk vs. Eigenkapital • Problem: Modellfehler kann zu VaR-Unterschätzungen führen • Regulatoren: „Eigenkapital = Tatsächliches Risiko inklusive Modellfehler“ • Annahme: Sensitivität des VaR gegenüber dem Modell ist nach oben durch eine Konstante beschränkt Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  5. Modellfehler bei Normalverteilungsannahme: • Tschebyscheff-Ungleichung • Ergebnis für das 99%-Quantil: k=10, d.h. 10σ ist Obergrenze des 99%-Quantils einer beliebigen Verteilung F mit beschränkter Varianz. • Vergleich zur Normalverteilung: Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  6. Resultat: Tatsächlicher VaR beim 99%-Quantil ist maximal das 4.29-fache des „Normal“-VaR. • Modellfehler bei anderen Schätzmethoden (Hist. Simulation, MC-Methode) bewegt sich in ähnlichen Rahmen (siehe Stahl, G. „Three Cheers“, Risk Vol.10, No.5) • Gesetzliche Umsetzung: Je nach festgestellter Güte des Modells wird als Eigenkapital das 3-4 fache des berechneten VaR zum Konfidenzniveau 0,99 veranschlagt. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  7. Eigenkapital = VaR * (3 + s), 0 ≤ s ≤ 1 • Wahl von s abhängig vom einfachsten Backtest, der Basler Ampel • Basler Ampel zählt VaR-Überschreitungen innerhalb eines Jahres • Grundannahme: 250Tage/Jahr entspricht ca. 2-3 Überschreitungen des 99% VaR. 10 Überschreitungen entsprechen in etwa 96% Konfidenz Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  8. Analytische Methoden • Annahme: Das Ereignis „VaR-Überschreitung tritt ein“ wird beschrieben durch eine B(1;0,01)-Zufallsvariable • Die Wahrscheinlichkeit des Eintretens am Tag n ist unabhängig von einem Eintreten am Vortag • Die VaR-Überschreitungen in einem festgelegten Zeitraum N sind daher B(N;0,01) verteilt • Beispiel: „Basler Ampel“ benutzt eine B(250;0,01)-ZV als Grundlage Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  9. Basler Ampel überprüft (stark vereinfacht) die Hypothese, dass das beobachtete Konfidenzniveau mit dem vorgegebenen Konfidenzniveau übereinstimmt. x = Anzahl der Überschreitungen N = Anzahl der Messstellen (Backtestingpunkte) q = 1-Konfidenzniveau = x/N = 1-(empirisches Konfidenzniveau) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  10. Proportion of Failures (POF) Testüberprüft die Nullhypothese dass das beobachtete Quantil mit dem vorgegebenen übereinstimmt • POF-Test benutzt Likelihood-Ratio-Statistik • LR-Statistik ist asymptotisch χ²-verteilt mit einem Freiheitsgrad. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  11. Überschreitet der Wert der LR-Statistik einen kritischen Wert wie z.B. das 95%-Quantil der Chi-Quadrat(1)-Verteilung wird die Nullhypothese abgelehnt, andernfalls wird sie angenommen • Beispiel: In einem Zeitraum von 2 Jahren hat die Bewegung eines Portfolios 8 mal den 99%-VaR überschritten. Ist das VaR-Modell aufgrund dieser Beobachtung zu verwerfen? q=0,01; N=500; x=8; (kritischer Wert) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  12. Time until First Failure (TUFF) Testgeht davon aus dass „im Mittel“ alle q-1 Tage eine Überschreitung auftritt (bei q=0,01 also alle 100 Tage) Die Nullhypothese dazu lautet • ν ist die Zahl der Tage bis zur ersten VaR-Überschreitung • Überprüfung erneut mittels Likelihood-Ratio-Statistik, die asymptotisch χ²-verteilt ist mit einem Freiheitsgrad. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  13. Vergleich zwischen POF und TUFF Test: • POF-Test untersucht Tragfähigkeit des VaR-Modells über den gesamten Beobachtungszeitraum • TUFF-Test untersucht eher zeitlich bedingte Richtigkeit des VaR • Nachteil des TUFF-Tests: Sehr geringe Güte, stark abhängig von der Wahl des Zeithorizontes -> Für die Praxis in dieser Form nicht relevant • Nachteil des POF-Tests: Keine Aussage über Ausmaß der VaR-Überschreitung -> Gut bewertetes Modell kann VaR dennoch stark unterschätzen Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  14. Lösung des Überschreitungsproblems: Ausmaß der Überschreitung muss in den Backtest miteinfließen • Magnitude Loss Function misst sowohl Anzahl der Überschreitungen als auch Abstand zum tatsächlichen VaR • Richtwert für C wird mittels Monte-Carlo-Simulation ermittelt • Ist der gemessene Wert größer als der Richtwert, wird das VaR-Modell verworfen. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  15. Magnitude Loss Function verhindert, dass wenige extreme Ausreißer zu einer Akzeptanz des Modells führen (eventuell auch Nachteil) • MLF ist allerdings für sich betrachtet wenig aussagekräftig • Beispiel: Die maximalen Verluste eines Portfolios im Laufe eines Jahres werden mit zwei VaR-Schätzern zum Konfidenzniveau 99% berechnet. Schätzer A führt an 249 Tagen zu keiner Überschreitung und an einem Tag zu einer Überschreitung von 2237 EUR. Schätzer B führt an 230 Tagen zu keiner Überschreitung und an 20 Tagen zu einer Überschreitung von 500 EUR. C(A)=1+2237²=5.004.170 C(B)=20(1+500²)=5.000.020 Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  16. CD-Test berücksichtigt nicht nur Überschreitungen sondern bewertet die Güte der gesamten Verteilung. • Nachteil: Kann bei Schätzern ohne geschlossene Verteilungsannahme (z.B. EVT) nicht verwendet werden • CD-Test nimmt an, dass die Renditen gleichverteilte Ziehungen aus dem VaR-Modell sind, d.h. die empirischen Perzentile sollten einer R(0,1)-Verteilung genügen. • Überprüfung der Hypothese mittels Q-Test (vergleicht maximale Abstände zur Gleichverteilung mit einem Benchmark) • Durch eine „Worry-Funktion“ wie f(t)=0,5ln(t(1-t)) kann der Fokus des Tests auf die Tails gelegt werden. Der kritische Wert des Q-Tests wird dann mit einer MC-Simulation ermittelt. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  17. Graphische Methoden • Neben den analytischen Methoden benutzen insbesondere die Regulatoren auch graphische Methoden zur Überprüfung des VaR-Modells • Einfachste graphische Methode: Plot des VaR im Vergleich zur Zeitreihe, bzw. Plot der Überschreitungen • Gibt Auskunft darüber wie stark der VaR überschritten wurde. • Zeigt eventuelle Abhängigkeiten zwischen den Überschreitungen auf Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  18. 99% und 95% VaR im Vergleich zur Zeitreihe des NASDAQ (long) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  19. Überschreitungen des 99% VaR Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  20. Überschreitungen des 95% VaR Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  21. Einfache graphische Methode zur Überprüfung der Modellannahmen: QQ-Plot, der die Quantile der empirischen Verteilung mit den Quantilen der Modell-Verteilung vergleicht. • Oftmals Verwendung findet der QQ-Normal-Plot, der die empirischen Quantile mit den Quantilen der Standardnormalverteilung vergleicht. • Stimmen die empirische Verteilung und die Test-Verteilung überein, so liefert der QQ-Plot eine Gerade. • Stimmen zusätzlich die Parameter der Verteilung überein, so entsteht eine Gerade mit Steigung 1. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  22. QQ-Normal-Plot des NASDAQ Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  23. QQ-Plot der empirischen Quantile des NASDAQ gegen eine Pareto-Normal-Pareto-Verteilung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  24. Ebenfalls Auskünfte über die Eignung des VaR-Modells kann eine graphische Analyse des CD-Tests geben • Perzentile werden sortiert und geplottet. Ist das Ergebnis eine Gerade, so ist die Gleichverteilungsannahme gerechtfertigt • Nachteil: Geringe Abweichungen zur Gleichverteilung in den Tails können zu gravierenden Fehlern führen • Mögliche Lösung: Histogramm der geordneten Perzentile. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  25. Geordnete Perzentile des CD-Tests einer historischen VaR-Simulation der EXXON-Aktie (long) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  26. Histogramm des CD-Tests Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  27. Zusammenfassung • Analytische Backtests sind oft „blind“ gegenüber Problemen des VaR-Modells, wie Abhängigkeit der Überschreitungen, Höhe der Überschreitungen, Anzahl der Überschreitungen • Graphische Analysen geben oft mehr Aufschluss, können jedoch nicht automatisiert werden • Zuverlässiges Backtesting erfordert eine Reihe verschiedener Backtests um die Schwächen der einzelnen Test-Verfahren zu eliminieren • Zusätzlich sind oftmals graphische Tests erforderlich um die tatsächlichen Schwächen des Modells aufzudecken Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  28. Angewandtes Backtesting Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

  29. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

More Related