Wettervorhersagen sind eine schwierige Kunst, zum Glück gibt es heutzutage zahlreiche Wettermodelle, die stetig weiterentwickelt werden. Um überprüfen zu können, wie gut ihre Vorhersagequalität ist, gibt es die Methoden der Verifikation. Im Thema des Tages vom 11.09.26 wurden erste Aspekte näher betrachtet. Heute soll es um die kategorischen Gütemaße gehen.
Zur Erinnerung: Um beispielsweise Temperaturvorhersagen zu überprüfen, werden kontinuierliche Gütemaße verwendet. Geht es jedoch zum Beispiel um die Vorhersage, ob es regnet oder nicht, so wird nur zwischen ja oder nein unterschieden. Daraus ergibt sich eine sogenannte Wahrheitsmatrix mit vier verschiedenen Fällen. Ist das Ereignis eingetreten und die Vorhersage "ja", so spricht man beispielsweise von einem Treffer oder im Englischen "Hit".
Basierend auf dieser Einteilung lassen sich verschiedene Kenngrößen berechnen. Die "Accuracy" (Genauigkeit) ist das Verhältnis der korrekten Vorhersagen (A+D) zu der Gesamtheit der Betrachtungen (A+B+C+D). Auf den ersten Blick möchte man meinen, eine Trefferquote nahe eins bedeute automatisch eine gute Vorhersagequalität. Doch wie so oft ist es nicht ganz so einfach. Stellen wir uns ein (noch) extrem seltenes Ereignis vor, beispielsweise ob eine Lufttemperatur von 41°C erreicht worden ist. Nun ist ein Modell, das einfach immer "nein" vorhersagt, offensichtlich kein Modell, das irgendeinen Mehrwert erzeugt. Trotzdem erreicht es eine Trefferquote, die sehr nahe am perfekten Ergebnis liegt. Aus diesem Grund sollten immer mehrere verschiedene Gütemaße zu Rate gezogen werden.
In unserem Beispiel bietet sich die "Probability of Detection" (POD) an. Hier werden nur die "Hits" (A) betrachtet und deren Verhältnis zu allen positiven Beobachtungen (A+C). Da unser Modell nie "ja" vorhersagt, ist A=0 und somit besitzt diese Art der Vorhersage keinerlei Präzision.
Das Gegenstück zur POD ist die "False Alarm Ratio" (FAR). Sie gibt an, wie oft man falsch gelegen hat (B), wenn "ja" vorhergesagt wurde (A+B). Diese beiden Größen ergänzen sich so gut, weil die POD künstlich erhöht werden kann, wenn ein Ereignis zu häufig vorhergesagt wird, die FAR jedoch genau das bestraft. Eine kleine Randnotiz: Eine graphische Darstellung, welche sich der POD und FAR bedient, ist das sogenannte ROC-Diagramm (Relative Operating Characteristic), in diesem ist die FAR auf der x-Achse und die POD auf der y-Achse dargestellt. Mit diesem kann untersucht werden, wie gut ein Modell zwischen "ja" und "nein" unterscheiden kann.
Nun haben wir einen kleinen Einblick bekommen, wie kategorische Vorhersagen untersucht und bewertet werden können. Spannenderweise kann dieses Konzept auch auf die ausgegebenen amtlichen Wetterwarnungen des Deutschen Wetterdienstes angewandt werden. In diesem Fall ist das betrachtete Ereignis "Wird eine bestimmt Warnschwelle in diesem Bereich überschritten?". Im Nachgang kann dann herausgefunden werden, wie gut oder schlecht die herausgegebene Warnung zu den schlussendlich gemessenen Werten gepasst hat.
Doch kommen wir zurück zu Vorhersagen, so fehlt eine Art noch gänzlich. Wie kann eine wahrscheinlichkeitsbasierte Vorhersage der Art: "Die Regenwahrscheinlichkeit beträgt 70 %" objektiv bewertet werden? Hier können die besprochenen Methoden nicht angewandt werden und es muss umgedacht werden. Daher widmen wir uns diesem Thema ein andermal.