A 2016-os konvektív szezon előrejelzéseinek verifikációja

2016-ben is elvégeztem a szupercella.hu által kiadott konvektív előrejelzések verifikációját. Ennek eredményét publikálom a jelenlegi cikkben.

A verifikációs időszak a konvektív félévet öleli fel, ami április 1-től szeptember 30-ig tart, ez összesen 183 napot jelent. Tíz darab esemény bekövetkezését vizsgáltam: villámárvíz, MKR, bow echo, szupercella, heves jégeső, szignifikáns jégeső, heves szélvihar, szignifikáns szélvihar, mezociklonális tornádó, nem-mezociklonális tornádó. A verifikációs terület Magyarország, tehát csak a hazánkban észlelt eseményeket vettem számításba.

A vizsgálathoz szükséges észlelt események egy részét saját oldalunkról (szupercella.hu), másik jelentős részét különböző amatőr meteorológiai portálokról (metnet.hu, idokep.hu) vettem. Néha szükséges volt különböző hírportálokon is utánajárni egy-egy heves eseménynek. Emellett jelentős mértékben támaszkodtam az OMSZ által biztosított 1km-es felbontású radarképekre is, amelyek 10 percenként állnak az egyesület rendelkezésére.

Amelyik napon nem említettük meg az adott esemény bekövetkezését az előrejelzésünkben, vagy pedig egyáltalán nem volt konvektív előrejelzés kiadva, azt úgy vettem, hogy az adott esemény "nem-bekövetkezését" jeleztük előre.
 

1. Egyszerű statisztikák

 
A következő táblázat összesíti a megfigyelt események és a hozzájuk tartozó előrejelzések előfordulási gyakoriságait (ami azt jelenti, hogy a 183 napos időszak mekkora részében voltak megfigyelve ill. előrejelezve):

 Esemény Megfigyelt elõfordulás [%] Elõrejelzés elõfordulás [%] BIAS
Villámárvíz 13.66 18.03  1.32
MKR 18.58 15.30  0.82
Bow echo  3.83  3.28  0.86
Szupercella 15.30 19.13  1.25
Heves jégesõ  9.29  8.74  0.94
Szignifikáns jégesõ  1.09  0.00  0.00
Heves szélvihar  4.92  8.74  1.78
Szignifikáns szélvihar  0.55  1.09  2.00
Mezociklonális tornádó  0.00  8.20   -
Nem-mezociklonális tornádó  1.64 10.38  6.33

1. Táblázat
 

Ebből az összehasonlításból az látszik, hogy a leggyakoribb események az MKR (18.58%), a szupercella (15.3%) és a villámárvíz (13.66%) voltak. A heves jégeső, illetve a heves szélvihar ennél valamivel ritkább eseménynek számítanak (9.29% és 4.92%). Legritkábban a bow echo (3.83%), szignifikáns jégeső (1.09%), szignifikáns szélvihar (0.55%) és a nem-mezociklonális tornádó (1.64%) fordult elő.
Mezociklonális tornádó nem fordult elő, legalábbis észlelés nem jutott a tudomásunkra.

Összevetve a kiadott előrejelzések és az események bekövetkezésének gyakoriságát, az MKR és bow echo tekintetében kevesebbszer jeleztük ezeket előre, mint ahogy ezek előfordultak (BIAS<1), de 2016-ban ez volt a helyzet a heves jégesőnél is. Szignifikáns jégesőt nem jeleztünk előre egyszer sem.
A heves és szignifikáns szélviharra, tornádókra, villámárvizekre és a szupercellákra több előrejelzést adtunk ki, mint ahogy ezek előfodultak (BIAS>1). A legritkábbnak számító eseményeknél (pl. tornádók) magas BIAS értéket láthatunk, illetve a nem megtörtént eseményeknél ez a szám nem értelmezhető.
 

2. Kontingencia táblázatok

Ebben a fejezetben mind a 10 eseményre felvázolom a kontingencia táblázatokat, amelyek 2x2 esetet tartalmaznak:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett A B
Nem elõrejelzett C D
 

A táblázat egyes elemei megmutatják a találatok (A), téves riasztások (B), mulasztások (C), illetve korrekt elutasítások (D) számát.

Az egyes táblázatok egymás után felsorolva:

Villámárvíz:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 19 14
Nem elõrejelzett 6 144
 

 
 
MKR:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 22 6
Nem elõrejelzett 12 143
 

 
 
Bow echo:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 2 4
Nem elõrejelzett 5 172
 

 
 
Szupercella:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 18 17
Nem elõrejelzett 10 138
 

 
 
Heves jégeső:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 9 7
Nem elõrejelzett 8 159
 

 
 
Szignifikáns jégeső:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 0 0
Nem elõrejelzett 2 181
 

 
 
Heves szélvihar:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 6 10
Nem elõrejelzett 3 164
 

 
 
Szignifikáns szélvihar:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 1 1
Nem elõrejelzett 0 181
 

 
 
Mezociklonális tornádó:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 0 15
Nem elõrejelzett 0 168
 

 
 
Nem-mezociklonális tornádó:
 

  Bekövetkezett Nem bekövetkezett
Elõrejelzett 1 18
Nem elõrejelzett 2 162
 

 

3. A verifikációs mérõszámok összesítése

A verifikációs eredmények, valamint a fenti táblázatok értelmezéséhez fontos megjegyezni, hogy a különböző események:

  • különböző előfordulási gyakorisággal rendelkeznek (1. Táblázat)
  • előrejelzése különböző mértékben könnyű/nehéz, két azonos gyakoriságú jelenség esetén is eltérő lehet
  • gazdasági szempontból nézve eltérő mértékű károkat okozhatnak: általánosságban, a heves események esetén jobban számít egy elmulasztott esemény, mint egy téves riasztás (egy MKR és egy szupercella esetén viszont nem mondható el feltétlenül, hogy okoznak is veszélyes eseményt)

A fenti különbségek leírására különböző módszereket, verifikációs mérőszámokat dolgoztak ki, amelyek a fenti táblázatokban szereplő négy számot egyetlen értékkel próbálják meg helyettesíteni.

A verifikációhoz használt gyakori mérőszámok táblázatba összefoglalva (a mérőszámok részletes leírása és az egyéb verifikációs módszerek megtalálhatóak az Előrejelzések verifikációja I. című anyagunkban):



 Esemény ACC FAR ETS HSS ORSS MCC
Villámárvíz  0.89  0.42  0.42  0.59 0.94  0.60
MKR  0.90  0.21  0.48  0.65  0.96  0.66
Bow echo  0.95  0.67  0.16  0.28  0.89  0.28
Szupercella  0.85  0.49  0.32  0.48  0.87  0.49
Heves jégesõ  0.92  0.44  0.33  0.50  0.92  0.50
Szignifikáns jégesõ  0.99 - 0 0 - -
Heves szélvihar  0.93 0.63 0.29 0.45 0.94 0.47
Szignifikáns szélvihar  0.99 0.5 0.5 0.66 1 0.71
Mezociklonális tornádó  0.92 1 0 0 - -
Nem-mezociklonális tornádó  0.89  0.95  0.03  0.06  0.64  0.10

2. Táblázat

A pontosságot (ACC) megvizsgálva azt mondhatjuk, hogy 85-100%-ban eltaláltuk a helyes bekövetkezési kategóriát, az eseménytől függően. Viszont az előrejelzés jóságára ebből sok következtetést önmagában nem tudunk levonni, mivel különböző karakterisztikájú eseményekről, bekövetkezési arányokról is van szó.

A FAR értékeket elemezve az MKR rendelkezik a legkisebb számokkal (21%), azaz ezeknek viszonylag könnyű az előrejelzése. A villámárvíz, szupercella és heves jégeső esetén közepes értékeket láthatunk (40-50%), heves és szignifikáns szélvihar esetén 63% és 50%, a bow echók esetén ez a szám 67% és a tornádók esetében 95-100% (ezért is kifizetődőbb tornádók esetén a valószínűségi kategóriás előrejelzést bevezetni, amiről később lesz szó).

A többi, bonyolultabb mérőszámot (ETS, HSS, ORSS) itt nem vizsgálom, MCC-ről még lesz szó később.

A kontingencia táblázatok esemény alapú, illetve előrejelzés alapú feldolgozásához tartozó arány- és mérőszámok:

Esemény   TPR FPR Informedness   PPV FOR Markedness
Villámárvíz    0.76  0.09  0.67    0.58  0.04 0.54
MKR    0.65  0.04  0.61    0.79  0.08 0.71
Bow echo    0.29  0.02  0.26    0.33  0.03 0.31
Szupercella    0.64  0.11  0.53    0.51  0.07 0.45
Heves jégesõ    0.53  0.04  0.49    0.56  0.05 0.51
Szignifikáns jégesõ   0.00 0.00 0.00   - 0.01 -
Heves szélvihar   0.67 0.06 0.61   0.38 0.02 0.36
Szignifikáns szélvihar   1.00 0.01 0.99   0.50 0.00 0.5
Mezociklonális tornádó   - 0.08 -   0.00 0.00 0
Nem-mezociklonális tornádó    0.33  0.10  0.23    0.05  0.01 0.04

3. Táblázat

Az FPR-t és a TPR-t egy ábrára feltéve és összehasonlítva az egyes eseményeket:


1. Ábra

Az ábrán látható, hogy a tökéletes ponthoz (TPR=1, FPR=0) legközelebb a szignifikáns szélvihar található. Ez amiatt van, hogy csak egyszer következett be, és azt előre is jeleztük. Ez egy kiugró értékként jelenik meg az ábrán.
Ettől eltekintve, az MKR, heves szélvihar és a villámárvíz előrejelzése jónak tekinthető.
Ezeknél kevésbé jónak számít a szupercella, illetve a heves jégeső előrejelzése. A leggyengébbnek a szignifikáns jégeső, bow echo, illetve a nem-mezociklonális tornádó előrejelzése mutatkozott. Ezek magyarázata egyrészt az alacsony előfordulási arány, és az, hogy a kevés előfordult esetet sem sikerült jól előrejelezni. (A fekete vonal jelöli a TPR=FPR vonalat, ami az ún. véletlen előrejelzések teljesítményét mutatja.)

A TPR-FPR ábra mellett felrajzolható az előzőek duálisának tekinthető PPV-FOR ábra. A PPV jelenti az esemény előfordulási gyakoriságát abban az esetben, ha volt előrejelzés, míg FOR abban az esetben jelenti ugyanezt, amikor nem volt előrejelzés.


2. Ábra

A fekete átlós vonalon (x=y) jelölve vannak az események előfordulási gyakoriságai (p), ezeket összekötöttem a (PPV, FOR) pontokkal. Minél jobban felfelé és balra mozdulunk el ebből a főátlóbeli ponttól, annál jobb az előrejelzésünk (tehát PPV>p és FOR<p). Ezeket áttekintve hasonló következtetéseket lehet levonni, mint a TPR-FPR esetén (itt a szignifikáns szélvihar előrejelzésnél nincs kiugró érték): a legjobbak közé tartozik az MKR, villámárvíz, szupercella, heves jégeső ill. szignifikáns szélvihar előrejelzés.
Ezeket követi a heves szélvihar, bow echo előrejelzés, majd a sor végén a tornádó előrejelzések állnak (szignifikáns jégesőre nem értelmezhetőek ezek a mérőszámok).

Ha az eredményeket egyetlen mérőszám szerint szeretnénk sorrendbe állítani, akkor érdemes ezt az Informedness, Markedness illetve az MCC szerint megtenni. Természetesen attól függően, hogy melyik verifikációs mérőszámot választjuk ki, különböző sorrend jön ki:



Esemény Informedness
Szignifikáns szélvihar 0.99
Villámárvíz 0.67
MKR 0.61
Heves szélvihar 0.61
Szupercella 0.53
Heves jégesõ 0.49
Bow echo 0.26
Nem-mezociklonális tornádó 0.23
Szignifikáns jégesõ 0
Mezociklonális tornádó -

4. Táblázat



Esemény Markedness
MKR 0.71
Villámárvíz 0.54
Heves jégesõ 0.51
Szignifikáns szélvihar 0.5
Szupercella 0.45
Heves szélvihar 0.36
Bow echo 0.31
Nem-mezociklonális tornádó 0.04
Mezociklonális tornádó 0
Szignifikáns jégesõ -

5. Táblázat



Esemény MCC
Szignifikáns szélvihar 0.71
MKR 0.66
Villámárvíz 0.6
Heves jégesõ 0.5
Szupercella 0.49
Heves szélvihar 0.47
Bow echo 0.28
Nem-mezociklonális tornádó 0.1
Szignifikáns jégesõ -
Mezociklonális tornádó -

6. Táblázat

Természetesen további tetszőleges mérőszámokat is fel lehet venni.
 

4. Valószínűségi előrejelzések verifikációja

A tornádó előrejelzéseknél idén is valószínűségi kategóriás előrejelzést használtunk, diagnosztikai jelleggel. Ezeket a kategóriákat T0-tól T3-ig jelöltük. A négy kategóriának a jelentése a következő:

  • T0: "nem várható" (más szóval 0% az esélye)
  • T1: "kis valószínűség"
  • T2: "közepes valószínűség"
  • T3: "nagy valószínűség"

Tehát a kategóriákhoz sorrendben egyre nagyobb valószínűségi értékeket lehet rendelni. (Pontos számértékeket előzetesen nem definiáltam a kategóriákhoz, a tényleges előfordulási gyakoriságokra később térek ki.)

Megjegyzés: Az előző fejezetekben, a nem-valószínűségi kiértékelésnél a T0 kategóriát vettem "nem lesz" előrejelzésnek, a T1/T2/T3 kategóriát pedig "lesz" előrejelzésnek, ami nyílvánvalóan magas téves riasztási arányt eredményez.

Két diagrammal szokás jellemezni a kategóriás valószínűségi előrejelzéseket. Egyik az élességi diagram, amely megmutatja, melyik kategóriát hányszor adtuk ki előrejelzésben. A másik pedig a megbízhatósági diagram, amely minden kategóriához egy előfordulási gyakoriságot rendel hozzá.

Mezociklonális tornádónál csak az élességi diagramot érdemes kirajzolni, mivel az események előfordulási aránya minden kategóriában nulla volt:

Előrejelzések száma a T0-T3 kategóriákban a következők voltak: 168, 15, 0, 0. Általánosságban elmondható, hogy az egyre nagyobb valószínűségi kategóriák egyre kevesebbszer lettek kiadva.

A nem mezociklonális tornádóknál fel lehet rajzolni az élességi és a megbízhatósági diagramot is. Az előbbi:


Az előrejelzések száma a T0-T3 kategóriákban: 164, 17, 2, 0.
 

A megbízhatósági diagram szerint az előfordulási arány a T0 kategóriában 1.22%, míg a T1 kategóriában 5.88%. A féléves átlag 2016-ban 1.64% volt (szaggatott vonal), és a T0 kategóriában ez alatti az előfordulás, míg T1 kategóriában ezen érték felett van. Azt mondhatjuk tehát, hogy T1 esetén nagyjából 3.5-ször magasabb a tornádó előfordulása az átlagosnál.

Ebben a cikkben a valószínűségi kategóriás előrejelzés két további tulajdonságáról - a felbontásról és a diszkriminációról - nem beszélek. Az látszik, hogy ezekről csak több év verifikációs adatainak összesítésével és kiértékelésével lehet csak bármit mondani, hiszen egyetlen évben nagyon kevés tornádós adat áll rendelkezésre. Továbbá a kategóriákhoz nincsen valószínűség hozzárendelve, így a megbízhatóságról is csak korlátozottan lehet következtetést levonni.

A fentebbi nyitott kérdésekre a következő cikkem fog választ adni, amelyben három szezont fogok összehasonlítani illetve összegezni (2014-2015-2016).

 

5. Konklúzió


Az eredmények alapján elmondható, hogy a legjobban sikerült előrejelzések az MKR, villámárvíz, heves jégeső, heves szélvihar. Ezeknél az eseményeknél egyértelműen javultunk az előző évekhez képest (részletesebb összehasonlító adatok a következő cikkemben). Itt csak egy plusz adatot emelek ki: a téves riasztások aránya csökkent a heves jégesőre és a villámárvízre.
A szignifikáns szélvihar előrejelzés is jónak mondható, bár ilyen esemény csak egyszer fordult elő a 2016-os konvektív félévben.

Míg a 2015-ös szezonban a szupercella előrejelzés kiemelkedően jól sikerült, ez nem mondható el a 2016-os szezonra, szinte az összes mérőszámban visszaesés történt az előzőhöz képest.
A bow echo előrejelzésén továbbra is lehet még javítani, bár ez az utóbbi évek eredményei alapján javuló tendenciát mutat. Még mindig úgy tűnik, hogy nem figyelünk oda erre a jelenségre, vagy pedig nem tudjuk kellően előrejelezni. (Hozzáteszem, hogy ez a zivatarhoz kapcsolódó esemény az esetek kis részében okoz csak heves eseményt.)

Nem adtunk ki szignifikáns jégeső előrejelzést, pedig ez kétszer is előfordult 2016-ban. Erre jobban oda kell figyelnünk a jövőben, hiszen egy potenciálisan károkozó eseményről van szó.

A tornádó előrejelzéseknél pedig nehéz egy évet kiemelni, hiszen nagyon sok függ attól, hogy egyáltalán mennyi tornádó fordult elő az adott szezonban. Az elmúlt három évre tekintve az látszik (ahogyan egyre több megfigyelési adat áll rendelkezésre), hogy a valószínűségi kategóriák használatának van értelme, és folytatjuk ezt a fajta előrejelzési/kiértékelési módot.
A következő cikkemben erről is fogok beszélni, valamint egyéb zivatar-klimatológiai érdekességeket is fel fogok vázolni.
 

Kapcsolat

Magyarországi Viharvadászok és Viharkárfelmérők Közhasznú Egyesülete

info@szupercella.hu

1139 Budapest, Fiastyúk utca 57. 3/3

Adószám (1% felajánláshoz)

18033108-1-41

Készítette

Viharvadászok Egyesülete
CodeOne.hu

Jogi tudnivalók

Az oldalon található minden tartalom (az oldal készítői és az oldali felhasználói által a weboldalon vagy a mobil applikációkon keresztül feltöltött szöveg, kép, videó, mérési eredmény, stb.) - kivéve ahol a feltüntetett információk ettől eltérnek - a Magyarországi Viharvadászok és Viharkárfelmérők Közhasznú Egyesületének tulajdonát képezi. Bármilyen nemű felhasználáshoz az Egyesület írásbeli hozzájárulása szükséges. A weboldal tartalmai szabadon hivatkozhatók a forrás feltüntetésével.

Támogatás, pályázat