DOI: https://doi.org/10.37162/2618-9631-2021-2-43-51

УДК 551.509.324.2:519.24

 

 

Объектно-ориентированная оценка
качества прогноза осадков для теплого периода
(май-сентябрь) 2016-2020 гг. по модели COSMO-Ru2

В.З. Кисельникова

Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия

pressman@mecom.ru

 

Приведены результаты объектно-ориентированных оценок прогноза накопленных за 6 часов осадков по модели COSMO-Ru2 за теплые периоды (май-сентябрь) 2016‒2020 гг. Область прогноза соответствует Центральному федеральному округу Российской Федерации. Оценки разбиты на две части (2016‒2019 гг. и 2020 г.), существенно различающиеся числом (8 и 12) учитываемых локаторов. Параметры оценки второго периода заметно лучше соответствующих параметров оценки первого периода. 

Ключевые слова: объектно-ориентированная оценка, прогноз накопленных осадков, модель COSMO-Ru2, теплый период, Центральный федеральный округ Российской Федерации

 

 

Object-oriented assessment
of COSMO-Ru2 precipitation forecast quality
for the warm season (May-September) in 2016-2020
 

V.Z. Kiselnikova

Hydrometeorological Research Center of Russian Federation,
Moscow, Russia

pressman@mecom.ru

 

The results of the object-based verification of COSMO-Ru2 6-hour total precipitation forecasts for warm season (May-September) during 2016-2020 are given. The forecast domain corresponds to the Central Federal District of the Russian Federation. The estimates are divided into two parts (2016-2019 and 2020) essentially differing in the number (8 and 12) of weather radars that are taken in to account. The estimates parameters for the second period were significantly better than the respective parameters for the first period.

Keywords: object-based verification, total precipitation forecast, COSMO-Ru2, warm season, Central Federal District

 

 

Один из распространенных методов оценки успешности прогноза пространственного положения исследуемых погодных явлений [8] ‒ объектно-ориентированная оценка прогнозов [1‒4, 6, 7] ‒ будет использован здесь для сравнительной оценки качества рассчитанных по модели COSMO-Ru2 [5] прогнозов накопленных осадков за теплые периоды (май‒сентябрь) 2016‒2019 гг. и 2020 года.

Приведенная на рис. 1 область прогноза – криволинейная трапеция с угловыми точками ~ (50,399° с. ш., 30,305° в. д.; 59,753° с. ш., 29,058° в. д.; 59,472° с. ш., 45,597° в. д.; 50,170° с. ш., 43,397° в. д.) охватывает территорию Центрального федерального округа (ЦФО) Российской Федерации.

 

 

Рис. 1. Закрашенная область включает ЦФО и соответствует одной из подобластей интегрирования используемой в Гидрометцентре России модели COSMO-Ru2.

Fig. 1. Green painted area contains Central Federal District of Russia and corresponds to one part of global area of COSMO-Ru2 model that used in HMC RF.

 

 

Реализация метода объектно-ориентированной оценки прогнозов требует определения в прогностических и построенных по данным локаторов полях осадков объектов простой структуры. Для этого используются процедуры сглаживания и порогового отсечения.

Сглаживание сводится к замене значений указанных полей в данной точке сетки модели средними значениями по точкам сетки, оказавшимися внутри окружности с центром в данной точке. Радиус окружности равен нескольким интервалам сетки и задается заранее.

Пороговое отсечение выделяет зоны осадков в соответствии с заранее заданными порогами. Точки сетки, где осадки превышают такой порог, отмечаются единицей, остальные ‒ нулями.

Для формируемых таким образом объектов определяются их параметры: размер, площадь, координаты центра тяжести (ЦТ) и интенсивность осадков в этом центре.

На рис. 2 приведен пример перехода от прогностических и наблюденных полей к соответствующим объектам. Интервал накопления осадков от 6 до 12 часов 8 мая 2020 года. Верхняя панель: слева ‒ прогностическая карта с изолиниями через 1 мм, максимальное значение 67,8 мм; справа – карта по данным локаторов с изолиниями через 0,5 мм, максимальное значение 10,5 мм. Нижняя панель: ‒ соответствующие объекты для порога 3 мм.

 

 

 

Рис. 2. Пример перехода от прогностических и наблюденных полей осадков к соответствующим объектам. Сверху слева: прогностическая карта накопленных 8мая 2020 в интервале 6‒12 ч осадков; справа: карта накопленных за тот же срок осадков по данным локаторов. Снизу: соответствующие объекты, определенные для порога 3 мм.

Fig. 2. Example of transition from forecasted and locators precipitation fields to correspondent objects. Above left picture: forecasted field and above right picture: locator field of accumulated at 6-12h 8 May 2020 precipitattion. Below: corresponddent objects for 3mm threshold. 

 

Использованные данные и организация расчетов

Прогностические поля количества осадков по региональной мезомасштабной модели COSMO-Ru2 [5] при начальных данных за 00 ч ВСВ по территории Центрального федерального округа считывались из базы CMC2 Гидрометцентра России. Размер сетки модели 420×470 узлов с шагом 2,2 км. По ежечасным данным определялись поля суммарных осадков за 6-часовые интервалы (00‒06, 06‒12, 12‒18,18‒24 ч) и сопоставлялись с соответствующими полями осадков, полученными с помощью измерений допплеровскими метеорологическими радиолокаторами (ДМРЛ-С), интерполированными на сетку прогностической модели. Эти интерполированные радарные поля называются далее “наблюденными” полями. При построении радарных полей для теплых периодов 2016‒2019 гг. использовались данные 7‒8 локаторов, а для лета 2020 г. стало возможным увеличить число локаторов до 12. Данные наблюдений радиолокаторов ДМРС-С поступали из Центральной аэрологической обсерватории.

При выделении объектов в 2016‒2019 гг. задавались пороги, равные 5 мм/6ч, 10 мм/6ч, 15 мм/6ч, а для объектов 2020 г. добавлен порог 3 мм/6ч.

Процедура сглаживания сводится к осреднению по точкам круга радиусом двух сеточных интервалов модели.

 

Результаты объектно-ориентированной оценки

Следующие параметры выделенных в прогностических и наблюденных полях объектов являются исходными для проведения расчетов оценки: их площадь, размер, координаты центра тяжести (центроид) и интенсивность осадков в этом центре. Объекты с площадью менее 25 точек сетки исключались из анализа.

Координаты центра тяжести определяются формулами x=∑Px/∑P; y=∑Py/∑P, где P ‒ количество осадков в мм/6ч в точке сетки модели (суммирование по точкам сетки объекта).

Были приняты три категории оправдавшихся прогнозов. Прогноз объекта принадлежит к первой категории, когда расстояние D между центрами тяжести прогностического и соответствующего наблюденного объектов оказалось меньше или равно 50 км, ко второй ‒ меньше или равно 100 км, и к третьей меньше или равно S = А+A, где A и A площади прогностического и наблюденного объектов соответственно.

Результаты объектно-ориентированной оценки за теплые периоды 20162019 гг. приведены в табл. 1, 2020 г. ‒ в табл. 2. В каждой категории синонимами являются определения “совпадающие” и “оправдавшиеся”; пропуском объекта называется случай его отстутствия в прогнозе при наличии его наблюдения; ложная тревога – случай прогноза объекта при его отсутствии в наблюдении. В таблицах использованы следующие обозначения:

NH число совпадающих объектов (hit number);

NM число пропусков прогностических объектов (miss number);

NF число объектов ложной тревоги (false alarm number);

NN=NH+NM+NF;

CSI = NH/ NN – индекс критического успеха (critical success index); 

PM=NM/ NN – доля пропусков прогнозов;

PF=NF/ NN – доля ложных тревог;

Pc доля случаев, когда оправдавшийся прогностический объект по площади больше наблюденного по локатору;

Da отношение суммы площадей прогностических объектов к сумме площадей соответствующих (спаренных) наблюденных объектов. Устанавливаемое соответствие взаимно однозначно. Площади неспаренных объектов не участвуют в расчетах Da;

S= , где  и  ‒ площади прогностического и соответствующего наблюденного объектов соответственно;

Pr – интенсивность осадков в мм/6ч в ЦТ оправдавшихся прогностических объектов;

Pl – интенсивность осадков в мм/6ч в ЦТ соответствующих радиолокационных объектов.

 

Таблица 1. Результаты объектно-ориентированной оценки прогноза количества накопленных за 6-часовые интервалы осадков для градаций 5 мм, 10 мм и 15 мм по модели COSMO-Ru2 за май-сентябрь 2016-2019 гг.

Table 1. Object-oriented verification table of COSMO-Ru2 forecasted precipitation, accumulated at 6h intervals, for periods May-September 2016-2019 for thresholds 5mm, 10mm, 15mm  

Оценки
прогноза

Расстояние между ЦТ, км

D≤50

D≤100

DS

Количество накопленных осадков ≥5 мм/6ч

CSI

0,06

0,18

0,26

PM

0,31

0,23

0,17

PF

0,63

0,59

0,57

NH

252

686

924

NM

950

847

609

NF

2648

2226

2031

Pc

0,44

0,51

0,64

Da

1,5

1,9

3,9

Pr

8,7

8,7

9,2

Pl

6,8

6,8

6,9

Количество накопленных осадков ≥10 мм/6ч

CSI

0,04

0,10

0,12

PM

0,20

0,16

0,14

PF

0,76

0,74

0,74

NH

84

198

231

NM

426

312

279

NF

1612

1500

1473

Pc

0,52

0,58

0,70

Da

1,9

2,1

3,6

Pr

16,3

15,7

16,1

Pl

12,6

12,5

12,7

Количество накопленных осадков ≥15 мм/6ч

CSI

0,02

0,05

0,05

PM

0,13

0,11

0,10

PF

0,85

0,84

0,85

NH

24

51

56

NM

135

108

104

NF

891

864

861

Pc

0,71

0,59

0,65

Da

2,4

1,9

2,3

Pr

22,0

21,9

22,5

Pl

17,9

18,4

18,8

 

 

Таблица 2. Результаты объектно-ориентированной оценки прогноза количества накопленных за 6-часовые интервалы осадков для градаций 3 мм, 5 мм, 10 мм и 15 мм по модели COSMO-Ru2 за май-сентябрь 2020 г.

Table 2. Object-oriented verification table of COSMO-Ru2 forecasted precipitation, accumulated at 6h intervals, for periods May-September 2020 for thresholds 3 mm, 5mm, 10mm, 15mm  

Оценки
прогноза

Расстояние между ЦТ, км

D≤50

D≤100

DS

Количество накопленных осадков ≥3 мм/6ч

CSI

0,13

0,34

0,44

PM

0,68

0,53

0,45

PF

0,19

0,14

0,11

NH

682

1658

2105

NM

3588

2612

2185

NF

1043

672

538

Pc

5313

4942

4828

Da

0,45

0,49

0,62

Pr

0,8

0,91

2,31

Pl

5,8

5,9

6,6

Количество накопленных осадков ≥5 мм/6ч

CSI

0,13

0,34

0,40

PM

0,68

0,52

0,49

PF

0,19

0,13

0,12

NH

534

1357

1548

NM

2889

2066

1896

NF

815

529

461

Pc

4238

3952

3905

Da

0,45

0,48

0,59

Pr

0,93

1,04

2,26

Pl

8,8

8,8

9,5

Количество накопленных осадков ≥10 мм/6ч

CSI

0,13

0,31

0,28

PM

0,68

0,54

0,57

PF

0,19

0,15

0,15

NH

301

703

639

NM

1610

1208

1283

NF

456

330

330

Pc

2367

2241

2252

Da

0,46

0,50

0,57

Pr

0,92

1,18

1,66

Pl

15,8

15,9

16,2

Количество накопленных осадков ≥15 мм/6ч

CSI

0,11

0,26

0,21

PM

0,69

0,57

0,61

PF

0,20

0,17

0,17

NH

139

324

270

NM

902

717

779

NF

265

211

221

Pc

1306

1252

1270

Da

0,47

0,50

0,56

Pr

1,03

1,18

1,79

Pl

22,7

23,2

23,4

 

Заключение

Из приведенных в таблицах результатов следует, что некоторые параметры объектно-ориентированной оценки прогнозов по данным 2020 г. улучшились по сравнению с параметрами оценок за 2016‒2019 гг. Индекс критического успеха, равного доле оправдавшихся прогнозов, по данным 2020 г составил 0,13 для критерия D ≤ 50 км и 0,44 для критерия  D ≤ А+A Эти значения CSI в 1,5–2 раза превышают значения аналогичного индекса по данным теплого периода 2016‒2019 гг. По сравнению с оценками периода 2016‒2019 гг. уменьшилась доля ложных тревог при возросшей доле пропущенных объектов. В 2020 г. отношение Da площадей совпадающих прогностических объектов и радиолокационных объектов для классов D ≤ 50 км и D ≤ 100 км меняется от 0,80 до 1,18, а для D ≤ А+A достигает 2,31. Отметим, что 6-часовые осадки в центрах тяжести совпадающих прогностических и наблюденных объектов различаются на 0,3–1,6 мм. В 2016‒2019 гг. (табл. 1) площади прогностических объектов значительно превышали площади радарных объектов: Da изменялось от 1,5 до 3,9, а интенсивности 6-часовых осадков Pr и Pl различались на 1,9–4,1 мм.

Увеличение доли оправдавшихся прогнозов и другие положительные изменения в параметрах оценки по данным 2020 г. могут быть связаны как с большей реалистичностью наблюдаемого поля, построенного по данным более плотной сети радаров, так и с совершенствованием прогностической модели. По-видимому, основная причина улучшения метода объектно-ориентированной оценки прогнозов состоит в уточнении параметров наблюденных объектов, так как заметное увеличение числа покрывающих область прогноза локаторов (в 1.5 раза) существенно при построении объединенной карты локаторных данных. Отсутствие данных какого-либо радара компенсируется данными радара, близкого к нему, а при наличии данных нескольких локаторов можно построить наилучшее приближение.

Использование объектно-ориентированной оценки в Гидрометцентре России инициировано Н.Ф. Вельтищевым для оценки модели WRF; данные радаров упорядочены и декодированы программой В.Д. Жупанова, после чего интерполированы на сетку прогностической модели COSMO-Ru2 программой Д.Я. Прессмана При подготовке рисунков применен пакет программ ISOGRAPH Ю.В. Алферова.

 

Список литературы

1. Вельтищев Н Ф., Жупанов В.Д. Эксперименты по усвоению радиолокационной отражаемости в моделях WRF-AFW // Метеорология и гидрология. 2012. № 3. С. 5-19.

2. Кисельникова В.З. Объектно-ориентированная оценка качества прогноза осадков // Метеорология и гидрология. 2013. № 4. С. 5-10.

3. Кисельникова В.З. Результаты объектно-ориентированной оценки качества прогнозов осадков по мезомасштабной модели Гидрометцентра России // Труды Гидрометцентра России. 2014. Вып. 351. С. 34-42.

4. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Оперативная технология наукастинга осадков на основе радарных данных и результаты верификации для теплого периода (май-сентябрь 2017) // Гидрологические исследования и прогнозы. 2018. № 1 (367). С. 6-38.

5. Ривин Г.С., Розинкина И.А., Вильфанд Р.М. и др. Система COSMO-Ru негидростатического прогноза погоды Гидрометцентра России: второй этап реализации // Метеорология и гидрология. 2015. № 6. С. 58-71.

6. Bullock B., Brown B., Rowler T. Method for object-based evaluation // NCAR/TN-532+STR. NCAR. 2016. http://library.ucar.edu/research/publish-technote

7. Davis C.A., Brown B., Bullock R. Object-based verification of precipitation forecasts. Part II: Application to convective rain systems // Mon. Wea. Rev. 2006. Vol. 134, no. 7. P. 1785-1795.

8. Gilleland E., Ahijevch D., Brown B., Casati B., Ebert E. Intercomparison of spatial forecast verification methods // Weather and Forecasting. 2009. vol. 24, no. 5. P. 1416-1430.

 

References

1. Vel’tishchev N.F., Zhupanov V.D. Experiments on the radar reflectivity data assimilation in the WRF-ARW model. Russ. Meteorol. Hydrol., 2012, vol. 37, no. 3, pp. 149-158. DOI: 10.3103/S1068373912030016.

2. Kisel’nikova V.Z. Object-based evaluation of precipitation forecast quality. Russ. Meteorol. Hydrol., 2013, vol. 38, no. 3, pp. 217–221. DOI: 10.3103/S1068373913040018.

3. Kisel’nikova V.Z. The results of object-oriented estimation of precipitation forecast quality using the mesoscale model of the Hydrometcentre of Russia. Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2014, vol. 351, pp. 34-42 [in Russ.].

4. Muravev A.V., Kiktev D.B., Smirnov A.V. Operational precipitation nowcasting system based on radar data and verification results for the warm period of the year (May-September 2017). Gidrometeorologicheskie issledovaniya i prognozy [Hydrometeorological Research and Forecasting], 2018, vol. 367, no. 1, pp. 6-38 [in Russ.].

5. Rivin G.S., Rozinkina I.A., Vil’fand R.M., Alferov D.Yu., Astakhova E.D.,  Blinov D.V., Bundel’ A.Yu., Kazakova E.V., Kirsanov A.A., Nikitin M.A., Perov V.L., Surkova G.V., Revokatova A.P., Shatunova M.V., Chumakov M. M. The COSMO-Ru system of nonhydrostatic mesoscale short-range weather forecasting of the Hydrometcenter of Russia: The second stage of implementation and development. Russ. Meteorol. Hydrol., 2015, vol. 40, no. 6, pp 400-410. DOI: 10.3103/S1068373915060060.

6. Bullock B., Brown B., Rowler T. Method for object-based evaluation // NCAR/TN-532+STR. NCAR. 2016. Available at: http://library.ucar.edu/research /publish-technote.

7. Davis C.A., Brown B., Bullock R. Object-based verification of precipitation forecasts. Part II: Application to convective rain systems. Mon. Wea. Rev., 2006, vol. 134, no. 7, pp. 1785-1795.

8. Gilleland E., Ahijevch D., Brown B., Casati B., Ebert E. Intercomparison of spatial forecast verification methods. Weather and Forecasting, 2009, vol. 24, no. 5, pp. 1416-1430.

 

Поступила 22.04.2021; одобрена после рецензирования 25.05.2021;
принята в печать 21.06.2021.

Submitted 22.04.2021; approved after reviewing 25.05.2021;
accepted for publication 21.06.2021.