Гидрометеорологические исследования и прогнозы. 2023. № 3 (389). С. 6-58

6

DOI: https://doi.org/10.37162/2618-9631-2023-3-6-58

УДК 551.509.313+551.509.324.2+551.508.85

Оценка радиолокационного наукастинга

полей осадков

А.В. Муравьев, Д.Б. Киктев, А.В. Смирнов

Гидрометеорологический научно-исследовательский центр

Российской Федерации, г. Москва, Россия

muravev@mecom.ru

Рассматривается метод "окрестной" оценки радиолокационного наукастинга по-

лей осадков с помощью показателя FSS (Fractions Skill Score). Основная особенность

метода состоит в оценках качества не в точках (или ячейках) полей, а в окрестностях

этих точек (или ячеек). Верификация прогнозов полей приобретает вероятностный

характер, благодаря чему устраняется известная опасность "двойного штрафования"

при переходе от грубых расчетных сеток к более мелким. Более того, метод позво-

ляет выделить такой интервал масштабов, в котором испытываемая модель порож-

дает прогнозы, приемлемые или полезные как для синоптика-прогнозиста, так и для

стороннего потребителя прогностической продукции.

Особенности и достоинства показателя FSS демонстрируются на данных радио-

локационного наукастинга осадков в теплый и холодный периоды 2017–2018 гг. Ис-

пользован информационный архив полей наблюдений и прогнозов в зонах обзора

девяти радиолокаторов ДМРЛ-С на территориях ЦФО и СЗФО. Ввиду больших вре-

менных затрат на расчеты показателя протестирована возможность получения сум-

марных оценок по случайным выборкам. На основе выходной табличной и графиче-

ской оценочной продукции сформулированы содержательные общие и частные

выводы, стратифицированные по периодам года, радиолокаторам, порогам превы-

шения интенсивности осадков и заблаговременности прогнозов.

Ключевые слова: наукастинг полей осадков, радиолокационные наблюдения,

пространственная верификация прогнозов, окрестный метод оценки качества, пока-

затель на основе пространственных долей (FSS)

Verification of the radar precipitation nowcasting

A.V. Muravev, D.B. Kiktev, A.V. Smirnov

Hydrometeorological Research Center of Russian Federation, Moscow, Russia

muravev@mecom.ru

The application of the Fraction Skill Score (FSS) to the radar nowcasting of precipita-

tion fields is considered. The main feature of the method is that the quality is estimated not

at the points (or cells) of the fields, but in their neighborhoods. Verification of field fore-

casts acquires a probabilistic character, due to which the well-known “double penalty”

danger is eliminated when advancing from coarse computational grids to finer ones. More-

over, the method makes it possible to distinguish such range of scales within which the

tested model generates forecasts that are acceptable or useful for both weather forecasters

and third-party consumers of forecast products. The features and advantages of the FSS

are demonstrated using the data of radar precipitation nowcasting in the warm and cold

seasons of 2017–2018. An information archive of observation and forecast fields in the

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

7

coverage areas of nine DMRL-C radars on the territory of the Central and Northwestern

federal districts was used. Due to the large time spent to calculate the skill score, the pos-

sibility of obtaining summary estimates based on random samples was tested. Based on

the output tabular and graphical verification products, meaningful general and partial con-

clusions are formulated that are stratified by seasons, radars, thresholds for exceeding the

precipitation intensity, and the forecast lead time.

Keywords: precipitation field nowcasting, radar observations, spatial forecast verifica-

tion, neighborhood verification method, Fractions Skill Score (FSS)

Введение

В последние годы в исследовательских и оперативных метеорологиче-

ских центрах большую популярность приобрела оценка качества прогноза

метеорологических полей, предложенная в 2008 г. в статье [67] под назва-

нием Fractions Skill Score (FSS), что можно перевести словосочетанием

"оценка качества с помощью пространственных долей". Основную при-

чину широкого распространения в метеорологическом сообществе оценки

FSS автор статьи [57], один из разработчиков и активный популяризатор

этого показателя, видит в его "интуитивной ясности и простоте расчета".

Благодаря упомянутым обстоятельствам, к настоящему времени хорошо

известны достоинства и недостатки FSS, список которых можно найти в

авторитетных статьях последних 15 лет [38, 39, 56–59, 66, 72, 73, 75].

Напомним, что пространственные методы верификации разрабатывались и

внедрялись в дополнение и в противовес к стандартным точечным мерам

качества для подавления "двойного штрафа" (double penalty) и для учета

ошибок "почти промаха" (near miss errors) [2, 39, 45, 74].

При описании окрестных методов авторы [30] упоминают о многолет-

нем использовании в геофизике и геостатистике таких характеристик про-

странственной когерентности, как структурные функции и вариограммы.

Добавим к этому, что простота оценки по долям достигнута на фоне глубо-

ких и иногда замысловатых соотношений пространственно-временных

масштабов в геофизике и метеорологии [1, 3, 5, 7, 16, 17, 49, 64], в геоста-

тистике [6, 14, 44, 65]. В речной гидрологии известны соотношения между

слоем осадков, площадью охвата и продолжительностью ливней [4, 78, 79],

а в некоторых системах оперативного наукастинга осадков реализованы

пространственные и динамические соотношения масштабов в облачных и

дождевых системах, установленные около полувека назад [29, 68, 69].

Сильно расширилась и область приложения оценки FSS, вначале со-

стоявшая почти исключительно из полей осадков и значительно реже из

полей скорости ветра. К настоящему времени имеются примеры прило-

жений к таким величинам и объектам, как экстремальные осадки, облач-

ность [37, 52, 80], горный ветер, шквалы, спиральность восходящего по-

тока [35, 43, 74, 76], молниевая активность [28], положение кромки льда

[55], нефтяной разлив на морской поверхности [70].

8

Метеорологические прогнозы, математическое моделирование

Развитие моделей численного прогноза погоды (ЧПП) с разрешением

конвекции вызвало потребность в стандартах оценок качества. Формат

предложенной оценочной карты (scorecard) был описан в 2019 г. в статье

[19], содержащей рекомендации применения "метрики" FSS к таким метео-

рологическим параметрам, как осадки, нижняя граница облачности, види-

мость, отражаемость и спиральность восходящего потока.

Наконец, благодаря метрическим и статистическим свойствам, пока-

затель FSS был использован как функция потерь для глубокого обучения

модели наукастинга конвекции по спутниковым наблюдениям [51].

В настоящее время место показателя FSS определено в группе окрест-

ных методов (neighbourhood) пространственной верификации, ранее име-

новавшихся нечеткими (fuzzy) [2, 9, 34, 38, 45]. Несколько работоспособ-

ных окрестных методов было предложено уже к концу первого

десятилетия этого века (в обзоре 2008 г. [38] перечислено 12 "нечетких"

методов). Часть из них довольно быстро превратилась в регулярные оценки

прогноза осадков высокого разрешения в национальных службах погоды,

например, в Великобритании, Франции, Австралии, Германии, Финляндии

и т. д. [38, 39].

Развитию пространственных методов верификации способствовали

такие факторы, как доступность новых источников данных (например, от

радиолокаторов и спутников), возросшие специфические потребности

пользователей прогностической продукции, развитие моделей и прогнозов

высокого пространственного и временного разрешения [34].

Идеальным полигоном испытания новых методов являются междуна-

родные исследовательские и прогностические демонстрационные проекты,

осуществляемые под руководством ВМО, как, например, проект FROST-

2014 для метеорологического обеспечения Олимпиады в Сочи в 2014 г.

0[8, 50]. Для применения новых методов оценки прогнозов имелись все

условия, перечисленные в обзоре [34]. Во-первых, метеорологическая сеть

была насыщена новейшими аппаратными средствами, включая поляриза-

ционный радиолокатор на г. Ахун. Во-вторых, были четко сформулиро-

ваны специфичные требования руководства соревнований к точности и

своевременности прогнозов сверхвысокого разрешения. Наконец, задей-

ствованные отечественные и зарубежные гидродинамические модели отве-

чали наивысшим научно-техническим критериям того времени. В частно-

сти, прогнозы поступали в расчетных сетках с шагом от 7 км до 200 м. В

общей сложности были развернуты системы трех типов прогнозов: наука-

стинг на ближайшие часы, краткосрочный прогноз на первые сутки и ан-

самблевый краткосрочный прогноз [8].

Одним из первых отечественных приложений пространственных ме-

тодов верификации было сопоставление в районе Сочи прогностических

полей осадков от моделей ЧПП с полями радиолокационных оценок осад-

ков [60, 61]. Применялись объектно-ориентированный (CRA, Contiguous

Rain Area [38]) и окрестный (FSS) методы верификации, реализованные

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

9

в программном комплексе SpatialVx в среде языка R [46]. Приобретенные

знания и умения были использованы в проекте INSPECT консорциума

COSMO, стартовавшем в 2015 г. с целью тестирования и усовершенство-

вания тех методов и компьютерных средств, которые активно исследова-

лись в ходе выполнения международного проекта MesoVICT (Mesoscale

Verification Inter-Comparison over Complex Terrain, 2014–2019 гг.) [27].

В 2015 г. в Гидрометцентре России начались работы по созданию си-

стемы наукастинга осадков на основе радиолокационных данных отече-

ственной сети ДМРЛ-С. После 2016 г. пространственные оценки качества

системы наукастинга осадков проводились в рамках научно-исследова-

тельских тем Росгидромета (с 2017 г.) и научного проекта консорциума

COSMO под названием AWARE (Appraisal of Challenging Weather forecasts,

2019–2020 гг.) [48]. В докладах на семинарах COSMO [31–33] изложены

результаты объектно-ориентированной оценки наукастинга осадков в теп-

лый период 2018 г. с помощью метода CRA. Содержание и значение меж-

дународных научных проектов по пространственной верификации, а также

примеры приложений методов в отечественной практике детально опи-

саны в обзорной статье [2].

В Гидрометцентре России – по инициативе Н.Ф. Вельтищева – также

рассчитывались пространственные оценки прогнозов оперативных мезо-

масштабных моделей по данным сетей ДМРЛ-С и станционных наблюде-

ний [11–13]. Первые результаты приложения объектно-ориентированной

методики [36] к отечественным прогностическим данным были опублико-

ваны В.З. Кисельниковой в 2013 году.

Сделаем общее замечание об объектно-ориентированном и окрестном

методах верификации. В упомянутой классификации [45] они отнесены в

различные категории методов смещения и методов фильтрации соответ-

ственно (displacement and filtering methods). Применение окрестного ме-

тода заключается в фильтрации исходных полей с выделением простран-

ственного масштаба и последующим расчетом произвольной оценки

различия как функции масштаба. Если внимание фокусируется не на про-

странственном масштабе, а на связных областях (объектах), выделяемых

пороговым значением величины, то речь идет об объектно-ориентирован-

ных методах верификации [36]. Пространственные объекты в полях радио-

локационных осадков были исследованы в наших работах в связи с оцен-

ками качества статистического наукастинга [19–21, 23] и будут частично

использованы в данной статье.

В работе представлены окрестные оценки прогноза осадков системой

наукастинга Гидрометцентра России в 2017–2018 гг. В это время расчет-

ным ядром системы служила модель STEPS версии 2017 г. [29], которая

эксплуатировалась в параллельном режиме на продукции девяти радиоло-

каторов ДМРЛ-С (рис. 1). На вход системы наукастинга подавались "плос-

кие карты", или поля осадков в разрешении 1×1 км в сетке 504×504 [15].

10

Метеорологические прогнозы, математическое моделирование

Методология прогнозирования построена на спектральном разложении по-

лей радиолокационных осадков в каскады и на статистической экстраполя-

ции каскадов методом оптического потока [10]. В настоящее время эксплу-

атируется версия модели STEPS (pySTEPS) [63], обрабатывающая

объединенное радиолокационное поле осадков размером 1951×2151 в ки-

лометровом разрешении. Композит строится на наблюдениях около

30 ДМРЛ-С, развернутых на Европейской территории России [24]. Не-

смотря на довольно гладкое "сшивание" отдельных кругов обзора в единое

поле, особенности радиолокаторов (концентричность полей в зонах обзора,

теневые зоны, местные помехи, специфика калибровок по наземным дан-

ным и т. д) продолжают проявляться в статистических характеристиках

этих полей и в полях точечных показателей качества. Именно по этой при-

чине важно рассчитывать, накапливать и по возможности учитывать харак-

теристики наукастинга по индивидуальным радиолокаторам объединенной

системы.

Рис. 1. Расположение девяти радиолокаторов ДМРЛ-С системы ЦАО

(выделены желтыми окружностями) на территории ЦФО с указанием

местоположений в центрах кругов обзора радиуса 250 км. Буквами N,

S, W и E указаны условные направления на стороны света.

Fig. 1. Positioning of nine ДМРЛ-С radars of the CAO network (yellow cir-

cles) on the CDF territory with settlements at centers of the survey circles

of 250 km radius. The letters N, S, W and E indicate the conditional direc-

tions to the cardinal points.

1. Архив данных, особенности полей осадков и планирование

экспериментов

Условия и результаты испытаний системы наукастинга в "теплый" и

"холодный" периоды года" (май–сентябрь 2017 г. и ноябрь 2017 – март

2018 г. соответственно) были опубликованы в [23, 25], здесь приведем

лишь основные сведения.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

11

Начальные данные и контрольные поля для верификации постав-

лялись с девяти радиолокаторов (р/л) Центрального федерального округа

(ЦФО) в следующих местоположениях (рис. 1): Курск (RAKU), Тула

(RATL), Внуково (RAVN), Воейково (RAVO), Брянск (RUDB), Кострома

(RUDK), Смоленск (RUDL), Нижний Новгород (RUDN) и Валдай (RUWJ);

в скобках указаны идентификаторы р/л. Радиолокационные поля исполь-

зованы в качестве контрольных из-за отсутствия независимых данных

сопоставимого пространственно-временного разрешения.

Прогнозы на 2.5 часа через 10 минут обновлялись каждые 10 минут по

мере поступления вторичной радиолокационной информации с серверов

Центральной аэрологической обсерватории (ЦАО). Исходные поля радио-

локационных осадков имели размер 504×504 (разрешение 1 км), но началь-

ные и прогностические поля для модели STEPS переводились прорежива-

нием на сетку 256×256 (разрешение около 2 км). Угловые точки поля вне

вписанных кругов обзора заполнялись в ЦАО либо данными смежных ло-

каторов, либо фиктивными нулевыми значениями, которые позже стали за-

полняться метками отсутствующих данных и в таком формате учитываться

в процедурах наукастинга и оценок качества [19].

Количество прогнозов по большинству р/л составило порядка 20 ты-

сяч в каждый период, что сделало возможным сопоставление соответ-

ствующих оценок качества.

Было отмечено несколько систематических пространственных особен-

ностей прогностических полей и полей показателей качества. Приведем

для локатора Внуково (RAVN) карты суммарных осадков полей наблюде-

ния (504×504) (рис. 2а, в) и 10-минутного прогноза (256×256) (рис. 2г, д), а

также карты показателя Пирса-Обухова по трем категориям осадков для

прогноза на 10 минут (рис. 3).

Во-первых, в оба периода происходит заметное сглаживание благо-

даря предварительной пространственной интерполяции и двумерному

фильтру Фурье на этапе выделения каскадов; на рис. 2в и 2г этот эффект

виден в полях прогноза на первые 10 минут. Спектральное сглаживание

вместе с подавлением деталей реального поля заполняет числовыми дан-

ными некоторые теневые области (рис. 2а, в).

Во-вторых, в холодный период в прогностических полях и, менее кон-

трастно, в полях показателей качества проявляются круговые структуры,

почти незаметные в аналогичных полях теплого периода года (рис. 2 и 3).

Это явление объясняется в первую очередь известным ограничением ра-

диолокационного метода метеонаблюдений в этот период – подъемом луча

локатора из-за кривизны Земли выше верхней границы низких слоистооб-

разных облаков на дистанциях больше 120–150 км [15]. Именно это порож-

дает круговые области уменьшающихся значений интенсивности и метрик

качества: сумма осадков и качество прогноза оказываются функциями рас-

стояний от локатора – чем дальше, тем сумма меньше и качество "хуже"

12

Метеорологические прогнозы, математическое моделирование

(рис. 2в, г и рис. 3г, д) [26]. На рис. 3д и 3е края обзора заполнены отрица-

тельными значениями показателя Пирса-Обухова – здесь доля ложных тре-

вог превышает долю попаданий.

Теплый период

Холодный период

в)

а)

б)

г)

Рис. 2. Накопленные суммы радиолокационных (а, в) и прогностических (б, г)

осадков на 10 мин за теплый (а, б) и холодный (в, г) периоды года по р/л на

ЕТР. Единица измерения – [мм/ч], градуировка палитры – [мм∙6/ч]. Суммиро-

вание проводится по синхронизированным срокам прогнозов заблаговремен-

ностью 10 мин.

Fig. 2. Accumulated sums of radar (a, в) and 10-min forecast (б, г) precipitation

for the warm (а, б) and cold (в, г) periods of the year obtained from radars located

on the European territory of Russia (ETR). The unit of measurement is [mm/h], the

calibration of palette is [mm∙6/h]. Sums are calculated over synchronized sequence

with 10 minute forecasts.

Наконец, в холодный период из-за быстро уменьшающихся объемов

выборок на высоких порогах интенсивности происходит существенная по-

теря связности полей категориальных показателей (рис. 3д, е). В дополне-

ние к рис. 3 заметим, что в поле попаданий и в поле промахов для порога

4 мм/ч примерно 75 % точек были нулевыми; очевидно, велико пересече-

ние, в котором нуль делится на нуль. Следует также учитывать, что в хо-

лодный период интенсивность осадков примерно вдвое ниже интенсивно-

сти в теплый период, поэтому в категориальных оценках качества

сравнение рекомендуется проводить для разных порогов, например, на рис.

3 – это пары 4 мм/ч для теплого и 2 мм/ч для холодного периодов. Если нет

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

13

необходимости контролировать интенсивность осадков, то при достаточ-

ном объеме данных можно использовать квантильное определение поро-

гов. В нашем случае был важен учет конкретной интенсивности.

RAVN, теплый период PSS (10 min frc)

Холодный период

г)

а) thr 0.5

д)

б) thr 2.0

е)

в) thr 4.0

Рис. 3. Оценка Пирса-Обухова прогноза осадков на 10 мин в круге обзора р/л

Внуково (RAVN) в теплый (а, б, в) и холодный (г, д, е) периоды года. Пороги

превышения: 0.5 (а, г), 2 (б, д) и 4 (в, е) мм/ч. Белым цветом обозначен маркер

бесконечного значения (inf).

Fig. 3. Peirce-Obukhov Skill Score for 10 min precipitation forecast in the survey

circle of Vnukovo radar (RAVN). Exceedance thresholds: 0.5 (а, г), 2 (б, д) и 4 (в,

е) mm/h. White color denotes infinite value label (inf).

На расчеты FSS тратится огромное количество процессорного вре-

мени, так как для каждого радиолокатора и одной заблаговременности име-

ется около 40 тыс. прогнозов с примерно таким же количеством пар полей

для верификации, при этом оценка качества рассчитывается для набора по-

рогов и для последовательно растущих окрестностей. Но очевидно, что

расчет по всем парам полей не имеет смысла, так как большинство полей

14

Метеорологические прогнозы, математическое моделирование

окажутся "сухими". Кроме того, что расчеты будут проводиться вхоло-

стую, показатель FSS может проявить чувствительность к парам пустых

окрестностей с "раздуванием" мнимого качества [57]. В исследованиях

осадков важнейшими были и остаются проблемы моделирования и прогно-

зирования сильных дождей, оценок их пространственной интенсивности,

продолжительности и областей покрытия (особенно в задачах гидрологии

[78, 79]). Верификация прогнозирования и радиолокационных оценок ха-

рактеристик конвекции, гроз и ливней проводится, как правило, на отдель-

ных случаях штормов и штормовых ситуаций с последующим агрегирова-

нием показателей качества и эффективности. Как известно, результаты

верификации и их финальное агрегирование считаются корректными при

соблюдении правил статистической независимости, которые часто сво-

дятся к некоторым эвристическим оценкам физической независимости

процессов и явлений.

В [19] описана методика автоматизированного выделения синоптиче-

ских ситуаций, содержащих поля с областями осадков большой и макси-

мальной площади для приложения теории экстремальных величин, в част-

ности для разработки модели "пиков над порогом" с помощью

обобщенного распределения Парето [20, 21]. Для этих целей были форма-

лизованы понятия области, объекта и ситуации. В поле осадков область

выделяется пороговым значением, определяемым на основе статистиче-

ских характеристик накопленного архива полей и с учетом климатологии

осадков. Был выбран порог 1 мм/ч, так как для 10-минутных сумм радио-

локационных осадков он является в климатологическом смысле доста-

точно высоким для средних широт, что обеспечивает не только заметные

по площади объекты, но и временную непрерывность полей с этими объ-

ектами. Предполагается, что такая последовательность отражает отдель-

ную синоптическую ситуацию, условно независимую с физической точки

зрения. Этот порог предусмотрен опцией threshold функции поиска объек-

тов FeatureFinder() библиотеки SpatialVx и называется порогом идентифи-

кации объекта. Важно уточнить, что объект идентифицируется как одно-

связная область после пространственного сглаживания исходного поля по

радиусу пространственного осреднения. Односвязность означает, что объ-

ект состоит из точек поля, в которых значение интенсивности не меньше

1 мм/ч. Задание радиуса осреднения также невозможно без предваритель-

ного экспериментирования с накопленным архивом. Пространственное

осреднение должно, с одной стороны, позволять соотносить выделенные

объекты с известными мезомасштабными синоптическими процессами, а,

с другой стороны, не усложнять задачу "спаривания" объектов в поле про-

гноза с объектами в поле наблюдения. В результате был выбран радиус

осреднения в 9 узлов сетки, т. е. примерно 18 км. Функция FeatureFinder()

имеет опцию минимального объекта для формирования выборок объектов

желательного, в нашем случае значительного размера. Размер (или пло-

щадь) объекта оценивается по количеству попадающих в него узлов

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

15

(или ячеек); при таком определении связная одномерная «линия» всегда

имеет ненулевую «площадь». Так как эксперименты с объектно-ориенти-

рованными и окрестными методами верификации планировались сов-

местно, то минимальные размеры были унаследованы как наборы пара-

метров положения Парето, равные 625=25×25, 900, 1225, 1600=40×40

узлов сетки. Для расчетов FSS подбирались поля с наличием объектов, пло-

щадь которых не меньше 1600 точек (эквивалент квадрата со стороной

около 80 км). Выбор такой пороговой площади позволяет оценить качество

модели в прогнозировании синоптических ситуаций, близких к экстре-

мальным по площади покрытия осадками.

Общее количество полей наблюдения и прогнозов для разных забла-

говременностей по данным девяти ДМРЛ-С с объектами размера не менее

1600 точек (в оба периода года) собрано в [19, табл. 8]. Будем называть

такие поля соответствующими. В теплый период было выделено в сред-

нем около 3000 соответствующих радиолокационных полей: для девяти р/л

в диапазоне от 2147 (RAVN) до 3755 (RUWJ). В холодный период количе-

ство соответствующих полей оказалось менее равномерным: в среднем

около 600 полей, но в диапазоне от 130 (RAVN) до 1387 (RAKU). Сходное

количество соответствующих полей насчитывается в полях для всех забла-

говременностей; например, для локатора Курск (RAVO) в наблюдениях в

теплый (холодный) период обнаружено 2843 (1387) соответствующих по-

лей, а во всех прогнозах обнаружено 2550–2560 (1495–1564) таких полей.

Выборки пар полей наблюдение-прогноз для приложения показателя FSS

формировались на основе соответствующих полей р/л наблюдений и син-

хронизированных полей прогнозов.

Ввиду вышесказанного эксперименты с расчетом FSS были проведены

в два этапа. На первом этапе для экономии расчетного времени и для ча-

стичного устранения сильной статистической зависимости полей одной си-

туации был реализован прием случайного выбора (без повтора) 200 сроков

из архива наблюдений [18]. На втором этапе для ограниченного числа ло-

каторов и для одной заблаговременности (60 минут) в расчетах использо-

ваны полные выборки пар полей для верификации.

2. Определение, свойства

показателя FSS

и

алгоритмическая сложность

Физический и статистический смысл показателя FSS довольно прост,

мы приведем здесь его описание, опираясь на изложение [67]. Предполо-

жим, что объектом верификации является поле осадков, представленное

прямоугольной матрицей чисел размером N×M, и оценивается качество

прогноза осадков, превышающих некоторое пороговое значение. Будем

интерпретировать поле не как набор точек, а как набор ячеек, в которые

наливаются осадки. Назовем превышение порога явлением дождя и пред-

ставим все ячейки в бинарном виде из нулей и единиц: 1 – для факта дождя,

0 – для его отсутствия.

16

Метеорологические прогнозы, математическое моделирование

Введем понятие окрестности каждой ячейки поля, включая гранич-

ные ячейки, в виде квадратного окна с центром в данной ячейке. Таким

образом, сторона окна состоит из нечетного количества ячеек, которое мо-

жет меняться от 1 до 2max(N,M)-1. Фиктивные ячейки окрестностей вне

исходного поля не заполняются константами отсутствия, а обнуляются,

что, по мнению авторов [67], мало влияет на конечные результаты, но, по

нашему мнению, требует отдельной проверки. Масштабом сетки называ-

ется размер ячейки в каких-либо площадных единицах, например, в кв. км

или в линейных единицах по длине стороны ячейки. Если считать размер

ячейки изначально единичным, то в качестве характеристики размера вы-

деленного квадратного окна можно взять количество ячеек на стороне

окна.

Назовем пространственной долей (или просто долей) относительную

частоту P дождя в окрестности, т. е. отношение количества ячеек "с до-

ждем" к полному количеству ячеек в окне. В качестве меры различия

(score) выбираем среднюю сумму ꢀꢁꢂ_ꢃꢄꢅквадратов разности соответству-

ющих долей в окрестностях размера n в поле прогноза и в поле наблюдения

c N ячейками:

ꢇ

ꢑ

∑

ꢀꢁꢂ_ꢃꢄꢅ

ꢆ

ꢃꢉ_{ꢊꢋꢌꢃꢄꢅ}ꢍ ꢉ_{ꢎꢏꢐꢃꢄꢅ}ꢅ .

(1)

ꢈ

Оценка ꢀꢁꢂ_ꢃꢄꢅ– это аббревиатура словосочетания Fractions Brier

Score в честь оценки Брайера для вероятностных прогнозов.

Оценка мастерства (skill score) рассчитывается по формуле:

ꢀꢂꢂ_ꢃꢄꢅꢆ 1 ꢍ ꢀꢁꢂ_{ꢃ ꢅ}/ ꢀꢁꢂ_{ꢃ ꢅ}

ꢄ

ꢄ ꢋꢒꢊ,

где ꢀꢁꢂ_{ꢃꢄꢅꢋꢒꢊ}– максимально возможное значение ꢀꢁꢂ_ꢃꢄꢅдля двух долей,

т. е. средняя сумма квадратов этих долей. При расчетах пользуются фор-

мулировкой через суммы:

ꢜ

∑

ꢃꢓ

ꢘꢓ

ꢅ

ꢃ

ꢅ

ꢙꢚꢛꢃꢗꢅ

ꢔꢕꢖ ꢗ

FSS_(n)ꢆ 1 ꢍ

.

(2)

ꢜ

∑

ꢓ

ꢝ

ꢓ

ꢔꢕꢖꢃꢗꢅ

ꢙꢚꢛꢃꢗꢅ

Запись ꢀꢂꢂ_ꢃꢄꢅделает показатель положительно ориентированным:

чем он больше, тем прогноз лучше; он равен 1 при идеальном прогнозе и

0 – при полностью несовпадающем прогнозе. При расчете формулы для

ꢀꢂꢂ_ꢃꢄꢅв ситуации с нулевыми осадками в прогнозе и наблюдении возни-

кают нетривиальные последствия, которые обязательно следует учитывать

[57, 67]. Очевидно, для n=1 (масштаб сетки, grid scale) оценка FSS сов-

падает с классической оценкой Брайера для верификации вероятностных

прогнозов.

Результаты расчетов для набора окон с последовательно растущим

размером представляются в виде графика зависимости FSS от выделенных

масштабов (рис. 4), при этом в большинстве случаев увеличение масштаба

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

17

(апскейлинг) приводит к постепенному росту FSS от значения, близкого к

0, до некоторого уровня "насыщения" AFSS.

Рис. 4. Схематическое представление показателя FSS относительно

пространственного масштаба.

Fig. 4. Schematic diagram of the FSS relative to the spatial scale.

Предельный уровень AFSS на максимальном масштабе и при наличии

систематического смещения (сдвига), то есть при неравенстве количества

единиц в обоих полях (ꢞ_ꢎꢏꢐ ꢞ_ꢊꢋꢌ), равен

ꢑ

ꢘꢊ

ꢝꢊ

ꢅ

ꢊ

AFSS ꢆ 1 ꢍ ^ꢃꢊ

ꢆ ^ꢑꢊ

,

(3)

ꢙꢚꢛ

ꢜ

ꢔꢕꢖ

ꢜ

ꢙꢚꢛ ꢔꢕꢖ

ꢜ

ꢊ

ꢝꢊ

ꢙꢚꢛ ꢔꢕꢖ

где

– наблюдаемая повторяемость (доля единиц во всем поле

ꢞ

ꢎꢏꢐ

наблюдения);

–

ꢞ

ꢊꢋꢌ

прогностическая повторяемость (доля единиц во всем

прогностическом поле).

Оценка FSS обладает важнейшим свойством для моделирования и

прогнозирования, которое заключается в возможности отделения масшта-

бов, не предсказуемых или трудно предсказуемых на основе испытывае-

мой модели, от тех масштабов, в которых модель способна производить

прогнозы удовлетворительного качества. По этой причине название статьи

Робертса и Лина [64] начинается со словосочетания "scale-selective verifi-

cation", т. е. верификация с выбором (или с целью выбора) масштаба. Про-

гнозы в меньших масштабах выпускать не рекомендуется, так как здесь до-

минирует "синоптический шум" и ошибки растут наиболее быстро в

полном соответствии с представлениями о предсказуемости процессов

[53]. Известно, что если при таких условиях оценивать прогнозы по точкам,

то модель высокого разрешения (например, 1 км) может оказаться хуже

18

Метеорологические прогнозы, математическое моделирование

модели грубого разрешения (10 км) [54], что, как упоминалось во введе-

нии, вызвало рост интереса к нетрадиционным пространственным оценкам

прогностических полей. Наименьший представительский масштаб опреде-

ляется точностью сеточных решений ЧПП и должен превышать "эффек-

тивное разрешение" мезомасштабной модели [71], равное примерно семи

шагам расчетной сетки, а наибольший должен определяться при компро-

миссном учете требований пользователя, расчетных затрат и допустимого

качества прогнозов.

На графике рис. 4, помимо уровня насыщения, выделяются еще два

важных уровня FSS, зависящие от повторяемости дождя в поле наблюде-

ния (f_obs): уровень случайного прогноза (FSS_random), равный f_obs, и уровень од-

нородного прогноза (FSS_uniform), равный 0.5 + f_obs/2. Более детальное описа-

ние и мотивировка введения этих уровней даны в [64].

Наименьший масштаб, в котором FSS превышает значение FSS_uniform

,

называют качественным (skillful scale), иногда – полезным, приемлемым

масштабом [39]. Предполагается, что пользователю легче воспринять дан-

ную величину в качестве контрольной, чем само значение показателя, по-

этому этот уровень называют также целевым качеством (target skill) с за-

писью показателя с другим индексом (FSS_useful) [58].

Во введении обсуждались расширяющиеся области приложения пока-

зателя FSS. Добавим несколько замечаний о некоторых важных, по нашему

мнению, конструктивных элементах алгоритма расчета.

При определении показателя говорилось об окрестностях в форме се-

точных квадратов (окон), хотя на практике используются также круговые

формы. С помощью квадратов и кругов проще перейти к понятию про-

странственного масштаба и легко реализовать расчетный алгоритм, хотя

для анализа прогноза линии шквалов, фронтов или топографически обу-

словленных элементов погоды были бы лучше вводить окрестности, отра-

жающие их формы [39]. Возникает вопрос о количестве окрестностей в до-

мене, которое в [67] точно равно полному количеству точек (или ячеек) в

домене. Это существенно упрощает расчеты, в которых при таком подходе

центры окон (или кругов), попадающие на границы или вблизи них, вклю-

чаются в общие оценки долей, несмотря на то, что части окрестностей, по-

падающие внутрь домена, относятся к другим масштабам. Так, в квадрат-

ном домене угловые точки будут соответствовать лишь четверти размера

выбранного окна, а остальные граничные точки – не более чем половине

данного размера на каждом шаге расчетного цикла. Если же использовать

только внутренние окрестности домена, то оценки долей в разных окнах

будут рассчитываться на выборках разного объема. Возникающие вопросы

также решаются с разной степенью общности (см., например, [62, 74, 75]).

Наконец, прямоугольная форма границы области верификации

(домена) также используется для удобства организации расчетных циклов.

На практике домены имеют иногда сложные геометрическое особенности,

включая не только нестандартную форму границ, но и несвязность поля

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

19

из-за внутренних пустот, которые должны заполняться константами

отсутствия или малозначащими числами. В частности, до 2019 г. система

наукастинга осадков Гидрометцентра России работала в режиме парал-

лельного прогнозирования в отдельных кругах обзора девяти ДМРЛ на тер-

ритории ЦФО, с данными в квадратных матрицах размера 504×504 [25]. В

2020 г. в систему наукастинга были подключены данные около 30 радио-

локаторов, а поля осадков стали представляться в виде квадратных матриц

размером 2151×1951. В состав объединенных полей (композитов) вошли

граничные и внутренние области с константами отсутствия, учет которых

потребовал довольно значительных усилий при оценках качества прогно-

зов [19]. Проблемы границ произвольной формы и наличия констант отсут-

ствия обсуждаются, например, в статье [62], однако в каждом конкретном

случае приходится решать специфические задачи и прибегать к особым

приемам обработки данных.

Как говорилось выше, критической проблемой окрестной верифика-

ции являются вычислительные затраты, заставляющие сокращать выборки

пар полей и прореживать последовательности окрестностей, относительно

которых строятся графики зависимости FSS(scale).

В этой связи чрезвычайно важными являются разработки более эффек-

тивных алгоритмов расчета. В функциях расчета FSS математического па-

кета SpatialVx на этапе пространственной фильтрации предусмотрена оп-

ция быстрого преобразования Фурье (БПФ) [46], внедренная в пакет в

2013 г. [47]. В 2015 г. для увеличения эффективности расчета FSS был

предложен алгоритм компьютерной графики под названием таблицы сум-

мированных площадей (summed area tables) [40], вычислительная слож-

ность которого имеет порядок О(М) ("О большое от М"), где М – количе-

ство ячеек расчетной сетки. С ростом размера окрестности вычислительная

сложность БПФ, имеющая порядок О(МlogM), быстро возрастает в сравне-

нии со сложностью алгоритма суммированных площадей, которая инвари-

антна относительно внутренних масштабов. Этот алгоритм уже применя-

ется в практике окрестных оценок, в частности в пакете пространственной

оценки поля ветра в среде языка R [74].

3. Результаты экспериментов

Напомним, что поисковик объектов FeatureFinder настроен следую-

щими параметрами пространственного осреднения, идентификации и раз-

меров объекта: smooth=9, thresh=1.0, min_size=40×40=1600

и

max_size=128×128=16384. Ограничение объектов максимально допусти-

мым размером, составляющим четверть размера исходной матрицы в

256×256=65536 узлов, предпринято для исключения областей сплошных

осадков, с большой вероятностью занимающих зоны обзора нескольких ло-

каторов. Области такого размера затрудняют объектно-ориентированные

20

Метеорологические прогнозы, математическое моделирование

оценки качества и нарушают корректность сопоставления значений FSS с

внутренними областями исходного домена.

Для каждого радиолокатора формируется список сроков наблюдений

и прогнозов заблаговременностей 30, 60, 90, 120 и 150 мин. В теплый пе-

риод года из около 20 тысяч исходных радиолокационных полей одного

локатора отбирается порядка двух-трех тысяч полей с выделенными объ-

ектами в полях наблюдений (прогностические поля произвольны). В хо-

лодный период количество соответствующих полей примерно в два-три

раза меньше.

Как и в предыдущих работах по верификации наукастинга осадков [19,

23, 25], используется функция квартильного анализа summary() языка R, с

помощью которой в последующем выбирается обобщенная (агрегирован-

ная) оценка для всего периода испытаний. Функция summary() рассчиты-

вает минимум, 25%-ный квантиль, медиану, среднее значение, 75%-ный

квантиль, максимум, интерквартильный размах и стандартное отклонение.

По результатам статистических экспериментов в качестве агрегированной

оценки FSS выбрано медианное значение. Ниже демонстрируются число-

вые, табличные и графические результаты оценки показателя FSS, харак-

теризующие особенности наукастинга для различных комбинаций пара-

метров верификации. Полный набор этих параметров таков: период года

(теплый и холодный), радиолокатор (девять ДМРЛ-С), заблаговременность

прогноза (30, 60, 90, 120 и 150 мин), порог интенсивности осадков для

оценки превышения (0.25, 0.5, 0.75, 1, 2, 3, 4 и 5 мм/ч).

3.1. Медианные оценки FSS по случайным выборкам: масштаб

приемлемого прогноза

Случайная выборка для верификации состоит примерно из 200 пар по-

лей наблюдение-прогноз. Вначале рассмотрим самый простой способ

представления FSS с указанием уровня приемлемого прогноза, за который

примем значение FSS_accept=FSS =0.5, близкое к FSS_usefuпри небольших f_obs.

Рассмотрим рис. 5, на котором размещены медианные оценки FSS про-

гноза на 60 мин превышений интенсивности 0.5, 1, 2, 3 и 4 мм/ч по данным

обоих периодов. Панели помечены идентификаторами ДМРЛ-С, разме-

щенных на рисунке по схеме статей [23, 25].

Каждая из девяти панелей состоит из двух частей: слева графики FSS

для теплого периода, справа – для холодного периода. Координаты запи-

саны в нечетных числах, соответствующих длине половины стороны квад-

ратного окна, а истинный масштаб в кв. км равен квадрату удвоенного

числа 2(k–1)+1. Первой координате соответствует квадрат со стороной

2 км, второй координате (k=3) – со стороной 10 км и т. д. до координаты

k=21, соответствующей стороне квадратного окна длиной 82 км.

На рисунке отчетливо видно общее сходство всех графиков теплого

периода и холодного периода по отдельности, что свидетельствует об от-

носительном сходстве качества наукастинга по данным всех локаторов.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

21

Это в свою очередь означает, что и различия между результатами холод-

ного и теплого периодов носят систематический характер, отражающий,

возможно, климатические особенности полей осадков на территории ЦФО.

RAVO

RUWJ

RUDL

RUDK

RAVN

RUDB

RUDN

RATL

RAKU

Рис. 5. Медианные оценки качества наукастинга интенсивности осадков на

60 мин в категориях превышений порогов (мм/ч): 0.5 (красный), 1 (зеленый),

2 (голубой), 3 (желтый) и 4 (черный). Линия 0.5 – контрольный уровень ка-

чества, соответствующий показателю Пирса-Обухова PSS=0.5 и оценке

угроз CSI=0.333.

Fig. 5. Median rainfall intensity nowcasting quality scores for 60 min in threshold

exceedance categories (mm/h): 0.5 (red), 1 (green), 2 (blue), 3 (yellow), and 4

(black). The 0.5 line denotes a reference quality level, corresponding to the Peirce

Skill Score equaling PSS=0.5, and the Critical Success Index equaling

CSI=0.333.

Обычно чем больше порог интенсивности осадков, тем ниже значение

FSS. Для некоторых порогов кривые FSS не достигают приемлемого каче-

ства до конца графика: это означает, что в соответствующих окнах поля

прогноза и поля наблюдения либо совсем нет ячеек с осадками этой кате-

гории, либо они не встречаются в соответствующих окнах площадью

меньше 82 кв. км.

Кривые FSS холодного периода расположены заметно ниже одноцвет-

ных кривых теплого периода. Однако существует сходство кривых разных

22

Метеорологические прогнозы, математическое моделирование

цветов, возникающее в согласии с климатическими свойствами интенсив-

ности осадков: в средних широтах в теплый период года интенсивность

осадков вдвое-втрое выше интенсивности в холодный период. В частности,

почти идеальное удвоение наблюдается на панели для локатора Воейково:

красная кривая (0.5 мм/ч) в холодный период походит на зеленую кривую

(1 мм), зеленая кривая – на голубую (2 мм/ч), а голубая – на черную

(4 мм/ч).

Красная кривая (порог 0.5 мм) всегда пересекает контрольную линию

на первых окнах со стороной в одну-пять ячеек, т. е. в линейных масштабах

от 2 до 10 км.

В теплый период в большинстве случаев все кривые, кроме черной

(4 мм), пересекают контрольную линию в интервале масштабов до 82 км.

Что дополнительно можно извлечь из этих графиков?

По масштабам, на которых кривая FSS пересекает уровень 0.5, соста-

вим таблицу (табл. 1). Очевидно, что чем меньше координата пересечения,

тем лучше прогноз, поэтому напрашивается мысль ранжировать качество

наукастинга по обзорам локаторов с помощью "кортежей" пересечений.

Однако в столбцах таблицы имеется много совпадений, и строгое упорядо-

чивание таких "кортежей" затруднительно, кроме некоторых столбцов с

выделяющимися наилучшими или наихудшими прогнозами.

Таблица 1. Условный пространственный масштаб приемлемого прогноза:

пересечение кривой FSS горизонтального уровня FSS_accept=0.5 прогноза

превышения порога интенсивности в абсциссе под номером k. Фактическая

длина масштабного окна рассчитывается по формуле 2[2(k-1)+1] км

Table 1. Conditional spatial scale of an acceptable forecast: the intersection of

the FSS curve of the horizontal level FSS_accept=0.5 for the forecast of exceeding

the intensity threshold in the abscissa numbered k. The actual length of the scale

window is calculated using the formula 2[2(k-1)+1] km

Масштаб приемлемого

прогноза.

Порог и масштаб приемлемого

прогноза.

Теплый период

Холодный период

4

21

19

999

20

999

19

3

2

8

9

11

7

8

11

8

11

7

1

3

5

4

3

4

3

0.5

1

2

1

4

3

2

1

5

7

5

6

4

8

5

8

9

0.5

1

2

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

RUDL

RUDN

RUWJ

15

17

13

19

15

20

13

999

21

19

999

2

1

Примечание. Числом 999 отмечено отсутствие пересечения уровня FSS=0.5

на интервале окон.

Note. The number 999 marks the absence of crossing the FSS=0.5 level in the

interval of windows.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

23

По строкам таблицы для теплого периода хорошо видно, что уровни

пересечения для всех р/л близки, а это численно подтверждает однород-

ность наблюдений использованных ДМРЛ. Средние по столбцам значения

координат пересечений равны k = (1.2, 3.4, 8.9, 15.6) для порогов thr = (0.5,

1, 2, 3) соответственно. Используя линейную оценку масштаба по формуле

4k–2, получим последовательность размеров окон в км: 2.8, 11.6, 33.6 и

60.4. Можно считать удачным превышение порога FSS_acceptпри прогнозе

интенсивности осадков выше 0.5 мм/ч в окне со стороной до 12 км (что,

кстати, имеет порядок "эффективной" размерности сетки в 7x по

Скамароку [71]). Однако если потребителя мезомасштабной прогностиче-

ской продукции вполне удовлетворит качество FSS0.5 прогноза превыше-

ния 0.5 мм/ч в области порядка 10×10 кв. км, то аналогичное качество пре-

вышения 3 мм/ч в области размером не менее 60×60 кв. км может

показаться ему бесполезным.

3.2. Медианные оценки FSS по случайным выборкам: масштаб

полезного прогноза

Перейдем

к

более строгому порогу полезного прогноза:

FSS_useful= FSS_accept+ f_obs/2. Напомним, что превышение этого уровня экви-

валентно положительному значению критерия Пирса-Обухова (Peirce Skill

Score, PSS), когда доля попаданий превосходит долю ложных тревог, а кри-

тический индекс успешности (Critical Success Index, CSI) превышает 1/3,

т. е. когда удвоенное количество попаданий превышает сумму промахов и

ложных тревог [67].

Выходная табличная продукция значений FSS дополняется двумя зна-

чениями – долей осадков в поле наблюдения (f_obs) и долей осадков в син-

хронизированном поле прогноза (f_frc).

Рассмотрим, какие числовые и графические особенности возникают

при этом уровне качества, и представим результаты расчетов FSS относи-

тельно набора порогов интенсивности и разных прогностических сроков.

3.2.1. Пространственная доля осадков в полях наблюдения

и прогноза

Пространственная частота дождя в радиолокационных и прогностиче-

ских полях равна относительному количеству единиц в бинарных полях,

т. е. доле ячеек с осадками указанной интенсивности. Эти характеристики

используются в определении калиброванности полей, в оценке уровня

насыщения и минимального уровня качества случайного прогноза.

В табл. 2 собраны оценки этих долей при прогнозе на 60 мин превы-

шения порога 1 мм/ч.

24

Метеорологические прогнозы, математическое моделирование

Таблица 2. Пространственная доля осадков ( 1 мм/ч) в полях р/л наблюде-

ний (of0) и прогноза (ff0) на 60 мин. Обозначения (кроме очевидных): q25 и

q72 – квартили 25% и 75%; IQR (inter-quartile range), межквартильный размах

IQR=q75-q25

Table 2. Spatial fraction of precipitation ( 1 mm/h) in the fields of radar observa-

tions (of0) and forecast (ff0) for 60 min. Designations (except for the obvious ones):

q25 and q72 are 25% and 75% quartiles; IQR is the interquartile range IQR=q75-

q25

Р/л

Доли в домене

min q25 med mean q75 max IQR

Теплый период

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

RUDL

RUDN

RUWJ

of0

ff0

of0

ff0

оf0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

0.012 0.038 0.054 0.063 0.076 0.212 0.038

0.000 0.035 0.050 0.060 0.079 0.198 0.044

0.013 0.033 0.048 0.053 0.068 0.160 0.035

0.000 0.025 0.043 0.050 0.067 0.182 0.042

0.012 0.032 0.042 0.050 0.060 0.163 0.028

0.000 0.027 0.041 0.046 0.060 0.187 0.033

0.015 0.038 0.052 0.059 0.070 0.167 0.032

0.000 0.033 0.049 0.056 0.069 0.187 0.036

0.008 0.027 0.043 0.049 0.067 0.132 0.040

0.000 0.022 0.037 0.049 0.065 0.185 0.043

0.016 0.040 0.057 0.064 0.085 0.165 0.045

0.003 0.036 0.053 0.060 0.077 0.195 0.041

0.010 0.033 0.049 0.058 0.075 0.193 0.042

0.000 0.026 0.048 0.057 0.078 0.261 0.052

0.014 0.040 0.062 0.069 0.088 0.201 0.048

0.005 0.037 0.062 0.070 0.094 0.236 0.057

0.016 0.035 0.049 0.059 0.070 0.183 0.035

0.000 0.031 0.052 0.061 0.072 0.236 0.041

of0

ff0

Холодный период

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

RUDL

RUDN

RUWJ

of0

ff0

of0

ff0

оf0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

0.024 0.045 0.069 0.079 0.105 0.205 0.060

0.000 0.033 0.064 0.075 0.113 0.265 0.080

0.023 0.038 0.052 0.062 0.076 0.196 0.038

0.000 0.028 0.049 0.058 0.077 0.205 0.049

0.021 0.033 0.039 0.041 0.047 0.073 0.014

0.000 0.024 0.037 0.039 0.057 0.085 0.033

0.019 0.035 0.047 0.058 0.075 0.143 0.040

0.001 0.021 0.040 0.056 0.073 0.218 0.052

0.020 0.045 0.066 0.072 0.096 0.184 0.051

0.000 0.033 0.057 0.070 0.099 0.252 0.066

0.021 0.037 0.048 0.055 0.068 0.149 0.031

0.000 0.024 0.040 0.051 0.069 0.191 0.045

0.022 0.038 0.053 0.066 0.073 0.207 0.035

0.002 0.029 0.047 0.070 0.088 0.295 0.059

0.026 0.045 0.060 0.075 0.090 0.208 0.045

0.002 0.030 0.055 0.066 0.089 0.221 0.059

0.024 0.037 0.047 0.057 0.058 0.223 0.021

0.001 0.020 0.034 0.049 0.060 0.294 0.040

of0

ff0

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

25

Уточним, пространственные доли оцениваются по количеству единиц

относительно 65536 точек поля, а квартильные характеристики рассчиты-

ваются по ранжированным значениям этих долей (в количестве около 200

чисел). Например, медианное значение 0.054 означает, что половина полей

(из выбранных примерно 2 сотен) заселена единицами в количестве

меньше 3540 ячеек (округление до целого числа произведения

0.054×65536), а половина заселена единицами в количестве больше 3540

точек. Пороговое количество единиц эквивалентно квадрату со стороной

около 120 км. В то же время значению 0.05 для прогностических полей со-

ответствует меньшее количество ячеек (около 3277), что эквивалентно

квадрату со стороной около 114 км. Жирным выделены значения медиан-

ной оценки пространственной доли осадков выше 1 мм/ч. Заметим, что ну-

левые значения в строках ff0 фиктивны из-за грубой точности округления

при оценке долей относительно числа 65536.

По данным таблицы наблюдается довольно равномерное распределе-

ние значений по столбцам, что свидетельствует о ранее отмеченной одно-

родности радиолокационных данных среди использованных локаторов. К

общим особенностям можно отнести также то, что медианные значения в

полях наблюдений превышают медианные значения в полях прогноза

(кроме данных локатора RUWJ в теплый период). При этом максимальные

значения медиан (столбцы max) ведут себя противоположно: медианы для

прогнозов превышают медианы для наблюдений, что отражается и в меж-

квартильном размахе. Напрашивается вывод, что по территории ЦФО мо-

дель STEPS более активно "засевает" прогностические поля осадками

выше 1 мм/ч в оба периода года.

Распределение осадков выше заданного порога по всему домену мо-

жет приводить к вырожденным ситуациям из-за делителя в формуле рас-

чета FSS, когда оценка контрольного прогноза (сумма квадратов долей) мо-

жет оказаться нулевой и расчет либо прекратится аварийно, либо породит

фиктивное экстремальное значение показателя. Автор статьи [57] доказы-

вает, что FSS превышает нулевое значение тогда и только тогда, когда в

обоих полях имеются ячейки с соответствующими осадками, что, кстати,

говорит о неспособности показателя FSS отделять промахи от ложных

тревог. Ситуации с вырождением рекомендуется упреждать дополнитель-

ной проверкой полей на вырожденность, что при использовании функции

summary() не требуется: вырожденные случаи бракуются без аварийного

останова, открывается счетчик нечисловых величин и характеристики рас-

считываются по оставшимся числовым значениям с соответствующими

комментариями. Значения пространственных долей для большого порога

собраны в табл. 3.

Характеристики пространственных долей и количество забракован-

ных прогнозов в табл. 3 убедительно демонстрируют, какие диапазоны по-

рогов превышения и в какие периоды года рекомендуются для применения

категориальных оценок качества.

26

Метеорологические прогнозы, математическое моделирование

Таблица 3. Пространственная доля осадков ( 4 мм/ч) в полях р/л наблюде-

ний (of0) и прогноза (ff0) на 60 мин. Обозначения те же, что и в табл. 2

Table 3. Spatial fraction of precipitation ( 4 mm/h) in the fields of radar observa-

tions (of0) and forecast (ff0) for 60 min. Designations are the same as in Table 2

Р/л

Доли в домене

min q25 med mean q75

max

IQR

Теплый период

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

RUDL

RUDN

RUWJ

of0

ff0

of0

ff0

оf0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

0.001 0.007 0.011 0.013 0.017 0.045 0.010

0.000 0.005 0.008 0.012 0.016 0.044 0.011

0.000 0.005 0.009 0.010 0.012 0.042 0.007

0.000 0.003 0.007 0.009 0.013 0.050 0.010

0.000 0.005 0.008 0.010 0.012 0.045 0.007

0.000 0.003 0.007 0.009 0.012 0.080 0.009

0.000 0.004 0.008 0.010 0.013 0.039 0.009

0.000 0.003 0.007 0.009 0.013 0.052 0.010

0.001 0.006 0.010 0.013 0.015 0.052 0.009

0.000 0.004 0.008 0.012 0.015 0.070 0.011

0.000 0.004 0.008 0.010 0.014 0.046 0.010

0.000 0.002 0.006 0.010 0.013 0.050 0.011

0.001 0.005 0.009 0.012 0.016 0.066 0.011

0.000 0.003 0.007 0.011 0.013 0.118 0.010

0.000 0.006 0.009 0.012 0.016 0.054 0.010

0.000 0.004 0.009 0.012 0.017 0.062 0.013

0.000 0.006 0.009 0.013 0.017 0.094 0.011

0.000 0.004 0.009 0.012 0.016 0.092 0.012

of0

ff0

Холодный период

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

RUDL

RUDN

RUWJ

of0

ff0

of0

ff0

оf0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

of0

ff0

0.000 0.000 0.002 0.004 0.006 0.022 0.006

0.000 0.000 0.001 0.003 0.005 0.026 0.005 (8)

0.000 0.001 0.002 0.004 0.006 0.021 0.005

0.000 0.000 0.001 0.003 0.005 0.025 0.005 (4)

0.000 0.001 0.002 0.003 0.004 0.008 0.003

0.000 0.000 0.001 0.002 0.003 0.012 0.003 (5)

0.000 0.001 0.002 0.003 0.005 0.019 0.004

0.000 0.000 0.001 0.002 0.002 0.026 0.002 (5)

0.000 0.001 0.003 0.006 0.008 0.031 0.007

0.000 0.000 0.002 0.005 0.007 0.043 0.007 (7)

0.000 0.000 0.000 0.002 0.002 0.012 0.002

0.000 0.000 0.000 0.001 0.001 0.018 0.001 (39)

0.000 0.000 0.001 0.003 0.003 0.029 0.003

0.000 0.000 0.000 0.003 0.002 0.048 0.002 (31)

0.000 0.000 0.002 0.004 0.006 0.021 0.006

0.000 0.000 0.001 0.003 0.004 0.025 0.004 (17)

0.000 0.000 0.000 0.001 0.001 0.006 0.001

0.000 0.000 0.000 0.001 0.001 0.012 0.001 (27)

of0

ff0

Примечание: красным цветом указано количество прогнозов, исключенных из

расчета FSS по причине вырождения полей осадков.

Note: red color indicates the number of forecasts excluded from the FSS calculation

due to degeneration of precipitation fields.

3.2.2. Табличное и графическое представление оценок FSS

Агрегированные оценки FSS дают обобщенное представление о каче-

стве наукастинга в круге обзора каждого локатора и позволяют нанести на

один график много содержательной информации.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

27

Вначале рассмотрим табличные представления. В табл. 4 собраны зна-

чения FSS оценки прогнозов превышения порогов 1, 2 и 3 мм/ч на 60 мин

в области обзора ДМРЛ Курск (RAKU). Во внутренних таблицах для теп-

лого периода и порогов 1 и 2 мм/ч оставлены только строки до красной

строки холодного периода, которая выделяет минимальный приемлемый

масштаб (FSS_median 0.5) относительно заданного порога.

Таблица 4. Область обзора р/л Курск (RAKU). Пространственная доля осад-

ков ( 1, 2 и 3 мм/ч) в полях р/л наблюдений (of0) и прогноза (ff0) на 60 мин.

Обозначения те же, что и в табл. 2

Table 4. Coverage area of the Kursk radar (RAKU). Spatial fraction of precipitation

( 1, 2 and 3 mm/h) in the fields of radar observations (of0) and forecast (ff0) for

60 min. Designations are the same as in Table 2

Порог,

мм/ч

Окно

Теплый период

min

q25 med mean q75 max

IQR

1

w01

w03

w05

0.001 0.277 0.378 0.376 0.496 0.718 0.219

0.001 0.383 0.500 0.486 0.617 0.802 0.234

0.001 0.453 0.566 0.548 0.685 0.844 0.232

....

2

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

0.001 0.146 0.240 0.245 0.340 0.593 0.194

0.001 0.226 0.352 0.348 0.476 0.756 0.250

0.001 0.287 0.416 0.412 0.555 0.813 0.268

0.001 0.327 0.475 0.464 0.605 0.842 0.278

0.001 0.367 0.522 0.507 0.650 0.895 0.283

0.001 0.400 0.572 0.543 0.687 0.925 0.287

0.001 0.439 0.608 0.574 0.716 0.939 0.277

0.001 0.471 0.647 0.600 0.746 0.945 0.275

0.001 0.504 0.673 0.623 0.775 0.948 0.271

0.001 0.530 0.688 0.642 0.794 0.950 0.264

0.001 0.553 0.703 0.660 0.808 0.952 0.255

0.001 0.575 0.726 0.675 0.822 0.956 0.247

0.001 0.591 0.744 0.689 0.833 0.959 0.242 .

….

3

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

0.001 0.054 0.134 0.156 0.220 0.519 0.166

0.001 0.104 0.220 0.244 0.354 0.705 0.250

0.001 0.154 0.282 0.302 0.432 0.776 0.278

0.001 0.205 0.328 0.351 0.502 0.815 0.297

0.001 0.241 0.374 0.394 0.550 0.865 0.309

0.001 0.264 0.420 0.430 0.591 0.891 0.327

0.001 0.294 0.455 0.462 0.633 0.903 0.339

0.001 0.324 0.496 0.489 0.672 0.909 0.348

0.001 0.345 0.538 0.514 0.699 0.910 0.354

0.001 0.368 0.570 0.536 0.719 0.916 0.351

0.001 0.390 0.591 0.555 0.733 0.926 0.343

0.001 0.411 0.606 0.573 0.755 0.932 0.344

0.001 0.430 0.629 0.589 0.766 0.937 0.336

0.001 0.451 0.655 0.604 0.776 0.941 0.325

0.001 0.467 0.663 0.618 0.794 0.945 0.327

0.001 0.480 0.675 0.630 0.806 0.953 0.326

28

Метеорологические прогнозы, математическое моделирование

Порог,

мм/ч

Окно

Холодный период

min

q25 med mean q75 max

IQR

1

w01

w03

w05

0.001 0.218 0.336 0.326 0.430 0.721 0.212

0.001 0.308 0.451 0.426 0.541 0.846 0.233

0.001 0.367 0.510 0.477 0.591 0.902 0.224

….

2

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

0.001 0.013 0.091 0.128 0.204 0.666 0.191

0.001 0.033 0.156 0.193 0.326 0.817 0.293

0.001 0.052 0.198 0.234 0.396 0.887 0.344

0.001 0.075 0.232 0.269 0.442 0.927 0.367

0.001 0.096 0.270 0.299 0.485 0.949 0.389

0.001 0.116 0.304 0.326 0.526 0.963 0.410

0.001 0.133 0.346 0.351 0.551 0.973 0.418

0.001 0.140 0.384 0.373 0.574 0.978 0.434

0.001 0.155 0.420 0.393 0.602 0.982 0.447

0.001 0.170 0.445 0.411 0.622 0.984 0.452

0.001 0.193 0.465 0.428 0.641 0.986 0.448

0.001 0.211 0.490 0.443 0.654 0.988 0.443

0.001 0.230 0.510 0.458 0.673 0.990 0.443

....

3

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

0.001 0.001 0.013 0.068 0.100 0.660 0.099

0.001 0.001 0.025 0.111 0.172 0.809 0.171

0.001 0.001 0.046 0.139 0.246 0.876 0.245

0.001 0.001 0.068 0.165 0.294 0.919 0.293

0.001 0.002 0.086 0.187 0.336 0.949 0.334

0.001 0.003 0.114 0.208 0.370 0.970 0.367

0.001 0.006 0.139 0.227 0.398 0.982 0.392

0.001 0.010 0.167 0.245 0.424 0.988 0.414

0.001 0.013 0.201 0.262 0.444 0.990 0.431

0.001 0.019 0.241 0.277 0.471 0.992 0.452

0.001 0.028 0.257 0.292 0.490 0.993 0.462

0.001 0.033 0.287 0.306 0.508 0.993 0.475

0.001 0.036 0.292 0.320 0.520 0.994 0.484

0.001 0.038 0.311 0.332 0.552 0.994 0.514

0.001 0.041 0.337 0.344 0.572 0.995 0.531

0.001 0.046 0.356 0.356 0.594 0.995 0.548

Примечание. Красным цветом выделена строка для наименьшего масштаба,

в котором медианное значение FSS превышает уровень приемлемого про-

гноза 0.5.

Note. The row for the smallest scale, in which the median FSS value exceeds the

acceptable forecast level of 0.5, is highlighted in red.

Обилие числового табличного материала затрудняет возможность

обобщений, но поставляет информацию о важных деталях верификации.

Например, табл. 4 позволяет увидеть особенности FSS в зависимости от

роста размера окна (масштаба) и от порога превышения для периодов от-

дельно. Обратим внимание на отличие оценок качества между двумя пери-

одами. В столбце третьего квартиля (q75) холодного периода зеленым цве-

том помечены минимальные масштабы гарантированного приемлемого

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

29

прогноза лишь для четверти прогнозов (около полусотни). Так, относи-

тельно порога 1 мм/ч не менее полусотни прогнозов обеспечены приемле-

мым качеством в масштабе 10×10 кв. км, относительно порога 2 мм/ч –

в масштабе 42×42 кв. км, а относительно порога 3 мм/ч – в масштабе 90×90

кв. км, против масштабов 10×10, 18×18 и 26×26 кв. км относительно ана-

логичных порогов в теплый период.

Сравнивая столбцы для медианы и средней величины (mean), можно

прийти к выводу, что оценки масштабов приемлемого прогноза в медиан-

ном обобщении будут в целом сходны с оценками при обобщении по сред-

нему значению FSS.

Графическое представление намного экономичнее характеризует сум-

марное качество прогноза, чем труднообозримые числовые таблицы, но и

здесь необходим рациональный выбор параметров верификации. Напри-

мер, в дополнение к сравнительному анализу качества по периодам года

можно добавить сравнение по географическому расположению ДМРЛ: ло-

каторы Воейково (RAVO), Внуково (RAVN) и Курск (RAKU) расположены

в некотором долготном поясе, а локаторы Смоленск (RUDL), Внуково

(RAVN) и Нижний Новгород (RUDN) – в некотором широтном поясе. На

рис. 6 показаны значения FSS для прогнозов на 60, 90 и 120 мин по данным

широтно ориентированных р/л относительно семи порогов и семи уровней

полезного прогноза FSS_useful

.

В первую очередь рассмотрим уровни полезности, которые оказались

различными в зависимости от порогов и заметно отличающимися от

уровня приемлемого масштаба (FSS=0.5). Отличие от 0.5 равно половине

пространственной доли превышения порога в радиолокационном поле

наблюдения, поэтому чем ниже порог интенсивности, тем больше ячеек

сетки занято соответствующей категорией осадков и тем выше порог по-

лезности FSS_useful. Уровни полезности для высоких порогов (начиная с

3 мм/ч в теплый период и с 2 мм/ч в холодный) малы и почти неотличимы

от 0.5. Так как уровень полезности зависит только от полей наблюдения, то

он не зависит от заблаговременности, что отражено на данном рисунке. Как

и следовало ожидать, с ростом заблаговременности все кривые дружно

снижаются, при этом уменьшение значений довольно сходно для всех трех

локаторов: отчетливого широтного различия не наблюдается. При этом чем

больше порог, тем быстрее соответствующая кривая FSS "прилипает" к оси

масштабов, создавая вырожденные ситуации [57]. Добавим, что визуаль-

ного отличия не наблюдается и в ходе кривых для долготно ориентирован-

ных локаторов Войково, Внуково и Курск.

Рассмотрим еще один способ более компактного графического пред-

ставления оценок FSS. Во-первых, различие кривых и их расцветок для

одинаковых порогов в двух периодах года позволяет поместить оба набора

кривых на одну панель: один цвет, но одна линия сплошная, вторая – пунк-

тирная. Во-вторых, можно избавиться от уровней полезности, перейдя

к разности FSS−FSS_usefulс соответствующей заменой координатных значе-

ний.

30

Метеорологические прогнозы, математическое моделирование

60 мин

90 мин

RUDL

120 мин

RAVN

RUDN

Рис. 6. Медианные оценки качества наукастинга осадков на 60, 90 и 120 мин

в категориях превышений порогов (мм/ч): 0.25 (оранжевый), 0.5 (красный),

0.75 (коричневый), 1 (зеленый), 2 (голубой), 3 (желтый) и 4 (черный). Уровни

полезного прогноза обозначены цветами соответствующих порогов.

Fig. 6. Median rainfall intensity nowcasting quality scores for 60 min in threshold

exceedance categories (mm/h): 0.5 (red), 1 (green), 2 (blue), 3 (yellow), and 4

(black). Useful forecast levels are indicated by the colors of the corresponding

thresholds.

На рис. 7 демонстрируется пример графика показателей FSS для про-

гноза на 30 мин по данным локатора Курск. Хорошо заметно, что отличие

панелей состоит в более широком расположении кривых по вертикали на

правой панели. Сплошные и точечные кривые одного цвета не сливаются,

однако слабо просматривается точечная кривая желтого цвета (порог

2 мм/ч). На правой панели более контрастно видно, что кривые FSS для по-

рогов 0.25 и 0.5 мм/ч в холодный период превышают кривые FSS для тех

же порогов на всем диапазоне окон, в то время как для остальных порогов

ситуация противоположная. От порога 0.75 до 4 мм/ч кривые одного цвета

в холодный период отстают от аналогичных кривых в теплый период, и чем

больше порог, тем сильнее отставание. Имеются похожие кривые между

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

31

холодным и теплым периодами: пороги 0.5 и 0.5, 0.75 и 1, 1 и 2, 2 и 4 мм/ч.

Возможно, эти сопоставления уточняют интервал отмеченных выше кли-

матологических соотношений между значениями интенсивности осадков в

разные периоды года в средних широтах.

FSS

FSS−FSS_useful

Рис. 7. Область обзора р/л Курск. Медианные оценки FSS и отклонений от

уровня FSS_usefulпрогноза осадков на 30 мин в категориях превышений порогов

(мм/ч): 0.25 (оранжевый), 0.5 (красный), 0.75 (коричневый), 1 (зеленый), 2 (го-

лубой), 3 (желтый) и 4 (черный). Левая панель – значения FSS; уровни полез-

ного прогноза отмечены цветами соответствующих порогов. Правая панель

– отклонения FSS−FSS_useful; диапазон изменений от -0.5 до 0.5.

Fig. 7. Coverage area of the Kursk radar. Median FSS estimates and FSS_usefulde-

viation for 30 min precipitation forecast in threshold exceedance categories (mm/h):

0.25 (orange), 0.5 (red), 0.75 (brown), 1 (green), 2 (blue), 3 ( yellow) and 4 (black).

Left panel – FSS values; useful forecast levels are marked with the colors of the

corresponding thresholds. Right panel – FSS-FSS_usefuldeviations; size of changing

is from 0.5 to 0.5.

На рис. 8 демонстрируется поведение кривых FSS в отклонениях от

уровней полезного прогноза на 60, 90, 120 и 150 мин для тех же порогов,

что и на рис. 7. Видно, что с ростом прогностического срока общая тенден-

ция состоит в снижении значений FSS и в постепенном уплотнении кривых

без существенной перегруппировки их взаимного расположения.

Удобство и гибкость графических средств позволяют представить

обобщение показателя FSS по всем использованным радиолокаторам.

Рис. 9 содержит графики FSS−FSS_usefulдля прогнозов на 60, 90, и 120 часов,

для порогов превышения 1, 2, 3 и 4 мм/ч и для всех девяти использованных

р/л.

Сформулируем общие замечания без детального анализа простран-

ственных масштабов.

Кривые оценок наиболее плотно расположены на панелях для теплого

периода года, чем для холодного периода. Для обоих периодов плотность

кривых тем больше, чем меньше и порог, и заблаговременность: рост

любого из этих параметров верификации приводит к снижению оценок

32

Метеорологические прогнозы, математическое моделирование

качества с одновременным "рассыпанием" кривых. Наиболее быстро "рас-

сыпаются" кривые холодного периода, начиная с порога 2 мм/ч и с забла-

говременности 60 мин.

60 ч

90 ч

120 ч

150 ч

Рис. 8. Область обзора р/л Курск. Медианные оценки FSS прогноза осадков

на 60, 90, 120 и 150 мин в категориях превышений порогов и в отклонениях

от уровня полезного качества. Обозначения порогов: 0.25 (оранжевый), 0.5

(красный), 0.75 (коричневый), 1 (зеленый), 2 (голубой), 3 (желтый) и 4 (чер-

ный).

Fig. 8. Coverage area of the Kursk radar. Median FSS estimates of 60, 90, 120,

and 150-minute precipitation forecasts in the categories of threshold exceed-

ances and in deviations from the useful quality level. Threshold designations:

0.25 (orange), 0.5 (red), 0.75 (brown), 1 (green), 2 (blue), 3 (yellow), and 4

(black).

Есть заметное свойство веера кривых FSS для холодного периода.

Кривые для прогноза превышения 2 мм/ч поворачиваются к оси масшта-

бов, не меняя формы: верхняя кривая голубого цвета маркирует локатор

Брянск (RUDB), а нижняя черного цвета – локатор Валдай (RUWJ). Для

порогов 3 и 4 мм/ч картина иная: веер постепенно складывается и ранги не

просматриваются. Но вряд ли имеет смысл использовать расходимость

кривых для ранжирования радиолокаторов в этом диапазоне масштабов,

так как в данных условиях и качество низкое, и полезность сомнительна.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

33

60 мин

90 мин

120 мин

Порог 1.0 мм/ч

Порог 2.0 мм/ч

Порог 3.0 мм/ч

Порог 4.0 мм/ч

Рис. 9. Медианные оценки FSS качества прогноза осадков на 60, 90 и 120 мин

в категориях превышений порогов 1, 2, 3 и 4 мм/ч, в отклонениях от уровня

полезного качества FSS_useful. Обозначения радиолокаторов и цвет: RAKU

(оранжевый), RATL (красный), RAVN (коричневый), RAVO (зеленый), RUDB

(голубой), RUDK (сиреневый), RUDL (желтый), RUDN (фиолетовый) и RUWJ

(черный).

Fig. 9. Median FSS estimates of the quality of the 60, 90 and 120 min precipitation

forecast in the categories of threshold exceedances of 1, 2, 3 and 4 mm/h, in devi-

ations from the FSS_usefullevel of useful quality. Radar designations and colors:

RAKU (orange), RATL (red), RAVN (brown), RAVO (green), RUDB (cyan), RUDK

(lilac), RUDL (yellow), RUDN (purple) and RUWJ (black).

34

Метеорологические прогнозы, математическое моделирование

Регулярное поведение кривых FSS при росте порога, заключающееся

в ее постепенном повороте в сторону оси масштабов (минимальное значе-

ние остается неподвижным), напоминает стремление к пределу оценки ка-

чества экстремальной величины [22, 41]. Возникает заманчивая идея обоб-

щить результат для скалярной величины (EDI или SEDI) на функцию (FSS)

[41, Сh.10].

Рис. 10 иллюстрирует кардинальные перемены в поведении кривых

оценки прогнозов на 30 мин. Для порогов 0.25 и 0.5 мм/ч качество прогно-

зов по всем локаторам в холодный период превышает качество прогнозов

в теплый период. На пороге 1 мм/ч кривые для холодного периода немного

ниже соответствующих кривых теплого периода, на пороге 2 мм/ч проис-

ходит заметное распадение кривых с возможностью отчетливого ранжиро-

вания радиолокаторов по их положению.

Порог 0.25 мм/ч

Порог 0.5 мм/ч

Порог 0.75 мм/ч

Порог 1 мм/ч

Порог 2 мм/ч

Порог 3 мм/ч

Рис. 10. Медианные оценки FSS качества прогноза осадков на 30 мин в кате-

гориях превышений порогов 0.25, 0.5, 0.75, 1, 2 и 3 мм/ч в отклонениях от

уровня полезного качества FSS_useful. Обозначения радиолокаторов и цвет:

RAKU (оранжевый), RATL (красный), RAVN (коричневый), RAVO (зеленый),

RUDB (голубой), RUDK (сиреневый), RUDL (желтый), RUDN (фиолетовый) и

RUWJ (черный).

Fig.10. Median FSS estimates of the quality of the 30 min precipitation forecast in

the categories of threshold exceedances of 0.25, 0.5, 0.75, 1, 2, and 3 mm/h, in

deviations from the FSS_usefullevel of useful quality. Radar designations and colors:

RAKU (orange), RATL (red), RAVN (brown), RAVO (green), RUDB (cyan), RUDK

(lilac), RUDL (yellow), RUDN (purple) and RUWJ (black).

Важное обстоятельство заключается в том, что расположение кривых

монотонно относительно масштабов (размера окон оценки FSS). Вернемся

к рис. 9, предполагая, что общее качество прогностической системы тем

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

35

выше, чем на более высоких порогах и на более отдаленной заблаговремен-

ности это преимущество сохраняется. Уровнем допустимого качества

будем считать только положительные значения кривых (FSS выше уровня

полезности).

Для анализа поведения кривых на большой заблаговременности доба-

вим рис. 11. с оценками качества прогнозов на 150 мин для порогов 0.25,

0.5, 0.75, 1, 2 и 3 и 4 мм/ч.

Порог 0.5 мм/ч

Порог 0.75 мм/ч

Порог 0.25 мм/ч

Порог 1 мм/ч

Порог 2 мм/ч

Порог 3 мм/ч

Рис. 11. Медианные оценки FSS качества прогноза осадков на 150 мин в ка-

тегориях превышений порогов 0.25, 0.5, 0.75, 1, 2 и 3 мм/ч в отклонениях от

уровня полезного качества FSS_useful. Обозначения радиолокаторов и цвет:

RAKU (оранжевый), RATL (красный), RAVN (коричневый), RAVO (зеленый),

RUDB (голубой), RUDK (сиреневый), RUDL (желтый), RUDN (фиолетовый) и

RUWJ (черный).

Fig. 11. Median FSS estimates of the quality of the 150 min precipitation forecast

in the categories of threshold exceedances of 0.25, 0.5, 0.75, 1, 2,and 3 mm/h, in

deviations from the FSS_usefullevel of useful quality. Radar designations and colors:

RAKU (orange), RATL (red), RAVN (brown), RAVO (green), RUDB (cyan), RUDK

(lilac), RUDL (yellow), RUDN (purple) and RUWJ (black).

В теплый период при прогнозе превышения порога 4 мм/ч уровень по-

лезности пересекает на заблаговременности 90 мин единственная кривая

локатора RAVO, зеленый цвет (Воейково). Точка пересечения соответ-

ствует масштабному окну со стороной 98 км. На заблаговременности

150 мин также единственная кривая зеленого цвета пересекает уровень по-

лезности при прогнозе превышения 2 мм/ч. В теплый период первое место

по условиям "соревнования" безоговорочно принадлежит данным ДМРЛ

Воейково.

В холодный период нет лидера, но при прогнозе превышения порога

2 мм/ч верхняя кривая принадлежит ДМРЛ RUDB (Брянск, оранжевый

36

Метеорологические прогнозы, математическое моделирование

цвет), которая пересекает уровень полезности на заблаговременности

60 мин (масштаб полезности 74 км).

При прогнозе превышения 3 мм/ч две кривые пересекают уровень по-

лезности на заблаговременности 30 мин (масштаб полезности 90 км), одна

из них принадлежит локатору RUDB. При прогнозе на 150 мин верхняя

кривая пересечения уровня полезности принадлежит группе локаторов,

причем верхняя кривая идентифицируется как кривая локатора RAKU;

но в группе присутствует также кривая локатора RUDB. Таким образом,

в холодный период лидера не наблюдается, однако по набору признаков

главным финалистом можно назначить ДМРЛ Брянск.

Аналогичное ранжирование локаторов можно провести на основе мас-

штаба полезности, который определит заинтересованный потребитель про-

гнозов. Однако такое ответственное мероприятие следует проводить не по

раскрашенным кривым, а по табличным данным с приемлемым уровнем

статистической значимости оценок.

3.3. Медианные оценки FSS по полным выборкам

Второй этап оценки качества радиолокационного наукастинга осадков

с помощью FSS заключается в использовании полного набора полей, филь-

трованные образы которых содержат объекты размером не менее

1600 ячеек, выделенных изолинией 1 мм/ч. Назовем такие выборки пол-

ными. Демонстрируются результаты прогнозов на 60 мин в теплый период

года по данным р/л RAKU (Курск), RATL (Тула), RAVN (Внуково), RAVO

(Воейково), RUDB (Брянск) и RUDK (Кострома). Оценены FSS для про-

гнозов превышения порогов 0.5, 1, 2, 3, 4 и 5 мм/ч. Последний порог был

включен ввиду роста объемов выборок, что способствует увеличению про-

странственной доли соответствующей категории осадков.

Вначале проверим правомерность использования случайной выборки

на первом этапе верификации, заранее сообщив, что расчет оценок FSS по

полной выборке часового прогноза объемом около 2500 пар полей зани-

мает около 90 часов работы процессора Intel (R) c частотой 3.2 ГГц и ОЗУ

4 Гб.

3.3.1. Сопоставление характеристик случайных

выборок

и

полных

Воспользуемся данными наблюдений и прогнозов на 60 мин в области

обзора ДМРЛ Курск (RAKU). В табл. 5–7 содержатся характеристики про-

странственных долей и оценок FSS для прогнозов превышения порогов 1,

2 и 4 мм/ч.

В левых таблицах собраны характеристики по случайным выборкам

(объемом около 200 пар полей прогнозов и наблюдений), а в правых таб-

лицах собраны характеристики по полным выборкам (объемом около 2500

пар полей).

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

37

Таблица 5. Область обзора р/л Курск (RAKU). Суммарные характеристики

пространственных долей осадков ( 1 мм/ч) в полях р/л наблюдений (of0) и

прогноза (ff0) на 60 мин и значения FSS относительно масштабов w01–w31

(линейных размеров окон). Верхняя таблица – характеристики по случайной

выборке (200 пар). Нижняя – характеристики по полной выборке (2500

пар). Обозначения характеристик те же, что и в табл. 2.

Table 5. Coverage area of the Kursk (RAKU) radar. The summary characteristics

of spatial rainfall fractions ( 1 mm/h) in the fields of r/l observations (of0) and

forecast (ff0) for 60 min, and the FSS values relative to the scales w01 - w31 (linear

window sizes). The left table - characteristics for a random sample (200 pairs).

The right table - characteristics for the full sample (2500 pairs). Characteristic

designations are the same as in Table 2.

Порог 1 мм/ч

Доли

Выборка случайная (ок. 200 пар полей)

и окно

min

q25

med mean q75 max IQR

of0

ff0

0.012 0.038 0.054 0.063 0.076 0.212 0.038

0.000 0.035 0.050 0.060 0.079 0.198 0.044

0.001 0.277 0.378 0.376 0.496 0.718 0.219

0.001 0.383 0.500 0.486 0.617 0.802 0.234

0.001 0.453 0.566 0.548 0.685 0.844 0.232

0.001 0.502 0.633 0.597 0.730 0.879 0.228

0.001 0.542 0.674 0.636 0.765 0.920 0.223

0.001 0.583 0.711 0.668 0.790 0.946 0.207

0.001 0.602 0.740 0.694 0.809 0.961 0.207

0.001 0.622 0.766 0.716 0.826 0.969 0.204

0.001 0.651 0.784 0.735 0.844 0.974 0.193

0.001 0.678 0.802 0.751 0.859 0.978 0.181

0.001 0.700 0.815 0.765 0.874 0.982 0.174

0.001 0.712 0.828 0.778 0.881 0.984 0.169

0.001 0.722 0.840 0.789 0.891 0.985 0.169

0.001 0.740 0.848 0.798 0.900 0.986 0.160

0.001 0.756 0.855 0.807 0.905 0.988 0.149

0.001 0.767 0.862 0.814 0.913 0.990 0.146

Выборка полная (ок. 2500 пар полей)

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

min

q25

med mean q75 max IQR

of0

ff0

0.009 0.038 0.054 0.061 0.073 0.215 0.035

0.000 0.034 0.053 0.060 0.077 0.247 0.043

0.001 0.256 0.364 0.365 0.473 0.805 0.217

0.001 0.357 0.481 0.470 0.594 0.884 0.237

0.001 0.417 0.545 0.530 0.659 0.919 0.242

0.001 0.468 0.598 0.577 0.707 0.941 0.239

0.001 0.512 0.637 0.616 0.745 0.954 0.233

0.001 0.552 0.670 0.648 0.774 0.963 0.222

0.001 0.584 0.699 0.674 0.799 0.970 0.215

0.001 0.610 0.725 0.697 0.820 0.977 0.210

0.001 0.635 0.747 0.717 0.837 0.983 0.202

0.001 0.655 0.766 0.734 0.851 0.987 0.196

0.001 0.670 0.782 0.749 0.864 0.990 0.194

0.001 0.686 0.796 0.762 0.874 0.992 0.188

0.001 0.704 0.810 0.774 0.883 0.993 0.179

0.001 0.718 0.823 0.785 0.891 0.995 0.173

0.001 0.731 0.834 0.795 0.899 0.995 0.168

0.001 0.742 0.844 0.804 0.906 0.996 0.164

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

38

Метеорологические прогнозы, математическое моделирование

Таблица 6. То же, что в табл. 5, только для порога 2 мм/ч

Table 6. Same as Table 5, only for threshold 3 mm/h

Порог 2 мм/ч

Доли

Выборка случайная (ок. 200 пар полей)

и окно

min

q25

med mean q75 max IQR

of0

ff0

0.008 0.020 0.029 0.034 0.042 0.116 0.022

0.000 0.017 0.025 0.031 0.039 0.111 0.022

0.001 0.146 0.240 0.245 0.340 0.593 0.194

0.001 0.226 0.352 0.348 0.476 0.756 0.250

0.001 0.287 0.416 0.412 0.555 0.813 0.268

0.001 0.327 0.475 0.464 0.605 0.842 0.278

0.001 0.367 0.522 0.507 0.650 0.895 0.283

0.001 0.400 0.572 0.543 0.687 0.925 0.287

0.001 0.439 0.608 0.574 0.716 0.939 0.277

0.001 0.471 0.647 0.600 0.746 0.945 0.275

0.001 0.504 0.673 0.623 0.775 0.948 0.271

0.001 0.530 0.688 0.642 0.794 0.950 0.264

0.001 0.553 0.703 0.660 0.808 0.952 0.255

0.001 0.575 0.726 0.675 0.822 0.956 0.247

0.001 0.591 0.744 0.689 0.833 0.959 0.242

0.001 0.603 0.756 0.701 0.848 0.961 0.245

0.001 0.616 0.768 0.712 0.854 0.964 0.238

0.001 0.630 0.781 0.722 0.859 0.969 0.229

Выборка полная (ок. 2500 пар полей)

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

min

q25

med mean q75 max IQR

of0

ff0

0.003 0.020 0.029 0.033 0.041 0.125 0.021

0.000 0.016 0.027 0.031 0.042 0.143 0.026

0.001 0.128 0.222 0.235 0.319 0.739 0.191

0.001 0.202 0.330 0.333 0.449 0.843 0.247

0.001 0.256 0.396 0.394 0.527 0.884 0.271

0.001 0.308 0.452 0.444 0.587 0.909 0.279

0.001 0.353 0.499 0.487 0.634 0.933 0.281

0.001 0.392 0.539 0.523 0.673 0.951 0.281

0.001 0.426 0.571 0.553 0.706 0.968 0.280

0.001 0.455 0.602 0.580 0.732 0.978 0.277

0.001 0.479 0.630 0.603 0.753 0.983 0.274

0.001 0.502 0.655 0.623 0.773 0.986 0.271

0.001 0.524 0.678 0.641 0.790 0.988 0.266

0.001 0.544 0.696 0.657 0.804 0.990 0.260

0.001 0.561 0.712 0.671 0.817 0.991 0.256

0.001 0.575 0.727 0.685 0.828 0.991 0.253

0.001 0.591 0.741 0.697 0.840 0.992 0.249

0.001 0.605 0.753 0.708 0.850 0.993 0.245

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

Сравнение верхних и нижних таблиц всех трех рисунков подтверждает

правомерность использования случайных выборок вместо полного набора,

но имеются стандартные особенности, характеризующие свойства подвы-

борок, такие как сужение размаха экстремумов. Однако разница в миниму-

мах наблюдается только для оценок пространственных долей осадков, для

FSS все минимумы совпадают, а максимумы отличаются незначительно.

Еще меньшее различие наблюдается в квартилях q25, q75 и медиане.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

39

Таблица 7. То же, что в табл. 5, только для порога 3 мм/ч

Table 7. Same as Table 5, only for threshold 3 mm/h

Порог 3 мм/ч

Доли

Выборка случайная (ок. 200 пар полей)

и окно

min

q25

med mean q75 max IQR

of0

ff0

0.001 0.007 0.011 0.013 0.017 0.045 0.010

0.000 0.005 0.008 0.012 0.016 0.044 0.011

0.001 0.022 0.074 0.103 0.150 0.424 0.128

0.001 0.053 0.136 0.174 0.268 0.635 0.215

0.001 0.088 0.186 0.225 0.342 0.730 0.254

0.001 0.114 0.230 0.270 0.404 0.804 0.290

0.001 0.150 0.282 0.310 0.458 0.848 0.308

0.001 0.166 0.320 0.346 0.514 0.873 0.348

0.001 0.192 0.363 0.376 0.557 0.885 0.365

0.001 0.218 0.400 0.404 0.589 0.891 0.371

0.001 0.240 0.436 0.428 0.616 0.894 0.376

0.001 0.261 0.466 0.450 0.647 0.907 0.386

0.001 0.274 0.491 0.471 0.660 0.917 0.386

0.001 0.287 0.509 0.490 0.674 0.926 0.387

0.001 0.309 0.528 0.507 0.695 0.932 0.386

0.001 0.340 0.546 0.523 0.718 0.936 0.378

0.001 0.365 0.558 0.538 0.737 0.941 0.372

0.001 0.384 0.570 0.552 0.742 0.946 0.358

Выборка полная (ок. 2500 пар полей)

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

min

q25

med mean q75 max IQR

of0

ff0

0.000 0.007 0.011 0.013 0.016 0.054 0.009

0.000 0.005 0.010 0.013 0.018 0.063 0.013

0.001 0.021 0.071 0.102 0.145 0.677 0.124

0.001 0.047 0.131 0.168 0.248 0.793 0.201

0.001 0.077 0.182 0.217 0.321 0.835 0.244

0.001 0.108 0.228 0.260 0.380 0.875 0.272

0.001 0.140 0.272 0.300 0.432 0.911 0.292

0.001 0.170 0.315 0.336 0.483 0.936 0.313

0.001 0.196 0.353 0.367 0.521 0.955 0.325

0.001 0.225 0.390 0.396 0.557 0.966 0.332

0.001 0.249 0.422 0.421 0.588 0.973 0.339

0.001 0.273 0.451 0.444 0.619 0.978 0.346

0.001 0.293 0.475 0.464 0.642 0.981 0.349

0.001 0.311 0.496 0.483 0.665 0.983 0.354

0.001 0.330 0.518 0.500 0.686 0.985 0.356

0.001 0.345 0.537 0.517 0.708 0.987 0.363

0.001 0.363 0.558 0.532 0.727 0.988 0.364

0.001 0.374 0.574 0.546 0.741 0.989 0.367

w01

w03

w05

w07

w09

w11

w13

w15

w17

w19

w21

w23

w25

w27

w29

w31

Изменение FSS в зависимости от пространственного масштаба для

двух методов формирования выборок демонстрируется на рис. 12. Сравне-

ние пар графиков для шести локаторов, использованных на втором этапе

верификации, приводит к общему заключению о большей гладкости

графиков по полной выборке (что вполне естественно) и о явном сходстве

40

Метеорологические прогнозы, математическое моделирование

одноцветных кривых справа и слева, включая уровни полезности и соот-

ветствующие масштабы полезных прогнозов.

RAVO

RUDK

RAVN

RATL

RUDB

RAKU

Рис. 12. Медианные оценки FSS для прогноза осадков на 60 мин на основе

двух методов формирования выборок. Левые панели: оценки прогноза пре-

вышений порогов 0.25, 0.5, 0.75, 1, 2, 3 и 4 мм/ч методом случайных выборок

(около 200 пар полей). Правые панели: оценки для превышений порогов 0.5,

1, 2, 3, 4 и 5 мм/ч на основе полного набора пар полей. Цвета совпадающих

порогов одинаковы. Уровни полезности выделены цветами соответствующих

порогов.

Fig. 12. Median FSS estimates for 60-minute precipitation forecast based on two

sampling methods. Left panels: estimates of threshold exceedances of 0.25, 0.5,

0.75, 1, 2, 3, and 4 mm/h by random sampling (about 200 pairs of fields). Right

panels: scores for threshold exceedances of 0.5, 1, 2, 3, 4, and 5 mm/h based on

the full set of field pairs. The colors of matching thresholds are the same. Useful

levels are highlighted by the colors of the corresponding thresholds.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

41

Очевидно, что сходство суммарных оценок FSS при использовании

случайных выборок на порядок меньшего размера позволяет экономить

вычислительные ресурсы при расчетах агрегированных оценок FSS. Од-

нако при этом утрачиваются возможности мониторинга качества прогно-

зов на существенных интервалах времени, когда, по сути, оценивается не

только осредненное качество прогнозов (forecast quality), но и надежность

(эффективность, производительность, результативность и т. д.) прогности-

ческой системы в целом (forecast performance).

3.3.2. Временные ряды пространственных долей категорий

осадков

Под временными рядами понимаются последовательные во времени

наборы полей наблюдений, в которых после пространственного осредне-

ния обнаруживаются соответствующие объекты для верификации. Так как

между такими полями временные интервалы не обязательно равные, то по-

нятие гладкости неприменимо по математическому смыслу и может быть

ложным по визуальному впечатлению.

На парах выделенных полей наблюдений и синхронизированных с

ними полей часовых прогнозов рассчитываются пространственные доли

осадков в выделенной градации и значения показателя FSS относительно

масштабов. Матрица результатов для одного локатора состоит из массива

NT строк и 2+NW столбцов, где NT – количество выделенных сроков

(в формате yyyymmdd_hhmi, yyyy – год, mm – месяц, dd – день, hh – час,

mi – десяток минут), NW – количество окон (здесь 16, от сеточного мас-

штаба 2 кв. км до 122 кв. км). Количество выделенных сроков разное для

различных локаторов, в среднем около 2500. В начале строки результиру-

ющей матрицы записываются пространственные доли (доли дождя) для

поля наблюдения и для поля прогноза, относящиеся к данному сроку.

Эти матрицы служат для дальнейших обобщений количественных

оценок и их графического представления.

Так как доли категорий осадков используются при определении важ-

ных уровней, то представляют интерес их статистические особенности в

зависимости от порогов и локаторов. Возникает возможность детального

анализа распределения и пространственных долей категорий осадков и зна-

чений FSS на основе более информативных гистограмм, чем квартильные

оценки.

На рис. 13 расположены временные ряды этих долей для порогов 0.5 и

1 мм/ч и гистограммы их распределения по всему временному интервалу

для всех порогов осадков; рассматриваются данные зоны обзора локатора

RAKU (Курск). Для порогов выше 1 мм/ч доля дождя невелика, поэтому в

рис. 13 внесены ряды только для первых двух порогов. Гистограммы рас-

пределения строятся в автоматическом режиме без задания общих диапа-

зонов величин, благодаря чему более отчетливо видны различия в их фор-

мах.

42

Порог,

Метеорологические прогнозы, математическое моделирование

Доля дождя

Доля дождя в полях

прогноза на 60 мин

мм/ч

в радиолокационных полях

0.5

1

2

3

4

5

Рис. 13. Временные ряды пространственных долей осадков и гистограммы

их распределения в полях наблюдения (левый ряд панелей) и в полях про-

гноза на 60 мин (правый ряд панелей) по полной выборке. Временные ряды

показаны только для порогов 0.5 и 1 мм/ч. Гистограммы распределения до-

лей показаны для всех порогов.

Fig. 13. Time series of spatial rainfall fractions and histograms of their distribution

in the observation fields (left row of panels) and in the forecast fields for 60 minutes

(right row of panels) for the full sample. Time series are shown only for thresholds

of 0.5 and 1 mm/h. Fractions distribution histograms are shown for all thresholds.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

43

Во временных рядах пространственных долей для полей наблюдения

и полей прогноза заметно общее сходство, включая пики и совпадение их

координат на оси времени. Эти факты свидетельствуют о способности си-

стемы наукастинга прогнозировать на интервале часового прогноза боль-

шие области осадков. Обе кривые для полей прогноза выглядят жирней

кривых для полей наблюдений, что связано с более сильной изменчиво-

стью во времени прогностической пространственной доли осадков выде-

ленных категорий. Это свойство сохраняется и для высоких порогов (здесь

не показано).

В поведении гистограмм с ростом порога интенсивности заметны сле-

дующие характерные особенности. На малых порогах (до 1 мм/ч) формы

гистограмм для полей наблюдения и прогноза сходны и напоминают двух-

параметрическое гамма-распределение с параметром формы больше еди-

ницы, хотя есть слабо выраженные намеки на толстые хвосты, особенно

для полей наблюдений.

В случае толстых хвостов уместнее рассмотреть также двухпарамет-

рическое распределение Парето, или обобщенное распределение Парето по

аналогии с подходом статей [20, 21].

Если предположить применимость гамма-распределения к простран-

ственным долям осадков в интервале 0.55 мм/ч и ориентироваться на по-

ведение моды распределения, то можно утверждать, что параметр формы

для полей прогнозов переходит границу 1 на меньшем пороге (между 3 и

4 мм/ч): гистограмма обретает отчетливую L-конфигурацию. Это значит,

что с ростом порога осадки таких категорий встречаются заметно реже, чем

в полях наблюдения. Если считать, что на более высоких порогах уместнее

использовать распределение Парето, то отмеченное поведение гистограмм

не противоречит тяжести хвоста для прогностических полей, так как все

распределения Парето так же L-образны, как гамма-распределение при па-

раметре формы меньше единицы.

3.3.3. Временные ряды значений показателя FSS

Рис. 1416 содержат значения FSS в зонах обзора локаторов Воейково,

Внуково и Курск для порогов 1, 2 и 4 мм/ч относительно линейных мас-

штабов 2, 10, 50 и 106 км.

Визуальный анализ рис. 1416 позволяет сделать вывод о значитель-

ном сходстве временных рядов значений FSS и гистограмм для пары

(порог, масштаб), относящейся к разным локаторам. Порог полезности рас-

считывается для каждого срока, и видно, что зеленая линия в этом пред-

ставлении малоизменчива и почти не отличается от уровня приемлемого

прогноза FSS=0.5.

Сконцентрируем внимание на графиках и гистограммах для локатора

Воейково (рис. 14).

Идеальный прогноз на всем интервале испытаний означает располо-

жение всего временного ряда FSS выше зеленой линии, что не встречается

44

Метеорологические прогнозы, математическое моделирование

ни на одной представленной панели. Наилучший, но не идеальный в дан-

ном смысле прогноз отражен на панели для порога 1 мм/ч и окна 106×106

кв.км, на которой имеются пары полей наблюдения и синхронизирован-

ного прогноза с низким качеством во всем диапазоне масштабов. Сроки

некоторых прогнозов низкого качества сохраняются ("наследуются") от

меньших масштабов вплоть до максимальных, что визуально представлено

нитями, свисающими в сторону FSS=0. Прогнозы, качество которых не

улучшается с ростом масштаба, являют собой случаи специфического вы-

рождения и достойны отдельного анализа. Точные даты и время таких про-

гнозов легко восстановимы.

Окно,

км

Воейково (RAVO)

Порог 2 мм/ч

Порог 1 мм/ч

Порог 4 мм/ч

2

10

50

106

Рис. 14. Временные ряды и гистограммы распределения показателя FSS для

часового прогноза превышения порога 1 мм/ч в зонах обзора локатора RAVO.

Зеленой линией выделен уровень полезного прогноза. Окна заданы в линей-

ном масштабе (длина стороны).

Fig. 14. Time series and distribution histograms of the FSS for an hourly forecast

of exceeding the threshold of 1 mm/h in the RAVO radar coverage areas. The green

line highlights the useful prediction level. The windows are given at a linear scale

(side length).

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

45

Наихудший прогноз приводит к противоположной картине: весь ряд

находится под зеленой линией, и такие ситуации нередки для прогнозов

превышений больших порогов.

На рис. 14 это панель для порога 4 мм/ч и масштаба 2 км, при этом

диапазон области определения гистограммы не превышает FSS=0.5. Для

этого же порога рост масштаба приводит к появлению значений FSS выше

уровня полезности. При этом в масштабе явлений около 100 км гисто-

грамма приобретает форму распределения с толстым левым хвостом

(много значений FSS около нуля), но с наибольшим количеством значений

FSS выше уровня полезности (мода распределения правее FSS=0.5). Такое

изменение гистограммы распределения FSS можно считать типичным для

использованных р/л данных в теплый период года.

Окно,

км

Внуково (RAVN)

Порог=2 мм/ч

Порог=1 мм/ч

Порог=4 мм/ч

2

10

50

106

Рис. 15. То же, что на рис.14, только для локатора RAVN.

Fig. 15. The same as in Fig. 14, only for the RAVN radar.

46

Метеорологические прогнозы, математическое моделирование

Рассмотренные варианты расположения временного ряда и формы ги-

стограммы FSS, включая толщину хвостов и координату моды распределе-

ния относительно уровня полезности, дают содержательную информацию

об "эксплуатационном качестве" (performance) системы радиолокацион-

ного наукастинга. Гистограммы FSS могут быть обобщены или прибли-

жены теоретическими распределениями известного типа (например,

гамма-распределением или обобщенным распределением Парето) и

оформлены в виде консультативного справочника. Пользователю системы

радиолокационного наукастинга обобщенная гистограмма может помочь

оценить вероятность полезного для него прогноза явления заданного про-

странственного масштаба и значимой для него интенсивности.

Окно,

км

Курск (RAKU)

Порог=2 мм/ч

Порог=1 мм/ч

Порог=4 мм/ч

2

10

50

106

Рис. 16. То же, что на рис.14, только для локатора RAKU.

Fig. 16. The same as in Fig. 14, only for the RAKU radar.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

47

В качестве примера рассмотрим часовой прогноз явлений масштаба

50 км и интенсивности выше 4 мм/ч и приведем соответствующие гисто-

граммы для областей обзора шести испытанных радиолокаторов (рис. 17).

На рис. 17 оставлены важные характеристики, формируемые в автома-

тическом режиме на этапе верификации, соберем их в отдельную табл. 8.

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

Рис. 17. Временные ряды и гистограммы распределения показателя FSS для

часового прогноза превышения порога 4 мм/ч в зонах обзора локаторов

RAKU, RATL, RAVN, RAVO, RUDB и RUDK. Зеленой линией выделен уровень

полезного прогноза. Окна заданы в линейном масштабе (длина стороны).

Fig. 17. Time series and distribution histograms of the FSS estimate for an hourly

forecast of exceeding the threshold of 4 mm/h in the coverage areas of RAKU,

RATL, RAVN, RAVO, RUDB and RUDK radars. The green line highlights the use-

ful forecast level. The windows are given at a linear scale (side length).

48

Метеорологические прогнозы, математическое моделирование

Таблица 8. Характеристики гистограмм распределения оценки FSS на пол-

ной выборке пар полей наблюдения в зонах обзора р/л RAKU, RATL, RAVN,

RAVO, RUDB и RUDK, и прогнозов на 60 мин интенсивности осадков выше

4 мм/ч

Table 8. Characteristics of the FSS estimate distribution histograms on the full

sample of pairs of observation fields in the coverage areas of the RAKU, RATL,

RAVN, RAVO, RUDB and RUDK radars, and forecasts for 60 min of precipitation

intensity above 4 mm/h

Характеристики гистограмм

ДМРЛ-С

объем

2480

1992

1862

2364

1950

2981

q25

median

0.353

0.362

0.360

0.386

0.411

0.304

mean

0.367

0.366

0.364

0.388

0.405

0.324

q75

max

0.955

0.941

0.936

0.976

0.930

0.940

FSS_useful

0.506

0.505

0.506

0.505

RAKU

RATL

RAVN

RAVO

RUDB

RUDK

0.196

0.177

0.175

0.201

0.214

0.127

0.521

0.542

0.539

0.561

0.587

0.494

На графиках временных рядов хорошо видны следующие особенно-

сти: сильная изменчивость оценки FSS во времени, преобладание значений

FSS ниже линии полезности, значительные непрерывные интервалы беспо-

лезных значений, отсутствие заметных непрерывных интервалов полезных

значений.

Все гистограммы имеют более или менее одинаковую форму с очевид-

ным перевесом значений, не превышающих 0.5. Однако имеется часть оце-

нок полезного уровня, которые удобнее оценить на основе данных табл. 8.

Табличные данные подтверждают слабое влияние на результирующие

характеристики различных объемов выборок. Низкое значение медианы

(от 0.30 до 0.41) и близкое к нему среднее значение (mean) отразились на

ранее показанных графиках медианных оценок FSS. Редкость явления

"сильного дождя" (4 мм/ч) сказалась на близости уровня полезного про-

гноза FSS_usefulуровню приемлемого прогноза FSS_accept=0.5. Столбец q75 га-

рантирует не менее четверти прогнозов выше уровня полезности (кроме,

возможно, прогнозов в области обзора локатора RAKU, где прогноз еще

хуже).

При надежности результатов окрестной верификации можно сформу-

лировать вполне содержательный вывод. Если пользователя радиолокаци-

онного наукастинга не удовлетворяет прогноз осадков выше 4 мм/ч с веро-

ятностью попадания чуть более 25% в областях размера 50×50 км, то ему

рекомендуется или согласиться на расширение области прогнозирования,

которая подразумевается в формулировках "ожидается местами", или вос-

пользоваться иными прогнозами.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

49

Выводы и обсуждение

Показатель окрестной верификации FSS применен для оценки прогно-

зов осадков в теплый и холодный периоды 20172018 гг. при испытаниях

системы радиолокационного наукастинга. Поля осадков формируются по зо-

нам обзора восьми ДМРЛ-С на территории Центрального федерального

округа и ДМРЛ-С Воейково на территории Северо-Западного федерального

округа. Эти поля используются и как начальные данные для статистической

модели, и как контрольные данные для верификации.

В области обзора каждого локатора по каждому периоду года накоплено

около 20 тысяч прогнозов, которые вместе с синхронизированными наблю-

дениями составляют выборку для верификации примерно такого же объема.

Ввиду больших затрат времени при расчетах FSS проверена возможность

обобщенных оценок на случайных выборках существенно меньшего объема.

На основе вычислительных экспериментов объем случайной выборки уда-

лось уменьшить примерно на порядок при сохранении основных свойств

обобщенных оценок.

Результаты верификации стратифицированы по локаторам, периодам

года, порогам превышения интенсивности осадков и заблаговременности

прогнозов. Особое внимание уделяется зависимости оценки FSS от про-

странственного масштаба, определяемого по размеру прямоугольного окна,

которое исполняет роль окрестности данного метода верификации. Рассчи-

тываются специфические уровни значений FSS, позволяющие выделить

масштабы приемлемых и полезных прогнозов.

На основе разнообразных табличных и графических материалов вери-

фикации получены выводы как общего, так и частного характера.

Общие выводы касаются свойств самого показателя, проверенных и

подтвержденных на большом массиве отечественных данных. Этот показа-

тель, обладающий привычными свойствами квадратичных мер качества для

вероятностных прогнозов и сопоставляемый с последовательно растущими

пространственными масштабами, позволяет изобразить на графике и свой-

ства прогноза, и эффективность прогностической модели. При этом анализ

качества прогноза может интерпретироваться в терминах предсказуемости

явлений, так как предсказуемость  это фактически оценка качества прогно-

стической модели в зависимости от заблаговременности прогноза и некото-

рого выделенного уровня качества. С другой стороны, переход от оценок

прогноза величин в точках к прогнозу долей в окрестностях развивает веро-

ятностное восприятие прогнозистов и пользователей, а также привносит со-

держательность в стандартные формулировки о "наблюдаемом местами" и

"ожидаемом местами" дожде.

Сформулированы разнообразные частные выводы о свойствах характе-

ристик в два периода года, а также для различных локаторов, порогов интен-

сивности, прогностических сроков и размеров окон. В частности, проявля-

ется сходство в квартильных и медианных оценках по случайной и полной

выборке для верификации. Различия в тех же характеристиках для теплого

50

Метеорологические прогнозы, математическое моделирование

и холодного периодов года ассоциируются с сезонными особенностями

осадков на территории ЦФО и СЗФО.

Более чувствительны оценки полезного масштаба, которые предостав-

ляют возможность ранжировать данные отдельных локаторов по тем или

иным комбинациям трех основных параметров верификации  порога ин-

тенсивности, заблаговременности и масштаба полезности. Однако приве-

денные в статье примеры ранжирования по наборам кривых FSS(scale) не

должны приниматься за приговор, так как, помимо качества радиолокацион-

ных наблюдений, нельзя исключать особенностей показателя FSS и влияния

внешних параметров верификации, например, площади домена [62, 73].

Причина выставленных рангов может скрываться не в наблюдениях или в

модели, а в самом методе верификации. На самом деле, установленное в ста-

тье "преимущество" данных локатора Брянск (RUDB) может быть мнимым

из-за большой теневой области в южной части обзора, и причина высокого

ранга может заключаться в способе числового заполнения указанной обла-

сти.

Как известно, при переходе от точечных оценок к пространственным

оценкам объем информации существенно возрастает и на место устранен-

ных проблем (например, двойного штрафа и близкого промаха) встают но-

вые, не менее сложные и важные проблемы.

Одной из новых, но требующих решения проблем окрестной верифика-

ции оперативного радиолокационного наукастинга Гидрометцентра России

является сложная граница домена с внутренними пустотами, что заставляет

искать нетривиальные формы окрестностей, а также учитывать переменное

количество этих окрестностей для одного масштаба.

Методологической проблемой остается и сама формула расчета FSS как

вероятностной оценки Брайера относительно качества наихудшего про-

гноза. Не является ли "наихудший прогноз", эквивалентный случайному

прогнозу, слишком слабым уровнем сопоставления? Если пользоваться

уровнем качества реальной прогностической системы (например, оператив-

ной системы ЧПП, как в Германской службе погоды по рекомендации ра-

боты [77]), то корреляция между прогнозом и наблюдением (точнее, между

соответствующими долями) окажется ненулевой и знаменатель формулы

расчета "критерия мастерства" уменьшится. При этом оценки качества ста-

нут строже, т. е. заведомо меньше FSS, и на экстремальных параметрах ве-

рификации эти оценки могут стать отрицательными.

Работа выполнения в рамках темы 1.1.5 Плана НИТР Росгидромета.

Авторы благодарят Анастасию Юрьевну Бундель за полезные советы и

ценные замечания.

Список литературы

1. Алибегова Ж.Д. Пространственно-временная структура полей жидких осадков. Л.:

Гидрометеоиздат, 1985. 224 с.

2. Бундель А.Ю, Муравьев А.В, Ольховая Е.Д. Обзор методов пространственной вери-

фикации и их применение для ансамблевых прогнозов // Гидрометеорологические исследо-

вания и прогнозы. 2021. № 4 (382). С. 30-49.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

51

3. Вельтищев Н.Ф., Степаненко В.М. Мезометеорологические процессы. М.: Геогра-

фический факультет МГУ, 2006. 100 с.

4. ВMO-168. Руководство по гидрологической практике. Том II. Управление водными

ресурсами и практика применения гидрологических методов: Изд. 6. 2012 (2009).

5. Гандин Л.С. Объективный анализ метеорологических полей. Л.: Гидрометеоиздат,

1963. 118 с.

6. Демьянов В.В., Савельева Е.А. Геостатистика. Теория и практика. М.: Наука, 2010.

330 с.

7. Казакевич Д.И. Основы теории случайных функций и ее применение в гидрометео-

рологии. Л.: Гидрометеоиздат, 1977, 320 с.

8. Киктев Д.Б., Астахова Е.Д., Зарипов Р.Б., Муравьев А.В., Смирнов А.В., Цырульни-

ков М.Д. Проект FROST-2014 и метеорологическое обеспечение Олимпиады "Сочи-2014" //

Метеорология и гидрология. 2015. № 8. С. 19-30.

9. Киктев Д.Б., Муравьев А.В., Бундель А.Ю. Методические рекомендации по верифи-

кации метеорологических прогнозов. М.: АМА ПРЕСС, 2021. 94 с.

10. Киктев Д.Б., Муравьев А.В., Смирнов А.В. Прогнозирование осадков с помощью

модели мультипликативного каскада: опыт радарного наукастинга // Международная кон-

ференция «Турбулентность, динамика атмосферы и климата», посвященная 100-летию со

дня рождения академика А.М. Обухова, Москва, 16−18 мая 2018 г. Тезисы докладов. C. 27.

11. Кисельникова В.З. Объектно-ориентированная оценка качества прогноза осадков

WRF // Метеорология и гидрология. 2013. № 4. С. 5-10.

12. Кисельникова В.З. Объектно-ориентированная оценка качества прогноза осадков

для теплого периода (май–сентябрь) 2016–2020 гг. по модели COSMO-Ru2 // Гидрометео-

рологические исследования и прогнозы. 2021. № 2 (380). С. 43-51.

13. Кисельникова В.З. Результаты объектно-ориентированной оценки качества прогно-

зов осадков по мезомасштабной модели Гидрометцентра России // Труды Гидрометцентра

России. 2014. Вып. 351. С. 34-42.

14. Матерон Ж. Основы прикладной геостатистики. М.: Мир, 1968. 407 с.

15. Методические указания по использованию информации допплеровского метеоро-

логического радиолокатора ДМРЛ-С в синоптической практике: Третья редакция. М.:

Росгидромет, 2019. 129 с. https://method.meteorf.ru/norma/document/dop_3red.

16. Монин А.С. Прогноз погоды как задача физики. М.: Наука, 1969. 184 с.

17. Монин А.С., Яглом А.М. Статистическая гидромеханика. Том 2. Изд. 2-е. СПб.: Гид-

рометеоиздат, 1996. 742 с.

18. Муравьев А.В. Программа верификации метеорологических прогнозов с помощью

окрестной оценки «отношения пространственных долей» (FSS) для больших выборок с ис-

пользованием методов Монте-Карло: Свидетельство о государственной регистрации про-

граммы для ЭВМ № 2020618547. Дата регистрации 30 июля 2020 г.

19. Муравьев А.В., Бундель А.Ю., Киктев Д.Б., Смирнов А.В. Опыт пространственной

верификации радиолокационного наукастинга осадков: определение и статистика объектов,

ситуаций и условных выборок // Гидрометеорологические исследования и прогнозы. 2022.

№ 2 (384). С. 6-52.

20. Муравьев А.В., Бундель А.Ю., Киктев Д.Б., Смирнов А.В. Верификация радиолока-

ционного наукастинга областей осадков значительной площади с помощью обобщенного

распределения Парето. Часть 1: элементы теории и методы оценки параметров // Гидроме-

теорологические исследования и прогнозы. 2022. № 3 (385). С. 6-41.

21. Муравьев А.В., Бундель А.Ю., Киктев Д.Б., Смирнов А.В. Верификация радиолока-

ционного наукастинга областей осадков значительной площади с помощью обобщенного

распределения Парето. Часть 2: приложение к прогнозам в теплый и холодный периоды

2017−2018 гг. // Гидрометеорологические исследования и прогнозы. 2022. № 3 (385).

С. 42-77.

22. Муравьев А.В., Киктев Д.Б., Бундель А.Ю., Дмитриева Т.Г., Смирнов А.В. Верифи-

кация прогнозов метеорологических явлений со значительными воздействиями в районе

проведения Олимпиады Сочи-2014». Часть I // Метеорология и гидрология. 2015. № 9.

С. 31-48.

52

Метеорологические прогнозы, математическое моделирование

23. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Оперативная технология наукастинга

осадков на основе радарных данных и результаты верификации для теплого периода года

(май-сентябрь 2017 г.) // Гидрометеорологические исследования и прогнозы. 2018. № 1

(367). C. 6-38.

24. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Усовершенствованная технология ра-

диолокационного наукастинга осадков и результаты верификации в теплый период года

(май-сентябрь 2020 г.) // Результаты испытания новых и усовершенствованных технологий,

моделей и методов гидрометеорологических прогнозов. 2021. Информационный сборник

№ 48. С. 13-41.

25. Муравьев А.В., Киктев Д.Б., Смирнов А.В., Зайченко М.Ю. Оперативная технология

наукастинга осадков на основе радиолокационных данных и сравнительные результаты то-

чечной верификации для теплого и холодного периодов года // Гидрометеорологические

исследования и прогнозы. 2019. № 2 (372). C. 12-40.

26. Муравьев А.В., Киктев Д.Б., Смирнов А.В., Павлюков Ю.Б., Серебрянник Н.И. Ве-

рификация детерминистского и вероятностного радиолокационного наукастинга осадков в

теплый и холодный периоды года на Европейской территории России // Гидрометеорологи-

ческие исследования и прогнозы. 2023. № 1 (387). C. 21-66.

27. Alferov D. and Coauthors. Intercomparison of Spatial Verification Methods for COSMO

Terrain (INSPECT): Preliminary Results // EMS Annual Meeting Abstracts. Vol. 12. EMS2015-

140. 2015. 15th EMS/12th ECAM.

28. Blaylock B., Horel J.D. Comparison of Lightning Forecasts from the High-Resolution

Rapid Refresh Model to Geostationary Lightning Mapper Observations // Weather and Forecas-

ting. 2020. Vol. 35. P. 401-416.

29. Bowler N., Pierce С., Seed А. STEPS: A probabilistic precipitation forecasting scheme

which merges an extrapolation nowcast with downscaled NWP // Q. J. R. Meteorol. Soc. 2006.

Vol. 132. P. 2127-2155.

30. Brown, B. G., E. Gilleland, and E. E. Ebert, 2012: Forecasts of spatial fields. Forecast

Verification: A Practitioner’s Guide in Atmospheric Science, 2nd ed. / I.T. Jolliffe and D.B. Ste-

phenson, Eds. Wiley. P. 95-117. https://doi.org/10.1002/9781119960003.ch6.

31. Bundel A., Muravyev A. The contiguous rain area (CRA) method application for the

MesoVICT cases in the framework of the COSMO INSPECT project. Annalen der Meteorologie

51, 7th International Verification Methods Workshop, 03-11. May 2017, Berlin, Germany. Pro-

gramme and Abstracts. Р. 59.

32. Bundel A. and Coauthors. Spatial verification application in COSMO. ICCARUS 2018

// Book of Abstracts Offenbach. February 26–28. 2018. P. 35.

33. Bundel A. and Coauthors. The COSMO Priority Project INSPECT. Final Report //

COSMO Technical Report No. 37. January 2019. DOI: 10.5676/DWD pub/nwv/cosmo-tr37.

34. Casati B., Wilson L.J., Stephenson D.B., Nurmi P., Ghelli A., Pocernich M., Damrath U.,

Ebert E.E., Brown B.G., Mason S. Forecast verification: Current status and future directions //

Meteor. Appl. 2008. Vol. 15. P. 3-18.

35. Coleman A., Ancell B. Toward the Improvement of High-Impact Probabilistic Forecasts

with a Sensitivity-Based Convective-Scale Ensemble Subsetting Technique // Mon. Wea. Rev.

2020. Vol. 148. P. 4995-5014.

36. Davis C.A., Brown B.G., Bullock R.G. Object-based verification of precipitation fore-

casts, Part I: Methodology and application to mesoscale rain areas // Mon. Wea. Rev. 2006.

Vol. 134. P. 1772-1784.

37. Dougherty K.J., Horel J.D., Nachamkin J.E. Forecast Skill for California Heavy Precip-

itation Periods from the High-Resolution Rapid Refresh Model and the Coupled Ocean–Atmos-

phere Mesoscale Prediction System // Weather and Forecasting. 2020. Vol. 36. P. 2275-2288.

38. Ebert E.E. Fuzzy verification of high resolution gridded forecasts: A review and pro-

posed framework // Meteorol. Appl. 2008. Vol. 15. P. 51-64.

39. Ebert E.E. Neighborhood verification: A strategy for rewarding close forecasts //

Weather and Forecasting. 2009. Vol. 24. P. 1498-1510. DOI:10.1175/2009WAF2222251.1.

40. Faggian N., Roux B., Steinle P., Ebert B. Fast calculation of the fractions skill score //

Mausam. 2015. Vol. 66. P. 457-466. http://metnet.imd.gov.in/mausamdocs/166310_F.pdf.

41. Forecast Verification: A Practitioner’s Guide in Atmospheric Science, 2nd ed. /

Eds. Jolliffe, I.T., Stephenson, D.B. Wiley-Blackwell. 2012. 274 p.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

53

42. Gallo B.T., Kalb C.P., Gotway J.H., Fisher H.H., Roberts B., Jirak I.I., Clark A.J., Alex-

ander C., Jensen T. Initial development and testing of a convection-allowing model scorecard //

Bull. Amer. Meteor. Soc. 2019. Vol. 12. P. 367-383.

43. Gallo B.T., Wilson K.A., Choate J., Knopfmeier K., Skinner P., Roberts B., Heinselman

P., Jirak I., Clark A.J. Exploring the Watch-to-Warning Space: Experimental Outlook Perfor-

mance during the 2019 Spring Forecasting Experiment in NOAA’s Hazardous Weather Testbed //

Weather and Forecasting. 2022. Vol. 37. P. 617-637.

44. Gelfand, A.E., Diggle, P., Guttorp, P., Fuentes M. Handbook of Spatial Statistics. Chap-

man & Hall/CRC Handbooks of Modern Statistical Methods. CRC Press. 2010.

45. Gilleland, E., Ahijevych, D., Brown, B.G., Casati B., Ebert E.E. Intercomparison of spa-

tial verification methods // Weather and Forecasting. 2009. Vol. 24. P. 1416-1430.

46. Gilleland E. 2022. https://cran.r-project.org/web/packages/SpatialVx/SpatialVx.pdf

47. Gilleland E. Two-dimensional kernel smoothing: Using the R package ‘‘smoothie’’ //

NCAR Tech. Note NCAR/TN-5021STR. 2013. 17 p. https://doi.org/10.5065/D61834G2.

48. Gofa F. and Coauthors. Appraisal of Challenging Weather forecasts (AWARE) in

COSMO. Program and abstracts of the Nov 2020 International Verification Method Workshop -

Online.

P.

47.

https://backend.univie.ac.at/fileadmin/user_upload/i_jwgfvr/

Ab-

stractsBook2020ivmwo.pdf

49. Houze R.A.Jr. 100 years of research on mesoscale convective systems // A Century of

Progress in Atmospheric and Related Sciences: Celebrating the American Meteorological Society

Centennial, Meteor. Monogr. 2019. No. 59. https://doi.org/10.1175/AMSMONOGRAPHS-D-18-

0001.1

50. Kiktev D., Joe P., Isaac G.A., Montani A., Frogner I.-L., Nurmi P., Bica B., Milbrandt

J., Tsyrulnikov M., Astakhova E., Bundel A., Belair S., Pyle M., Muravyev A., Rivin G., Rozinkina

I., Paccagnella T., Wang Y., Reid J., Nipen T., Ahn K.-D. FROST-2014: The Sochi Winter Olym-

pics International Project // Bull. Amer. Meteorol. Soc. 2017. Vol. 98. P. 1908-1929.

51. Lagerquist R., Stewart J.Q., Ebert-Uphoff I., Kumler C. Using Deep Learning to Nowcast

the Spatial Coverage of Convection from Himawari-8 Satellite Data // Mon. Wea. Rev. 2021.

Vol. 149. P. 3897-3921.

52. Lledó L., Haiden T., Schröttle J., Forbes R. Scale-dependent verification of precipitation

and cloudiness at ECMWF // Newsletter No. 174. Winter 2022/23. P. 18-22.

53. Lorenz E.N. Atmospheric predictability as revealed by naturally occurring analogues //

J. Atm. Sci. 1969. Vol. 26. P. 636-646.

54. Mass C.F., Ovens D., Westrick K., Colle B.A. Does increasing horizontal resolution pro-

duce more skillful forecasts? // Bull. Amer. Meteor. Soc. 2002. Vol. 83. P. 407-430.

55. Melsom A., Palerme C., and Müller M. Validation metrics for ice edge position forecasts

// Ocean Sci. 2019. Vol. 15. P. 615-630.

56. Mittermaier M. How interpolation and resolution can affect verification scores: A study

based on the fractions skill score // Meteor. Z. 2019. Vol. 28. P. 181-192. https://doi.org/10.1127/

metz/2018/0890.

57. Mittermaier M.A. ‘‘Meta’’ Analysis of the Fractions Skill Score: The Limiting Case and

Implications for Aggregation // Mon. Wea. Rev. 2021. Vol. 149. P. 3491-3504.

58. Mittermaier M., Roberts N. Inter-comparison of spatial forecast verification methods:

Identifying skillful spatial scales using the fractions skill score // Weather and Forecasting. 2010.

Vol. 25. P. 343-354. https:// doi.org/10.1175/2009WAF2222260.1.

59. Mittermaier M., Thompson S. A long-term assessment of precipitation forecast skill using

the fractions skill score // Meteor. Appl. 2013. Vol. 20. P. 176-186.

https://doi.org/10.1002/met.296.

60. Muravev A., Bundel A., Kiktev D., Bocharnikov N., Bazlova T. On the spatial verification

of FROST-2014 precipitation forecast fields. EMS Annual Meeting Abstracts. 2015. Vol. 12.

EMS2015-154-2. 15th EMS / 12th ECAM.

61. Muraviev A., Bundel A., Kiktev D., Bocharnikov N., Bazlova T. On the spatial verification

of FROST-2014 precipitation forecast fields. COSMO GM, 07.09.2015. https://www.cosmo-

model.org/content/consortium/generalMeetings/general2015/parallel/Bundel_SPATIAL_IN-

SPECT_session_GM2015.pdf

54

Метеорологические прогнозы, математическое моделирование

62. Nachamkin J.E., Schmidt J. Applying a neighborhood fractions sampling approach as a

diagnostic tool // Mon. Wea. Rev. 2015. Vol. 143. P. 4736-4749. https://doi.org/10.1175/MWR-

D-14-00411.1.

63. Pulkkinen S., Nerini D., Hortal A., Velasco-Forero C., Seed A., Germann U., Foresti L.

Pysteps: an open-source Python library for probabilistic precipitation nowcasting (v1.0) // Geosci.

Model Dev. 2019. Vol. 12. P. 4185-4219. https://doi.org/10.5194/gmd-12-4185-2019

64. Richardson L.F. Weather prediction by numerical process. Cambridge University Press

(republished by Dover. 1965). 1922.

65. Ripley B.D. Spatial Statistics. John Wiley & Sons, Inc, 1981. 267 p.

66. Roberts N. Assessing the spatial and temporal variation in the skill of precipitation fore-

casts from an NWP model // Meteor. Appl. 2008. Vol. 15. P. 163-169. DOI: 10.1002/met.57.

67. Roberts N., Lean H. Scale-selective verification of rainfall accumulations from high-

resolution forecasts of convective events // Mon. Wea. Rev. 2008. Vol. 136. P. 78-97.

https://doi.org/ 10.1175/ 2007MWR2123.1.

68. Schertzer D., Lovejoy S. Physical modeling and analysis of rain and clouds by anisotropic

scaling multiplicative processes // J. Geophys. Res. 1987. Vol. 92. P. 9692-9714.

69. Seed A.W. Modelling and forecasting rainfall in space and time // Scales in Hydrology

and Water management (IAHS Publ. 287). 2004. P. 137-152.

70. Simecek-Beatty D., Lehr W.J. Oil spill forecast assessment using Fractions Skill Score //

Marine Pollution Bulletin. 2021. Vol. 164. 112041. https://doi.org/10.1016/j.marpol-

bul.2021.112041.

71. Skamarock W.C. Evaluating mesoscale NWP models using kinetic energy spectra // Mon.

Wea. Rev. 2004. Vol. 132. P. 3019-3032. https://doi.org/10.1175/MWR2830.1.

72. Skok G. Analysis of fraction skill score properties for a displaced rainband in a rectangu-

lar domain // Meteor. Appl. 2015. Vol. 22. P. 477-484. DOI: 10.1002/met.1478.

73. Skok G. Analysis of fraction skill score properties for a displaced rainy grid point in a

rectangular domain // Atmos. Res. 2016. Vol. 169. P. 556-565. https://doi.org/10.1016/j.at-

mosres.2015.04.012.

74. Skok G., Hladnik V. Verification of Gridded Wind Forecasts in Complex Alpine Terrain:

A New Wind Verification Methodology Based on the Neighborhood Approach // Mon. Wea. Rev.

2018. Vol. 146. P. 63-75.

75. Skok G., Roberts N. Analysis of fractions skill score properties for random precipitation

fields and ECMWF forecasts // Quart. J. Roy. Meteor. Soc. 2016. Vol. 142. P. 2599-2610,

https://doi.org/ 10.1002/qj.2849.

76. Sun X., Huang X.-Y., Gordon C., Mittermeier M., Beckett R., Cheong W. K., Barker D.,

North R., Semple A. A Subjective and Objective Evaluation of Model Forecasts of Sumatra Squall

Events // Weather and Forecasting. 2020. Vol. 35. P. 489-506.

77. Theis S.E., Hense A., Damrath U. Probabilistic precipitation forecasts from a determin-

istic model: A pragmatic approach // Meteor. Appl. 2005. Vol. 12. P. 257-268.

78. WMO-No. 237. Manual for depth-area-duration analysis of storm precipitation. 1969.

TP. 129.

79. WMO-No. 168. Guide to Hydrological Practices, Volume II: Management of Water Re-

sources and Applications of Hydrological Practices. 2009.

80. Woodhams B.J., Birch C.B., Marsham J.H., Bain C.L., Roberts N.M., Boyd D.F.A. What

Is the Added Value of a Convection-Permitting Model for Forecasting Extreme Rainfall over Trop-

ical East Africa? // Mon. Wea. Rev. 2018. Vol. 146. P. 2757-2780.

References

1. Alibegova Zh.D. Prostranstvenno-vremennaja struktura polej zhidkih osadkov Leningrad:

Gidrometeoizdat publ., 1985, 224 p. [in Russ.]

2. Bundel A.Yu., Muraviev A.V., Olkhovaya E.D. Overview of spatial verification methods

and their application to ensemble forecasting. Gidrometeorologicheskie issledovaniya i prognozy

[Hydrometeorological Research and Forecasting], 2021, vol. 382, pp. 30-49 [in Russ.].

3. Vel'tishhev N.F., Stepanenko V.M. Mezometeorologicheskie processy. Moscow: Geo-

graficheskij fakul'tet MGU publ., 2006, 100 p. [in Russ.]

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

55

4. WMO-168. Rukovodstvo po gidrologicheskoj praktike. Tom II. Upravlenie vodnymi

resursami i praktika primeneniya gidrologicheskikh metodov. Izd.6. 2012 (2009) [in Russ.].

5. Gandin L.S. Ob’ektivnyj analiz meteorologicheskih polej. Leningrad: Gidrometeoizdat

publ., 1963, 118 p. [in Russ.]

6. Dem'janov V.V., Savel'eva E.A. Geostatistika. Teorija i praktika. Moscow: Nauka publ.,

2010, 330 p. [in Russ.]

7. Kazakevich D.I. Osnovy teorii sluchajnyh funkcij i ejo primenenie v gidrometeorologii.

L.: Gidrometeoizdat, 1977, 320 p. [in Russ.]

8. Kiktev D.B., Astahova E.D., Zaripov R.B., Murav'ev A.V., Smirnov A.V., Cyrul'nikov M.D.

FROST-2014 project and meteorological support of the Sochi-2014 Olympics. Russ. Meteorol.

Hydrol., 2015, vol. 40, no. 8, pp. 504-512. DOI: 10.3103/S1068373915080026.

9. Kiktev D.B., Murav'ev A.V., Bundel' A.Ju. Metodicheskie rekomendacii po verifikacii me-

teorologicheskih prognozov. Moscow: AMA PRESS publ., 2021, 94 p. [in Russ.]

10. Kiktev D.B., Murav'ev A.V., Smirnov A.V. Prognozirovanie osadkov s pomoshh'ju modeli

mul'tiplikativnogo kaskada: opyt radarnogo naukastinga. Mezhdunarodnaja konferencija «Turbu-

lentnost', dinamika atmosfery i klimata», posvjashhennaja 100-letiju so dnja rozhdenija akademika

A.M. Obuhova, Moskva, 16-18 maja 2018, tezisy dokladov, 27 p. [in Russ.]

11. Kisel’nikova, V.Z. Object-based evaluation of precipitation forecast quality. Russ. Mete-

orol. Hydrol., 2013, vol. 38, no. 4, pp. 217-221. DOI: 10.3103/S1068373913040018.

12. Kisel'nikova V.Z. Object-oriented assessment of COSMO-Ru2 precipitation forecast

quality for the warm season (May-September) in 2016-2020. Gidrometeorologicheskie issledo-

vaniya i prognozy [Hydrometeorological Research and Forecasting], 2021, vol. 380, no. 2, pp. 43-

51 [in Russ.]

13. Kisel'nikova V.Z. The results of object-oriented estimation of precipitation forecast qual-

ity using the mesoscale model of the Hydrometcentre of Russia. Trudy Gidromettsentra Rossii

[Proceedings of the Hydrometcentre of Russia], 2014, vol. 351, pp. 34-42 [in Russ.]

14. Matheron G. Traité de géostatistique appliquée. Vol. 1. 1962, Editions Technip, Paris,

334 p.

15. Metodicheskie ukazanija po ispol'zovaniju informacii dopplerovskogo meteoro-

logicheskogo radiolokatora DMRL-S v sinopticheskoj praktike: Tret'ja redakcija. Moscow: Rosgi-

dromet publ., 2019, 129 p. Available at: method.meteorf.ru/norma/document/dop_3red [in Russ.]

16. Monin A.S. Prognoz pogody kak zadacha fiziki. Moscow: Nauka publ., 1969, 184 p.

[in Russ.]

17. Monin A.S., Jaglom A.M. Statisticheskaja gidromehanika. Tom 2. Izd. 2-e. Saint Peters-

burg: Gidrometeoizdat publ., 1996, 742 p. [in Russ.]

18. Murav'ev A.V. Programma verifikacii meteorologicheskih prognozov s pomoshh'ju

okrestnoj ocenki «otnoshenija prostranstvennyh dolej» (FSS) dlja bol'shih vyborok

s

ispol'zovaniem metodov Monte-Karlo. Svidetel'stvo o gosudarstvennoj registracii programmy dlja

JeVM № 2020618547. Data registracii 30 ijulja 2020 g. [in Russ.]

19. Murav'ev A.V., Bundel' A.Ju., Kiktev D.B., Smirnov A.V. Expertise in spatial verification

of radar precipitation nowcasting: identification and statistics of objects, situations and conditional

samples. Gidrometeorologicheskie issledovaniya i prognozy [Hydrometeorological Research and

Forecasting], 2022, vol. 384, no. 2, pp. 6-52 [in Russ.]

20. Murav'ev A.V., Bundel' A.Ju., Kiktev D.B., Smirnov A.V. Verification of radar precipita-

tion nowcasting of significant areas using the generalized Pareto distribution. Part 1: Elements of

theory and methods for estimating parameters. Gidrometeorologicheskie issledovaniya i prognozy

[Hydrometeorological Research and Forecasting], 2022, vol. 385, no. 3, pp. 6-41 [in Russ.]

21. Murav'ev A.V., Bundel' A.Ju., Kiktev D.B., Smirnov A.V. Verification of radar precipita-

tion nowcasting of significant areas using the generalized Pareto distribution. Part 2: Application

to forecasts in warm and cold periods of 2017–2018. Gidrometeorologicheskie issledovaniya i

prognozy [Hydrometeorological Research and Forecasting], 2022, vol. 385, no. 3, pp. 42-77

[in Russ.]

22. Murav'ev A.V., Kiktev D.B., Bundel' A.Ju., Dmitrieva T.G., Smirnov A.V. Verification of

high-impact weather event forecasts for the region of the Sochi-2014 Olympic Games. Part I: De-

terministic forecasts during the test period. Russ. Meteorol. Hydrol., 2015, vol. 40, no. 9, pp. 584-

597. DOI: 10.3103/S1068373915090034.

56

Метеорологические прогнозы, математическое моделирование

23. Muravev A.V., Kiktev D.B., Smirnov A.V. Operational precipitation nowcasting system

based on radar data and verification results for the warm period of the year (May-September 2017).

Gidrometeorologicheskie issledovaniya i prognozy [Hydrometeorological Research and Forecast-

ing], 2018, vol. 367, no.1, pp. 6-38 [in Russ.].

24. Murav'ev A.V., Kiktev D.B., Smirnov A.V. Usovershenstvovannaja tehnologija radiolo-

kacionnogo naukastinga osadkov i rezul'taty verifikacii v teplyj period goda (maj-sentjabr'

2020 g.). Rezul'taty ispytanija novyh i usovershenstvovannyh tehnologij, modelej i metodov gidro-

meteorologicheskih prognozov. 2021. Informacionnyj sbornik № 48, pp. 13-41 [in Russ.]

25. Muravev A.V., Kiktev D.B., Smirnov A.V., Zajchenko M.Yu. Operational precipitation

nowcasting system based on radar data and comparative pointwise verification results for the warm

and cold seasons. Gidrometeorologicheskie issledovaniya i prognozy. [Hydrometeorological Re-

search and Forecasting], 2019, vol. 372, no. 2, pp. 12-40 [in Russ.].

26. Murav'ev A.V., Kiktev D.B., Smirnov A.V., Pavljukov Ju.B., Serebrjannik N.I. Verifica-

tion of deterministic and probabilistic radar precipitation nowcasting in warm and cold seasons in

the European part of Russia. Gidrometeorologicheskie issledovaniya i prognozy [Hydrometeoro-

logical Research and Forecasting], 2023, vol. 387, no. 1, pp. 21-66 [in Russ.]

27. Alferov D. and Coauthors. Intercomparison of Spatial Verification Methods for COSMO

Terrain (INSPECT): Preliminary Results. EMS Annual Meeting Abstracts, 2015, vol. 12,

EMS2015-140, 15th EMS/12th ECAM.

28. Blaylock B., Horel J.D. Comparison of Lightning Forecasts from the High-Resolution

Rapid Refresh Model to Geostationary Lightning Mapper Observations. Weather and Forecasting,

2020, vol. 35, pp. 401-416.

29. Bowler N., Pierce С., Seed А. STEPS: A probabilistic precipitation forecasting scheme

which merges an extrapolation nowcast with downscaled NWP. Q. J. R. Meteorol. Soc., 2006,

vol. 132, pp. 2127-2155.

30. Brown B.G., Gilleland E., Ebert E.E. Forecasts of spatial fields. Forecast Verification: A

Practitioner’s Guide in Atmospheric Science, 2nd ed. 2012/ I. T. Jolliffe and D. B. Stephenson,

Eds. Wiley, pp. 95-117. https://doi.org/10.1002/9781119960003.ch6.

31. Bundel A., Muravyev A. The contiguous rain area (CRA) method application for the

MesoVICT cases in the framework of the COSMO INSPECT project. Annalen der Meteorologie,

51, 7th International Verification Methods Workshop, 03-11 May 2017, Berlin, Germany, Pro-

gramme and Abstracts, р 59.

32. Bundel A. and Coauthors. Spatial verification application in COSMO, ICCARUS 2018.

Book of Abstracts, Offenbach, February 26–28, 2018, pp. 35.

33. Bundel A. and Coauthors. The COSMO Priority Project INSPECT. Final Report.

COSMO Technical Report No. 37, January 2019. DOI: 10.5676/DWD pub/nwv/cosmo-tr37.

34. Casati, B., Wilson L.J., Stephenson D.B., Nurmi Р., Ghelli A., Pocernich M., Damrath

U., Ebert E.E., Brown B.G., Mason S. Forecast verification: Current status and future directions.

Meteor. App.l, 2008, vol.15. pp. 3-18.

35. Coleman A., Ancell B. Toward the Improvement of High-Impact Probabilistic Forecasts

with a Sensitivity-Based Convective-Scale Ensemble Subsetting Technique. Mon. Wea. Rev.,

2020, vol. 148, pp. 4995-5014.

36. Davis C.A., Brown B.G., Bullock R.G. Object-based verification of precipitation fore-

casts, Part I: Methodology and application to mesoscale rain areas. Mon. Wea. Rev., 2006, vol. 134,

pp. 1772-1784.

37. Dougherty K.J., Horel J.D., Nachamkin J.E. Forecast Skill for California Heavy Precip-

itation Periods from the High-Resolution Rapid Refresh Model and the Coupled Ocean–Atmos-

phere Mesoscale Prediction System. Weather and Forecasting, 2020, vol. 36, pp. 2275-2288.

38. Ebert E.E. Fuzzy verification of high resolution gridded forecasts: A review and pro-

posed framework. Meteorol. Appl., 2008, vol. 15, pp. 51-64.

39. Ebert E.E. Neighborhood verification: A strategy for rewarding close forecasts. Weather

and Forecasting, 2009, vol. 24, pp. 1498-1510. DOI:10.1175/2009WAF2222251.1.

40. Faggian N., Roux B., Steinle Р., Ebert B. Fast calculation of the fractions skill score.

Mausam, 2015, vol. 66, pp. 457-466. http://metnet.imd.gov.in/mausamdocs/166310_F.pdf.

41. Forecast Verification: A Practitioner’s Guide in Atmospheric Science, 2nd ed. / Eds Jol-

liffe, I.T., Stephenson, D.B. Wiley-Blackwell, 2012, 274 p.

Муравьев А.В., Киктев Д.Б., Смирнов А.В.

57

42. Gallo B.T., Kalb C.Р., Gotway J.H., Fisher H.H., Roberts B., Jirak I.I., Clark A.J., Alex-

ander C., Jensen T. Initial development and testing of a convection-allowing model scorecard.

Bull. Amer. Meteor. Soc., 2019, vol. 12, pp. 367-383.

43. Gallo B.T., Wilson K.A., Choate J., Knopfmeier K., Skinner Р., Roberts B., Heinselman

Р., Jirak I., Clark A.J. Exploring the Watch-to-Warning Space: Experimental Outlook Perfor-

mance during the 2019 Spring Forecasting Experiment in NOAA’s Hazardous Weather Testbed.

Weather and Forecasting, 2022, vol. 37, pp. 617-637.

44. Gelfand, A.E., Diggle Р., Guttorp Р., Fuentes M. Handbook of Spatial Statistics. Chap-

man & Hall/CRC Handbooks of Modern Statistical Methods, CRC Press. 2010, Retrieved 2023-

04-04.

45. Gilleland, E., Ahijevych D., Brown B.G., Casati B., Ebert E.E. Intercomparison of spatial

verification methods. Weather and Forecasting, 2009, vol. 24, pp. 1416-1430.

46. Gilleland E. 2022. https://cran.r-project.org/web/packages/SpatialVx/SpatialVx.pdf

47. Gilleland E. Two-dimensional kernel smoothing: Using the R package ‘‘smoothie.’’

NCAR Tech. Note NCAR/TN-5021STR, 2013, 17 p. https://doi.org/10.5065/D61834G2.

48. Gofa F. and Coauthors. Appraisal of Challenging Weather forecasts (AWARE) in

COSMO. Program and abstracts of the Nov 2020 International Verification Method Workshop -

Online.

p.

47.

https://backend.univie.ac.at/fileadmin/user_upload/i_jwgfvr/

Ab-

stractsBook2020ivmwo.pdf

49. Houze R.A.Jr. 100 years of research on mesoscale convective systems. A Century of

Progress in Atmospheric and Related Sciences: Celebrating the American Meteorological Society

Centennial. Meteor. Monogr., 2019, no. 59. https://doi.org/10.1175/AMSMONOGRAPHS-D-18-

0001.1

50. Kiktev D. Joe Р., Isaac G.A., Montani A., Frogner I.-L., Nurmi Р., Bica B., Milbrandt J.,

Tsyrulnikov M., Astakhova E., Bundel A., Belair S., Pyle M., Muravyev A., Rivin G., Rozinkina I.,

Paccagnella T., Wang Y., Reid J., Nipen T., Ahn K.-D. FROST-2014: The Sochi Winter Olympics

International Project. Bull. Amer. Meteorol. Soc., 2017, vol. 98, pp. 1908-1929.

51. Lagerquist R., Stewart J.Q., Ebert-Uphoff I., Kumler C. Using Deep Learning to Nowcast

the Spatial Coverage of Convection from Himawari-8 Satellite Data. Mon. Wea. Rev., 2021,

vol. 149, pp. 3897-3921.

52. Lledó L., Haiden T., Schröttle J., Forbes R. Scale-dependent verification of precipitation

and cloudiness at ECMWF. Newsletter no. 174, Winter 2022/23, pp. 18-22.

53. Lorenz E.N. Atmospheric predictability as revealed by naturally occurring analogues.

J. Atm. Sci, 1969, vol. 26, pp. 636-646.

54. Mass C.F., Ovens D., Westrick K., Colle B.A. Does increasing horizontal resolution pro-

duce more skillful forecasts? Bull. Amer. Meteor. Soc., 2002, vol. 83, pp. 407-430.

55. Melsom A., Palerme C., Müller M. Validation metrics for ice edge position forecasts.

Ocean Sci, 2019, vol. 15, pp. 615-630.

56. Mittermaier M. How interpolation and resolution can affect verification scores: A study

based on the fractions skill score. Meteor. Z., 2019, vol. 28, pp. 181-192. DOI: 10.1127/

metz/2018/0890

57. Mittermaier M.A ‘‘Meta’’ Analysis of the Fractions Skill Score: The Limiting Case and

Implications for Aggregation. Mon. Wea. Rev., 2021, vol. 149, pp. 3491-3504.

58. Mittermaier M., Roberts N. Inter-comparison of spatial forecast verification methods:

Identifying skillful spatial scales using the fractions skill score. Weather and Forecasting, 2010,

vol. 25, pp. 343-354. DOI: 10.1175/2009WAF2222260.1

59. Mittermaier M., Thompson S. A long-term assessment of precipitation forecast skill using

the fractions skill score. Meteor. Appl., 2013, vol. 20, pp. 176-186. DOI: 10.1002/met.296

60. Muravev A., A. Bundel, D. Kiktev, N. Bocharnikov, and T. Bazlova. On the spatial veri-

fication of FROST-2014 precipitation forecast fields. EMS Annual Meeting Abstracts, 2015,

vol. 12, EMS2015-154-2, 15th EMS / 12th ECAM.

61. Muraviev A., Bundel A., Kiktev D., Bocharnikov N., Bazlova T. On the spatial verification

of FROST-2014 precipitation forecast fields. COSMO GM, 07.09.2015. https://www.cosmo-

model.org/

content/consortium/generalMeetings/general2015/parallel/Bundel_SPATIAL_IN-

SPECT_session_GM2015.pdf

58

Метеорологические прогнозы, математическое моделирование

62. Nachamkin J.E., Schmidt J. Applying a neighborhood fractions sampling approach as a

diagnostic tool. Mon. Wea. Rev., 2015, vol. 143, pp. 4736-4749. DOI: 10.1175/MWR-D-14-

00411.1

63. Pulkkinen S., Nerini D., Hortal A., Velasco-Forero C., Seed A., Germann U., Foresti L.

Pysteps: an open-source Python library for probabilistic precipitation nowcasting (v1.0). Geosci.

Model Dev, 2019, vol. 12, pp. 4185-4219. DOI: 10.5194/gmd-12-4185-2019

64. Richardson L.F. Weather prediction by numerical process. Cambridge University Press

(republished by Dover. 1965), 1922.

65. Ripley B.D. Spatial Statistics. John Wiley & Sons, Inc, 1981, 267 pp.

66. Roberts N. Assessing the spatial and temporal variation in the skill of precipitation fore-

casts from an NWP model. Meteor. Appl., 2008, vol.15, pp. 163-169. DOI: 10.1002/met.57

67. Roberts N., Lean H. Scale-selective verification of rainfall accumulations from high-

resolution forecasts of convective events. Mon. Wea. Rev., 2008, vol. 136, pp. 78-97. DOI:

10.1175/ 2007MWR2123.1

68. Schertzer D., Lovejoy S. Physical modeling and analysis of rain and clouds by anisotropic

scaling multiplicative processes. J. Geophys. Res., 1987, vol. 92, pp. 9692-9714.

69. Seed A.W. Modelling and forecasting rainfall in space and time. Scales in Hydrology and

Water management (IAHS Publ. 287), 2004, pp. 137-152.

70. Simecek-Beatty D., Lehr W.J. Oil spill forecast assessment using Fractions Skill Score.

Marine Pollution Bulletin, 2021, vol. 164, 112041. DOI: 10.1016/j.marpolbul.2021.112041

71. Skamarock W.C. Evaluating mesoscale NWP models using kinetic energy spectra. Mon.

Wea. Rev., 2004, vol. 132, pp. 3019-3032. DOI: 10.1175/MWR2830.1

72. Skok G. Analysis of fraction skill score properties for a displaced rainband in a rectangu-

lar domain. Meteor. Appl., 2015, vol. 22, pp. 477-484. DOI: 10.1002/met.1478

73. Skok G. Analysis of fraction skill score properties for a displaced rainy grid point in a

rectangular domain. Atmos. Res., 2016, vol. 169, pp. 556-565. DOI: 10.1016/j.at-

mosres.2015.04.012

74. Skok G., Hladnik V. Verification of Gridded Wind Forecasts in Complex Alpine Terrain:

A New Wind Verification Methodology Based on the Neighborhood Approach. Mon. Wea. Rev.,

2018, vol. 146, pp. 63-75.

75. Skok G., Roberts N. Analysis of fractions skill score properties for random precipitation

fields and ECMWF forecasts. Quart. J. Roy. Meteor. Soc., 2016, vol. 142, pp. 2599-2610. DOI:

10.1002/qj.2849.

76. Sun X., Huang X.-Y., Gordon C., Mittermaier M., Beckett R., Cheong W.K., Barker D.,

North R., Semple A. A Subjective and Objective Evaluation of Model Forecasts of Sumatra Squall

Events. Weather and Forecasting, 2020, vol. 35, pp. 489-506.

77. Theis S.E., Hense A., Damrath U. Probabilistic precipitation forecasts from a determin-

istic model: A pragmatic approach. Meteor. Appl., 2005, vol. 12, pp. 257-268.

78. WMO-No. 237. Manual for depth-area-duration analysis of storm precipitation, 1969,

Tpp. 129.

79. WMO-No.168. Guide to Hydrological Practices, Volume II: Management of Water Re-

sources and Applications of Hydrological Practices, 2009.

80. Woodhams B.J., Birch C.B., Marsham J.H., Bain C.L., Roberts N.M., Boyd D.F.A. What

Is the Added Value of a Convection-Permitting Model for Forecasting Extreme Rainfall over Trop-

ical East Africa? Mon. Wea. Rev., 2018, vol. 146, pp. 2757-2780.

Поступила 21.08.2023; одобрена после рецензирования 20.09.2023;

принята в печать 06.10.2023.

Submitted 21.08.2023; approved after reviewing 20.09.2023;

accepted for publication 06.10.2023.