DOI: https://doi.org/10.37162/2618-9631-2023-1-21-66

УДК 551.509.1/5

Верификация детерминистского и вероятностного
радиолокационного наукастинга осадков
в теплый и холодный периоды года
на Европейской территории России

А.В. Муравьев1, Д.Б. Киктев1, А.В. Смирнов1,
Ю.Б. Павлюков2, Н.И. Серебрянник2

1Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия;
2Центральная аэрологическая обсерватория, Московская обл.,

г. Долгопрудный, Россия 

muravev@mecom.ru 

Представлены сравнительные оценки качества ансамблевого радиолокационного наукастинга осадков по результатам испытаний в теплый (май – сентябрь 2020 г.) и холодный (ноябрь 2021 г. – март 2022 г.) периоды года. В качестве контрольных данных для верификации использованы композитные поля интенсивности осадков, полученные по радарным наблюдениям. В оба периода выявлено небольшое, но систематическое преимущество прогноза по среднему полю ансамбля, что свидетельствует о целесообразности использования ансамблей даже малого объема. По всем использованным показателям (кроме смещения повторяемостей) прогнозы в холодный период оказываются более качественными, чем прогнозы в теплый период года, однако при этом объемы выборок для верификации в холодный период могут быть существенно ниже соответствующих объемов выборок в теплый период. Обсуждаются проблемы сопоставительного анализа качества, вызванные, в частности, потерей пространственной связности композитного поля в холодный период.

Ключевые слова: ансамблевый наукастинг метеорологических полей, радиолокационные оценки осадков, композитное поле осадков, поточечная и пространственная верификация прогнозов полей

Verification of deterministic and probabilistic
radar precipitation nowcasting in warm and cold seasons
in the European part of Russia

A.V. Muravev1, D.B. Kiktev1, A.V. Smirnov1,
Ju.B. Pavljukov2, N.I. Serebrjannik2

1Hydrometeorological Research Center of Russian Federation, Moscow, Russia;

2Central Aerological Observatory, Dolgoprudny, Moscow region, Russia

muravev@mecom.ru 

Comparative quality analysis of ensemble radar precipitation nowcasting based on test results for the warm (May – September 2020) and cold (November 2021 – March 2022) seasons are presented. Composite precipitation intensity fields obtained from radar observations were used as control data for verification. In both periods, a slight but systematic advantage of forecasts of the mean ensemble field was revealed, which indicates the expediency of using ensembles of even a small volume. For all the skill scores used (except for the frequency bias), forecasts in the cold season turn out to be better than forecasts in the warm season, however, the sample sizes for verification in the cold season may be significantly lower than the corresponding sample sizes in the warm season. The problems of comparative quality analysis are discussed, which are caused, in particular, by the loss of spatial connectivity of the composite field during the cold season.

Keywords: ensemble nowcasting of meteorological fields, radar precipitation estimates, composite precipitation field, point and spatial field forecast verification

Введение

С начала 2020 года в системе наукастинга полей интенсивности осадков Гидрометцентра России используются данные наблюдений примерно 30 современных доплеровских радиолокаторов ДМРЛ-С (далее – ДМРЛ), развернутых Росгидрометом на Европейской территории России. Управление наблюдениями на сети ДМРЛ, сбор и обработку радиолокационных данных, их валидацию, а также передачу продуктов потребителям обеспечивает Научно-технический центр по развитию и эксплуатации сети доплеровских метеорологических радиолокаторов (НТЦР ДМРЛ) ФГБУ «ЦАО» Росгидромета [5].

В мае–сентябре 2020 года были проведены оперативные испытания технологии с километровым разрешением. По полученным результатам на заседании ЦМКП 16.12.2020 эта технология была рекомендована к внедрению в качестве основной в "теплый" период года [9]. Для испытания технологии наукастинга в "холодный" период были накоплены данные радиолокационных наблюдений и прогнозов в интервале с ноября 2021 по март 2022 года.

Периоды года определяются как "теплый" и "холодный" вполне условно, так как аналогичные эпитеты иногда употребляются для календарных зимы и лета или задаются климатологическими граничными значениями среднесуточной температуры воздуха в агрометеорологии [2] и при проектировании тепловой защиты сооружений [13]. 

В 2021 г. авторами [10] были разработаны и внедрены более точные методы оценки качества с учетом констант отсутствия и переменных объемов условных выборок, поэтому на этапе выполнения плана НИР в 2022 г. было решено провести и представить на ЦМКП сравнительные оценки для обоих периодов года. Данная статья содержит часть полученных результатов сравнительной верификации.

1. Зоны покрытия, архив испытаний, ограничения
радиолокационного метода

Как и в испытаниях в теплый период, область прогнозирования представляет собой сферический ромб в проекции Альберса, в который вписана матрица данных размером 1951×2151=4 196 601 точек, соответствующая полю с разрешением 1 км. Для использования графического редактора GRADS повернутый ромб спроектирован на регулярную географическую сетку с условными, но близкими к указанной области координатами 45–65 с. ш., 30–50 в. д. (рис. 1а). Картографическая организация данных и особенности построения единого поля осадков описаны более детально в [10]. Здесь добавим, что оперативная система наукастинга осадков усваивает наблюдения ДМРЛ в автоматическом режиме, в результате чего набор радиолокаторов может динамически изменяться, что приводит к изменению и конструируемого поля осадков (рис. 1б).

Рис. 1. Расположение ДМРЛ в условных координатах первого испытания (левая панель) и "снимок" поля текущего испытания системы (правая панель) в тех же координатах, но с появлением данных нового р/л.

Fig.1. The location of the DMRL in conditional coordinates of the first test (left panel) and the "snapshot" of the field of the current system test (right panel) in same coordinates, but with appearance of new radar data.

В архив испытаний включены данные наблюдений в наибольшем объеме из 21744 максимально возможных в холодный период (151 сут.  24 ч  6 наблюдений в час) и из 22032 максимально возможных в теплый период (153246). Из прогнозов, обновляющихся каждые десять минут, отобраны прогнозы, составляемые в целые часы суток на 30, 60, 90, 120 и 150 мин. Таким образом, использованное количество прогнозов в шесть раз меньше максимально возможного. В обоих испытаниях входные поля (а значит, и наблюдения) составляются в формате ncdf, а поля прогностических ансамблей – в формате tiff.

Сделаем следующее уточнение. В самом начале верификации для синхронизации полей прогнозов и наблюдений составляются таблицы соответствий по прогнозам на выделенные 5 сроков. Количество пар полей "прогноз – наблюдение" для одной заблаговременности не превышает 15124=3624 для холодного периода и 15324=3672 для теплого периода, при этом все фактические пары полей составляют максимально доступный объем выборки для верификации. Необходимо учитывать, что разнообразные условия формирования выборок оставляют из этого объема иногда исчезающе малую долю, что ставит под сомнение статистическую надежность соответствующих оценок. При этом ситуация с обеспеченностью выборок в холодный период усугубляется независящими от особенностей верификации ограничениями радиолокационного метода метеонаблюдений [5, 12].  Наиболее существенным (и даже критичным) отличием пространственных структур в холодный период по сравнению с теплым периодом оказалось разрушение связности композитного поля с концентрацией вокруг радиолокаторов как значений осадков, так и значений показателей качества: в холодный период осадки, выпадающие из более низких (по сравнению с теплым периодом) слоистообразных облаков, на больших дистанциях ( 120÷150 км) оказываются вне пределов радиолокационного сканирования из-за подъема р/л луча выше верхней границы облаков вследствие влияния кривизны Земли [5]. 

2. Учет пропусков и допусков, цензурирование данных

При обработке цифровых карт радиолокационных полей осадков R (мм/час) приходится иметь дело с тремя "видами" данных: 1) числовыми значениями R; 2) пропусками, т. е. символьными переменными NA, заменяющими числовые значения R в местах, где значения R по разным причинам отсутствуют; 3) допусками в выборку, т. е. теми числами, которые учитываются при оценке качества.

Пропуски в исходных цифровых картах R возникают, например, вследствие влияния препятствий, экранирующих радиоизлучение в отдельных азимутальных направлениях, отфильтрованных радиопомех и отражений от т. н. "местных предметов" (местников).

Допуски определяются логическими условиями, представляющими собой комбинацию конъюнкций и дизъюнкций для значений R относительно пороговых значений, например (наблюдение < 0.5 & прогноз > 0.0). В условиях переменных объемов, включая нулевые, необходимо предусмотреть и обойти деление на нуль или взятие логарифма от нуля.

Аккуратный учет пропусков и допусков требуется и для определения статистической значимости рассчитываемых оценок качества, и для корректности матричных операций в языке программирования. Прием интегрального описания пропусков и числовых значений, использованный в [10], заключается в составлении матриц-масок размерности объединенного поля, состоящих из нулей и единиц в тех точках, в которых расположена либо константа отсутствия, либо число. Арифметические поэлементные операции суммы и произведения всех матриц-масок позволяют оценить распределение этих величин по всему полю за весь период испытаний. При этом подсчет нулевых и ненулевых значений в сумме всех матриц-масок говорит о количестве точек, в которых встречается, соответственно, хотя бы один раз NA или число. Аналогичный подсчет нулей и единиц в произведении всех матриц-масок говорит о появлении в данной точке во всех полях интервала верификации либо пропуска, либо числа. 

Как правило, в языках программирования имеются средства учета констант отсутствия, но соответствующие опции приходится задавать явно. При умолчаниях операция может выйти на аварийный стоп или точка поля с NA целиком исключается из анализа (даже при единственном пропуске в полной выборке полей). Одним из простейших способов преодоления опасностей такого рода является цензурирование выборок ("отбрасывание сора" и "отбрасывание крайних" [3]). Внимательный просмотр данных и устранение явных ошибок позволяет существенно улучшить обобщенные характеристики архивов. Так, удаление одного "сбойного" поля из архива наблюдений в холодный период кардинально изменило интегральную оценку наличия данных: по объединению констант отсутствия стало 2 728 248 против 3 996 522, в то время как по пересечению прибавилось числовых значений 1 468 353 против 200 079! При таких условиях возможны и критичные потери при использовании матричной арифметики в языке программирования, и рост дисперсии выборочных ошибок в статистических оценках.

Очевидно, что проблема цензурирования выбросов не имеет универсального решения, особенно когда значение балансирует на грани экстремумов и вместо "мусора" может быть выброшен существенный элемент выборки. В этой связи к цензурированию следует прибегать при наличии дополнительных сведений или других представлений исследуемой величины. 

3. Область верификации и пространственное осреднение полей

3.1. Проблема определения области верификации

Трудности при верификации доставляют не только переменные объемы выборок в точках полей, порождаемые константами отсутствия и условиями на значение интенсивности, но и те пропуски, которыми заполняется тыловая область набегающего извне потока. На левой панели рис. 2 видны разноцветные полосы на северо-западной и юго-западной частях карты (напомним, на условной карте направление "юг-север" идет от нижнего левого угла к верхнему правому углу).

Условие prec  0.05 мм полностью устраняет краевые сюрпризы (рис. 2, правая панель), но за счет уменьшения объемов выборок в точках поля: вместо более 3500 пар полей в большей части карты приходится довольствоваться объемами до 500–750 пар полей. Подобная картина была описана в работе [10] об испытаниях в теплый период. Левая панель рис. 2 может интерпретироваться как систематическая ошибка модели в оценке скорости набегающего потока. Действительно, если климатологическая скорость потока равна примерно 10 м/с (36 км/ч), то шаг по времени 10 мин дает инкремент 6 км, а 150 мин – 90 км. здесь же с условного севера и условного запада ширина "полосы отчуждения" составляет около 200 км (2 долготы), т. е. модельная скорость с запада более чем в два раза выше средней скорости тропосферного ветра.

Рис. 2. Поля объемов выборок в точках 10-го поля ансамбля прогнозов на 150 мин при допуске всех значений, кроме констант отсутствия (левая панель), и при допуске значений prec  0.05 (правая панель).

Fig. 2. Sample volume fields at points of the 10th ensemble field for 150 min forecasts when accepting all values without missing constants (left panel), and when accepting values  prec  0.05 (right panel).  

3.2. Пространственное осреднение исходных полей

На объединенных картах полей интенсивности и показателей качества в километровом разрешении имеются многочисленные, хаотически разбросанные мелкие особенности (точки и пятна), которые сильно влияют на пространственное распределение показателей качества и часто затрудняют географическую интерпретацию полученных результатов. Мелкая пестрота карт была хорошо известна по предыдущим испытаниям схемы наукастинга, построенной на параллельном счете для зон обзора отдельных радиолокаторов Центрального федерального округа (ЦФО) [7, 8]. Одним из оправдательных рефренов при обсуждении невысоких результатов верификации по полям высокого разрешения было признание, что крайне трудно попадать "пулей в пулю". На текущем этапе испытаний было принято решение производить предварительное пространственное осреднение по непересекающимся квадратам размера 1010, который отражает мезомасштабный характер процессов с осадками, но удаляет несущественные пространственные мелочи, включая случайные шумы.

При выборе подходящего масштаба осреднения рекомендуется учитывать разнообразные физические и статистические свойства тех процессов, на которые пространственный фильтр может оказать губительное воздействие. Так как объединенное поле имеет разрешение 1 км и занимает территорию ~20002000 км, то соответствующие (идентифицируемые и моделируемые) процессы охватывают диапазон от микромасштаба кучево-дождевых облаков и городской циркуляция (с временем жизни ~1 час) до синоптического масштаба фронтов и тропических циклонов (с временем жизни порядка одних суток – одной недели) [1]. По отечественному и мировому опыту известно, что статистическая модель лагранжевой адвекции обеспечивает полезный прогноз на мелких масштабах лишь в первые два-три часа. И если сетка модели имеет километровое разрешение, а расчетная область имеет мезомасштабные размеры (до ~200 км), то осреднение квадратом в 1010 узлов отфильтрует процессы горизонтального размера до ~50–70 км. Мы используем оценку Вельтищева и Степаненко [1] о "разрешении объектов наблюдательной сетью", которая близка известной оценке Скамарока "эффективного разрешения" численной модели прогноза погоды в 7x [16]. Очевидно, что подобная фильтрация не соответствует ни назначению модели, ни целям пространственной верификации. Однако если расчетная область имеет масштаб ЕТР и целью верификации является содержательная оценка качества прогностической модели по всей территории, то осреднение по квадратам со стороной в 10 узлов (км) вполне приемлемо: оно не исказит важные детали и даст более надежную статистическую оценку качества модели.

На рис. 3 показано, как поле сумм осадков может быть "очищено" выбранным методом пространственного осреднения.

Рис. 3. Накопленные суммы радиолокационных осадков в теплый период (левый столбец) и холодный период (правый столбец). В первой строке панелей исходные поля размером 1951 2151=4196601, во второй строке – поля размером 195215=41925.

Fig. 3. Accumulated radar precipitation sums in the warm period (left panel) and in the cold period (right panel). The first panel row contains initial fields of 1951 2151=4196601 points, the second panel row contains fields of 195215=41925 points.

4. Оценки в точках, карты и пространственное распределение оценок

Переход к осредненному полю и к соответствующей матрице данных в сто раз меньшего размера не устраняет граничных проблем, описанных в первой главе. Однако исключение некоторых областей из дальнейшего анализа путем "вырезок" и переходом к усеченной матрице данных не только само по себе затруднительно (остается, например, вопрос о внутренних областях объединенного поля, находящихся вне зон видимости), но и усложняет программные алгоритмы расчетов. Было решено не обрезать и не вырезать области сомнительных наблюдений и прогнозов, а проводить анализ по всем точкам поля в предположении, что комбинация карт показателей качества и 10%-ных пространственных квантилей этих показателей позволят выделить, охарактеризовать и учесть области «граничных эффектов». Ниже все расчеты проводятся по пространственно осредненному полю размером 151215.

Оценки рассчитываются в каждой точке поля для отдельных полей прогностического ансамбля и для среднего по ансамблю полю. Применяется следующая аргументация. Если среднее по ансамблю поле лучше по качеству первого (основного) поля, то ансамбль оправдан. Если же среднее по ансамблю поле сравнимо по качеству с первым полем (или любым полем прогностического ансамбля), то при детерминистском прогнозировании следует предпочесть использование одного контрольного поля, а при вероятностном прогнозировании ансамбль оправдан при достаточной изменчивости самого ансамбля, позволяющей оценивать неопределенность прогнозов.

На рис. 4 приводятся карты распределения объемов выборок (или количества допусков) для обоих периодов при условии (наблюдение  0.05 & прогноз  0.0). 

Рис. 4. Карты объемов выборок в точках объединенного поля при прогнозе на 30 минут в холодный период (левая панель) и в теплый период (правая панель).

Fig. 4. Sample volume maps at points of the composite field for 30 min forecasts in the cold period (left panel) and in the warm period (right panel). 

На карте для холодного периода заметны очаги максимального количества ближе к центрам радиолокационного обзора. Отчетливая локализация очагов вызвана, как говорилось выше, "ограничениями радиолокационного метода" [5]. В основном наблюдается от 200 до 900 допусков из 3572 максимально возможных. То есть лишь в окрестности локаторов выборки в точках поля содержат примерно 25 % точек, удовлетворяющих условию (наблюдение  0.05). Тем не менее вблизи координат локаторов наблюдаются довольно высокие размеры выборок.

На карте для теплого периода очаги максимального количества допусков локализованы вокруг локаторов существенно меньше, чем на карте для холодного периода. Область максимальных размеров выборок совпадает в основном с территорией ЦФО. В основном наблюдаются от 200 до 900 допусков из 3667 максимально возможных, наибольшие объемы – те же примерно 25 % точек (900/3667), удовлетворяющих условию (наблюдение  0.05). При этом распределение объемов выборок более равномерно и вблизи локаторов не наблюдается очагов больших значений.

Покрытие данными для остальных заблаговременностей обоих периодов практически неотличимо от указанной заблаговременности. Табл. 1 пространственного распределения по 10%-ным квантилям дают более детальную характеристику полей рис. 4. В данной таблице отмеченное выше наличие в холодный период очагов высоких размеров выборок можно проследить по столбцам 100%max  –  очевидна существенная разница.

Таблица 1. 10%-ные квантили распределения объемов выборок в точках объединенного поля для холодного и теплого периодов и для заблаговременностей 30, 60, 90, 120 и 150 мин

Table 1. 10%-quantiles of the sample volume distribution at the composite field points in cold and warm periods for 30, 60, 90, 120 and 150 min forecasts

Примечание. lead – заблаговременность; NAs – количество пропусков, и valid – количество допусков. Использованы данные для средних по ансамблю полей; для отдельных полей ансамбля разница незначительна.

В данных для холодного периода в 10 % точек поля количество допусков составляет от 1 до 60, 56, ..., 44 в зависимости от заблаговременности. На картах это отдаленные от координат радиолокаторов области, входящие в зону упомянутых "ограничений радиолокационного метода" [5]. В данных для теплого периода в первых 10 % точек поля объемы выборок растут до 182 ...143 в зависимости от заблаговременности. По краям зон обзора в теплый период выборки имеют больший объем и нет такого сильного контраста от периферии к центу круга обзора, как в холодный период.

Ниже из непрерывных показателей качества приведем примеры только средней абсолютной ошибки (МАЕ), так как средняя ошибка (МЕ) не является надежной статистической характеристикой качества ввиду наличия многочисленных нулевых и малых значений интенсивности осадков в полном наборе полей в оба периода года. 

4.1. Средняя абсолютная ошибка (МАЕ) для полей ансамбля

На рис. 5 размещены поля средней абсолютной ошибки для среднего по ансамблю поля и для двух индивидуальных полей ансамбля. 

Рис. 5. Поля средней абсолютной ошибки прогнозов на 30 мин (верхний ряд) и на 150 мин (нижний ряд) в холодный период. Прогностические поля: среднее по ансамблю – первый столбец, первое поле ансамбля (второй столбец) и десятое поле ансамбля (последний столбец).

Fig. 5. Mean absolute error fields of 30 min forecasts (upper row), and of 150 min forecasts (bottom row) in the cold period. Forecast fields: ensemble mean - in the first column, the first ensemble field - in the second column, the tenth field - in the last column.     

С ростом заблаговременности и с увеличением номера поля ансамбля одновременно растут значения МАЕ, что подчеркивает особенности отдельных полей ансамбля. Судя по расцветке, качество прогноза по МАЕ для среднего поля заметно лучше (больше занято серым и синим цветом). Ошибки растут по краям, но особенно видно "вспучивание" значений МАЕ в районе Сочи – Краснодар.

В табл. 2 содержатся квантили пространственного распределения оценки МАЕ для холодного периода. Красным выделены квантили для среднего поля ансамбля: все они не превышают соответствующие квантили индивидуальных полей, что свидетельствует о систематическом преимуществе ансамблевого метода перед стандартным прогнозом даже при столь небольшом объеме ансамбля. 

Таблица 2. Пространственное распределение средней абсолютной ошибки прогнозов в холодный период для среднего по ансамблю поля (memb=100), первого (101), пятого (105) и десятого (110) полей ансамбля

Table 2. Spatial distribution of the forecast MAE in the cold period for the ensemble mean field (memb=101), for the first (101), for the fifth (105), and for the tenth (110) ensemble fields

Примечание. lead – заблаговременность, memb – номер поля ансамбля.

Рис. 6 содержит карту МАЕ для теплого периода. Видно, что данная оценка намного больше аналогичных оценок в холодный период почти по всей области. Отчетливо проявляется "шайба" вокруг локатора Архангельска. Показатель МАЕ для среднего поля ансамбля также ниже оценок для индивидуальных полей. В соответствующей табл. 3 содержатся
данные о пространственном распределении оценки МАЕ для теплого периода.

Рис. 6. Поля средней абсолютной ошибки прогнозов на 30 мин (верхний ряд) и на 150 мин (нижний ряд) в теплый период. Прогностические поля: среднее по ансамблю – первый столбец, первое поле ансамбля (второй столбец) и десятое поле ансамбля (последний столбец).

Fig. 6. Mean absolute error fields of 30 min forecasts (upper row), and of 150 min forecasts (bottom row) in the warm period. Forecast fields: ensemble mean – in the first column, the first ensemble field - in the second column, the tenth field – in the last column.     

Таблица 3.Пространственное распределение средней абсолютной ошибки прогнозов в теплый период для среднего по ансамблю поля и для первого поля ансамбля

Table 3. Spatial distribution of the forecast MAE in the warm period for the ensemble mean field and for the first ensemble field

Информативным можно считать диапазон квантилей от 0 % до 90 %. Кроме крайних квантилей ошибки с заблаговременностью ожидаемо растут до 120 мин, далее наступает насыщение как некоторое указание на предел предсказуемости по данной метрике и для данного периода. Все значения (кроме "малонадежных" максимумов) превышают соответствующие значения МАЕ в холодный период. В этот период точно так же ошибка прогноза по среднему поля ансамбля ниже ошибок по отдельным полям ансамбля для всех заблаговременностей.

4.2. Замечание о "превосходстве" прогнозов в холодный период по МАЕ

Наибольшая достоверность радиолокационных измерений осадков на сети ДМРЛ Росгидромета обеспечивается на удалениях до 100 км от радиолокаторов, где проводятся радиолокационные наблюдения на уровне измерения осадков (600 м) и не используется экстраполяция значений отражаемости с вышележащих уровней. Это хорошо видно на представленных картах МАЕ для холодного периода. По средней абсолютной ошибке в этих областях прогнозы в холодный период имеют более высокое качество, чем прогнозы в теплый период. Однако распространение данного "преимущества" на остальную часть круга обзора, и тем самым на все пространство ЕТР, не совсем корректно по следующим соображениям. В области за пределами выделенного круга сказывается неоднократно упоминаемое "ограничение радиолокационного метода", которое проявляется на осредненных по всему периоду картах. Это приводит к систематическому занижению интенсивности в прогнозах и к систематическому уменьшению показателя МАЕ: неравенство |f-o|  max(f,o) справедливо для любых положительных f и o. Данное обстоятельство лишний раз подтверждает необходимость верификации р/л наукастинга с помощью третьего, независимого источника (модели, спутника, но в наилучшем случае – наземных автоматических дождемеров).

4.3. Категорийные показатели

Для выделения порогов, используемых в категорийной верификации, необходимо знать свойства интенсивности осадков, восстанавливаемых по радиолокационным данным. Для этих целей были рассчитаны пространственные 10%-ные квантили интенсивности с подсчетом количества точек со значениями  0.05 и  0.0 мм/ч для статистического анализа количества допусков и констант отсутствия (помеченных числом -999). Рассчитано более десятка характеристик для всех полей радиолокационных оценок R в холодный и теплый периоды (в количестве порядка 22 тыс. полей в каждом). При этом оценены минимальные, средние и максимальные значения пространственных квантилей, а также количество "допусков" как по полным периодам, так и отдельно по месяцам.

На основе этих расчетов построена "климатология" пространственных характеристик интенсивности радиолокационных осадков с условием (R  0.05) по обоим периодам и выделены следующие пороги превышения: thr = {0.5, 1.0, 2.0, 3.0 мм/ч}. Исключен использованный ранее порог интенсивности 4 мм/ч, приводивший к почти полному вырождению полей всех характеристик.  

На рис. 7 дана стандартная схема двухвходовой таблицы сопряженности с описанием условий по строкам и столбцам в виде неравенств относительно порога thr. Во внутренние ячейки таблицы под двумерными номерами (1,1), (1,2), (2,1) и (2,2) записывается количество случаев a, b, c и d совместных событий, соответствующих условиям сопряженности. Наиболее простым образом ячейки описываются переводами англоязычных терминов из теории обнаружения сигнала: попадания (hits, a); ложные тревоги (false alarms, b); промахи, или пропуски (misses, c); корректные, или правильные отклонения (correct rejections, d). Натуральные числа a, b, c и d, включая нуль, используются в определениях описательных и критериальных оценок качества прогноза события (prec   thr).  

Рис. 7. Таблица сопряженности для записи количества совместных событий, определяемых конъюнкцией условий по строкам и столбцам.    

Fig. 7. Contingency table for recording the number of joint events determined by condition's conjunction across rows and columns.   

Перечислим использованные или упоминаемые в данной статье описательные и критериальные оценки качества прогнозов, рассчитываемые по элементам таблицы сопряженности (рис. 7) [14, 17]. В кавычках добавлены привычные отечественные термины [11]. В квадратных скобках указан диапазон изменения показателя качества, красным цветом – значение показателя для идеального прогноза.

1. Н – доля попаданий, "предупрежденность наличия явления",
  Hit Rate: Н = a/(a+c), [0,1].

2. F – доля ложных тревог, "предупрежденность отсутствия явления",    False Alarm Rate: F = b/(b+d), [0,1].

3. РС – "общая оправдываемость", Percent Correct: PC = (a+d)/n, [0,1].

4. Bias – смещение, сдвиг, отношение повторяемостей, Bias:

    Bias = (a+b)/(a+c), [0,inf], 1.

5. TS – оценка угрозы, Threat Score: TS = a/(a+b+c), [0, 1].

6. ETS – беспристрастная оценка угрозы, Equitable Threat Score; или критерий Гилберта (GSS, Gilbert Skill Score). Это критериальная оценка TS, рассчитанная относительно случайной доли попаданий: 

ETS = (TS-TSref)/(1 – TSref), TSref = aref/(a+b+c),
aref = (a+b)(a+c)/n, [-1/3, 1].

7. PSS – Критерий Пирса-Обухова, Pierce Skill Score:
PSS=H-F, [-1,+1].

8. EDI – индекс экстремальной зависимости, Extremal Dependence Index: EDI = (logF – logH)/(logF + logH), [-1,+1].

4.3.1. Количество попаданий и количество правильных отклонений

Будем иногда для простоты записывать порог числом без указания размерности [мм/ч].

Ячейка таблицы сопряженности (1,1), т. е. количество а правильно предсказанных событий (prec  thr) для порогов 0.5, 1.0, 2.0 и 3.0 при прогнозе на 30 мин, а также для порога 0.5 при прогнозах на 60, 90, 120 и 150 мин, представлена в виде набора соответствующих карт на рис. 8.

Рис. 8. Картография ячейки (1,1) таблицы сопряженности: количество попаданий при прогнозах превышений порогов интенсивности осадков в холодный период.

Fig. 8. Mapping the (1,1) contingency table cell; the number of hits in forecasts of exceeding the thresholds of precipitation intensity in the cold period.     

Верхний ряд карт рис. 8 демонстрирует уменьшение количества допусков с ростом порогов. Аналогично уменьшается количество допусков с ростом заблаговременности, если перемещаться от первой карты верхнего ряда и далее по всем картам нижнего ряда слева направо. Очаги точных попаданий, локализованные вокруг локаторов и расположенные приблизительно на западной стороне фактической карты, довольно согласованно затухают с ростом заблаговременности. Общую тенденцию можно назвать деградацией пространственной связности поля характеристики.

Рассмотрим такие же последовательности карт для теплого периода (рис. 9). 

Рис. 9. Картография ячейки (1,1) таблицы сопряженности: количество попаданий при прогнозах превышений порогов интенсивности осадков в теплый период.

Fig. 9. Mapping the (1,1) contingency table cell; the number of hits in forecasts of exceeding the thresholds of precipitation intensity in the warm period.

В данном случае очаг точных попаданий охватывает в основном западную и центральную части России, в общем совпадающие с территорией ЦФО. Односвязность поля характеристики в целом сохраняется. Как и на прежних картах, отчетливо видна "шайба" вокруг локатора Архангельск.

Приведем четыре карты для ячейки (2,2) таблицы сопряженности – количество правильных отклонений события (correct rejections) (рис. 10).

На данных картах никаких очагов не наблюдается ввиду больших размеров выборок практически во всех точках поля. Усиливаются те же краевые эффекты в виде разноцветных полос с ростом заблаговременности. Тот факт, что при прогнозе на 30 мин превышения 0.05 мм/ч и при прогнозе на 150 мин превышения 3 мм/ч количество допусков оказалось не менее 2500 случаев в большей части карты, свидетельствует о перегруженности ячейки (2,2). Как правило, в таких случаях ячейка (1,1) попаданий и ячейка (1,2) ложных тревог таблицы сопряженности стремятся к нулю и даже обнуляются ("вырождаются"). С проблемой вырождения таблиц сопряженности систематически сталкиваются при прогнозах редких (и экстремальных) явлений, при которых не рекомендуется использовать для оценки качества ни общую оправдываемость (PC), ни критерий Пирса-Обухова (PSS) [6, 14].  Особенности показателя PSS будут ниже сопоставлены с характеристиками рекомендованного для редеющих выборок показателя экстремальной зависимости EDI.   

Рис. 10. Картография ячейки (2,2) для количества точных отклонений в оба периода при 30-минутных прогнозах превышения 0.5 мм и 150-минутных прогнозах превышения 3 мм.

Fig. 10. Mapping the (2,2) contingency table cell for the number of hits in both periods for 30 min forecasts of exceeding the 0.5 mm threshold, and for 150 min forecasts of exceeding the 3 mm threshold.

4.3.2. Показатель смещения, или отношение повторяемостей
(BIAS)

Большинство показателей будут демонстрироваться в панелях аналогично расположению карт на рис. 8 и 9.

Рассмотрим смещение прогнозов (BIAS) в точках поля, т. е. отношение количества прогнозов события к количеству самих событий (рис. 11). Если смещение больше/меньше 1, то количество прогнозов превышения заданного порога превышает/занижает количество фактических превышений этого порога, при этом количество ложных тревог больше/меньше количества промахов за период испытаний.

Рис. 11. Картография показателя смещения (BIAS) прогнозов для холодного периода.

Fig. 11. Mapping the frequency bias (BIAS) for forecasts in the cold period.

В панелях рис. 11 заметны следующие особенности: 1) деградация связности поля с ростом порога при прогнозе на 30 мин начиная с порога 2 мм; 2) рост краевого эффекта с ростом заблаговременности (накопление синего цвета на западной части условной карты, т. е. занижение прогнозом повторяемости события); 3) наличие близких по пространству противоположных смещений (синего и красного цвета). 

Квантильный анализ пространственного распределения показателя BIAS содержится в табл. 4.

Наличие явных выбросов в максимальных квантилях подтверждает необходимость цензурирования данных для целей верификации. С ростом порогов и заблаговременности растет количество точек с нулевыми значениями и соответственно падает количество точек со значащими числами. Так, при прогнозе на 150 мин для порога 3.0 мм/ч имеется всего 304 точки поля, в которых оценки показателя не вырождаются. Снижение объемов выборок происходит с растущей недооценкой площади явления и с увеличением количества "выбросов" около максимального значения показателя (100%max). Можно утверждать, что при прогнозе на 30 мин не более 70 % территории занято "приемлемыми" значениями показателя для всех порогов; для 60 мин – не более 70–60 %; а для 150 мин – не более 40 %.

Небольшие числа в табл. 5 являются причиной разрушения связности поля показателя из-за редеющих выборок и из-за обнуления ячеек (1,2) и (2,1) с ростом порога и иногда с ростом заблаговременности.

Таблица 4. Пространственное распределение показателя BIAS по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 4. Spatial BIAS distribution by 10% quantiles in the cold period, indicating the number of significant values (acceptances, valid) in field point samples

Примечание. zeros – количество точек поля с константами отсутствия и с нулями; valid – количество точек поля со значащими числами. Красный
цвет – явные выбросы. Зеленый цвет – BIAS в пределах 0.5  BIAS  1.5.

Таблица 5. Пространственное распределение попаданий и промахов по 10%-ным квантилям в холодный период в поточечных выборках с указанием количества точек поля с нулями (zeros) и положительными числами (valid)

Table 5. Spatial distribution of hits and misses by 10% quantiles in the cold period, indicating the number of zero value points (zeros) and positive value points (valid)

Квантили пространственного распределения рассчитываются только по ненулевым значениям попаданий и ненулевым значениям промахов (табл. 5). 

Повторяемость события, (hits+misses)/3572, при прогнозе на 30 мин имеет максимальное значение  (325+420)/3572 = 0.21 для порога 0.5 мм/ч и (50+73)/3572 = 0.034 для порога 3 мм/ч, что составляет менее 35 случаев на тысячу наблюдений в точке.

На рис. 12 с картами показателя смещения для теплого периода просматривается более целостная картина по сравнению с картами для холодного периода. Также наблюдается растущее с ростом порога обилие пространственно близких значений показателя по обе стороны от единицы, но в существенно меньшей степени, чем для холодного периода. Поле показателя начинает разрушаться на значениях порога выше 1 мм. Заметно меньше меняется поле показателя при росте заблаговременности на пороге 0.5, если также оценивать тенденцию последовательным переходом от первой верхней панели и далее по нижнему ряду панелей слева направо.

Рис. 12. Картография показателя смещения (BIAS) прогнозов для теплого периода.

Fig. 12. Mapping the BIAS values for forecasts in the warm period.

Данные, аналогичные табл. 4, но для теплого периода, собраны в табл. 6. Видно, что "приемлемыми" оценками показателя BIAS покрыто больше территории, чем в холодный период, при этом объемы выборок (по столбцу valid) падают не так стремительно.

Данные, аналогичные табл. 5, но для теплого периода, собраны в табл. 7. По сравнению с табличными характеристиками для холодного периода, здесь намного больше чисел выше единицы, а это значит, что пространственная оценка качества обеспечена более значительными объемами выборок и оказывается тем самым статистически более надежной.

Таблица 6. Пространственное распределение показателя BIAS по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 6. Spatial BIAS distribution by 10% quantiles in the warm period, indicating the number of significant values (acceptances, valid) in field point samples

Таблица 7. Пространственное распределение попаданий и промахов по 10%-ным квантилям в теплый период в поточечных выборках с указанием количества точек поля с нулями (zeros) и положительными числами (valid)

Table 7.  Spatial distribution of hits and misses by 10% quantiles in the warm period, indicating the number of zero value points (zeros) and positive value points (valid)

Однако в максимальных квантилях (по пространственным долям порядка 10 % от полного поля) значения показателя вполне сравнимы со своими аналогами в табл. 5 для холодного периода, таким образом, и здесь также возможны нежелательные выбросы и неустранимые граничные эффекты. 

4.3.3. Беспристрастная оценка угрозы (ETS)

Английское название показателя ETS (Equitable Threat Score) – дань традиции и не соответствует свойству показателя [17]. Дело в том, что показатель имеет эпитет equitable, если он равен нулю для случайного или неизменного прогноза, но имеет тем большее значение, чем более редкое явление оказывается правильно спрогнозированным. Однако выяснилось, что показатель ETS, впервые предложенный Гилбертом в 1884 г., не стремится к нулю на случайных прогнозах при конечных выборках, но "беспристрастен" в асимптотическом смысле, т. е. при стремлении объема выборки к бесконечности. В связи с этим рекомендуется название Gilbert Skill Score (GSS, критерий Гилберта), но в англоязычных публикациях, и вслед за ними в наших переводах, часто сохраняется традиционное наименование и сокращение.

Напомним, что определение показателя ETS строится как критерий (skill score) относительно оценки угрозы (score) TS:

TS=a/(a+b+c), TSref=aref/(a+b+c), aref=(a+b)(a+c)/n,

ETS = (TS – TSref)/(1 – TSref) = (a – aref)/(a – aref + b + c).

Число aref/n равно произведению маргинальных вероятностей, которому равнялась бы доля попаданий при статистической независимости прогнозов и наблюдений. Таким образом, положительный ETS оценивает превышение качества прогнозов над случайным прогнозом. Однако данный показатель вполне корректно оценивает преимущество методического прогноза над случайным прогнозом лишь на выборках из примерно более трех десятков значений. На более редких событиях он может вырождаться и приводить к неестественно высокой оценке [15]. Рассмотрим картографию показателя ETS для холодного периода (рис. 13).

По верхнему ряду панелей видно, что оценки расположены в основном в диапазоне 0.4–0.6 (для порога 0.5 мм) и изменяются примерно до интервала 0.3–0.5 (для порога 1 мм). Как и для доли попаданий, пороги 2 и 3 мм оказываются "деструктивными", на них пространственная связность теряется, растет пятнистость. Тем не менее сохраняющиеся пятна и даже отдельные точки (в реальности это квадраты 1010 км) отражают очаги редких явлений, иногда вполне удовлетворительно предсказанных.

Последовательность от левой верхней панели (прогноз на 30 мин) и всего нижнего ряда панелей (прогнозы от 60 до 150 мин) демонстрирует падение качества от 0.4–0.7 до 0.0–0.3 (от "красного" цвета до "синего"), здесь также заметна очаговая локализация высоких значений показателя.

Рис. 13. Картография показателя ETS прогнозов для холодного периода.

Fig. 13. Mapping the ETS values for forecasts in the cold period.

Рис. 14 содержит картографию показателя ETS для теплого периода. Все пороги не столь деструктивны, как в холодный период, хотя на 2 мм и 3 мм заметна растущая хаотизация, когда рядом могут возникать значения из разных окраин диапазона.

Рис. 14. Картография показателя ETS прогнозов для теплого периода.

Fig. 14. Mapping the ETS values for forecasts in the warm period.

По панелям прогноза на 30 мин (с ростом порога) максимальные значения показателя изменяются от ~0.7 на пороге 0.5 мм до ~0.4 на порогах 2 и 3 мм. Нижний ряд представляет также более целостную пространственную картину, чем в холодный период; однако видно, что с ростом заблаговременности заметно растут краевые эффекты.

Квантильные значения показателя ETS, соответствующие картам рис. 13 и 14, собраны в табл. 8 и 9, соответствующих холодному и теплому периодам. Зеленым цветом (оценок полезного прогноза) выделены значения не менее 0.3. То, что в обеих таблицах отсутствуют отрицательные значения показателя по всем порогам и всем заблаговременностям (кроме двух незначительных отрицательных чисел в таблице для теплого периода), свидетельствует о повсеместном превосходстве методического прогноза над случайным прогнозом. Однако при этом количество чисел зеленого цвета (оценок полезного прогноза) быстро уменьшается как с ростом порога, так и с ростом заблаговременности.

Таблица 8. Пространственное распределение показателя ETS по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 8.  Spatial distribution of the ETS values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Таблица 9. Пространственное распределение показателя ETS по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 9.  Spatial distribution of the ETS values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

Отметим большое сходство таблиц для обоих периодов и по значениям показателя, и по тенденциям его изменения в зависимости от порогов и прогностических сроков, за исключением объемов выборок (столбцы valid), несопоставимых на больших порогах превышения.  

Сделаем замечание о возможности цензурирования данных для устранения или учета краевых эффектов, которые сходным образом проявляются на картах показателя ETS в оба периода (рис. 13 и 14). Так как эти значения выделяются синим цветом и отражаются в таблицах распространением на более высокие квантили (т. е. по пространству) значений ETS между 0.0 и 0.1 с ростом порога и заблаговременности, то цензурированию подлежат соответственно растущие доли пространства. Но ввиду того, что граничные эффекты "расползаются" с ростом заблаговременности, сама процедура цензурирования становится в некотором роде "динамической" и в таких случаях становится невозможной.

Если выделить значение ETS=0.1 как наибольшее для "динамического" цензурирования, то в таблице для холодного периода исключению из сравнительного анализа прогнозов, например на 150 мин, подлежат квантили до 40 % пространства, а для теплого периода – до 80 % пространства. Однако вывод о "преимуществе" прогнозов в холодный период по данному показателю не совсем корректен статистически. Количество точек поля, в которых при прогнозе на 150 мин превышения порога 3 мм в холодный период была сформирована выборка для верификации, оказалось равным 304 против 10777 в теплый период. На малых выборках оценки качества находятся под критическим влиянием выборочных эффектов и могут принимать любые, в том числе "наиболее выгодные" значения случайным образом.

4.3.4. Критерий Пирса-Обухова (PSS)

Картография показателя PSS на рис. 15 и 16 в общих чертах повторяет аналогичную картографию для категорийных показателей HR и ETS (рис. 13 и 14). В основном это быстрое разрушение связности при росте порога для холодного периода, начиная с 2 мм/ч, и постепенное усиление граничного эффекта при увеличении заблаговременности для обоих периодов начиная с 90 мин. Оставшиеся на карте (даже для порога 3 мм) точки и пятна можно также отнести к очагам высоких значений показателя.

В табл. 10 и 11 пространственного распределения показателя PSS зеленым цветом выделены значения не меньше 0.5. 

Рис. 15.  Картография показателя PSS прогнозов для холодного периода.

Fig. 15. Mapping the PSS values for forecasts in the cold period.

Рис. 16. Картография показателя PSS прогнозов для теплого периода.

Fig. 16. Mapping the PSS values for forecasts in the warm period.

Таблица 10. Пространственное распределение показателя PSS по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 10.  Spatial distribution of the PSS values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Таблица 11. Пространственное распределение показателя PSS по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 11. Spatial distribution of the PSS values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

Как и для предыдущих показателей, судя по количеству зеленых чисел есть некоторое преимущество карт холодного диапазона для отдельных заблаговременностей в сравнении с данными по теплому периоду (табл. 11), но следует аналогичным образом учитывать объемы выборок, а значит, и статистическую значимость "преимущества", которое может оказаться выборочным, т. е. случайным.

Имеются два небольших отрицательных числа на тех же местах, что и в таблице ETS для теплого периода (табл. 9): там качество категорийного прогноза оказалось чуть ниже качества случайного прогноза, здесь доля ложных тревог немного превысила долю попаданий.

4.3.5. Индекс экстремальной зависимости (EDI)

Как упоминалось выше, показатель EDI рекомендуется использовать для оценки качества прогнозов редких явлений, так как он имеет статистические преимущества перед всеми ранее описанными категорийными показателями, в частности перед ETS и PSS [4, 6, 14]. Однако отмеченные преимущества EDI справедливы при теоретических, в первую очередь асимптотических предположениях, которые не выполняются автоматически на каждой конечной выборке. Как было показано в [6], одним из условий корректного применения данного показателя является сходимость к невырожденному значению не при некотором пороге превышения, а при последовательном увеличении этого порога. Возникает проблема определения последовательности порогов для оценки сходимости показателя, и эта проблема остается пока открытой.

На рис. 17 и 18 собраны карты показателя EDI прогнозов для холодного и теплого периодов.

Рис. 17. Картография показателя EDI прогнозов для холодного периода.

Fig.17. Mapping the EDI values for forecasts in the cold period.

По картографии рис. 17 для холодного периода можно выделить пространственное сходство с ETS и PSS в быстром нарастании "деструктивной роли" порогов после 1 мм, но, в отличие от тех же показателей, граничный эффект с ростом заблаговременности проявляется в основном на первых порогах (нижний ряд).

Для теплого периода (рис. 18) также отмечается более связная пространственная структура в сравнении с холодным периодом. "Деструктивные" пороги не проявляются столь сильно, но есть некоторая пространственная хаотизация, заключающаяся в появлении мелких, почти точечных очагов значений показателя (панель с порогом 3 мм). В нижнем ряду панелей можно видеть слабое проявление граничного эффекта (узкая красная полоса на 60 мин). 

В табл. 12 и 13 зеленым цветом выделены значения EDI не меньше 0.5 для сопоставления с поведением показателя PSS.

Рис. 18. Картография показателя EDI прогнозов для теплого периода.

Fig.18. Mapping the EDI values for forecasts in the warm period.

Таблица 12. Пространственное распределение показателя EDI по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 12.  Spatial distribution of the EDI values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Как известно, положительные значения EDI (когда доля попаданий в категорию выше соответствующей доли ложных тревог) всегда больше PSS [6], поэтому более корректным было бы использование порога 0.6 или 0.7. В любом случае картина выглядит более "гармонично" – нет резкого падения "качества" при росте порогов и при росте заблаговременности. Возможно, это свидетельствует о заявленном преимуществе EDI перед показателями ETS и PSS при оценке прогнозов редких явлений.

Сравнение таблиц показателя EDI для двух периодов приводит к выводу, что по количеству зеленого цвета качество несколько ниже в теплый период (табл. 13), чем в холодный период. Вполне возможно, что это "преимущество" приобретено как за счет выборочного эффекта малой выборки, так и за счет заниженного "характерного" порога для самого показателя (0.5).  

Таблица 13. Пространственное распределение показателя EDI по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 13.  Spatial distribution of the EDI values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

4.4. Вероятностные оценки качества

В данном разделе речь идет о вероятностном прогнозе превышения порогов thr = 0.5, 1, 2 и 3 мм/ч на основе ансамблевой модели pySTEPS. Прогностическая вероятность события (prec  thr) рассчитывается с помощью 10-членного ансамбля в каждой точке поля для синхронизированных пар "наблюдение – прогноз". Качество оценивается с помощью показателя Брайера (BS), критерия Брайера (BSS), относительной оперативной характеристики (Relative Operating Characteristic, ROC) и площади под кривой ROC (ROCA). Все эти показатели, кроме ROCA, конструируются на множестве пар (binO, probF), где binO – бинарная переменная 1 или 0 в зависимости от наличия или отсутствия события в наблюдении, а probF – прогностическая вероятность события, т. е. отношение количества прогнозов события в ансамбле к объему ансамбля.

4.4.1. Оценка и критерий Брайера (BS и BSS)

Формула расчета оценки Брайера:

где р – прогностическая вероятность; о = 1/0 – событие да-нет; показатель отрицательно ориентирован (чем меньше, тем лучше). Диапазон изменения [0,1], для идеального прогноза BS = 0. Формула расчета критерия Брайера:

где BSreference – оценка Брайера, в которой вместо р используется, как правило, климатический прогноз или выборочная вероятность события. Диапазон изменения [-inf,1], для идеального прогноза BSS = 1. В частности, в случае использования выборочной климатологии BSreference = p(1–p), что равно точной оценке дисперсии случайной величины по схеме Бернулли. 

На рис. 19 и 20 представлена картография оценки Брайера для холодного и теплого периодов.

Расположение панелей в верхнем и нижнем рядах аналогично предыдущим представлениям полей показателей: верхний ряд – 30-минутный прогноз превышения всех выбранных порогов, нижний ряд – прогнозы превышения порога 0.5 для всех выбранных заблаговременностей. 

На обоих рисунках проявляется главная особенность оценки Брайера – критичная зависимость от повторяемости события в наблюдениях при перегруженности ячейки (2,2) таблицы сопряженности, в которой содержится количество правильных прогнозов отсутствия явления. Для оценки прогноза осадков, изобилующих нулевыми значениями, с увеличением порога под знаком суммы количество нулей растет, вследствие чего BS падает, указывая на мнимый рост качества. Это свойство благополучно отсутствует при увеличении заблаговременности. 

Сравнивая карты для обоих периодов, можно прийти к выводу о заметном преимуществе прогнозов в холодный период. Подтверждение и уточнение визуальных свойств данного показателя можно сделать на основе соответствующих табл. 14 и 15, при этом в первую очередь выделим, что по количеству допусков (valid) оценки по двум периодам сходны.

Рис. 19. Картография показателя BS прогнозов для холодного периода.

Fig. 19. Mapping the BS values for forecasts in the cold period.

Рис. 20. Картография показателя BS прогнозов для теплого периода.

Fig. 20. Mapping the BS values for forecasts in the warm period.

Таблица 14. Пространственное распределение показателя BS по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 14. Spatial distribution of the BS values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Небольшие оценки Брайера в табл. 14 обусловлены, несомненно, обилием нулевых значений. Упомянутая выше тенденция оценки отражена в данной табл. 14 и в следующей табл. 15 для теплого периода: в столбце одного порога сверху вниз значения снижаются, но по фиксированной строке заблаговременности вниз для всех порогов значения растут. 

Несмотря на то что значения показателя BS в табл. 15 заметно выше соответствующих значений в табл. 14, делать общий вывод о более высоком качестве вероятностного прогноза в холодный период не совсем корректно. Во-первых, недостаточно физических оснований сравнивать качество прогнозов по одинаковым порогам. Во-вторых, в оба периода для выбранных заблаговременностей и порогов оценки Брайера малы, и их статистическая значимость не оценивается, т. е. может оказаться, что ансамблевая модель в оба периода дает вполне сходные и вполне удовлетворительные по данному показателю вероятностные прогнозы. Уместно провести параллель с упомянутой выше средней ошибкой (МЕ), главное приложение которой усматривается лишь в выделении и цензурировании нежелательных выбросов. 

Таблица 15. Пространственное распределение показателя BS по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 15.  Spatial distribution of the BS values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

Проявленное свойство оценки Брайера снимается в ее критериальном варианте относительно некоторого контрольного прогноза, например относительно климатологии – многолетней или выборочной. В нескольких странах (например, в США) критерий Брайера применяется в официальной верификации краткосрочных прогнозов осадков относительно многолетней климатологии. Могут быть другие источники "контрольных" вероятностей, отличные от климатологии, например ансамблевые прогнозы оперативных систем. Вероятности можно сконструировать из лаговых инерционных прогнозов, если пренебречь сериальной коррелированностью [9].

В данной статье приводятся расчеты BSS относительно выборочной климатологии, т. е. для каждой серии пар "наблюдение – вероятность" контрольным прогнозом считается постоянный прогноз повторяемости события из данной конкретной выборки. Важно подчеркнуть следующие два момента. Использование многолетней климатологии более выгодно по сравнению с выборочной климатологией – последняя входит в состав данных наблюдений в интервале прогноза, чем неизбежно занижает
величину критерия. Наконец, оценка по выборочной климатологии апостериорна и не может быть предъявлена как пример лучшего прогноза: на момент прогноза она сама не известна.

На рис. 21 и 22 и в соответствующих табл. 16 и 17 содержатся картографические и числовые характеристики критерия Брайера.  

Рис. 21. Картография показателя BSS прогнозов в холодный период.

Fig. 21. Mapping the BSS values for forecasts in the cold period.

Рис. 22. Картография показателя BSS прогнозов в теплый период.

Fig. 22. Mapping the BSS values for forecasts in the warm period.

В верхнем ряду рис. 21 видны знакомые тенденции: наибольшая часть на малых порогах занята положительными значениями (превышение качества над выборочной климатологией), с ростом порога пространственная структура разрушается и очаги все ближе концентрируются около локаторов. Поля показателя в нижнем ряду сохраняют пространственную целостность, но постепенно заполняются отрицательными значениями, которые концентрируются на дальних секторах кругов покрытия. Рис. 22 (показатель BSS для теплого периода) представляет карты с более связной пространственной структурой, хотя с ростом порога растет пестрота (ср. панель 30 мин/3 мм). Также просматриваются очаги около локаторов, и вокруг Архангельска рисуется привычная "шайба".

Точное пространственное распределение показателя BSS отражено в табл. 16 и 17, зеленым цветом выделены положительные числа показателя.

Большие отрицательные значения сигнализируют о выбросах, которые при интерпретации оценок следует "цензурировать" – это около 10 % точек значащих чисел (квантили от 0 % до 10 %). При этом условия расчетов приводят к постепенному снижению с ростом порога количества допусков в холодный период и практически не меняют это количество в теплый период (столбцы valid).

Если в середине значений и показателя, и квантилей в обеих таблицах наблюдается относительное сходство, то к концу прогностического срока и к последнему порогу контраст заметно нарастает. 

Таблица 16. Пространственное распределение показателя BSS по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 16.  Spatial distribution of the BSS values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Таблица 17. Пространственное распределение показателя BSS по 10%-ным квантилям в теплый период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 17.  Spatial distribution of the BSS values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

Рис. 23 содержит оценку BSS прогнозов на 150 мин превышения порога 3 мм/ч.

Рис. 23. Картография показателя BSS прогноза на 150 мин превышения порога 3 мм/ч в холодный (левая панель) и теплый период (правая панель).

Fig. 23. Mapping the BSS values for 150 min forecasts of the 3 mm/h threshold exceedance in the cold period (left panel) and in the warm period (right panel). 

В поле показателя для холодного периода наблюдается отчетливое скопление числовых значений вокруг локаторов, при этом связность объединенного поля почти полностью разрушена. В поле показателя качества прогнозов в теплый период нарушения связности нет, но качество прогнозов в ~90 % точек хуже выборочной климатологии (последние строки табл. 16 и 17, см. также значения valid).

4.4.2. Площадь под кривой относительной оперативной
характеристики (ROCA)

Зависимость доли попаданий от доли ложных тревог известна в верификации прогнозов под названием относительной оперативной характеристики ООХ (relative operating characteristic, ROC). Интегральной оценкой полезности категорийного прогноза считается площадь под графиком этой зависимости (ROCA, ROC-Area, площадь под ROC-кривой). ROC-кривая и ROCA рассчитаны с помощью функций verify() и roca() математического пакета verification языка R-project.

Для корректной оценки указанных характеристик требуется выполнение дополнительного условия на последовательность пар "наблюдение – вероятность" в виде {0,1} – {p}, где р – оценка вероятности события по ансамблю. Это условие состоит в некотором минимально допустимом для заданного объема выборки значении рангового критерия Вилкоксона, используемого при расчете доверительных интервалов на точках кривой ООХ. Выборка не проходит проверку этим критерием при слишком малом объеме и/или при критическом отсутствии ненулевых значений оценок вероятности и единиц в бинарном представлении наблюдений. В последнем случае речь идет о так называемой "проблеме совпадений" ("tie problem"). Путем экспериментов с архивными данными для обоих периодов было установлено, что критерий Вилкоксона почти всегда рассчитывается при допуске в выборку не менее 10 ненулевых значений хотя бы в одном из членов пары {0,1} – {p}. Это условие, уменьшающее количество допустимых выборок, было использовано в программе формирования наборов пар при построении кривой ROC. 

Рассмотрим картографию площади под кривой ROC (рис. 24 и 25) и соответствующие числовые данные в табл. 18 и 19.

По верхнему ряду рис. 24 получасового прогноза видна знакомая картина разрушения пространственной структуры с ростом порога; при этом столь же заметны сужающиеся очаги около локаторов. Значений меньше 0.5 не просматривается на всех картах, включая нижний ряд панелей. При росте заблаговременности прогноза превышения 0.5 мм нет разрушения объединенной карты показателя, но видны явные граничные эффекты на западной стороне зон обзора большинства локаторов.

В панелях для теплого периода (рис. 25) разрушение пространственной структуры с ростом порога невелико; значений меньше 0.5 не просматривается; основной диапазон показателя – не менее 0.7. Сходно наличие явных граничных эффектов на западной стороне зон обзора.

Рис. 24. Картография показателя ROCA прогнозов в холодный период.

Fig. 24. Mapping the ROCA values for forecasts in the cold period.

Рис. 25. Картография показателя ROCA прогнозов в теплый период.

Fig. 25. Mapping the ROCA values for forecasts in the warm period.

Рассмотрим соответствующие табличные данные, выделив зеленым цветом "хороший прогноз" ROCA > 0.8 и синим цветом "полезный прогноз" ROCA > 0.7 [4].

Таблица 18. Пространственное распределение показателя ROCA по 10%-ным квантилям в холодный период с указанием количества значащих чисел (допусков, valid) в поточечных выборках

Table 18.  Spatial distribution of the ROCA values by 10% quantiles in the cold period, indicating the number of significant value points (valid) in field point samples

Таблица 19. Пространственное распределение показателя ROCA по 10%-ным квантилям для теплого периода с указанием количества значащих чисел (допусков, valid)  в поточечных выборках

Table 19.  Spatial distribution of the ROCA values by 10% quantiles in the warm period, indicating the number of significant value points (valid) in field point samples

В табл. 18 соотношение хороших и полезных прогнозов равно 111/163, полезные прогнозы занимают больше половины территории по всем заблаговременностям и порогам. Следует обратить внимание на количество точек с отсутствующими данными (от 10592 до 36655) и значащими данными (от 31333 до 5270), при этом объемы условных выборок не учитываются.

В табл. 19 соотношение хороших и полезных прогнозов равно 96/157, полезные прогнозы также занимают больше половины территории по выделенным заблаговременностям и порогам.

Как и раньше, при сравнении качества прогнозов по обоим периодам рекомендуется сопоставлять количество точек поля, в которых имелись допустимые выборки для верификации данным показателем. При росте порога (от 0.5 до 3 мм) и заблаговременности (от 30 до 150 мин) количество констант отсутствия в поле в холодный период изменяется от 10592 до 36655, а в теплый – от 9492 до 18951. Одновременно с этим количество допустимых значений (допусков) в холодный период падает 31333 до 5270 (почти в 6 раз), а в теплый период – от 32432 до 22974 (всего в 1.4 раза).

Выводы и обсуждение

Проведены испытания радиолокационного наукастинга интенсивности осадков в холодный период года. Для сравнения с проведенными ранее результатами испытаний в теплый период года все показатели качества пересчитаны в параллельном режиме на данных накопленных архивов по обоим периодам. В качестве контрольных данных для верификации использованы композитные поля интенсивности осадков, полученные по радарным наблюдениям.

Рассчитаны разнообразные показатели качества для детерминистских и вероятностных прогнозов: средняя абсолютная ошибка (MAE), количество попаданий и правильных отклонений, смещение повторяемостей (BIAS), беспристрастная оценка угроз (ETS), критерий Пирса-Обухова (PSS), индекс экстремальной зависимости (EDI), оценка и критерий Брайера (BS и BSS), площадь под кривой оперативной характеристики (ROCA).

Выходная продукция системы верификации представлена в единообразном формате в виде карт в условных географических координатах и в виде таблиц пространственных 10%-ных квантилей. Такое представление позволяет делать обобщение поточечных оценок на территорию испытаний, не прибегая к специфичным приемам пространственной верификации, и одновременно учитывать (или даже исключать, т. е. цензурировать) возможные выбросы в полях характеристик интенсивности и в полях показателей качества.

С технической стороны испытания продемонстрировали надежность оперативной системы ансамблевого наукастинга осадков в холодный период.

Сравнительный анализ качества прогнозов для индивидуальных членов ансамбля и для среднего поля по ансамблю выявил в оба периода небольшое, но систематическое преимущество прогноза по среднему полю. Данный результат свидетельствует о целесообразности использования ансамблей даже малого объема.

Сравнительный анализ показал более высокое качество прогнозов в холодный период года по всем использованным критериям, кроме, возможно, показателя смещения (BIAS). Однако следует иметь в виду, что объемы выборок для верификации при прогнозах превышения высоких порогов интенсивности на отдаленные сроки в холодный период могут быть на порядок ниже соответствующих объемов выборок в теплый период.

По результатам проведенных испытаний Центральная методическая комиссия по гидрометеорологическим и гелиогеофизическим прогнозам (ЦМКП) Росгидромета на заседании 16.12.2022 рекомендовала «внедрить технологию детерминистского и вероятностного наукастинга осадков в ФГБУ "Гидрометцентр России" в качестве основного оперативного метода наукастинга интенсивности осадков на срок до 2.5 часов в холодный период года (ноябрь–март) по Европейской территории России».

Основные проблемы, требующие осмысления и посильного решения, перечислены в статье [10] о результатах испытаний в теплый период года. Верификация результатов испытаний в холодный период оказалась более сложной из-за существенно большего количества поточечных выборок малого объема, формируемых при росте порога превышения и при увеличении заблаговременности. Выделим две наиболее острые проблемы, возникшие при испытаниях системы наукастинга в холодный период.

Во-первых, к статистической неустойчивости оценок качества детерминистских прогнозов добавляется опасность деградации пространственной связности полей интенсивности осадков, особенно в холодный период, что делает невозможным обобщение оценок на всю область прогнозирования. Эта проблема кардинально может быть решена только путем повышения плотности сети ДМРЛ и отчасти с помощью усовершенствования радиолокационного метода измерения осадков в дальней зоне (100–120 км от ДМРЛ).

Во-вторых, при верификации ансамблевых прогнозов интегральная оценка площади под кривой оперативной характеристики (ROCA) искусственно "раздувается" до высоких значений при одновременном провале качества относительно выборочной средней по показателю Брайера (BSS). Решить данную задачу вполне посильно увеличением объема прогностического ансамбля и/или предварительной статистической проверкой набора пар значений "наблюдение – вероятность" в точках поля ранговыми критериями типа Вилкоксона или Манна-Уитни.

Список литературы

1. Вельтищев Н.Ф., Степаненко В.М. Мезометеорологические процессы. М.: Изд-во МГУ, 2006. 101 с. 

2. Грингоф И.Г., Клещенко А.Д. Основы сельскохозяйственной метеорологии. Том I. Обнинск: Росгидромет, 2011. 808 с. https://pogoda-moscow.ru/agr_meteo_1.pdf

3. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. 899 с.

4. Киктев Д.Б., Муравьев А.В., Бундель А.Ю. Методические рекомендации по верификации метеорологических прогнозов. М.: АМА ПРЕСС, 2021. 94 с.

5. Методические указания по использованию информации допплеровского метеорологического радиолокатора ДМРЛ-С в синоптической практике: Третья редакция. М.: Росгидромет, 2019. 129 с.  https://method.meteorf.ru/norma/document/dop_3red.

6. Муравьев А.В., Киктев Д.Б., Бундель А.Ю., Дмитриева Т.Г., Смирнов А.В. Верификация прогнозов метеорологических явлений со значительными воздействиями в районе проведения Олимпиады «Сочи-2014». Часть I // Метеорология и гидрология. 2015. № 9. С. 31-48.

7. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Оперативная технология наукастинга осадков на основе радарных данных и результаты верификации для теплого периода года (май-сентябрь 2017 г.) // Гидрометеорологические исследования и прогнозы. 2018. № 1 (367). C. 6-38.

8. Муравьев А.В., Киктев Д.Б., Смирнов А.В., Зайченко М.Ю. Оперативная технология наукастинга осадков на основе радиолокационных данных и сравнительные результаты точечной верификации для теплого и холодного периодов года // Гидрометеорологические исследования и прогнозы. 2019. № 2 (372). С. 12-40.

9. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Усовершенствованная технология радиолокационного наукастинга осадков и результаты верификации в теплый период года (май - сентябрь 2020 г.) // Результаты испытания новых и усовершенствованных технологий, моделей и методов гидрометеорологических прогнозов. 2021. Информационный сборник № 48. С. 13-41.

10. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Сравнительная верификация усовершенствованной системы радиолокационного наукастинга осадков с учетом пропусков и при различных методах формирования выборок (по результатам испытаний в теплый период годам май - сентябрь 2017 и 2020 гг.) // Результаты испытания новых и усовершенствованных технологий, моделей и методов гидрометеорологических прогнозов. 2022. Информационный сборник № 49. С. 3-56.

11. РД 52.27.284–91. Проведение производственных (оперативных) испытаний новых и усовершенствованных методов гидрометеорологических и гелиогеофизических прогнозов. Методические указания. СПб.: Гидрометеоиздат, 1991. 50 с.

12. Руководство по метеорологическим приборам и методам наблюдений. Изд. ВМО № 8. Глава 7. Радиолокационные измерения. 2017. С. 853-938.

13. СП 50.13330.2012. Свод правил. Тепловая защита зданий. Актуализированная редакция СНиП 23-02-2003. 109 с.

14. Forecast Verification in Atmospheric Science. A Practitioner’s Guide: Second Ed. / I. Jolliffe, D. Stephenson (Eds.). John Wiley & Sons Ltd, 2012. 274 p.

15. Hogan R.J., Ferro C.A.T., Jolliffe I.T., Stephenson D.B. Equitability revisited: why the “equitable threat score” is not equitable // Weather Forecast. 2010. -No. 25. -P. 710-726.

16. Skamarock W.C. Evaluating mesoscale NWP models using kinetic energy spectra // Mon. Wea. Rev. 2004. Vol. 132. P. 3019-3032.

17. Wilks D.S. Statistical Methods in the Atmospheric Sciences. Elsevier, 2019. 816 p.

References

1. Vel'tishchev N.F., Stepanenko V.M. Mezometeorologicheskie processy. Moscow: MSU publ., 2006, 101 p. [in Russ.].

2. Gringof I.G., Kleshchenko A.D. Osnovy sel'skohozyaystvennoy meteorologii [Fundamentals of Agricultural Meteorology]. Tom I. Obninsk: Rosgidromet, 2011, 808 p. Available at: https://pogoda-moscow.ru/agr_meteo_1.pdf [in Russ.].

3. Kendall M. G., Stuart A.  Statisticheskie vyvody i svyazi [The advanced theory of statistics]. Moscow, Nauka publ., 1973, 899 p. [in Russ.].

4. Kiktev D.B., Murav'ev A.V., Bundel' A.Yu. Metodicheskie rekomendacii po verifikacii meteorologicheskih prognozov. Moscow: AMA PRESS publ., 2021, 94 p. [in Russ.].

5. Metodicheskie ukazaniya po ispol'zovaniyu informacii dopplerovskogo meteorologicheskogo radiolokatora DMRL-S v sinopticheskoy praktike. Tret'ya redakciya. Moscow: Rosgidromet, 2019, 129 p. [in Russ.].

6. Murav’ev A.V., Kiktev D.B., Bundel A.Y., Dmitrieva T. G., Smirnov A. V. Verification of high-impact weather event forecasts for the region of the Sochi-2014 Olympic Games. Part I: Deterministic forecasts during the test period. Russ. Meteorol. Hydrol., 2015, vol. 40, pp. 584-597. DOI: 10.3103/S1068373915090034.

7. Muravev A.V., Kiktev D.B., Smirnov A.V. Operational precipitation nowcasting system based on radar data and verification results for the warm period of the year (May-September 2017). Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2018, vol. 367, no. 1, pp. 6-38 [in Russ.].

8. Muravev A.V., Kiktev D.B., Smirnov A.V., Zaichenko M.Yu. Operational precipitation nowcasting system based on radar data and comparative pointwise verification results for the warm and cold seasons. Gidrometeorologicheskie issledovaniya i prognozy [Hydrometeorological Research and Forecasting], 2019, vol. 372, no. 2, pp. 12-40 [in Russ.].

9. Murav'ev A.V., Kiktev D.B., Smirnov A.V. Usovershenstvovannaya tekhnologiya radiolokacionnogo naukastinga osadkov i rezul'taty verifikacii v teplyy period goda (may – sentyabr' 2020 g.) // Rezul'taty ispytaniya novyh i usovershenstvovannyh tekhnologiy, modeley i metodov gidrometeorologicheskih prognozov. 2021, Informacionnyy sbornik no. 48, pp. 13-41 [in Russ.].

10. Murav'ev A.V., Kiktev D.B., Smirnov A.V. Sravnitel'naya verifikaciya usovershenstvovannoy sistemy radiolokacionnogo naukastinga osadkov s uchetom propuskov i pri razlichnyh metodah formirovaniya vyborok (po rezul'tatam ispytaniy v teplyy period godam may – sentyabr' 2017 i 2020 gg.) // Rezul'taty ispytaniya novyh i usovershenstvovannyh tekhnologiy, modeley i metodov gidrometeorologicheskih prognozov. 2022, Informacionnyy sbornik no. 49, pp. 3-56 [in Russ.].

11. RD 52.27.284–91. Provedenie proizvodstvennyh (operativnyh) ispytaniy novyh i usovershenstvovannyh metodov gidrometeorologicheskih i geliogeofizicheskih prognozov. Metodicheskie ukazaniya. Saint Petersburg: Gidrometeoizdat publ., 1991, 50 p. [in Russ.].

12. Rukovodstvo po meteorologicheskim priboram i metodam nablyudeniy. Glava 7. Radiolokacionnye izmereniya. WMO publ., 2017, no. 8, pp. 853-938 [in Russ.].

13. SP 50.13330.2012. Svod pravil. Teplovaya zashchita zdaniy. Aktualizirovannaya redakciya SNiP 23-02-2003, 109 p. [in Russ.].

14. Forecast Verification in Atmospheric Science. A Practitioner’s Guide: Second Ed. / I. Jolliffe, D. Stephenson (Eds.). John Wiley & Sons Ltd, 2012, 274 p.

15. Hogan R.J., Ferro C.A.T., Jolliffe I.T., Stephenson D.B. Equitability revisited: why the “equitable threat score” is not equitable. Weather Forecast, 2010, no. 25, pp. 710-726.

16. Skamarock W.C. Evaluating mesoscale NWP models using kinetic energy spectra. Mon. Wea. Rev., 2004. vol. 132, pp. 3019-3032.

17. Wilks D.S. Statistical Methods in the Atmospheric Sciences. Elsevier, 2019, 816 p.

Поступила 17.02.2023; одобрена после рецензирования 16.03.2023;
принята в печать 31.03.2023.

Submitted 17.02.2023; approved after reviewing 16.03.2023;
accepted for publication 31.03.2023.