УДК 551.509.313+551.509.324.2+551.508.85
Оперативная технология наукастинга
осадков
на основе радарных данных и результаты
верификации для теплого периода года
(май-сентябрь 2017 г.)
А.В.
Муравьев, Д.Б. Киктев, А.В. Смирнов
Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия
muravev@fmecom.ru
Дается краткое описание развернутой в Гидрометцентре России системы наукастинга
осадков, функционирующей в режиме реального времени на основе последовательностей
радарных полей, поступающих из Центральной Аэрологической Обсерватории.
Расчетной основой системы является статистическая схема STEPS (Short-Term Ensemble Prediction System), построенная как
мультипликативная каскадная модель с использованием технологии оптического
потока. Демонстрируются результаты точечной и пространственной верификации
результатов испытаний системы в теплый период года. Основные выводы
относительно качества системы наукастинга совпадают с выводами зарубежных
служб, эксплуатирующих данную или сходную статистическую схему наукастинга: в
теплое время года полезный прогноз полей осадков возможен на интервале
одного-двух часов.
Ключевые слова: наукастинг осадков, радарные осадки, турбулентный
мультипликативный каскад, мезомасштабная верификация
Operational precipitation nowcasting system based
on radar data and verification results for the warm
period of the year (May-September 2017)
A.V.
Muravev, D.B. Kiktev, A.V. Smirnov
Hydrometeorological Research Center of Russian
Federation, Moscow, Russia
muravev@fmecom.ru
The
paper carries an overview of the precipitation nowcasting system developed at
Hydrometeorological Center of Russia on the basis of consecutive radar fields
obtained in the real-time mode from Central
Aerological Observatoty. The computational core of the system is the
statistical STEPS scheme (Short-Term
Ensemble Prediction System) constructed as a multiplicative cascade
model with an optical flow technology. Results of point-wise and spatial
verification of the system tested in the warm period of the year are presented.
Main conclusions about the system’s quality coincide with conclusions of foreign
services that exploit this or similar statistical nowcasting scheme: useful
precipitation forecast in the warm period is possible only one-two hours ahead.
Keywords: precipitation
nowcasting, radar precipitation estimates, multiplicative turbulent cascade,
mesoscale verification
Введение
Понятие «наукастинг»
(или прогноз текущей погоды) обычно ассоциируется с экстраполяцией тенденций,
выявленных в данных последних наблюдений. Специфичность наукастинга при этом
заключается в максимально детализированном описании состояния погоды и в
прогнозировании этого состояния на ближайшие несколько часов с использованием
только скорости и направления перемещения выделенной погодной системы в предположении,
что на интервале прогноза каких-либо существенных погоды изменений не
предвидится [3, https://meteoinfo.ru/nowcasting].
В зависимости от существенности изменений заблаговременность наукастинга, или
интервал его полезности, составляет от нескольких минут до нескольких часов, с
верхним пределом порядка шести часов [3, 5].
Ввиду того, что
оценивается лишь скорость и направление перемещения, вполне удовлетворительными
для прогнозирования оказываются
статистические модели кусочно-линейной экстраполяции, учитывающие эмпирические
пространственно-временные связи погодных структур разных масштабов. Для
увеличения предсказуемости до 6‒12 часов продукция наукастинга комбинируется
с выходной продукцией численного прогноза погоды, и в этом случае говорят о
сверхкраткосрочном прогнозе.
Возможность экономичной статистической экстраполяции и краткий срок
прогноза отнюдь не означают тривиальности задачи наукастинга. Максимально
детальное описание текущей погоды требует современных средств наблюдений с
большой плотностью и соответствующих численных схем ассимиляции данных, учет
неопределенности развивающегося процесса приводит к необходимости ансамблевых или вероятностных прогнозов, а частый цикл выпуска
прогнозов невозможен без соответствующих компьютерных мощностей и скоростных
сетей передачи данных. А так как основным объектом наукастинга является
экстремальная погода, то существенно увеличивается стоимость и промахов, и ложных
тревог.
Необходимо
отметить, что развитие методологии и технологии наукастинга, наряду
с развитием численных моделей высокого пространственного разрешения,
стимулировало разработку новых методов верификации, учитывающих мезомасштабный
характер процессов и явлений и, в особенности, направленность наукастинга на
прогноз экстремальных погодных элементов [6, 9, 10, 12, https://www.r-project.org].
Были разработаны методы и компьютерные средства пространственной верификации
(spatial verification), в которой наряду с традиционными показателями качества
используются новые, в частности, окрестные (neighborhood) и объектно-ориентированные (feature, object-oriented) подходы с интерпретацией результатов
верификации в терминах информативности и полезности. Для верификации
экстремальных величин и предупреждений была разработана теория экстремальной
зависимости случайных величин и предложены
соответствующие индексы (extremal dependency indices). В течение последних десятилетий в мировой практике наукастинга
накоплены разнообразные частные оценки качества, детализированные по погодным характеристикам,
физико-географическим особенностям территорий, сезонам,
развивающимся крупномасштабным ситуациям и т. д. Из наиболее общих оценок качества
можно привести авторитетное заключение английских специалистов о полезности
наукастинга осадков в обширных дождевых зонах в зимний период на срок до
трех-четырех часов, а в летних грозах лишь до одного-двух часов (https://www.metoffice.gov.uk/learning/making-a-forecast/hours-ahead/nowcasting).
Представленная
статья содержит краткое описание развернутой в мае 2016 г. в
Гидрометцентре России системы наукастинга осадков, функционирующей в режиме
реального времени на основе последовательностей радарных полей, поступающих из
Центральной аэрологической обсерватории (ЦАО) (https://meteoinfo.ru/nowcasting).
Вычислительной
основой является статистическая схема STEPS (Short-Term Ensemble Prediction System) [7], построенная на принципах мультипликативной каскадной турбулентной
модели, разработанной в 80-х годах прошлого века Лавджоем и Шерцером в
приложении к осадкам и облачности [13]. В рамках расчетного алгоритма схемы решаются последовательно
следующие задачи: формирование поля адвекции с помощью методов оптического
потока, построение каскадов Фурье-разложением исходных полей с использованием
полосового фильтра, воспроизведение эволюции во времени линейной моделью
авторегрессии.
Схема STEPS генерирует как детерминированные, так и
вероятностные прогнозы, при этом вероятностный прогноз строится на основе возмущений
начальный каскадов, но может быть построен и с помощью небольшого количества
лаговых серий прогнозов. В развернутой схеме вероятностные прогнозы
составляются по трем лаговым сериям в той же цикличности, что и оперативные
прогнозы, но в настоящее время размещаются только на вычислителе Гидрометцентра
России. Для имитации неопределенности радарных наблюдений используется датчик
случайных чисел заданной дисперсии, поэтому при повторных стартах от одной и
той же пары начальных полей серии незначительно отличаются друг от друга. Ввиду
этого схема STEPS является принципиально
стохастической моделью, однако ниже такие серии прогнозов будут для краткости
называться детерминированными.
В
статье приводятся оценки успешности детерминированных
прогнозов в теплое время года на 2 ч 30 мин с 10-минутной временной
детализацией. Из-за дефицита станционных наблюдений с высокой временной дискретностью
на данном этапе в качестве «эталонов» для верификации используются
исключительно поля радаров, являющие одновременно начальными полями для схемы STEPS. Для оценки результатов
наукастинга использованы рекомендации ВМО по точечной верификации
[8, 12] и методы пространственной верификации, позволяющие получать
информативные оценки полезности прогнозов с одновременным снижением опасности
«двойного штрафа» [9, 10]. Область верификации охватывает зоны обзора девяти
допплеровских радаров ДМРЛ-С на Европейской
территории России: Курск (RAKU), Тула (RATL),
Внуково (RAVN), Воейково (RAVO), Брянск (RUDB),
Кострома (RUDK), Смоленск (RUDL), Нижний Новгород (RUDN),
Валдай (RUWJ). Оценки
успешности прогнозов рассчитываются индивидуально для каждого радара.
Верификация результатов проведена с помощью библиотек языка R, включая тестовый
математический пакет пространственной верификации SpatialVx. Для визуализации полей
использован графический комплекс Grads.
1. Условия верификации
По периоду
верификации с 1 мая по 30 сентября 2017 года было составлено порядка 20 тысяч
прогнозов (из примерно 22 тысяч максимально возможных), выпускавшихся через
каждые 10 минут.
Область
радиолокационного обзора представляет собой круг, вписанный в квадрат размером
500×500 км, шаг исходной сетки равен 1 км, но шаг сетки
наукастинга примерно в два раза грубее при размерности прогностического поля,
равной 256×256.
Ввиду
значительного увеличения погрешности дистанционного зондирования при удалении
от радара на расстояние более полутора сотен километров, точечная верификация
ограничена квадратной областью со стороной около 120 км, что означает
снижение размерности поля до 126×126, или до 24 % точек общей
области.
Следует отметить,
что точечная оценка качества прогнозов в узлах сетки двухкилометрового
разрешения является очень строгой и не всегда оказывается показательной. На
практике чаще прибегают к интегральным характеристикам по пространству, получая
более благоприятные оценки качества «в среднем по полю», но теряют при этом
важные детали пространственных структур [8].
Пространственная
верификация проведена по полному полю в 256×256 точек.
Ввиду
особенностей статистического распределения 10-минутных сумм осадков, из
верификации исключаются те точки пар полей «прогноз-наблюдение», в которых
значения и прогностических, и наблюденных величин меньше 0,05 мм/ч. Если хотя бы в одной точке это
условие нарушается, пара не исключается. Выбор критического порога интенсивности
делает верификацию и ее результаты условными в статистическом смысле, при этом
объемы выборок сокращаются примерно до 10‒15 % от полного набора
наблюдений, превращая «оставшиеся осадки» в относительно редкое явление.
Следует иметь в виду, что условными оказываются и все статистические
характеристики с суммированием: средняя ошибка, средняя квадратическая ошибка,
коэффициент корреляции и т. д.
2. Использованные показатели точечной
верификации
Перечислим
статистические характеристики результатов наукастинга, разделив их условно на общие характеристики, непрерывные и
категоризованные показатели качества, приводя их
английские сокращения и названия, а также – при наличии – их русскоязычные
соответствия:
1) общие
статистические характеристики по всему периоду верификации (ACCU – накопленная сумма
осадков, AVER – среднее значение, MAX–максимальное значение);
2) показатели
качества для непрерывных предиктантов (ME
– средняя ошибка, RMSE – средняя
квадратическая ошибка, COR –
коэффициент корреляции);
3) показатели
качества для категоризованных предиктантов, рассчитываемые по таблицам
сопряженности (табл. 1):
PC = (a+d)/n – общая оправдываемость (Proportion Correct);
BIAS = (a+b)/(a+c) – смещение,
отношение повторяемостей, систематическая ошибка (Bias);
Н = a/(a+c) –доля
попаданий, предупрежденность явления (Hit Rate);
FAR = b/(a+b) –
отношение ложных тревог (False Alarm Ratio);
F = b/(b+d) – доля
ложных тревог (False Alarm Rate);
TS = a/(a+b+c) – оценка
угрозы, критический индекс успешности, индекс успешности (Threat Score);
ETS = GSS = (a–aref)/(a–aref +b+c) – беспристрастная оценка угрозы, критерий Гилберта,
критический индекс успешности относительно случайного попадания (Equitable Threat Score, Gilbert Skill Score), aref = (a+b)(a+c)/n;
PSS = H – F – критерий Пирса, критерий Пирса-Обухова Peirce Skill Score;
EDI = (logF – logH)/(logF + logH) – индекс экстремальной
зависимости (Extremal Dependence Index).
Общие
характеристики рассчитываются отдельно по полям прогнозов и по полям
наблюдений, остальные характеристики рассчитываются по парам полей прогноз ‒ наблюдение.
Для определения категоризованных предиктантов использованы шесть порогов,
нестрогое превышение которых выделяет категорию, или «явление»: 0,5, 1, 2, 4,
8, 12 мм/ч. В общей сложности, с учетом 15 прогностических
сроков (на 10, 20, …, 150 мин) и шести порогов
рассчитывается 1230 полей статистических характеристик и показателей качества
для каждого радара.
Для обобщенной
характеристики каждого поля рассчитываются суммарные
статистики:
min – минимальное значение;
q25 – квантиль 25 % (первый квартиль);
median – медиана (второй
квартиль);
mean – среднее арифметическое
значение;
q75 – квантиль 75 % (третий квартиль);
max – максимальное значение;
IQR – интерквартильный размах
(q75 – q25);
std – стандартное отклонение;
NA's
– количество точек поля с вырожденными значениями (inf, NaN);
valid – количество точек с
невырожденными значениями.
Таблица 1. Таблица сопряженности прогнозов и наблюдений явления, наличие
которого определено превышением порога thr (≥
thr), а
отсутствие ‒ неравенством < thr
Table 1. Contingency table for forecasting and observing the
event defined by
a threshold exceeding (≥ thr), and the absence of the event
defined
by the inequality (< thr)
|
|
Наблюдение |
Сумма |
||
|
≥ thr |
< thr |
|||
|
Прогноз |
≥ thr |
a |
b |
a+b |
|
< thr |
c |
d |
c+d |
|
|
Сумма |
a+c |
b+d |
n |
|
Примечание. Обозначения,
приведенные в таблице: а ‒
количество
соответствующих случаев верных прогнозов наличия явления; b
‒ количество соответствующих случаев верных прогнозов ложных тревог; с ‒ количество пропусков цели; d
‒ количество соответствующих случаев верных прогнозов отсутствия; n
‒ общее количество пар.
Так
как квартили выделяют четверти от общего количества точек поля, то они
оказываются простейшими пространственными характеристиками значений показателей
качества, что используется ниже для определения информативности наукастинга в
зависимости от заблаговременности и порога.
При расчете
некоторых показателей могут возникать вырожденные значения (деление на нуль или
логарифм нуля), что свидетельствует, в первую очередь, о недостаточном объеме
выборки для оценок качества указанным показателем. Однако пространственная
организация областей вырожденности может содержать дополнительную информацию,
например об ослаблении луча или о влиянии местных препятствий (“местников”).
2.1. Общие статистические
характеристики полей наблюдений
и прогнозов
Одним из
основных методов оценки качества радарных осадков является сравнение
накопленных осадков за длительные периоды времени с соответствующими суммами,
полученными наземными средствами наблюдений. В частности, суточные и
полусуточные радиолокационные и станционные суммы осадков служат для калибровки
ДМРЛ сети ЦАО
и для согласования текущих радарных данных с результатами наземных наблюдений
[4].
Так как 10-минутные радарные осадки выражены в
единицах к мм/ч, то результаты их суммирования по часам должны уменьшаться в
шесть раз, что необходимо учитывать при сопоставлении с фактическими величинами
сумм осадков таких характеристик, как ACCU, ME, RMSE.
Рассмотрим суммарные осадки по радарным
данным и по результатам работы системы наукастинга (рис. 1). Отчетливо видно
большое разнообразие полей сумм и по величине, и по структуре, при этом наличие
лучей и больших секторов с контрастными значениями свидетельствует о сильном
влиянии местников. Накопленные суммы радарных осадков можно сопоставить с
фактическими данными месячных и сезонных климатологических обзоров (например, http://meteoinfo.ru/climate).
Так, по Москве за пять месяцев (май-сентябрь) 2017 года суммы осадков составили 430 мм, что соответствует
430×6=2580 единиц палитры рис. 1. Как видно, соответствующие цвета
палитры окружают область вокруг Москвы и северо-западный сектор на центральной
панели (радар RAVN,
Внуково).
Что касается пространственной структуры,
то наличие больших зон помех сильно усложняет прогноз экстраполяцией для
радаров RUDN (Нижний
Новгород), RATL
(Тула) и RUDB
(Брянск). Помимо влияния местников, наблюдается эффект ослабления, при котором
проявляются кольцевые структуры с ослаблением к периферии интенсивности
осадков, как это заметно практически по всем радарам, но особенно по RUDK (Кострома) и RAVN (Внуково).
Рассмотрим рис. 2 с накопленной условной
суммой прогностических осадков для тех же радаров и для заблаговременности
10 мин. Отчетливо видно, что фильтр схемы STEPS сглаживает и отчасти устраняет дефекты
радарных наблюдений
Подтверждение содержится в таблицах
суммарных статистик (табл. 2) для синхронизованных полей, в которых красным
цветом отмечены выбросы в числовых значениях. Эти выбросы, которые в разной степени проявляются в данных радаров RAKU, RAVN,
RAVO, RUDK, RUDN, RUWJ, носят локализованный характер, так как
находятся за пределами третьего квартиля и, в частности, не критично влияют на
интерквартильный размах и на значения стандартного отклонения, кроме, возможно,
радара RAVN (Внуково).
Подозрительными кажутся и слишком малые
значения, которые выделены зеленым цветом: радары RAVN, RUDN. Во всех этих
случаях фильтр STEPS
действует робастно, малые значения завышая, а высокие занижая, при этом выбросы
попросту срезает. По значениям всех квантилей для прогностических полей можно
сделать вывод, что статистическая модель наблюдаемое количество осадков систематически занижает примерно на 15 мм, что для пяти теплых месяцев
является незначительной погрешностью.
|
|
Рис. 1. Накопленные суммы
радарных осадков (умноженные на 6) за период 01.05 ‒ 30.09.2017
по радарам, развернутым на Европейской территории России. Единица измерения –
[мм], градуировка палитры – [мм∙6]. Суммирование проводится по тем
срокам, по которым имеются синхронизованные прогнозы заблаговременностью 10 минут. Fig. 1. Accumulated precipitation (multiplied
by 6) for the 01.05 ‒ 30.09.2017 period obtained from radars
located on the European territory of Russia (ETR). The unit of measurement is
[mm], the calibration of palette is [mm∙6]. Sums are calculated over
date and time instants with synchronized 10 minutes forecasts present. |
|
|
Рис. 2.
Накопленные суммы прогностических осадков (умноженные на 6) за период 01.05 ‒ 30.09.2017,
полученных с помощью схемы STEPS для радаров на ЕТР. Единица
измерения – [мм], градуировка палитры – [мм∙6]. Суммирование проводится
по тем срокам, по которым имеются синхронизованные радарные наблюдения. Fig. 2. Accumulated nowcast precipitation
(multiplied by 6) for the 01.05 ‒ 30.07.2017 period, produced
by the STEPS scheme for radars on the ETR. The unit of measurement is [mm],
the calibration of palette is [mm∙6]. Sums are calculated over date and
time instants with synchronized radar observations present. |
Таблица 2. Суммарные характеристики полей полных сумм
осадков для синхронизованных радарных (OBS) и прогностических (SEQ) данных с заблаговременностью 10 мин
Table 2.
Summary characteristics of total accumulated precipitation fields for
synchronized radar (OBS) and 10-min projection
‒ data (SEQ)
|
|
min |
q25 |
med |
mean |
q75 |
max |
std |
|
RAKU, Курск |
|||||||
|
OBS |
703 |
1162 |
1317 |
1347 |
1510 |
7020 |
254 |
|
SEQ |
705 |
1034 |
1197 |
1280 |
1495 |
3140 |
339 |
|
RATL, Тула |
|||||||
|
OBS |
154 |
1091 |
1383 |
1298 |
1595 |
2560 |
424 |
|
SEQ |
301 |
960 |
1257 |
1240 |
1562 |
2263 |
388 |
|
RAVN, Внуково |
|||||||
|
OBS |
36 |
1504 |
1769 |
1766 |
2040 |
138059 |
1227 |
|
SEQ |
620 |
1423 |
1609 |
1644 |
1889 |
2802 |
396 |
|
RAVO, Воейково |
|||||||
|
OBS |
524 |
1241 |
1429 |
1436 |
1607 |
11576 |
334 |
|
SEQ |
841 |
1282 |
1400 |
1377 |
1498 |
2329 |
181 |
|
RUDB, Брянск |
|||||||
|
OBS |
439 |
1448 |
1667 |
1629 |
1853 |
2955 |
339 |
|
SEQ |
534 |
1393 |
1599 |
1564 |
1767 |
2847 |
313 |
|
RUDK, Кострома |
|||||||
|
OBS |
892 |
1740 |
1907 |
1948 |
2117 |
4830 |
310 |
|
SEQ |
1296 |
1678 |
1820 |
1852 |
1991 |
2657 |
235 |
|
RUDL, Смоленск |
|||||||
|
OBS |
1130 |
1513 |
1638 |
1666 |
1791 |
3007 |
213 |
|
SEQ |
1011 |
1399 |
1509 |
1552 |
1656 |
2377 |
237 |
|
RUDN, Нижний Новгород |
|||||||
|
OBS |
13 |
1583 |
1751 |
1683 |
1911 |
7104 |
433 |
|
SEQ |
93 |
1624 |
1763 |
1739 |
1933 |
2809 |
378 |
|
RUWJ, Валдай |
|||||||
|
OBS |
731 |
2112 |
2352 |
2317 |
2544 |
25105 |
406 |
|
SEQ |
1328 |
2021 |
2247 |
2218 |
2443 |
3225 |
326 |
Примечание. Красным цветом выделены
значения для радаров, в которых были обнаружены сильно завышенные величины –
«выбросы», зеленым – подозрительные минимальные значения.
Radar outlier values are colored red. Suspicious
minimum values are colored green.
2.2.
Непрерывные показатели качества
Продемонстрируем поля средней ошибки (МЕ)
и коэффициента корреляции (COR).
Средняя
ошибка (МЕ)
свидетельствует о систематическом отклонении прогностических значений, а величина
этой ошибки может
оцениваться в сравнении со средним значением (AVER, табл. 3) и с
климатологией интенсивности осадков в данном регионе. В табл. 3 приведены оценки
по полям средних за пять месяцев верификации. Можно видеть вполне
удовлетворительное сходство фактических и прогностических интегральных
характеристик двух полей, за исключением случаев выбросов и подозрительных
минимальных значений, что подтверждается количественно, если в качестве
ориентира допустимой систематической ошибки взять первый квартиль наблюдений,
который по всем радарам занимает интервал 0,6–1,0 мм/ч.
Таблица 3. Суммарные характеристики полей средних сумм
осадков для синхронизованных радарных (OBS) и прогностических (SEQ) данных с заблаговременностью 10 мин
Table 3.
Summary characteristics of mean precipitation fields for synchronized radar
(OBS) and 10-min projection ‒ data (SEQ)
|
|
min |
q25 |
med |
mean |
q75 |
max |
std |
|
RAKU, Курск |
|||||||
|
OBS |
0.6 |
0.9 |
1.0 |
1.02 |
1.1 |
4.8 |
0.14 |
|
SEQ |
0.6 |
0.8 |
0.9 |
0.96 |
1.1 |
1.9 |
0.17 |
|
RATL, Тула |
|||||||
|
OBS |
0.2 |
0.7 |
0.9 |
0.85 |
1.0 |
1.6 |
0.24 |
|
SEQ |
0.3 |
0.7 |
0.8 |
0.81 |
0.9 |
1.5 |
0.18 |
|
RAVN, Внуково |
|||||||
|
OBS |
0.0 |
0.7 |
0.8 |
0.80 |
0.9 |
38.4 |
0.37 |
|
SEQ |
0.3 |
0.7 |
0.7 |
0.74 |
0.8 |
1.1 |
0.14 |
|
RAVO, Воейково |
|||||||
|
OBS |
0.3 |
0.6 |
0.6 |
0.66 |
0.7 |
4.9 |
0.13 |
|
SEQ |
0.4 |
0.6 |
0.6 |
0.64 |
0.7 |
1.0 |
0.06 |
|
RUDB, Брянск |
|||||||
|
OBS |
0.4 |
1.0 |
1.1 |
1.08 |
1.2 |
2.0 |
0.19 |
|
SEQ |
0.5 |
0.9 |
1.0 |
1.03 |
1.1 |
1.8 |
0.15 |
|
RUDK, Кострома |
|||||||
|
OBS |
0.4 |
0.7 |
0.7 |
0.76 |
0.8 |
1.9 |
0.13 |
|
SEQ |
0.5 |
0.7 |
0.7 |
0.72 |
0.8 |
1.1 |
0.08 |
|
RUDL, Смоленск |
|||||||
|
OBS |
0.6 |
0.8 |
0.8 |
0.84 |
0.9 |
1.4 |
0.08 |
|
SEQ |
0.6 |
0.7 |
0.8 |
0.78 |
0.8 |
1.1 |
0.09 |
|
RUDN, Нижний Новгород |
|||||||
|
OBS |
0.0 |
0.7 |
0.7 |
0.71 |
0.8 |
2.7 |
0.17 |
|
SEQ |
0.1 |
0.7 |
0.8 |
0.74 |
0.8 |
1.1 |
0.13 |
|
RUWJ, Валдай |
|||||||
|
OBS |
0.3 |
0.8 |
0.9 |
0.86 |
0.9 |
9.0 |
0.13 |
|
SEQ |
0.6 |
0.7 |
0.8 |
0.82 |
0.9 |
1.2 |
0.11 |
Примечание. Красным цветом выделены
значения для радаров, в которых были обнаружены сильно завышенные величины –
«выбросы», зеленым –подозрительные минимальные значения.
Radar outlier values are colored red.
Suspicious minimum values are colored green.
Однако распределение фактических осадков в
таких пространственно-временных масштабах сильно асимметрично и
сконцентрировано в узком диапазоне значений, как это видно и по табл. 3, потому
понизим допустимую ошибку до 0,5 мм/ч. На рис. 3 поля средней ошибки при заблаговременности
10 мин состоят в основном из «допустимых» значений между
-0,5 и +0,5 мм/ч.
С ростом заблаговременности интенсивность
прогностических осадков начинает систематически снижаться по отношению к факту,
и к концу срока прогнозирования появляются обширные области значений за пределом
-0,5 мм/ч (радары RAVN, RUDB,
рис. 4).
Пространственное распределение связных
областей систематической ошибки одного знака может быть использовано как для
статистической коррекции схемы STEPS, так и для адаптации параметров оптического потока, с помощью
которого строится поле адвекции. На рис. 3 и 4 отчетливо обнаруживаются зоны
влияния местников и очаги положительной, и особенно отрицательной
систематической ошибки. Области положительной ошибки (коричневый цвет, как
правило, меньше 0,5 мм/ч) становятся более связными с ростом заблаговременности
и так же, как и
области отрицательных ошибок (между -1,0 и +0,5), формируются в определенной
географической зоне (RAVN – к северо-западу от координат радара, RUDB – к юго-западу от координат радара). При
этом отрицательные значения МЕ начинают массово появляться только для двух этих
радаров примерно после полутора часов
прогноза.
Коэффициент
корреляции (COR) не является информативным показателем
качества прогноза осадков, однако, как привычная и известная статистика, он используется для
предварительной оценки качества и для оценки «практической предсказуемости».
Так как ряды осадков в данной временной дискретности коррелированы,
воспользуемся эвристическими оценками эффективного количества степеней свободы.
Полная длина временного ряда составляет немногим более 22000 сроков,
при этом критический порог интенсивности (осадки менее 0,05 мм/ч
не учитываются) сокращает полную выборку примерно до
10‒15 %. Оценим объем промежуточной выборки в 2000‒3000
значений, откуда, учитывая типичное время эволюции зон осадков примерно
в 8 часов [1], получим наиболее осторожную оценку
количества «независимых наблюдений» в 250
значений. Доверительные пределы 95%-ного двустороннего критерия для
теоретической нулевой корреляции заключены в интервале 0,1–0,15 [2, табл.
4.5 в], который будем считать диапазоном критических значений COR.
На рис. 5 представлены поля показателя COR для
заблаговременности 10 мин. Видно, что все поля залиты в основном цветами
положительной корреляции со значениями от 0,10 до 0,80. Заметны такие
пространственные особенности, как кольцевые структуры (RUDK, RAVN, RUDB, RUDL, RATL) и даже снижение корреляции при приближении к радару (RUDK).
|
|
Рис. 3.
Средняя ошибка прогностических осадков заблаговременности 10 мин
за период 01.05 ‒ 30.09.2017 для радаров на
ЕТР. Единица измерения – [мм], градуировка палитры – [мм∙6]. Оценка
средней проводится по синхронизированным парам прогноз-наблюдение. Fig. 3. Mean error of precipitation forecasts 10 minutes
ahead for the 01.05 ‒ 30.07.2017 period for radars on the
ETR. The unit of measurement is [mm], the calibration of palette is
[mm∙6]. ME is calculated for synchronized forecast – observation pairs. |
|
|
Рис. 4.
Средняя ошибка прогностических осадков заблаговременности 150
мин за период 01.05 ‒ 30.09.2017 для радаров на
ЕТР. Единица измерения – [мм], градуировка палитры – [мм∙6]. Оценка
средней проводится по синхронизированным парам прогноз-наблюдения. Fig. 4. Mean error of precipitation forecasts
150 minutes ahead for the 01.05 ‒ 30.07.2017 period for
radars on the ETR. The unit of measurement is [mm], the calibration of palette
is [mm∙6]. ME is calculated for synchronized forecast – observation pairs. |
|
|
Рис. 5. Коэффициент
корреляции прогностических осадков заблаговременности 10 мин за период 01.05 ‒ 30.09.2017
для радаров на ЕТР. Fig. 5 Correlation coefficient of precipitation intensity
nowcasts 10 minutes ahead and corresponding radar observations |
|
|
Рис. 6. Коэффициент корреляции прогностических осадков заблаговременности
150 мин за период 01.05 ‒ 30.09.2017
для радаров на ЕТР. Fig. 6. Correlation coefficient of precipitation
intensity nowcasts 150 minutes ahead and corresponding radar observations for
the 01.05 ‒ 30.07.2017 period on the ETR. |
Начиная с некоторой
(разной для разных радаров) заблаговременности,
значения COR становятся отрицательными,
но не менее -0,1 (рис. 6). При этом увеличение областей отрицательных значений
происходит в некоторых географически локализованных зонах. Как видно на рис. 6, области положительных и
отрицательных значений для некоторых радаров оказываются связными,
географически локализованными и могут быть
использованы для коррекции результатов прогнозов схемы STEPS.
Табл. 4 дает представление о «потенциальной
информативности» системы наукастинга в виде общих характеристик распределения
показателя COR по полю. Зеленым цветом
выделяются значения COR≥ 0,1, розовым
цветом выделяются значения COR≥ 0,15.
Столбцы квантилей (q25, med, q75)
задают точную долю полной площади со значениями COR, превышающими заданный уровень.
Остальные статистические характеристики (min, mean,
max, IQR, std) дают важные дополнительные сведения о
распределении показателя по полю, например, интеквартильный размах показывает,
в каком диапазоне значений показателя COR
содержится половина всех точек поля.
Учитывая заблаговременности, получим оценки
потенциальной предсказуемости системы наукастинга по показателю COR в долях общей площади, содержащей данный уровень
значимой корреляции (табл. 5).
Таблица 4.
Суммарные характеристики полей коэффициента корреляции интенсивности осадков
для синхронизованных радарных и прогностических данных с заблаговременностью 10 мин. COR в диапазоне 0,1 (зеленый) ‒ 0.15 (розовый)
Table 4.
Summary characteristics of precipitation intensity correlation for synchronized
radar and 10 minutes forecast data. Critical COR levels are given in the range
of 0.1 (green) and 0.15 (pink)
|
Радар |
lead |
min |
q25 |
med |
mean |
q75 |
max |
IQR |
std |
|
RAKU |
010 |
-0.03 |
0.15 |
0.20 |
0.21 |
0.26 |
0.69 |
0.11 |
0.08 |
|
020 |
-0.04 |
0.11 |
0.15 |
0.16 |
0.20 |
0.51 |
0.09 |
0.07 |
|
|
030 |
-0.03 |
0.08 |
0.12 |
0.13 |
0.16 |
0.55 |
0.08 |
0.07 |
|
|
040 |
-0.03 |
0.06 |
0.09 |
0.10 |
0.13 |
0.52 |
0.07 |
0.06 |
|
|
050 |
-0.02 |
0.05 |
0.08 |
0.09 |
0.11 |
0.49 |
0.06 |
0.06 |
|
|
RATL |
010 |
0.01 |
0.20 |
0.26 |
0.26 |
0.32 |
0.80 |
0.12 |
0.09 |
|
020 |
0.00 |
0.15 |
0.20 |
0.21 |
0.26 |
0.87 |
0.11 |
0.08 |
|
|
030 |
0.00 |
0.12 |
0.16 |
0.17 |
0.22 |
0.84 |
0.10 |
0.08 |
|
|
040 |
-0.01 |
0.09 |
0.13 |
0.14 |
0.18 |
0.57 |
0.09 |
0.07 |
|
|
050 |
-0.02 |
0.07 |
0.11 |
0.12 |
0.16 |
0.54 |
0.09 |
0.07 |
|
|
060 |
-0.02 |
0.05 |
0.09 |
0.10 |
0.13 |
0.54 |
0.08 |
0.06 |
|
|
070 |
-0.02 |
0.04 |
0.07 |
0.08 |
0.11 |
0.43 |
0.07 |
0.05 |
|
|
080 |
-0.02 |
0.03 |
0.06 |
0.07 |
0.10 |
0.52 |
0.07 |
0.05 |
|
|
RAVN |
010 |
0.00 |
0.20 |
0.25 |
0.26 |
0.31 |
0.75 |
0.11 |
0.08 |
|
020 |
-0.02 |
0.15 |
0.20 |
0.21 |
0.25 |
0.70 |
0.10 |
0.07 |
|
|
030 |
-0.01 |
0.12 |
0.16 |
0.17 |
0.21 |
0.51 |
0.09 |
0.07 |
|
|
040 |
-0.01 |
0.10 |
0.14 |
0.14 |
0.18 |
0.53 |
0.08 |
0.06 |
|
|
050 |
-0.01 |
0.08 |
0.11 |
0.12 |
0.15 |
0.53 |
0.07 |
0.06 |
|
|
060 |
-0.03 |
0.06 |
0.09 |
0.10 |
0.13 |
0.44 |
0.07 |
0.05 |
|
|
070 |
-0.03 |
0.05 |
0.07 |
0.08 |
0.11 |
0.45 |
0.06 |
0.05 |
|
|
RAVO |
010 |
-0.02 |
0.22 |
0.28 |
0.28 |
0.34 |
0.79 |
0.12 |
0.09 |
|
020 |
-0.02 |
0.17 |
0.22 |
0.23 |
0.28 |
0.69 |
0.11 |
0.08 |
|
|
030 |
-0.01 |
0.14 |
0.19 |
0.19 |
0.24 |
0.54 |
0.10 |
0.07 |
|
|
040 |
-0.02 |
0.12 |
0.16 |
0.16 |
0.20 |
0.70 |
0.08 |
0.07 |
|
|
050 |
-0.01 |
0.10 |
0.14 |
0.14 |
0.18 |
0.54 |
0.08 |
0.06 |
|
|
060 |
-0.02 |
0.08 |
0.12 |
0.12 |
0.16 |
0.40 |
0.08 |
0.05 |
|
|
070 |
-0.02 |
0.07 |
0.10 |
0.11 |
0.14 |
0.52 |
0.07 |
0.05 |
|
|
080 |
-0.02 |
0.06 |
0.09 |
0.09 |
0.12 |
0.52 |
0.06 |
0.05 |
|
|
090 |
-0.02 |
0.05 |
0.07 |
0.08 |
0.11 |
0.46 |
0.06 |
0.05 |
|
|
100 |
-0.02 |
0.04 |
0.06 |
0.07 |
0.10 |
0.52 |
0.06 |
0.04 |
|
|
RUDB |
010 |
0.01 |
0.20 |
0.25 |
0.26 |
0.31 |
0.71 |
0.11 |
0.09 |
|
020 |
0.01 |
0.15 |
0.20 |
0.20 |
0.25 |
0.66 |
0.10 |
0.08 |
|
|
030 |
0.00 |
0.12 |
0.16 |
0.17 |
0.21 |
0.62 |
0.09 |
0.07 |
|
|
040 |
-0.01 |
0.10 |
0.13 |
0.14 |
0.18 |
0.75 |
0.08 |
0.06 |
|
|
050 |
-0.01 |
0.08 |
0.11 |
0.12 |
0.15 |
0.75 |
0.07 |
0.06 |
|
|
060 |
-0.01 |
0.06 |
0.09 |
0.10 |
0.13 |
0.60 |
0.07 |
0.05 |
|
|
070 |
-0.02 |
0.05 |
0.08 |
0.08 |
0.11 |
0.40 |
0.06 |
0.05 |
|
|
RUDK |
010 |
0.00 |
0.16 |
0.22 |
0.22 |
0.28 |
0.80 |
0.12 |
0.09 |
|
020 |
-0.01 |
0.12 |
0.17 |
0.18 |
0.23 |
0.66 |
0.11 |
0.08 |
|
|
030 |
0.00 |
0.10 |
0.14 |
0.15 |
0.19 |
0.50 |
0.09 |
0.07 |
|
|
040 |
-0.01 |
0.08 |
0.12 |
0.12 |
0.16 |
0.58 |
0.08 |
0.06 |
|
|
050 |
-0.01 |
0.06 |
0.10 |
0.10 |
0.14 |
0.49 |
0.08 |
0.05 |
|
|
060 |
-0.01 |
0.05 |
0.08 |
0.09 |
0.012 |
0.38 |
0.07 |
0.05 |
|
|
070 |
-0.01 |
0.04 |
0.07 |
0.07 |
0.10 |
0.37 |
0.06 |
0.04 |
|
|
RUDL |
010 |
0.01 |
0.21 |
0.26 |
0.27 |
0.32 |
0.64 |
0.11 |
0.08 |
|
020 |
0.02 |
0.17 |
0.22 |
0.22 |
0.27 |
0.55 |
0.10 |
0.07 |
|
|
030 |
0.02 |
0.14 |
0.18 |
0.19 |
0.23 |
0.58 |
0.09 |
0.07 |
|
|
040 |
0.01 |
0.11 |
0.15 |
0.16 |
0.20 |
0.65 |
0.09 |
0.06 |
|
|
050 |
0.00 |
0.09 |
0.13 |
0.14 |
0.17 |
0.45 |
0.08 |
0.06 |
|
|
060 |
0.00 |
0.07 |
0.11 |
0.12 |
0.15 |
0.38 |
0.08 |
0.05 |
|
|
070 |
0.00 |
0.06 |
0.09 |
0.10 |
0.13 |
0.39 |
0.07 |
0.05 |
|
|
080 |
-0.01 |
0.05 |
0.08 |
0.09 |
0.12 |
0.35 |
0.07 |
0.05 |
|
|
090 |
-0.02 |
0.04 |
0.07 |
0.08 |
0.10 |
0.39 |
0.06 |
0.05 |
|
|
RUDN |
010 |
-0.15 |
0.16 |
0.21 |
0.22 |
0.27 |
0.70 |
0.11 |
0.08 |
|
020 |
-0.11 |
0.13 |
0.17 |
0.17 |
0.22 |
0.59 |
0.09 |
0.07 |
|
|
030 |
-0.11 |
0.10 |
0.14 |
0.14 |
0.18 |
0.52 |
0.08 |
0.06 |
|
|
040 |
-0.09 |
0.08 |
0.12 |
0.12 |
0.15 |
0.54 |
0.07 |
0.05 |
|
|
050 |
-0.10 |
0.07 |
0.10 |
0.10 |
0.13 |
0.44 |
0.06 |
0.05 |
|
|
060 |
-0.10 |
0.06 |
0.08 |
0.09 |
0.11 |
0.39 |
0.05 |
0.05 |
|
|
070 |
-0.10 |
0.04 |
0.07 |
0.07 |
0.10 |
0.53 |
0.06 |
0.04 |
|
|
RUWJ |
010 |
0.00 |
0.22 |
0.27 |
0.27 |
0.32 |
0.63 |
0.10 |
0.08 |
|
020 |
0.00 |
0.18 |
0.22 |
0.22 |
0.26 |
0.56 |
0.08 |
0.06 |
|
|
030 |
-0.01 |
0.15 |
0.19 |
0.19 |
0.23 |
0.48 |
0.08 |
0.06 |
|
|
040 |
-0.01 |
0.13 |
0.16 |
0.16 |
0.20 |
0.49 |
0.07 |
0.05 |
|
|
050 |
-0.01 |
0.11 |
0.14 |
0.14 |
0.17 |
0.42 |
0.06 |
0.05 |
|
|
060 |
-0.01 |
0.09 |
0.12 |
0.12 |
0.15 |
0.39 |
0.06 |
0.05 |
|
|
070 |
-0.01 |
0.07 |
0.10 |
0.11 |
0.13 |
0.45 |
0.06 |
0.04 |
|
|
080 |
-0.01 |
0.06 |
0.09 |
0.09 |
0.11 |
0.42 |
0.05 |
0.04 |
|
|
090 |
0.00 |
0.05 |
0.07 |
0.08 |
0.10 |
0.44 |
0.05 |
0.04 |
Как видно в табл. 5, потенциальная
предсказуемость для разных радаров и для площадей не менее четверти от общей
площади верификации оказывается довольно разнообразной (от 10 до 100 минут).
Полученные результаты в общем подтверждают выводы метеослужбы Великобритании о
том, что метод статистической экстраполяции оказывается полезным для прогноза
осадков в летний период лишь на интервале до 1–2 часов (https://www.metoffice.gov.uk/learning/making-a-forecast/hours-ahead/nowcasting).
Таблица 5. Предел информативного прогноза системы
наукастинга (в десятках минут) и для заданной доли площади (в процентах) по
показателю COR
Table 5. Informative forecast limit of the nowcasting scheme
(in tens of minutes) and for the given area fraction (in %), based on COR
|
Радар |
Критический уровень показателя COR |
|||||
|
0.10 |
0.15 |
|||||
|
Доля площади, занимаемой значениями COR |
||||||
|
75% |
50% |
25% |
75% |
50% |
25% |
|
|
RAKU |
20 |
30 |
50 |
10 |
20 |
30 |
|
RATL |
30 |
50 |
80 |
20 |
30 |
50 |
|
RAVN |
40 |
50 |
70 |
20 |
30 |
50 |
|
RAVO |
50 |
70 |
100 |
20 |
40 |
60 |
|
RUDB |
40 |
50 |
70 |
20 |
30 |
40 |
|
RUDK |
30 |
50 |
70 |
10 |
20 |
40 |
|
RUDL |
40 |
60 |
90 |
20 |
40 |
60 |
|
RUDN |
30 |
50 |
70 |
10 |
20 |
30 |
|
RUWJ |
50 |
70 |
90 |
30 |
40 |
60 |
2.3. Категоризованные показатели
качества
В данном разделе приведены результаты оценок
качества с помощью показателей PSS (критерий Пирса-Обухова)
и EDI (индекс экстремальной зависимости)
для градации осадков не менее 4 мм/ч. Такая градация с вложенными в нее
более сильными интенсивностями оказалась статистически наиболее обеспеченной
для имеющегося архива данных верификации.
С помощью оценки доверительных интервалов для характеристик таблицы
сопряженности (например, [11]) и некоторых эвристических соображений,
примененных к таблицам сопряженностей для порога 4 мм/ч, в качестве критических уровней ненулевых значений взяты PSS = 0,1 и EDI = 0,3. В табл. 6 собраны
оценки информативного предела предсказуемости для этих двух показателей. Как
видно, на основе показателя PSS прогнозы категории ≥ 4 мм/ч с
качеством не менее 0,1 и по 75 % площади оказываются полезными при
заблаговременностях от 20 до 70 мин, по 50 % площади – от 40 до
90 мин, а по 25 % площади – от 80 до 120 мин.
Следует подчеркнуть, что данная граница, как и в случае показателя COR, является нижней и по выделенной территории имеются зоны с более высокими показателями
качества. Если использовать показатель EDI, то оценка
интервала полезного прогноза окажется ниже, что делает данный показатель более
строгим по сравнению с PSS: интервалы полезного прогноза составляют,
соответственно, 20‒50, 30‒70 и 60‒90 мин по площадям 75,
50 и 25 % от общей площади области верификации вокруг отдельного радара.
Таблица 6. Предел информативного прогноза системы
наукастинга (в десятках минут) и для заданной доли площади (в процентах) по
показателю PSS
и EDI для порога
4 мм/ч
Table 6. Informative
forecast limit of the nowcasting scheme (in tens of minutes) and for the given
area fraction (in %) based on PSS and EDI for 4 mm/h threshold
|
Радар |
Категоризованные показатели для порога 4 мм/ч |
|||||
|
PSS (0.1) |
EDI (0.3) |
|||||
|
Доля площади,
занимаемой значениями |
||||||
|
75% |
50% |
25% |
75% |
50% |
25% |
|
|
RAKU |
40 |
60 |
100 |
20 |
30 |
60 |
|
RATL |
40 |
60 |
90 |
30 |
50 |
80 |
|
RAVN |
40 |
60 |
80 |
40 |
50 |
70 |
|
RAVO |
40 |
60 |
100 |
20 |
50 |
90 |
|
RUDB |
70 |
90 |
120 |
50 |
70 |
90 |
|
RUDK |
30 |
50 |
80 |
30 |
40 |
70 |
|
RUDL |
40 |
70 |
100 |
30 |
60 |
90 |
|
RUDN |
20 |
40 |
80 |
20 |
30 |
60 |
|
RUWJ |
60 |
90 |
110 |
50 |
70 |
90 |
Из
расчетов видно, что статистически обеспеченной
оказывается категория ≥ 4 мм/ч, а более высокие пороги, прогноз
превышения которых имеет особое значение для предупреждений об опасных
явлениях, таковыми не являются. Как известно, показатель Пирса-Обухова при уменьшающейся
повторяемости явления стремится к доле попаданий (Н), в то время как индекс
экстремальной зависимости при довольно общих предположениях стабилизируется на
некотором ненулевом уровне [6]. При недостаточных объемах выборок в таблицах
сопряженностей для высоких порогов (например, 8 и 12 мм/ч) возникают
вырожденные (нулевые) ячейки, отчего PSS стремится к H, а EDI становится невычислимым.
Вышеупомянутые эффекты и дефекты связаны со строгостью и ограниченностью
точечной верификации и могут быть преодолены с помощью методов пространственной
верификации, позволяющих выделять
пространственные масштабы сетки, для которых прогноз может считаться наиболее
полезным. Для этих целей рекомендуется, например, показатель окрестной
верификации FSS (fractions skill score), который
можно назвать «критерием пространственных долей» и который является обобщением
известного критерия Брайера в вероятностных прогнозах [8].
2.4.
Выводы по результатам точечной верификации наукастинга осадков
Проведенные точечные оценки позволяют сделать несколько выводов.
Во-первых, существует проблема качества радиолокационных данных,
особенно из-за наличия местников, критически влияющих на точечные оценки.
Однако валидация этих данных с помощью станционных наблюдений в сопоставимых
пространственно-временных масштабах в настоящее время затруднительна из-за
дефицита таких наблюдений.
Во-вторых, оцененная информативность прогнозов для большинства
локаторов составляет в среднем около одного часа или чуть больше, при этом
статистически значимые характеристики качества относятся к интенсивностям
осадков не выше, чем ≥ 4 мм/ч. Для оценок качества прогнозов
экстремальных значений, например выше 8 или 12 мм/ч, требуются другие
объемы выборок и иные методы верификации.
Наконец, в-третьих, некоторые обнаруженные недостатки прогнозов носят
систематический характер и могут быть устранены методами статистической
коррекции.
3. Пространственная верификация
Современные методы пространственной
верификации были разработаны для преодоления так называемого «двойного штрафа»
(double penalty), к которому приводили стандартные оценки
качества не очень точных, но полезных прогнозов пространственных объектов
(«типов», «элементов», «особенностей») «за наблюденное, но не предсказанное, и
за предсказанное, но не наблюденное» [10, гл. 6]. Несправедливость двойного
наказания стала особенно заметной при увеличении пространственного разрешения в
численных моделях, когда более грубая модель, не способная предсказывать
«объект» внутри ячейки своей сетки, штрафовалась лишь единожды – «за
наблюденное, но не предсказанное».
В
данной статье представлены результаты применения программного комплекса SpatialVx, разработанного Э. Гиллеландом (США) и
пока еще находящегося в стадии тестирования (https://cran.r-project.org/
web/packages/SpatialVx/SpatialVx.pdf). Здесь использованы те модули комплекса, которые
достаточно просты и уже проверены заинтересованным сообществом исследователей,
в частности «объектно-ориентированный» модуль SpatialVx.craer, уже апробированный в нескольких системах
верификации, например в METMODE (NCAR RAL,
США) и в CRA
([9], Австралия).
Подчеркнем, что ввиду экспериментальности
комплекса SpatialVx и недостаточной практики работы с многочисленными настроечными
параметрами комплекса, представленные результаты пространственной верификации
являются предварительными.
Вначале определяются ключевые параметры
настройки комплекса SpatialVx. Для выделения «объектов» задается порог интенсивности, который
очерчивает области достаточной связности (желательно с небольшим количеством
внутренних дыр). Так как в мелкой сетке радарного поля области осадков
представляют собой образования чрезвычайной пространственной изменчивости с
фрактальными границами, то для выделения
разумных границ требуется дополнительная процедура сглаживания. Сглаживание
производится «параметром конволюции», равным количеству точек сетки, составляющих радиус осреднения. В
полях осадков существует, как правило, множество мелких связных областей,
автоматически идентифицируемых как «объекты верификации», но сильно затрудняющих
и расчеты, и интерпретацию результатов. Чтобы избежать чрезмерного обилия
объектов, вводятся параметры, ограничивающие количество внутренних точек
выделяемой области связности. Здесь заданы следующие параметры: порог –
1 мм/ч, радиус конволюции – 9 точек (эквивалент 18 км), минимальный
размер – 1225 точек (эквивалент квадрата 35×35 или 70×70 км).
Иногда полезно задать максимальный размер, например в четверть общей области.
После идентификации
«объектов» в поле наблюдения и в поле прогноза производится их «спаривание» и
рассчитываются следующие статистические характеристики: координаты
горизонтального сдвига по х и y (x_shift, y_shift), полный средний квадрат ошибки (MSE.total) и его разложения на составляющие по сдвигу (MSE.shift), расположению (MSE.displacement), объему (MSE.volume)
и форме (MSE.pattern). Точные определения этих характеристик
даны в статье [9].
Ниже рассмотрим в основном характеристики сдвига, означающего
такое перемещение прогностического объекта (как твердого плоского тела) в
сторону наблюдаемого объекта (с возможным вращением), которое минимизирует
некоторый функционал качества совмещения (как правило, сумму квадратов
разностей).
Перемещение производится по вектору между «центрами тяжести» двух
объектов (центроидами), поэтому значения смещений по долготе и широте имеют
вещественный вид большей точности, чем целые единицы размерности сетки. А так
как вращение сопоставляет главные оси приближаемых эллипсов, то суммарный
квадрат ошибки после смещения может вырасти, делая знак MSE.displacement отрицательным и тем самым отчасти нарушая
общую оптимальность смещения в угоду лучшего совпадения форм.
Для
определения «допустимых ошибок» в горизонтальном сдвиге приходится также
прибегать к некоторой эвристике. Воспользуемся для этого площадью пересечения
двух объектов: чем меньше эта площадь, тем больше ошибка. Представив объекты в
виде кругов или квадратов, можно оценить критическое пересечение некоторой
линейной мерой смещения, например, совпадающей с типичным размером объекта.
Тогда при минимальном размере объекта в 70×70 км критическим уровнем
ошибки окажется столько единиц смещения по отдельным осям, корень квадратный из
суммы квадратов которых окажется равным примерно 35 единицам.
Рассмотрим
результаты анализа одной ситуации (case study)
и предложим метод суммарной оценки качества прогноза объектов по набору
ситуаций и по непрерывному периоду времени.
3.1. Анализ отдельного случая
Ураган
29 мая 2017 года в Москве предоставил богатый материал для анализа как
развивающихся процессов, так и полученных полей наукастинга осадков, хотя
ключевым метеорологическим параметром в этот день был порывистый ветер с
рекордными скоростями.
На
рис. 7 демонстрируются поля интенсивности осадков по наблюдениям радара Внуково
(RAVN) начиная с 15:40 (а, в) и по результатам прогноза схемой STEPS
на сроки 10 и 40 мин (б, г). В нижней части рисунка прилагается
результат идентификации и спаривания объектов, полученный программой SpatialVx (д).
Прежде всего
заметно, что прогностические поля более сглажены
благодаря пространственной фильтрации в схеме STEPS. Затем по радарным полям
можно оценить, что в течение 40 мин погодная система перемещается на
восток, примерно на 50 км, в то время как прогностическое поле смещается в
том же направлении, но на
меньшее расстояние. Наконец, заметно различие в
отдельных областях эволюции интенсивности осадков. Так, в наблюдениях уже в
начале прогностического срока севернее Клина вплоть до Твери формируется полоса
сильных осадков, примерно через полчаса идентифицируемая пакетом SpatialVx как новый объект (д), но который никакая статистическая интерполяция воспроизвести не
может. Хорошо также видно, насколько объекты, выделяемые
SpatialVx, схематичнее и грубее соответствующих
областей в радарных и прогностических полях.
В табл. 7
приводятся соответствующие объектно-ориентированные оценки качества для всех
заблаговременностей (ilead). Повтор заблаговременности
означает наличие дополнительной пары спаренных объектов. Если исключить вариант ложного согласования
объектов на первых 10 минутах (сдвиги -39.30 и -55.22), то по сдвигам можно считать вполне удовлетворительным
прогнозирование выделенных объектов сроком до 50 минут. Далее начинает
расти ошибка положения по долготе (x_shift), полный средний квадрат
ошибки (MSE.total), ошибки по объему и
форме (MSE.volume, MSE.pattern). При этом систематически
снижается ошибка по широте (y_shift).
|
а) |
б) |
|
|
|
|
|
|
Рис. 7. Поля осадков по радару RAVN (Внуково) за сроки 2017.05.29_15.40 и 16.10
(а, в), синхронизованные поля наукастинга с помощью схемы STEPS на 10 и 40 мин (б, г) и выделенные пакетом SpatialVx «объекты» в соответствующих
полях за 16:10 и 40 мин заблаговременности (д). Границы объектов проведены на
основе изолинии 1 мм/ч, радиус пространственного осреднения равен 9 единиц
сетки, минимальный размер объектов равен 35×35 точек. Одинаковым цветом
обозначены пары спаренных полей, по которым рассчитываются характеристики
объектно-ориентированной верификации.
Fig. 7. Precipitation fields from RAVN
radar (Vnukovo) at 2017.05.29_15.40 and 16.10
(а, в), synchronized nowcasting fields generated by the STEPS scheme at 10
and 40 minutes lead-time (б, г) and “objects” identified by SpatialVx package in corresponding fields
at 16:10 and 40 minutes lead-time (д). Object boarders are defined by the 1 mm/h isoline, the convolution
radius equals 9 grid units, minimum size is defined by 35×35 points.
Paired fields for which object-oriented statistics are calculated have the same
color.
Таблица 7. Результаты применения пакета SpatialVx для объектно-ориентированной верификации наукастинга
2017.05.29_15.30 на 2.5 часа по области обзора радара RAVN (Внуково)
Table 7. Numerical output
of the SpatialVx package for object-oriented verification
of the 2017.05.29_15.30 nowcasts for 2.5 hours period in the RAVN radar
coverage area (Vnukovo)
|
ilead |
x_shift |
y_shift |
MSE.total |
MSE.shift |
MSE.displ |
MSE.vol |
MSE.pattn |
|
1 |
12.51 |
17.39 |
3.0968 |
2.8209 |
0.2759 |
0.0072 |
2.8137 |
|
1 |
-39.30 |
-55.22 |
1.1544 |
0.8879 |
0.2665 |
0.0008 |
0.8872 |
|
2 |
2.58 |
-5.63 |
6.3732 |
6.5008 |
-0.1277 |
0.0184 |
6.4824 |
|
3 |
14.96 |
23.63 |
2.4008 |
1.9987 |
0.4021 |
0.0078 |
1.9909 |
|
4 |
15.39 |
22.79 |
2.2373 |
1.9819 |
0.2554 |
0.0090 |
1.9729 |
|
4 |
-9.78 |
-30.76 |
9.8393 |
9.2537 |
0.5857 |
0.0001 |
9.2536 |
|
5 |
21.99 |
-15.58 |
10.3552 |
10.9114 |
-0.5562 |
0.0172 |
10.8942 |
|
6 |
45.85 |
-27.76 |
11.1895 |
11.5672 |
-0.3776 |
0.0440 |
11.5232 |
|
7 |
41.48 |
-22.83 |
9.9160 |
9.7379 |
0.1781 |
0.0779 |
9.6600 |
|
8 |
69.05 |
-36.51 |
8.2263 |
7.7454 |
0.4809 |
0.1448 |
7.6006 |
|
9 |
76.12 |
-30.70 |
8.1989 |
7.0923 |
1.1066 |
0.1608 |
6.9315 |
|
10 |
73.31 |
-18.60 |
8.6644 |
7.6121 |
1.0524 |
0.1277 |
7.4844 |
|
11 |
76.14 |
-15.63 |
8.7054 |
10.9510 |
-2.2457 |
0.2273 |
10.7237 |
|
12 |
77.82 |
-15.09 |
8.9470 |
25.9090 |
-16.9620 |
0.5888 |
25.3202 |
|
13 |
79.11 |
-11.81 |
8.2814 |
14.8719 |
-6.5905 |
0.3390 |
14.5329 |
|
14 |
78.64 |
8.95 |
8.1216 |
14.3965 |
-6.2749 |
0.3734 |
14.0231 |
|
15 |
100.43 |
1.24 |
8.5237 |
19.6665 |
-11.1428 |
0.7572 |
18.9093 |
Примечание. Обозначения, приведенные в таблице: ilead – заблаговременность (десятки минут),
совпадающие значения относятся к разным парам объектов; x_shift, y_shift – сдвиг по
долготам и широтам, MSE.total ‒ полный средний квадрат ошибки, MSE.shift ‒ составляющая по сдвигу, MSE.displacement
составляющая по расположению, MSE.volume – составляющая по объему, MSE.pattern - составляющая по
форме. Сдвиги – в единицах сетки (1 ед=2 км), квадрат ошибки и составляющие – в
[мм/ч]2.
3.2. Суммарный анализ
смещения прогностических объектов по наборам выделенных ситуаций
Суммарные
оценки результатов объектно-ориентированной верификации проведены по 166
ситуациям с большими областями интенсивных осадков
за период май-июль 2017 года. Такие оценки, аналогичные одноименным статистикам
точечной верификации, дают представление о количестве пар соответствующих объектов,
удовлетворяющих тем или иным диапазонам значений критерия качества. Напомним,
критерием качества служит эвристическое определение полезного прогноза через
линейную меру смещения (п. 3.1).
Для экономии
места ограничим заблаговременность одним часом. По значениям характеристик
табл. 8 и 9 можно сделать несколько содержательных выводов, относящихся явно к
качеству наукастинга с помощью схемы STEPS, и неявно – к
особенностям тестового пакета SpatialVx при спаривании объектов и
расчете ошибок расположения.
Таблица 8. Суммарные
характеристики сдвига по долготе объектов (x_shift), выделенных с
помощью SpatialVx. В скобках около индексов радаров указано количество прогнозов внутри
отмеченных ситуаций. Суммарные характеристики описаны в разделе 2
Table 8. Summary characteristics of the longitudinal shift
of objects (x_shift) identified by SpatialVx. Forecast number inside selected
situations is in brackets near radar IDs. Summary characteristics are in
chapter 2
|
Радар |
ilead |
min |
q25 |
med |
mean |
q75 |
max |
|
RAKU(14) |
1 |
-15.280 |
-7.620 |
-2.680 |
-0.609 |
3.990 |
16.730 |
|
2 |
-23.480 |
-9.408 |
-2.505 |
-1.519 |
5.140 |
18.240 |
|
|
3 |
-25.920 |
-9.505 |
-5.345 |
-3.125 |
0.588 |
30.640 |
|
|
4 |
-33.920 |
-9.970 |
-0.940 |
-0.467 |
6.923 |
32.660 |
|
|
5 |
-50.030 |
-17.730 |
-5.530 |
-6.011 |
7.145 |
32.350 |
|
|
6 |
-43.530 |
-19.230 |
-4.490 |
-1.933 |
18.115 |
30.640 |
|
|
RATL(16) |
1 |
-11.900 |
-0.790 |
1.690 |
1.320 |
4.795 |
9.670 |
|
2 |
-13.140 |
-1.395 |
2.560 |
4.016 |
9.245 |
35.600 |
|
|
3 |
-19.340 |
-3.713 |
0.290 |
0.387 |
7.072 |
10.800 |
|
|
4 |
-20.900 |
-11.015 |
-0.040 |
-2.928 |
4.312 |
11.060 |
|
|
5 |
-32.280 |
-14.027 |
-0.960 |
-2.524 |
9.157 |
20.550 |
|
|
6 |
-46.520 |
-14.072 |
-1.040 |
-3.085 |
7.465 |
23.910 |
|
|
RAVN(20) |
1 |
-17.790 |
-5.652 |
-1.890 |
-1.479 |
2.720 |
16.970 |
|
2 |
-20.260 |
-6.620 |
-2.235 |
-0.933 |
2.623 |
36.950 |
|
|
3 |
-21.870 |
-3.623 |
-1.165 |
0.418 |
7.462 |
30.540 |
|
|
4 |
-32.460 |
-8.592 |
-0.845 |
-2.917 |
1.445 |
29.590 |
|
|
5 |
-32.050 |
-10.977 |
-2.200 |
-1.934 |
7.008 |
29.330 |
|
|
6 |
-38.140 |
-21.660 |
-5.350 |
-5.637 |
6.595 |
27.340 |
|
|
RAVO(13) |
1 |
-16.230 |
-8.510 |
-3.230 |
-3.863 |
0.290 |
6.600 |
|
2 |
-20.160 |
-4.500 |
-2.490 |
-2.858 |
1.410 |
8.300 |
|
|
3 |
-26.980 |
-5.000 |
-3.770 |
-3.551 |
1.020 |
8.980 |
|
|
4 |
-27.310 |
-8.250 |
-6.030 |
-4.469 |
1.550 |
9.420 |
|
|
5 |
-36.330 |
-10.350 |
-6.790 |
-8.233 |
3.620 |
7.390 |
|
|
6 |
-57.870 |
-10.090 |
-6.820 |
-5.068 |
5.060 |
46.940 |
|
|
RUDB(23) |
1 |
-13.400 |
-2.223 |
4.645 |
6.532 |
13.878 |
29.350 |
|
2 |
-15.450 |
-5.940 |
5.090 |
7.085 |
17.490 |
38.960 |
|
|
3 |
-15.970 |
-4.567 |
4.255 |
6.739 |
19.137 |
31.860 |
|
|
4 |
-16.020 |
-5.380 |
5.990 |
5.894 |
18.810 |
33.410 |
|
|
5 |
-17.370 |
-1.450 |
9.115 |
8.298 |
19.590 |
30.600 |
|
|
6 |
-17.500 |
-4.950 |
8.595 |
7.341 |
17.848 |
34.060 |
|
|
RUDK(19) |
1 |
-29.870 |
-1.130 |
0.470 |
2.206 |
9.217 |
39.390 |
|
2 |
-34.580 |
-2.530 |
2.465 |
1.197 |
10.520 |
23.170 |
|
|
3 |
-23.870 |
-2.915 |
3.055 |
3.016 |
11.697 |
25.670 |
|
|
4 |
-26.530 |
-4.120 |
4.165 |
2.662 |
11.652 |
31.410 |
|
|
5 |
-23.920 |
-3.980 |
3.290 |
2.348 |
10.010 |
35.720 |
|
|
6 |
-31.950 |
-0.570 |
4.090 |
4.164 |
11.400 |
37.150 |
|
|
RUDL(18) |
1 |
-25.320 |
-11.235 |
0.845 |
-1.585 |
7.787 |
14.130 |
|
2 |
-26.220 |
-10.102 |
1.460 |
-0.729 |
8.322 |
19.670 |
|
|
3 |
-16.860 |
-2.215 |
0.720 |
4.290 |
12.235 |
38.430 |
|
|
4 |
-17.280 |
-4.335 |
0.485 |
4.185 |
12.410 |
38.870 |
|
|
5 |
-20.200 |
-5.190 |
-2.300 |
1.548 |
11.367 |
32.300 |
|
|
6 |
-24.860 |
-7.555 |
-4.195 |
-0.507 |
10.568 |
29.750 |
|
|
RUDN(19) |
1 |
-23.370 |
-10.170 |
2.160 |
-0.535 |
8.410 |
14.470 |
|
2 |
-21.800 |
-10.723 |
-0.825 |
0.095 |
10.163 |
32.090 |
|
|
3 |
-19.700 |
-9.580 |
-1.820 |
-0.821 |
4.950 |
24.320 |
|
|
4 |
-18.430 |
-10.280 |
4.390 |
3.066 |
9.830 |
57.310 |
|
|
5 |
-22.580 |
-5.842 |
2.985 |
4.917 |
11.332 |
58.510 |
|
|
6 |
-35.680 |
-6.595 |
3.915 |
6.768 |
21.810 |
64.090 |
|
|
RUWJ(24) |
1 |
-13.950 |
-4.720 |
-0.500 |
0.969 |
4.930 |
22.880 |
|
2 |
-17.220 |
-8.370 |
-0.900 |
0.908 |
5.590 |
28.970 |
|
|
3 |
-22.360 |
-9.760 |
0.220 |
2.218 |
7.720 |
47.030 |
|
|
4 |
-23.380 |
-6.660 |
-3.480 |
1.182 |
6.220 |
51.890 |
|
|
5 |
-25.530 |
-9.330 |
-2.205 |
0.019 |
6.555 |
35.580 |
|
|
6 |
-32.770 |
-13.308 |
-3.940 |
-0.658 |
10.255 |
37.960 |
Таблица 9. Суммарные
характеристики сдвига по широте объектов (y_shift), выделенных с
помощью SpatialVx. Суммарные характеристики описаны в разделе 2
Table 9. Summary characteristics of the latitudinal shift
of objects (y_shift) identified by SpatialVx. Summary characteristics are in
chapter 2
|
Радар |
ilead |
min |
q25 |
med |
mean |
q75 |
max |
|
RAKU(14) |
1 |
-11.660 |
-5.530 |
1.090 |
2.127 |
10.910 |
18.650 |
|
2 |
-8.280 |
-2.113 |
0.420 |
4.237 |
7.397 |
24.520 |
|
|
3 |
-17.700 |
-3.618 |
0.555 |
4.241 |
13.570 |
27.110 |
|
|
4 |
-22.410 |
-5.715 |
-0.300 |
1.494 |
6.180 |
23.810 |
|
|
5 |
-26.740 |
-4.260 |
4.980 |
5.939 |
17.657 |
34.460 |
|
|
6 |
-29.950 |
-0.180 |
7.200 |
7.491 |
17.800 |
39.580 |
|
|
RATL(16) |
1 |
-8.780 |
-1.715 |
2.740 |
3.173 |
8.640 |
15.450 |
|
2 |
-9.540 |
-1.475 |
3.920 |
3.065 |
8.700 |
12.590 |
|
|
3 |
-12.460 |
-1.560 |
6.260 |
3.842 |
9.013 |
18.590 |
|
|
4 |
-14.470 |
-3.268 |
8.210 |
5.179 |
13.540 |
17.750 |
|
|
5 |
-14.980 |
-1.228 |
9.575 |
6.199 |
13.728 |
29.200 |
|
|
6 |
-17.380 |
0.072 |
6.195 |
5.195 |
11.762 |
29.570 |
|
|
RAVN(20) |
1 |
-21.640 |
-0.263 |
4.430 |
5.831 |
8.375 |
31.480 |
|
2 |
-22.230 |
-0.557 |
5.520 |
6.826 |
9.737 |
37.370 |
|
|
3 |
-19.750 |
-1.875 |
4.215 |
7.121 |
13.367 |
47.800 |
|
|
4 |
-17.600 |
-2.608 |
3.360 |
7.212 |
12.335 |
54.510 |
|
|
5 |
-19.580 |
-1.625 |
3.390 |
8.736 |
22.145 |
55.360 |
|
|
6 |
-30.470 |
-3.508 |
4.555 |
7.888 |
19.242 |
55.900 |
|
|
RAVO(13) |
1 |
-11.820 |
-5.210 |
-2.120 |
-0.921 |
3.450 |
12.930 |
|
2 |
-11.460 |
-3.610 |
-3.610 |
-1.014 |
3.090 |
19.600 |
|
|
3 |
-15.280 |
-8.430 |
-3.490 |
-0.217 |
5.860 |
15.320 |
|
|
4 |
-16.190 |
-6.290 |
-0.570 |
0.502 |
5.410 |
20.150 |
|
|
5 |
-16.450 |
-5.960 |
-3.700 |
0.072 |
5.840 |
27.780 |
|
|
6 |
-37.850 |
-4.170 |
1.940 |
1.053 |
4.560 |
36.760 |
|
|
RUDB(23) |
1 |
-34.540 |
2.295 |
8.065 |
7.355 |
14.660 |
28.280 |
|
2 |
-43.050 |
5.080 |
9.560 |
8.557 |
14.600 |
35.420 |
|
|
3 |
-35.230 |
5.088 |
9.305 |
9.914 |
15.150 |
40.190 |
|
|
4 |
-8.440 |
4.080 |
10.730 |
12.216 |
18.300 |
39.480 |
|
|
5 |
-39.890 |
4.095 |
10.580 |
11.185 |
18.502 |
44.650 |
|
|
6 |
-12.180 |
6.460 |
9.700 |
13.438 |
19.810 |
50.660 |
|
|
RUDK(19) |
1 |
-25.310 |
-3.333 |
2.260 |
6.082 |
13.647 |
58.160 |
|
2 |
-23.690 |
-0.045 |
4.975 |
6.619 |
14.295 |
66.490 |
|
|
3 |
-53.010 |
-0.363 |
1.770 |
5.979 |
15.488 |
65.290 |
|
|
4 |
-48.700 |
-2.853 |
3.550 |
5.580 |
13.730 |
59.030 |
|
|
5 |
-50.930 |
-1.200 |
3.340 |
4.821 |
15.180 |
59.310 |
|
|
6 |
-57.940 |
-0.930 |
2.920 |
6.497 |
23.410 |
60.940 |
|
|
RUDL(18) |
1 |
-75.280 |
-2.917 |
4.795 |
-0.279 |
11.938 |
29.360 |
|
2 |
-63.560 |
-1.965 |
9.075 |
1.560 |
14.288 |
17.790 |
|
|
3 |
-76.250 |
-0.105 |
10.490 |
4.770 |
16.455 |
45.000 |
|
|
4 |
-63.290 |
-5.003 |
10.810 |
4.438 |
16.305 |
47.330 |
|
|
5 |
-22.370 |
-2.522 |
12.165 |
9.516 |
17.843 |
42.200 |
|
|
6 |
-49.310 |
-7.750 |
13.040 |
3.865 |
19.515 |
33.900 |
|
|
RUDN(19) |
1 |
-20.580 |
-5.535 |
-0.525 |
-0.689 |
6.450 |
22.150 |
|
2 |
-20.160 |
-4.173 |
1.565 |
3.289 |
10.640 |
30.000 |
|
|
3 |
-24.740 |
-2.320 |
0.290 |
4.072 |
13.940 |
31.980 |
|
|
4 |
-16.890 |
-3.670 |
-0.120 |
2.678 |
8.860 |
32.770 |
|
|
5 |
-18.760 |
-2.735 |
2.160 |
3.586 |
11.630 |
30.920 |
|
|
6 |
-37.300 |
-12.465 |
-0.005 |
0.265 |
11.710 |
48.870 |
|
|
RUWJ(24) |
1 |
-36.750 |
1.240 |
3.610 |
5.100 |
11.250 |
25.510 |
|
2 |
-40.050 |
0.140 |
4.590 |
6.656 |
14.470 |
29.970 |
|
|
3 |
-38.360 |
0.730 |
8.900 |
9.473 |
22.140 |
35.090 |
|
|
4 |
-17.510 |
0.420 |
10.320 |
9.816 |
16.120 |
40.860 |
|
|
5 |
-18.860 |
-1.010 |
9.095 |
9.946 |
15.887 |
49.760 |
|
|
6 |
-21.160 |
-1.365 |
7.620 |
9.726 |
16.887 |
55.990 |
Во-первых, по
знакам и величинам медианы и средней можно судить о симметричности или
асимметричности распределения и о преимущественном знаке соответствующего
сдвига, характеризующем систематику прогноза объектов данного масштаба.
Симметрия дополнительно подтверждается значениями экстремумов и двух квартилей.
Так, например, для радара RAKU (Курск) систематический
сдвиг по широте (y_shift) в основном положителен и
составляет величину порядка 10 км (на север), а по долготе (x_shift)
– в основном отрицателен и составляет величину порядка 5 км (на запад).
Сдвиг на север характерен для всех радаров, если судить по значениям и знакам
средней (mean). Сдвиг по широте более разнообразен и иногда
меняет знак с ростом заблаговременности, как, например, в случае RATL
(Тула) и RUDL (Смоленск).
Во-вторых, экстремальные значения (min и max) свидетельствуют о максимальных ошибках,
которые на часовом прогностическом интервале могут достигать 100 и более
километров. Однако многие из таких ошибок вызваны особенностями пакета SpatialVx в указании пар соответствующих объектов,
как это имело место при анализе случая урагана в Москве 29 мая 2017 года. Иногда ошибки
порождаются геометрическими свойствами объектов, например, большой
протяженностью или сильной искривленностью, которые, как отмечалось выше,
затрудняют оптимальное смещение прогностического объекта со снижением среднего
квадрата ошибки (MSE.shift).
Очевидно, такие случаи необходимо выделять и анализировать на основе
последовательных карт.
В-третьих, значения почти всех квартилей
таковы, что результирующее смещение не превышает 35 единиц, т. е.
удовлетворяет выбранному выше критерию информативного прогноза объектов. А это
значит, что не менее половины объектов установленного размера (не менее
35×35 точек сетки) прогнозируются в течение часа (на самом деле ‒
до полутора часов) без потери пересечения, если предполагать формы объектов в
основном выпуклыми и обладающими в приближении эллипсами с небольшим
эксцентриситетом. Впрочем, именно такое свойство объектов учитывалась при
визуальном отборе ситуаций.
3.3. Суммарный анализ
смещения прогностических объектов по непрерывному периоду времени
Небольшое
количество предварительных программных условий и соответствующее определение
настроечных параметров SpatialVx позволяют организовать
расчет оценок пространственной верификации в потоке по любому периоду
составления прогнозов без выделения особых ситуаций. Очевидно, в таком случае
оценки будут относиться к периоду времени, а не к конкретным погодным
процессам.
Рассмотрим
в этой связи ситуацию с ураганом 29 мая и приведем результаты анализа всех
прогнозов между 14.00 и 17.50 ч ВСВ. В этом интервале были
составлены последовательно 20 прогнозов на 2,5 часа с 10-минутной
дискретностью. Некоторые сроки были пропущены из-за проблем с поступлением начальных данных. На
разных заблаговременностях пакетом SpatialVx выделены от 20 до 25 пар
объектов, для которых рассчитываются сдвиги (x_shift, y_shift) и квадраты ошибок (MSE.*).
По наборам сдвигов рассчитаны суммарные характеристики, которые представлены в
табл. 10.
Можно
сформулировать некоторые выводы, касающиеся способности схемы STEPS
прогнозировать объекты в условиях высокой скорости ветра и рекордных
порывов.
Ошибки
прогноза положения оказываются более высокими по сравнению с ранее
рассмотренными примерами оценок сдвигов по ситуациям. По характеру
распределения они сильно асимметричны, с систематическими изменениями в
экстремальных значениях: минимальная ошибка расположения с ростом
заблаговременности по осям х и y снижается, а максимальная
ошибка по оси х заметно растет.
По
выбранному критерию информативности прогноза удовлетворительными на сроках до
часа времени можно считать лишь более четверти, но менее половины выделенных
объектов. При этом основная ошибка заключается в прогнозе положения по долготе
(x_shift), в то время как по широте ошибка
положения с ростом заблаговременности, напротив, снижается вплоть до конца
прогностического срока.
Таблица 10. Суммарные характеристики сдвигов объектов
при прогнозировании полей осадков по данным радара RAVN (Внуково) 29 мая 2017 г. за период времени
14.00–17.50 ч ВСВ
Table 10. Summary characteristics of object shifts during precipitation nowcasting
based on RAVN radar data (Vnukovo) in the 29.05.2017_14.00–17.50 period
|
ilead |
min |
q25 |
med |
mean |
q75 |
max |
|
x_shift |
||||||
|
1 |
-39.300 |
3.995 |
15.710 |
15.891 |
22.760 |
63.820 |
|
2 |
-15.100 |
2.655 |
14.340 |
20.760 |
35.483 |
76.830 |
|
3 |
-15.830 |
3.920 |
14.790 |
20.436 |
28.998 |
96.520 |
|
4 |
-19.350 |
-0.630 |
15.390 |
19.764 |
29.590 |
97.720 |
|
5 |
-18.650 |
-1.660 |
23.230 |
24.665 |
39.590 |
90.920 |
|
6 |
-12.370 |
14.400 |
26.490 |
31.927 |
46.270 |
93.130 |
|
7 |
-15.430 |
14.540 |
31.700 |
31.752 |
41.480 |
86.900 |
|
8 |
-4.180 |
16.230 |
41.575 |
41.001 |
60.500 |
96.770 |
|
9 |
-5.050 |
18.570 |
48.220 |
44.778 |
76.655 |
89.470 |
|
10 |
-5.940 |
17.560 |
38.760 |
42.989 |
70.957 |
93.960 |
|
11 |
-7.830 |
18.488 |
46.730 |
45.940 |
74.257 |
96.670 |
|
12 |
-6.000 |
23.300 |
51.600 |
45.918 |
65.990 |
98.430 |
|
13 |
-7.640 |
21.390 |
56.130 |
51.896 |
87.970 |
106.240 |
|
14 |
-8.880 |
25.998 |
50.935 |
48.706 |
76.965 |
107.870 |
|
15 |
-13.790 |
24.670 |
56.830 |
51.808 |
87.780 |
105.850 |
|
y_shift |
||||||
|
1 |
-55.220 |
-20.220 |
9.220 |
2.662 |
28.600 |
49.500 |
|
2 |
-42.790 |
-10.445 |
11.045 |
9.640 |
36.075 |
49.430 |
|
3 |
-42.290 |
2.345 |
13.380 |
12.731 |
31.330 |
50.690 |
|
4 |
-34.230 |
-12.140 |
12.290 |
11.856 |
36.580 |
55.710 |
|
5 |
-24.840 |
-4.540 |
19.900 |
14.033 |
28.140 |
55.360 |
|
6 |
-39.330 |
-9.610 |
17.130 |
14.368 |
29.850 |
57.770 |
|
7 |
-34.780 |
-2.650 |
16.190 |
16.381 |
28.680 |
69.500 |
|
8 |
-36.510 |
4.805 |
23.465 |
18.985 |
29.200 |
64.460 |
|
9 |
-30.700 |
0.180 |
17.190 |
13.951 |
24.317 |
76.270 |
|
10 |
-30.800 |
5.178 |
16.470 |
18.278 |
26.383 |
77.370 |
|
11 |
-31.410 |
-6.880 |
14.450 |
11.659 |
21.168 |
77.000 |
|
12 |
-39.460 |
-1.950 |
15.860 |
16.544 |
20.270 |
80.060 |
|
13 |
-12.210 |
4.220 |
12.950 |
13.860 |
19.250 |
57.370 |
|
14 |
-19.850 |
2.518 |
15.115 |
13.120 |
19.345 |
53.360 |
|
15 |
-28.440 |
1.240 |
8.780 |
7.797 |
16.210 |
34.000 |
Выводы
1. Разработана
первая отечественная технология оперативного наукастинга осадков с использованием
последовательности данных ДМРЛ-С на срок до двух часов с 10-минутной
дискретностью и 10-минутным обновлением. Проведено испытание развернутой
системы в теплый период года (май ‒ сентябрь
2017 г.) с точечной и пространственной верификацией качества прогнозов
по зонам обзора девяти радаров территории ЕТР.
2. Результаты
верификации прогнозов относительно радарных наблюдений показали информативность
наукастинга осадков на интервале
одного-полутора часов как в точках выделенной сетки, так и по крупным областям
сильных осадков. Статистически обеспечены для точечных оценок лишь осадки интенсивностью
≥4 мм/ч,
а верификация категорий более сильных осадков требует и больших объемов данных, и
иных характеристик качества.
3. На основе набора проанализированных
ситуаций можно сделать несколько предварительных выводов о качестве прогноза
объектов. Во-первых, не менее половины объектов размером 35×35
точек сетки (и больше) по выбранному критерию пересечения удовлетворительно прогнозируются
на интервале примерно до полутора часов. Во-вторых, для разных локаторов
отмечаются систематические ошибки, которые возможно учесть в процедурах
коррекции.
4. Почти для всех радаров в отдельных и
суммарных полях существуют систематические особенности, которые критично влияют
на качество наукастинга и на полученные результаты верификации. Систематизировать
такие особенности, учесть их в системах коррекции наукастинга или в
модернизации схемы STEPS
возможно только при тесном взаимодействии со специалистами по радарной
метеорологии.
Благодарности/Acknowledgements
Авторы выражают
признательность специалистам ЦАО Ю.Б. Павлюкову, А.А. Шумилину и А.В. Травову
за подготовку полей радарных данных и организацию оперативного потока этой
информации в Гидрометцентр России. Авторы благодарят А.Р. Иванову за ценные
замечания и советы при подготовке статьи к печати.
The authors are grateful to the specialists CAO Y.B.
Pavlukov, A.A. Shumilin, A.V. Travov for the preparation of radar data fields
and for the transfer of this information to the Hydrometcenter of Russia. Thanks
are also extended to A.R. Ivanova for helpful discussion.
От редакции
Решением Центральной
методической комиссии по гидрометеорологическим и гелиогеофизическим прогнозам
(ЦМКП) от 01.12.2017 г. рекомендовано:
‒ внедрить в оперативную
практику ФГБУ «Гидрометцентр России» в качестве основной «Технологию
наукастинга интенсивности осадков на срок до 90 минут в теплый период года».
В соответствии с решением ЦМКП от 1 декабря 2017 г.
технология наукастинга интенсивности осадков на срок до 90 минут в теплый
период года внедрена в оперативную
практику ФГБУ «Гидрометцентр России». (Акт внедрения
№2-ЦМКП/2018 от 27.02.2018).
Список литературы
1. Абдуллаев С.М.
Жизненный цикл мезомасштабных конвективных систем: концепция, климатология и
прогноз: Дис. … докт. геогр. наук. М, 2010, 408 с.
2. Большев
Л.Н., Смирнов Н.В. Таблицы математической статистики. М.:
Наука, 1983. 416 с.
3. ВМО-№
485. Наставление по глобальной обработке данных и прогнозирования. Том 1.
Глобальные аспекты. (Дополнение к IV Техническому регламенту
ВМО). Женева: ВМО, 2010.
4. Временные
методические указания по использованию информации доплеровского
метеорологического локатора ДМРЛ-С в синоптической практике: 2-я редакция. М.:
Росгидромет, 2017. 121 с.
5. Иванова
А.Р., Шакина Н.П. Перспективы развития наукастинга для метеорологического
обеспечения авиации в рамках реализации Глобального аэронавигационного плана
(ГАНП) // Труды Гидрометцентра России. 2016.
Вып. 360. С. 113-134.
6. Муравьев А.В., Д.Б.
Киктев, Бундель А.Ю., Дмитриева Т.Г., Смирнов А.В. Верификация прогнозов метеорологических явлений со значительными
воздействиями в районе проведения Олимпиады «Сочи-2014». Часть I. Детерминированные прогнозы в тестовый
период // Метеорология и гидрология. 2015. № 9. С. 31-48.
7. Bowler N., Pierce C., Seed A. STEPS: A
probabilistic precipitation forecasting scheme which merges an extrapolation
nowcast with downscaled NWP // Q. J.
R. Meteorol. Soc. 2006. Vol. 132.
P. 2127-2155.
8. Ebert E.E. Suggested methods
for the verification of precipitation forecasts against high resolution limited
area observations (JWGFVR). Geneva, Switzerland: WMO, November 2013.
9. Ebert
E.E., McBride J.L. Verification of precipitation in weather systems:
Determination of systematic errors // J.
Hydrology. 2000. Vol. 239. P. 179-202.
10. Forecast
Verification. A Practitioner’s Guide in Atmospheric Science // I.T.
Jolliffe, D.B. Stephenson (Eds). John Wiley & Sons Ltd, 2012. 274 p.
11. Gilleland E. Confidence
Intervals for Forecast Verification. NCAR Technical Note
NCAR/TN-479+STR, 2010. DOI:10.5065/D6WD3XJM.
12. Recommendations for the Verification and
Intercomparison of QPFS and PQPFS from Operational NWP Models. Revision 2. WWRP/WGNE
Joint Working Group on Verification // WMO/TD-No.
1485. Geneva, Switzerland: WMO, October 2008. 43 p.
13. Schertzer D., Lovejoy S. Physical
modeling and analysis of rain and clouds by anisotropic scaling multiplicative
processes // J. Geophys. Res. 1987. Vol. 92. P. 9692–9714.
References
1. Abdullaev S.M. Zhiznennyj cikl mezomasshtabnyh
konvektivnyh sistem: koncepciya, klimatologiya i pro-gnoz: dissertacii kandidata
geograficheskih nauk. Moscow, 2010, p. 408 [in Russ.].
2. Bol'shev
L.N. Tablicy matematicheskoj statistiki. Moscow: Nauka Publ., 1983, p. 416
[in Russ.].
3. WMO-No. 485. Manual on the Global
Data-processing and Forecasting System. Vol. I – Global Aspects. (Annex IV to
WMO Technical Regulations). Geneva, WMO, 2010.
4. Vremennye metodicheskie ukazaniya po ispol'zovaniyu
informacii doplerovskogo meteoro-logicheskogo lokatora DMRL-S v sinopticheskoj
praktike: 2 redakciya. Moscow, Rosgidromet, 2017, 121 p. [in Russ.].
5. Ivanova A.R.,
Shakina N.P. Perspektivy razvitiya naukastinga dlya
meteorologicheskogo obespecheniya aviacii v ramkah realizacii Global'nogo aehronavigacionnogo
plana (GANP) [Future development of nowcasting for aviation meteorological
service in the framework of Global aeronavigation plan (GANP) implementation]. Trudy Gidrometcentra Rossii [Proceedings
of the Hydrometcenter of Russia], 2016, vol. 360, pp. 113-134 [in Russ.].
6. Murav’ev A. V., Kiktev D. B., Bundel’ A.
Yu., Dmitrieva T. G., Smirnov A. V. Verification of high-impact weather
event forecasts for the region of the Sochi-2014 Olympic Games. Part I:
Deterministic forecasts during the test period. Russ. Meteorol. Hydrol., 2015, vol. 40, no. 9, pp. 584-597, DOI:
10.3103/S1068373915090034.
7. Bowler N., Pierce C., Seed A. STEPS: A
probabilistic precipitation forecasting scheme which merges an extrapolation
nowcast with downscaled NWP. Q. J.
R. Meteorol. Soc., 2006, vol. 132, pp. 2127-2155, DOI: 10.1256/qj.04.100.
8. Ebert E.E. Suggested methods for the verification of
precipitation forecasts against high resolution limited area
observations (JWGFVR). Geneva, Switzerland: WMO, November 2013.
9. Ebert
E.E., McBride J.L. Verification of precipitation in weather systems:
Determination of systematic errors. J. Hydrology, 2000, vol. 239, pp. 179-202, DOI:
10.1016/S0022-1694(00)00343-7.
10. Forecast
Verification. A Practitioner’s Guide
in Atmospheric Science. I.T. Jolliffe, D.B. Stephenson (Eds). John
Wiley & Sons Ltd Publ., 2012, 274 p.
11. Gilleland E. Confidence
Intervals for Forecast Verification. NCAR
Technical Note NCAR/TN-479+STR. 2010, DOI: 10.5065/D6WD3XJM.
12. Recommendations for the Verification and Intercomparison of QPFS and
PQPFS from Operational NWP Models. Revision 2. WWRP/WGNE Joint
Working Group on Verification. WMO/TD-No.
1485, Geneva, Switzerland, WMO, October 2008, 43 p.
13. Schertzer D., Lovejoy S. Physical
modeling and analysis of rain and clouds by anisotropic scaling multiplicative
processes. J. Geophys. Res., 1987,
vol. 92, no. D8, pp. 9693–9714, DOI: 10.1029/JD092iD08p09693.
Поступила в редакцию 17.11.2017 г.
Received by the
editor 17.11.2017.