Использование радиолокационной информации при оценке прогноза погоды с высоким разрешением

Р.Б. Зарипов1,2, Ю.Б. Павлюков2, А.А. Шумилин2, А.В. Травов2

1Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия

2Центральная аэрологическая обсерватория, г. Долгопрудный, Московская обл., Россия

 

 

Введение

В последние годы развитие прогностических моделей атмосферы сопровождается повышением их пространственного разрешения и переходом к прямому воспроизведению конвективных процессов [13, 21, 33, 39]. В результате многие мезомасштабные процессы, ранее воспроизводимые с использованием различных параметризаций, теперь воспроизводятся напрямую – с восстановлением 3-х мерной структуры воздушных течений, полей облачности и осадков различных типов.

Однако оказалось, что при повышении разрешения прогностических полей традиционные метрики оценки качества прогнозов, основанные на сравнении рассчитываемых и наблюдаемых значений только в пунктах наблюдений, во многих случаях не предоставляют достоверной информации о качестве прогнозов [17, 23]. Проблему можно представить на следующем простом примере: в прогнозе воспроизведена конвективная система, присутствующая и в наблюдениях – но с пространственным сдвигом (подобные ошибки чаще встречаются с повышением разрешения моделей [29]). В этом случае традиционные оценки (см. следующий раздел) покажут, что подобный прогноз заметно хуже прогноза, в котором система не воспроизведена вообще. Хотя с точки зрения потребителей первый прогноз явно более полезен – он предупреждает о возможности конвекции и опасных явлений. Но этот более полезный прогноз оказывается «оштрафованным» дважды – первый раз за отсутствие конвективной системы там, где она должна быть, а второй раз за то, что она предсказана там, где ее быть не должно.

В рамках совместных работ Гидрометцентра России и Центральной аэрологической обсерватории (ЦАО) работы по воспроизведению динамики атмосферы с помощью воспроизводящей конвекцию модели WRF-ARW (далее WRF) [19, 38] проводятся на протяжении многих лет [3‒5]. При этом задаче обоснованного различия «хороших» и «плохих» прогнозов придавалось немаловажное значение [3, 10].

Однако при оценке результатов регулярного счета системы «анализ-прогноз» [12] ранее применявшиеся в Гидрометцентре России и ЦАО подходы оказались малоприменимыми. Рассмотрев представленные в литературе методы оценки качества прогнозов с высоким пространственным разрешением, авторы подготовили систему оценки, которую сочли полезной и для использования в других исследованиях. Для повышения «самодостаточности» описания ряд сведений, заимствованных из литературных источников, включены в текст.

 

1. Типичные оценки прогноза факта явления

Рассмотрим прогноз какого-либо явления. К примеру, прогноз превышения количеством выпавших за определенный период осадков некоторого порогового значения. В выбранном пункте наблюдений в рассматриваемый отрезок времени данное явление может наблюдаться или нет. Также явление может прогнозироваться или нет. При рассмотрении значительного числа прогнозов (не обязательно для одного и того же пункта – может рассматриваться группа станций или ячейки выбранной регулярной сетки) удобно свести все случаи прогноза в табл. 1.

 

Таблица 1. Распределение возможных случаев при прогнозе факта явления

 

 

Факт

 

 

Да

Нет

Прогноз

Да

Нет

 

В табл. 1  – число случаев успешных прогнозов явления – когда оно наблюдалось и было спрогнозировано (hits в англоязычной литературе);  – число «ложных тревог» (false alarms), когда явление спрогнозировано, но не наблюдалось;  – непредсказанные события (misses), т.е. наблюдались, но не были спрогнозированы;  –правильные прогнозы отсутствия явления (correct negatives). Общее число рассматриваемых случаев (сумма элементов Ai,j  табл. 1) обозначим N.

В монографиях [32, 41] рассматриваются следующие характеристики прогнозов, которые могут быть получены по содержимому табл. 1.

Доля правильных прогнозов (accuracy) определяется соотношением:

            .                                                                           (1)

Доля случаев наступления явления, которая была предсказана (Probability Of Detection, также называемая Hit Rate) рассчитывается как:

            .                                                                           (2)

Предсказанная часть случаев отсутствия явления – не применяется как самостоятельная оценка, но используется при получении более сложных оценок (распространенного термина нет – назовем POND – Probability Of Negative Detection):

            .                                                                        (3)

Доля ложных тревог (False Alarm Ratio) определяется как:

            .                                                                            (4)

Смещение в числе прогнозируемых случаев осадков относительно наблюдаемых (Quantitative BIAS):

            .                                                                        (5)

В том случае, когда прогнозируемое явление (к примеру, сильные осадки) имеет место достаточно редко, информативной является величина TS (Threat Score), обозначаемая в ряде работ и как CSI (Critical Success Index):

                        .                                                                     (6)

Распространенными являются и более сложные характеристики. Так, для повышения информативности величина TS (Thread Score) часто (в работах зарубежных исследователей по количественной оценке прогнозов осадков) трансформируется в ETS (Equitable Threat Score):

            ,                                                       (7)

где  – доля правильных прогнозов факта осадков, которая могла бы получиться случайно:

            .                                                      (8)

ETS удобен тем, что дает более взвешенную оценку и в том случае, когда прогнозируемое событие происходит редко (к примеру, прогноз осадков в сухом климате: значение  невелико) и когда оно происходит достаточно часто. ETS абсолютно точного прогноза 1, нижний предел -1/3, полностью бесполезный прогноз 0.

В качестве критериев качества прогнозов в Советском Союзе и затем в России широкое распространение получили коэффициенты Пирси-Обухова (в англоязычной литературе PSS – Peirce’s Skill Score) и Багрова-Хайдке (HSS – Heidke Skill Score) (см. сайт Методического кабинета Гидрометцентра России, http://method.meteorf.ru). В [1] на модельном примере: имеется 100 дней наблюдений, в 10 из них выпадают осадки, а в остальных 90 – нет, было показано, что простые критерии по отдельности не всегда характеризуют успешность прогноза: например, POD = 100 % для факта дождя легко добиться, если все время давать один и тот же прогноз «дождь», снижение False Alarm Rate (FAR) можно добиться, выдавая все время прогноз «без осадков», а повышение ACC – предсказывая наиболее часто встречающуюся ситуацию.

Однако «манипуляциями» такого типа комбинацию критериев POD+POND правильно увеличить сложно. Данная характеристика равна 0 при абсолютно неудачных прогнозах и 2 при абсолютно точных прогнозах. Сумма POD+POND – по-видимому, самая простая характеристика качества прогноза бинарных событий, позволяющая оценить качество прогноза без рассмотрения других характеристик. Можно предположить, что разные авторы придумывали эту характеристику независимо друг от друга. Для применения на практике оказалось удобным ввести слегка измененный коэффициент PSS=POD+POND-1, меняющийся в пределах от -1 до 1. Преобразуя выражение можно получить более простую формулу для расчета PSS:

.                  (9)

На примере из [1] можно рассмотреть особенность PSS при редких явлениях: правильный прогноз 1 случая дождя вносит в PSS такой же вклад, как и 9 правильных прогнозов отсутствия осадков, т. е. относительно хорошие значения PSS можно получить и при значительном смещении прогноза в сторону завышения числа прогнозов более редких явлений. Так, если из 100 дней (10 с осадками, 90 без) предсказывать осадки в 50 днях (т. е. завысив их число в 5 раз), но при этом правильно предсказать все 10 дней с осадками, то PSS будет равен 0,56, что считается полезным прогнозом [16]. В то же время очевидно, что подобная систематическая ошибка (прогнозируемых осадков в 5 раз больше наблюдаемых) существенно понижает ценность прогноза.

Коэффициент Хайдке, или критерий надежности Багрова ‒ Хайдке, в свое время получил распространение как самый простой способ оценки превышения качества прогноза относительно прогноза по «климатической норме». К примеру, из [1] – пусть генератор случайных чисел выдает «дождь» 1 раз из 10 и «без осадков» в остальных 9 случаях. Если будет предлагаться система прогноза, которая ненамного лучше генератора случайных чисел, то полезность ее явно сомнительна. Вводится характеристика:

            ,                                                                              (10)

где E – вероятность случайного угадывания факта явления. E может быть рассчитано как:

            .                                     (11)

Отметим, что в работе [1] HSS использовался в качестве меры превосходства методики прогноза относительно использования в качестве прогноза «климатической нормы». В современных работах по оценке качества численного прогноза погоды разность PSS ‒ HSS характеризует такую величину, как BIASQ.

Перечисленные выше характеристики удобны при оценке прогноза факта осадков и наступления каких-либо явлений в пунктах. Когда требуется оценка прогноза количества осадков, используют те же характеристики, но рассматривается факт превышения количеством или интенсивностью осадков того или иного порогового значения.

Для количественной оценки качества прогноза осадков в России существует официальный метод, описанный в подготовленном в 2009 году Наставлении. [15]. В данном документе предложено использовать оправдываемость количества выпадающих за период 12 ч осадков (что определено интервалом сбора осадков на российской сети синоптических станций), рассчитываемую по формуле:

  ,                                                                       (12)

где m – число градаций выпадающих осадков;  – число случаев, когда наблюдаемое количество осадков попадает в i-ю градацию, а прогнозируемые осадки – в j-ю градацию;  – значение оправдываемости прогноза, которое присваивается за попадание наблюдаемых и прогнозируемых осадков в те или иные задаваемые таблично градации (см. заимствованные из [15] табл. 2 ‒ для жидких и смешанных осадков, табл. 3 ‒ для твердых осадков).

Таблица, сформированная значениями  (в англоязычной литературе – Multi-category Contingency Table), является полезным источником сведений о характере ошибок прогноза (см., к примеру, [42]).

 

 

 

 

 

 

Таблица 2. Оправдываемость прогноза количества жидких и смешанных осадков (%)

Прогноз количества
12-часовых осадков, мм

Фактическое количество 12-часовых осадков, мм

Без осадков

0.0< <3

3≤ <15

15≤ <50

≥50

Без осадков

100

50

0

0

0

0.0< <3

50

100

50

0

0

3≤ <15

0

50

100

50

0

15≤ <50

0

0

50

100

50

≥50*

0

0

0

50*

100*

Примечание: * Прогноз количества осадков ≥50 мм за 12 часов (опасное явление погоды) считается оправдавшимся на 100 % если было предсказано ≥40 мм осадков, и оправдавшимся на 50% если предсказано не менее 15 мм осадков.

 

Таблица 3. Оправдываемость прогноза количества твердых осадков (%)

Прогноз количества
12-часовых осадков, мм

Фактическое количество 12-часовых осадков, мм

Без осадков

0.0< <1

2≤ <5

6≤ <19

≥20

Без осадков

100

50

0

0

0

0.0< <1

50

100

50

0

0

2≤ <5

0

50

100

50

0

6≤ <19

0

0

50

100

50

≥20*

0

0

0

50*

100*

Примечание: * Прогноз количества осадков ≥20 мм за 12 часов (опасное явление погоды) считается оправдавшимся 100% если было предсказано ≥16 мм осадков, и оправдавшимся на 50% если предсказано не менее 5 мм осадков.

 

2. Методы пространственной оценки прогнозов

Неэффективность традиционных метрик применительно к прогнозу с высоким разрешением привела к появлению альтернативных методов оценки качества прогнозов. Некоторые из подобных стратегий используют чисто субъективные подходы, в которых качество прогнозов оценивается синоптиком. Пример – выставление прогнозу оценок: «хороший», «плохой», «удовлетворительный» в результате визуальной оценки синоптиком по некоторому набору разработанных критериев [Weisman et al., 2008]. Другие стратегии предлагают использование комбинированного подхода – к примеру, заполнение синоптиком типичной таблицы оправдываемости прогноза явления (табл. 1), а затем расчет традиционных метрик (1-12) по полученной таким образом таблице.

Все большее распространение стали получать методики, в которых проводится сопоставление пространственной структуры полей наблюдаемых и рассчитанных осадков (17, 29, 30]). В англоязычной литературе подобные методы называются «Spatial forecast verification methods», будем использовать для подобных методов термин «методы пространственной оценки прогнозов». Наиболее полная классификация подобных методик, применяемых при оценке прогнозов осадков с высоким пространственным разрешением, приводится в [30].

В 2007 году был сформирован проект Spatial Forecast Verification Methods Intercomparison Project (ICP) – см. [17; 30, 31]. Участникам проекта предлагается с использованием разрабатываемых методов провести оценку заданного набора прогнозов – 5 идеализированных геометрических прогностических случаев и 7 возмущенных случаев с предписанными ошибками, для проверки – дают ли методы оценки полезную информацию. На приводятся рассматриваемые в ICP идеализированные поля наблюдаемых и прогностических осадков. Рисунок демонстрирует сложность задачи пространственной оценки прогнозов. Методы пространственной оценки над областями со сложным рельефом рассматриваются в ходе проекта MesoVICT [28], являющимся развитием проекта ICP.

В обзорной работе [31] методы пространственной оценки качества прогнозов предлагается разделять на две категории – методы свертки и рассмотрение смещений. Методы свертки («filtering» в англоязычной литературе, на русский иногда переводятся как «фильтр» или «фильтрация»), в свою очередь, могут быть разделены на методы рассмотрения окружения («neighborhood») и разделения масштабов («scale separation» или «scale decomposition»). Рассмотрение смещений – на объектно-ориентированные методы («feature based» или «object based») и методы рассмотрения деформации полей («field deformation»). При этом «объектом» прогноза удобно назвать некоторую область, которую выделил бы при рассмотрении специалист по прогнозу погоды. К примеру, область, где интенсивность осадков превышает некоторое пороговое значение. Методы всех перечисленных групп предоставляют значительно больше информации о качестве прогноза полей осадков с высоким пространственным разрешением, чем традиционные способы оценки (1–12). Но при этом неочевидно, какие из них более полезны при решении тех или иных задач.

Методы свертки предполагают пространственное преобразование («свертку») для одного или обоих рассматриваемых полей (прогноз и наблюдения), а затем расчет оценок для преобразованных полей. Обычно преобразование заключается в получении некоторой обобщенной информации о полях осадков (средние, минимальные и максимальные значения, доля площади, занятая осадками) с более грубым пространственным разрешением, чем тот, на котором был рассчитан прогноз. Методы разделения масштабов предполагают использование различных разложений полей (преобразование Фурье, вейвлеты и т.д.) – таким образом, что оценки качества прогнозов на различных масштабах могут быть рассчитаны отдельно. Рассматриваемые масштабы часто представляют тот или иной класс метеорологических явлений – такие, как крупномасштабные фронтальные системы или мелкомасштабные конвективные ливни (см. [2]). Различие между подходами заключается в том, что при использовании свертки обычно рассматриваются сглаженные прогнозы (нередко различной степени сглаженности), при этом теряется возможность рассмотрения мелких масштабов. При разделении масштабов структуры разных масштабов рассматриваются по отдельности, но из рассматриваемых полей можно восстановить исходные поля (т.е. потерь информации не происходит).

Объектно-ориентированные методы и методы деформации полей схожи в том, что в них предполагается сопоставление наблюдаемых и прогнозируемых объектов. Методы предоставляют информацию о том, насколько прогностическое поле должно быть трансформировано (смещением, поворотом, растяжением и т. д.) и позволяют оценить оставшиеся после преобразования поля ошибки с целью получения более весомой информации о качестве прогноза. Основное различие между методами заключается в том, что в объектно-ориентированных методах сначала идентифицируются атмосферные образования (объекты), которые будут рассматриваться (к примеру, кучево-дождевые облака), а затем каждое образование рассматривается отдельно. Методы деформации полей одновременно анализируют все прогностическое поле или некоторую его выбранную для оценки часть. Поскольку обе группы методов описывают, какие смещения необходимы для того, чтобы прогностическое поле соотносилось бы с наблюдаемым, вместе они характеризуются как методы рассмотрения смещений.

Достаточно многочисленные и широко распространенные объектно-ориентированные методы предложены для более пристального рассмотрения насколько хорошо прогноз воспроизводит общую структуру метеорологических образований. Основное различие между собой подобных методов заключается в том, как они определяют: а) что является рассматриваемыми объектами; б) могут ли близко расположенные объекты считаться одним, более крупным; в) как сопоставляются объекты в прогностических и наблюдаемых полях; г) какие виды диагностики используются и какие статистические показатели рассчитываются. В отечественных работах [3, 10] при оценке прогноза систем глубокой конвекции по модели WRF ARW [19, 38] использовался предложенный в работах [24‒26] метод, называемый Method for Object-based Diagnostic Evaluation (MODE), который предполагает выделение объектов с учетом порогового значения интенсивности, после предварительной процедуру сглаживания полей. Следует отметить, что объектно-ориентированные методы оценки уже несколько десятилетий используются при оценке прогнозов тайфунов – оценивается их положение и интенсивность [24].

Методы деформации полей предполагают манипуляцию полями в пространстве с целью привести прогностическое поле как можно ближе (в фазовом пространстве) к полю наблюдаемому. При этом воспроизводится поле векторов смещений, которые и анализируются. Возможны различные способы представления смещения. К примеру, в работах [18, 27] используется полиномиальное представление смещений.

Следует указать на возможные области применения методов смещения. Данные методы могут сообщить исследователю достаточно полезную информацию об успешности моделирования развития той или иной конвективной системы или же о движении крупномасштабного атмосферного образования. Но они малопригодны в том случае, если требуется получить оценку в ситуации, когда в области моделирования имеются несколько объектов прогноза. Кроме этого неочевидно – как следует осреднять результаты, полученные для серии прогнозов. При неполном покрытии рассматриваемой области наблюдениями (см., к примеру, рис. 1 в работе [12]) не всегда понятно, как трактовать отсутствие в полях наблюдений воспроизведенного моделью образования – воспроизведено ошибочно или просто не попало в покрытые наблюдениями области. Поэтому методы смещения применяются в основном в исследовательских работах (в России [3, 10]).

Для оценки же прогнозов с высоким пространственным разрешением на регулярной основе более удобными выглядят методы, основанные на рассмотрении окружения. Хотя данные методы предоставляют не так много информации об успешности прогноза положения тех или иных конвективных систем, они предоставляют полезную потребителям информацию о том, в какой степени можно доверять прогнозу, полученному с помощью того или иного прогностического метода. Рассмотрим данные методы более подробно.

1. Понижение детализации (upscaling). Данный метод является старейшим и наиболее распространенным среди методов рассмотрения окружения. В данном методе наблюдения и прогноз приводятся к более грубому представлению в пространстве (более грубая сетка) и во времени (большая длина рассматриваемых периодов), а затем к огрубленным прогнозам применяются обычные оценки (1-12). Подобные оценки являются, фактически, лишь оценками средних значений. Поэтому для ряда приложений они не очень показательны, так как при осреднении заметная часть полезной информации (к примеру, о максимальной интенсивности осадков и о покрытии рассматриваемой области осадками), теряется. Можно дополнить обычное осреднение по ячейкам рассмотрением максимальной (по рассматриваемым ячейкам) интенсивности того или иного явления (осадков). Нередко рассматриваются оценки поля с различной степенью огрубления. К примеру: без огрубления, по областям 3×3 точки сетки, 5×5 и т. д. – вплоть до наибольшего размера областей осреднения, представляющего интерес. Для разных критериев (к примеру, PSS или ETS) существуют значения, при превышении которых прогноз считается практически значимым. К примеру – для коэффициента Пирси-Обухова это пороговое значение 0.3 [16], для ETS – 0.5 [23]. Рассматривая значения критериев при разном огрублении полей можно сказать, прогноз до какого масштаба имеет смысл использовать.

2. Рассмотрение окружения без понижения детализации [29]. Методы оценки качества прогнозов с рассмотрением окружения рассчитываются метрики качества для набора выделенных в области моделирования пространственных участков, где окрестность представляет собой группу ячеек сетки, центрированную в каждой индивидуальной ячейке сетки. Окно может быть круглым или прямоугольным – согласно [29] это оказывает относительно небольшое влияние на результат, при этом с прямоугольными участками работать проще. Размер рассматриваемой окрестности возрастает с 1×1, к 3×3 и далее – вплоть до наибольшего размера, допустимого на данной области расчетов. Поскольку многие ошибки прогноза связаны со сдвигом в прогнозе прохождения фронта или конвективного образования, то имеет смысл также расширять понятие «окрестности» и во времени.

На рис. 2 показан искусственный пример прогноза факта осадков с высоким пространственным разрешением. На рис. 2 а красной штриховкой выделены ячейки используемой при оценке сетки, в которых наблюдались осадки, а синей штриховкой – где они были спрогнозированы. R – радиус, в котором проводится рассмотрение окружения. Соответственно, ячейки сетки, где осадки и наблюдались и прогнозировались, заштрихованы и красным, и синим цветом. В данном конкретном примере коэффициент Пирси-Обухова для выделенной области без понижения разрешения составляет около 0.15, а при огрублении полей (рис. 2 б) – 0.25, т. е. хотя PSS остается невысоким, он все же выше, чем до огрубления.

В работах [23, 29] предлагается использовать при оценке прогнозов осадков с высоким пространственным разрешением характеристику ETS, рассчитываемую с использованием ранее приведенных соотношений (7), (8), но при несколько измененном способе заполнения табл. 1:

 (успешные прогнозы явления) – явление наблюдалось в точке, при этом было спрогнозировано или в этой же точке, или в пределах окружности с центром в данной точке и заданной радиусом. Также, если в какой-то ячейке явление предсказывалось, то прогноз считался верным в том случае, если явление наблюдалось в окружности с заданным радиусом.

 (ложные тревоги) – явление прогнозировалось в точке, но ни в ней, ни в окружности заданного радиуса R не наблюдалось.

 (непредсказанные события) – явление наблюдалось в ячейке, но ни в ней, ни в окружности радиуса R не прогнозировалось.

 (правильный прогноз отсутствия явления) – явление не наблюдалось и не прогнозировалось в ячейке.

Целесообразным представляется расчет по заполненной таким образом таблице не только ETS, а и других характеристик: POD, FAR, PSS, HSS и др. При этом очевидно, что при увеличении R значения увеличиваются за счет уменьшения  и .

В работе [36] рассматривается использование такой величины, как Fractions Skill Score (FSS), которая служит для сравнения прогностического и наблюдаемого покрытия области осадками. Предлагается разделять рассматриваемую область на подобласти (пусть их число будет N), для каждой из которых рассчитывать доли покрытия рассчитанными ( ) и наблюденными ( ) осадками как отношение числа ячеек с осадками к общему числу ячеек в рассматриваемой подобласти. FSS основана на вариации Brier skill score, используемой при оценке вероятностных прогнозов погоды:

                                               .                                         (13)

Здесь FBS – Fractional Brier Score. FBS трансформируется в положительно определенную FSS делением ее на FBS для случайного прогноза:

                                   .                                                           (14)

FSS находится в диапазоне от 0 (полностью несовпавший прогноз) до 1 для идеально точного прогноза. Целесообразно выбирать неперекрывающиеся подобласти для расчета FSS (к примеру, прямоугольники в координатах рассматриваемой сетки – показано синим пунктиром на рис. 2), в то время как при заполнении таблицы 1 с целью более удобной интерпретации результатов имеет рассматривать ячейки сетки, находящиеся на расстоянии не более R (т.е. рассматривать окружности – см. рис 2.а).

В работе [36] показано, что значение FSS, выше которого прогнозы могут считаться полезными (т. е. лучше, чем однородно распределенный прогноз с наблюдаемым покрытием области расчета осадками ):

                                                .                                                   (15)

При этом наименьший масштаб, на котором FSS превышает , может рассматриваться как «полезный масштаб» полученного прогноза.

FSS рассчитываемый (и сравниваемый с ) для отдельных прогнозов служит характеристикой того, насколько удачно восстанавливается пространственная структура поля явления. FSS рассчитываемый по данным серии прогнозов в определенной степени показывает – насколько удачно прогностическая система воспроизводит временной ход крупномасштабных полей явления.

Однако в работе [36] рассматриваются прогнозы при отсутствии систематических ошибок (BIASQ=0) в прогнозе частоты явления. При наличии систематических ошибок (к примеру, завышении площади областей, занятых осадками) FSS резко ухудшается – даже если прогноз и выглядит полезным. Ввиду этого на данном этапе работ в ЦАО FSS рассматривается как вспомогательная метрика.

 

4. Использование пространственной оценки качества прогнозов при рассмотрении подготавливаемых в ЦАО сверхкраткосрочных прогнозов погоды

С 2015 года в ФГБУ «ЦАО» проводятся эксперименты с опытной система анализа и сверхкраткосрочного прогноза погоды с использованием численной негидростатической прогностической модели WRF [19, 38, 35], пакета усвоения данных WRF Data Assimilation в режиме 3D-Var [20, 40], технологии циклического даунскейлинга, разработанной в [8, 9] и системы анализа качества прогнозов с использованием данных радарного зондирования [12].

Внешняя и вложенная области расчета, используемые в численных экспериментах, (приведены на рис.1 в [12]), имеют шаг сетки 9 и 3 км.

Оценка качества численного прогноза по модели WRF с высоким пространственным разрешением проводилась по радарным данным в специальной системе анализа, разработанной в ФГБУ «ЦАО» на базе Веб-ГИС «МЕТЕОРАД», по картам основных вторичных (метеорологических) продуктов ДМРЛ: высоты ВГО, интенсивности осадков R, накопленной суммы осадков за один час Q1, явлений погоды, связанных с облачностью и осадками (перечислены в таблице 4). Эти продукты рассчитываются в результате обработки данных радарных наблюдений с использованием пакета программного обеспечения вторичной обработки (ПО ВОИ) «ГИМЕТ-2010» [6].

Для расчета перечисленных карт в состав выходной продукции модели WRF включаются поля радиолокационной отражаемости Z, которые затем обрабатываются в ПО ВОИ, аналогично данным наблюдений реальных ДМРЛ.

 

Анализ качества прогноза проводится путем сопоставления цифровых карт модельного прогноза WRF с заблаговременностью до 4-5 часов и наблюдений сети ДМРЛ Росгидромета. Для упрощения процедур оценки карты модельного прогноза готовятся в координатной проекции вычислительных сеток модели WRF, но с пространственным разрешением 1 км. При оценке прогнозов на сетках 3х3 км или 9х9 км данные осредняются (осадки) или выбираются максимальные значения (код явления и высота верхней границы облачности).

Использованием собственного программного обеспечения представляется авторам более эффективным, чем использование для этих целей свободно распространяемых систем оценки качества прогнозов, например, Model Evaluation Tool (MET) [Met User's Guide] ввиду того, что .

В табл. 4 идентифицируемых по радарным данным явлений погоды можно выделить несколько групп явлений одного типа с возрастающей интенсивностью: явления с кодами с 2 по 5 характеризуют возрастающие степени развития слоистой облачности, явления с кодами 6–19 характеризуют возрастающую интенсивность конвективных явлений: от относительно безопасных кучевых облаков до кучево-дождевой облачности и затем особенно мощных систем глубокой конвекции, сопровождающихся градом и шквалами. Отмеченная в таблице 4 иерархия явлений облегчает анализ качества прогноза: удобно рассматривать прогнозы превышения кодов явления того или иного порогового значения подобно тому, как во многих работах (см. предыдущей раздел) рассматривается интенсивность и/или количество осадков.

 Например (см. рис. 3), если прогнозировались слабые ливневые осадки (код 7), а по радарным данным наблюдалась гроза с вероятностью >90% (код 12), то прогноз слабых ливневых осадков считается оправдавшимся (успешный прогноз =1 в таблице 1), прогноз явлений с кодами 8-11 оказался ошибочен (непредсказанное событие =0), прогноз явлений с кодами >12 также оправдался (успешный прогноз отсутствия явления =1). Аналогично, если прогнозировалась гроза со слабым шквалом (код явления 16), а по радарным данным наблюдалась гроза с вероятностью 30% -70% (код 10), то прогноз грозы с вероятностью 30‒70 % считается успешным ( =1), прогноз грозы сопровождаемый слабым шквалом (код 16) – ошибочным (ложная тревога =0), прогноз отсутствия грозы, сопровождавшейся умеренным или сильным шквалом, считается успешным (отсутствие явления =1).

Аналогичный подход применяется при рассмотрении карт ВГО: оценивается успешность прогноза высоты ВГО выше порогового значения, соответствующего градациям на картах в Веб-ГИС «МЕТЕОРАД»: 1) нет облачности; 2) ВГО <1 км; 3) 1-2 км; 4) 2-3 км; 5) 3-4 км; 6) 4-5 км; 7) 5-6 км; 8) 6-7 км; 9) 7-8 км; 10) 8-10 км; 11) 10-12 км; 13) >12 км.

Рассмотрим методы пространственной оценки качества прогнозов на примере двух погодных ситуаций: мезомасштабный конвективный комплекс (см. [2]) в районе Нижнего Новгорода 14 июля 2014 года (рис. 4) и перемещение холодного фронта по территории ЦФО 30 июля 2014 года (рис. 5). Прямоугольной рамкой на рисунках обозначены границы области оценки.

В случае моделирования развития мезомасштабного конвективного комплекса (МКК) рассматривается изменение метрик оценки качества прогноза при различных сдвигах полей интенсивности осадков R (рис. 4б), а также при растяжении МКК в 1.5 раза вдоль одной из осей (рис. 4в). Наблюдаемое поле осадков (рис. 4а) имеет форму "запятой" размером около 250 км. Несмотря на то, что МКК располагался на границе вложенной области, его прогнозируемое положение практически совпадает с наблюдениями, хотя форма полей не совсем совпадает, а детали сглажены (см. рис. 4а,в).

В табл. 5 приводится ход коэффициентов PSS и HSS (выбраны как наиболее распространенные в оперативной практике в России) при искажении фактической погоды и при различном радиусе поиска осадков с интенсивностью осадков R выше заданных пороговых значений. При сдвиге HSS ближе к PSS, в том числе и потому, что нет изменения частоты явления. Если радиус поиска явление больше сдвига – согласно оценке прогноз является "абсолютно точным" – при рассмотрении подобных оценок нужно понимать границу их применимости. При сдвиге большем, чем радиус поиска явлений оценки определяются в том числе и пространственной изменчивостью поля. При растяжении полей завышается область, занятая осадками, поэтому значения PSS и HSS различаются более существенно, чем при сдвиге (на HSS дополнительно влияет смещение частоты явления).

Прогноз осадков с интенсивностью более 1 и 3 мм/час может считаться полезным (PSS>0.3) и без рассмотрения окружения, но прогноз осадков большой интенсивности (R>10 мм/час) без рассмотрения окружения малополезен.

На рис. 5 и в табл. 6 рассматривается искажение поля путем добавления временного сдвига при развитии атмосферных процессов. В качестве "прогностических" рассматриваются часовые суммы осадков Q1 с временным сдвигом на 1 и 2 часа назад. Основное отличие этих полей от реального поля - различная интенсивность конвекции. В прогнозе (3-й час прогноза от 09 ВСВ) недооценивается конвекция на самом фронте (в районе Владимира – Нижнего Новгорода), но переоценивается конвекция несколько восточнее Вологды. Прогноз осадков R>10 мм/час оказывается малоуспешным, прогноз осадков R>1 и R>3 мм/час по модели WRF по "качеству" находится между временным сдвигом в развитии конвекции на 1 и 2 часа.

 

Далее, в табл. 7 и 8, приводятся осредненные оценки качества работы различных вариантов системы усвоения радарных данных/циклического даунскейлинга [7, 8] для области (53-62° с.ш., 30-42° в.д., полностью расположенной во вложенной области расчета WRF с шагом сетки 3 км. Без усвоения радарных данных (т.е. только притягиваясь в сроки 00, 06, 12 и 18 ВСВ к крупномасштабным данным NCEP) система систематически недооценивает количество выпадающих осадков – почти в 2 раза. Варианты 1 и 2 усвоения данных отличаются используемыми радиусами корреляции ошибок первого приближения (вариант 2 - более короткие радиусы). Можно отметить, что согласно станционным оценкам (табл. 8) вариант 2 предпочтительнее при прогнозе осадков с интенсивностями R> 3 мм/12 часов, при этом менее интенсивные осадки предпочтительнее для варианта 1. Но табл. 7, в которой рассматриваются часовые суммы осадков, не показывает какого-либо преимущества второго варианта ни при каком радиусе поиска осадков и ни при какой рассматриваемой интенсивности. В результате настоящего исследования можно сделать вывод о том, что один из вариантов усвоения данных подготавливает поля, которые лучше при временном осреднении результатов, но хуже при рассмотрении результатов часовых.

При добавлении предварительной коррекции поля осадков и облачности по радарным данным перед использованием процедуры 3D-Var результаты почти по всем приводимым "показателям", особенно при повышении рассматриваемой интенсивности осадков, улучшаются – но путем существенного завышения количества осадков (примерно в 2 раза). Отметим, что в рассматриваемой области в период расчетов без осадков в 89 % случаях, осадки более 3 мм/12 часов наблюдались в 4.8% случаев. В связи с этим завышение количества осадков почти в 2 раза не было «критично» (см. раздел 2) для коэффициентов PSS и HSS.

 

Заключение

В данной статье на примере проводимых в ФГБУ «ЦАО» работ по усвоению данных радаров и сверхкраткосрочному прогнозу погоды, рассматриваются современные способы оценки качества прогнозов осадков и явлений погоды с высоким пространственным разрешением. Подготовленная система оценки связана с Веб-ГИС «МЕТЕОРАД» и позволяет сопоставлять рассматриваемое поле и его оценки по радарным данным.

Рассматривается прогноз характеристик осадков, высоты ВГО и явлений погоды, связанных с облачностью и осадками. В настоящее время проводится оценка полей, рассчитанных с использованием только модели атмосферы WRF, в связи с чем перед расчетом показателей подготавливаются радарные данные в используемой проекции WRF (но с более высоким пространственным разрешением).  Для оценки качества других систем краткосрочного прогноза погоды/наукастинга (COSMO-Ru [13, 14], STEPS [22, 37]) с использованием с Веб-ГИС «МЕТЕОРАД» потребуется согласовать картографические проекции прогнозов и радарных данных.

 

 

 

Таблица 4. Кодирование явлений погоды в ПО ВОИ «ГИМЕТ-2010»

 

Код явления

Явление погоды

1

Облачность верхнего и среднего яруса

2

Слоистая облачность

3

Обложные слабые осадки

4

Обложные умеренные осадки

5

Обложные сильные осадки

6

Кучевая облачность

7

Ливневые слабые осадки

8

Ливневые умеренные осадки

9

Ливневые сильные осадки

10

Гроза с вероятностью 30-70%

11

Гроза с вероятностью 71-90%

12

Гроза с вероятностью >90%

13

Град слабый

14

Град умеренный

15

Град сильный

16

Гроза со шквалом слабым (15-20 м/с)

17

Гроза со шквалом умеренным (20-25 м/с)

18

Гроза со шквалом сильным (>25 м/с)

19

Смерч

 

 

Таблица 5.  Пространственная оценка (PSS/HSS) превышения интенсивности осадков пороговых значений для 06 ВСВ 31 июля 2014 года

 

Сдвиг (км)

Осадки (мм/ч)

Радиус поиска (км)

0

6

9

15

24

30

9

>1

0.78/0.78

0.96/0.96

1./1.

1./1.

1./1.

1./1.

18

0.67/0.67

0.86/0.84

0.91/0.90

0.98/0.98

1./1.

1./1.

27

0.56/0.56

0.77/0.75

0.83/0.82

0.92/0.92

0.99/0.99

1./1.

54

0.20/0.20

0.43/0.42

0.54/0.53

0.69/0.69

0.83/0.83

0.89/0.89

Растяжение

0.90/0.73

0.96/0.87

0.96/0.90

0.97/0.95

0.98/0.97

0.98/0.97

Прогноз

0.54/0.53

0.74/0.73

0.80/0.79

0.89/0.89

0.95/0.95

0.96/0.97

9

>3

0.72/0.72

0.94/0.95

1./1.

1./1.

1./1.

1./1.

18

0.59/0.59

0.83/0.82

0.90/0.88

0.98/0.97

1./1.

1./1.

27

0.44/0.44

0.71/0.70

0.81/0.79

0.91/0.89

0.98/0.98

1./1.

54

0.04/0.04

0.30/0.29

0.45/0.43

0.63/0.59

0.79/0.74

0.86/0.82

Растяжение

0.89/0.72

0.97/0.89

0.98/0.93

0.98/0.97

0.98/0.98

0.98/0.98

Прогноз

0.39/0.38

0.65/0.64

0.75/0.74

0.86/0.86

0.94/0.94

0.98/0.98

9

>10

0.44/0.44

0.91/0.89

1./1.

1./1.

1./1.

1./1.

18

0.34/0.34

0.72/0.70

0.85/0.82

0.96/0.95

1./1.

1./1.

27

0.18/0.18

0.55/0.55

0.69/0.69

0.90/0.85

0.96/0.96

1./1.

54

0.0/0.0

0.10/0.10

0.20/0.19

0.54/0.49

0.78/0.68

0.84/0.76

Растяжение

0.70/0.56

0.95/0.86

0.97/0.90

0.97/0.95

0.97/0.98

0.97/0.98

Прогноз

0.05/0.04

0.22/0.20

0.33/0.32

0.52/0.53

0.76/0.78

0.89/0.89

 

 

Таблица 6. Пространственная оценка (PSS/HSS) превышения суммой осадков пороговых значений для периода 11:00-12:00 ВСВ 30 июля 2014 года

 

Временной сдвиг (часы)

Осадки (мм/ч)

Радиус поиска (км)

0

6

9

15

24

30

1

>1

0.26/0.27

0.59/0.61

0.71/0.73

0.84/0.86

0.93/0.93

0.96/0.96

2

0.04/0.05

0.19/0.22

0.27/0.31

0.42/0.47

0.61/0.66

0.72/0.76

Прогноз

0.15/0.15

0.44/0.42

0.56/0.53

0.74/0.67

0.86/0.78

0.90/0.82

1

>3

0.14/0.14

0.49/0.50

0.64/0.66

0.83/0.85

0.92/0.94

0.96/0.97

2

0.01/0.01

0.09/0.11

0.15/0.19

0.28/0.34

0.49/0.56

0.64/0.70

Прогноз

0.05/0.05

0.30/0.28

0.44/0.41

0.65/0.59

0.80/0.73

0.87/0.79

1

>10

0.05/0.05

0.22/0.22

0.33/0.34

0.51/0.52

0.69/0.74

0.75/0.81

2

0.00/0.01

0.02/0.03

0.03/0.04

0.06/0.08

0.14/0.19

0.23/0.30

Прогноз

0.0/0.0

0.0/0.0

0.01/0.01

0.04/0.04

0.07/0.07

0.17/0.17

 

 

 

Таблица 7. Пространственная оценка (PSS/HSS) превышения суммой осадков за 3-й час прогноза различных пороговых значений по данным радара для периода 14-31 июля 2014 г.

 

Экспе-римент

Осадки (мм/ч)

Радиус поиска (км)

0

6

9

15

24

30

45

Без усвоения данных

>0

0.15/0.19

0.29/0.35

0.34/0.41

0.42/0.50

0.50/0.59

0.54/0.63

0.61/0.70

>1

0.05/0.07

0.18/0.23

0.24/0.31

0.35/0.43

0.45/0.55

0.51/0.61

0.61/0.71

>3

0.02/0.03

0.11/0.14

0.16/0.21

0.26/0.33

0.36/0.44

0.42/0.51

0.52/0.62

>5

0.01/0.02

0.07/0.10

0.12/0.16

0.20/0.26

0.30/0.38

0.36/0.45

0.48/0.58

>10

0.01/0.01

0.04/0.05

0.07/0.10

0.12/0.17

0.19/0.26

0.24/0.32

0.36/0.46

Вариант 1

>0

0.18/0.21

0.32/0.37

0.38/0.44

0.46/0.53

0.54/0.62

0.58/0.66

0.64/0.73

>1

0.09/0.12

0.25/0.30

0.33/0.39

0.45/0.51

0.56/0.63

0.62/0.69

0.71/0.78

>3

0.04/0.05

0.17/0.19

0.24/0.27

0.36/0.40

0.48/0.53

0.55/0.60

0.66/0.72

>5

0.02/0.03

0.11/0.13

0.17/0.20

0.28/0.32

0.40/0.44

0.46/0.52

0.59/0.65

>10

0.01/0.01

0.05/0.06

0.08/0.10

0.14/0.18

0.22/0.27

0.28/0.34

0.40/0.47

Вариант 2

>0

0.18/0.22

0.33/0.38

0.38/0.44

0.46/0.54

0.54/0.62

0.58/0.66

0.65/0.73

>1

0.09/0.11

0.24/0.29

0.32/0.37

0.44/0.50

0.55/0.62

0.61/0.68

0.71/0.77

>3

0.04/0.05

0.15/0.18

0.22/0.25

0.33/0.38

0.46/0.51

0.53/0.58

0.64/0.70

>5

0.02/0.02

0.10/0.12

0.15/0.18

0.26/0.30

0.37/0.43

0.45/0.50

0.58/0.64

>10

0.01/0.01

0.05/0.07

0.08/0.10

0.14/0.17

0.22/0.27

0.28/0.34

0.41/0.48

Вариант 2 + коррекция

>0

0.21/0.24

0.35/0.40

0.41/0.47

0.49/0.56

0.56/0.64

0.60/0.68

0.66/0.75

>1

0.12/0.14

0.29/0.32

0.37/0.41

0.49/0.53

0.60/0.65

0.65/0.71

0.74/0.79

>3

0.06/0.07

0.21/0.22

0.28/0.29

0.41/0.42

0.53/0.55

0.60/0.63

0.70/0.73

>5

0.04/0.04

0.15/0.15

0.21/0.22

0.32/0.34

0.44/0.46

0.51/0.53

0.63/0.66

>10

0.01/0.01

0.07/0.08

0.10/0.12

0.18/0.21

0.27/0.31

0.33/0.38

0.45/0.51

 

 

 

Таблица 8. Оценки рассчитанных 12-часовых сумм осадков (PSS/HSS) по данным синоптических станций для периода 14-31 июля 2014 г (53-62° с.ш., 30-42° в.д.)

 

Эксперимент

Осадки >0 мм/12 часов

Осадки >=3 мм/12 часов

Отношение количества прогнозируе-мых и наблюдаемых осадков

PSS/HSS

PSS/HSS

Без усвоения данных

0.52/0.41

671/411

0.16/0.22

87/180

0.52

Вариант 1

0.60/0.44

763/411

0.31/0.35

138/180

1.05

Вариант 2

0.57/0.40

784/411

0.38/0.40

161/180

0.99

Вариант 2 + коррекция

0.64/0.42

901/411

0.53/0.46

239/180

2.05

предсказанное и наблюдаемое число событий

 

 

 

Рис. 1. Предлагаемые для рассмотрения в проекте ICP идеализированные случаи прогноза осадков (по рисунку в работе [Ahijevych et al., 2009]).

 

 

 

а)

б)

Рис. 2. Рассмотрение окружения при оценке прогноза осадков с высоким пространственным разрешением: а) данные на детальной сетке; б) данные на огрубленной сетке (upscaling). Зеленым цветом выделены рассматриваемые ячейки, крестом помечен точка, в окрестностях которой проводится рассмотрение окружения. Синей штриховкой выделены ячейки, в которых спрогнозированы осадки, красной – где они наблюдались.

 

 

 

Рис. 3. Рассмотрение прогноза явлений.

 

 

 

 

Рис. 4. Поле интенсивности осадков для момента времени 06 ВСВ 31 июля 2014 года:
а) наблюдаемое на радаре поле, б) контуры наблюдаемого поля осадков (черный пунктир), результаты сдвига поля (синий пунктир) и растяжения поля (красный пунктир);
в) прогноз поля осадков от 03 ВСВ.

 

 

 

Рис. 5. Поле суммы осадков за период 11-12 ВСВ 30 июля 2014 года: а) наблюдаемое поле, б) результат сдвига поля по времени на 1 час назад; в) результат сдвига поля по времени на 2 часа назад; г) прогноз поля от 09 ВСВ (3-й час прогноза).