Результаты сравнительной оценки успешности прогнозов элементов погоды
на основе ряда отечественных и зарубежных моделей атмосферы различного масштаба
за период июнь-сентябрь 2007 года.


В Гидрометцентре России по заданию Центральной методической комиссии по гидрометеорологическим прогнозам (ЦМКП) была проведена сравнительная оценка успешности 13 отечественных и зарубежных численных моделей атмосферы для следующих элементов погоды (у поверхности земли):
- температуры воздуха,
- осадков,
- давления на уровне моря,
- ветра,
- влажности воздуха.

Оценка выполнялась для прогнозов заблаговременностью до 3 сут, стартующих в 00 ч ВСВ, по территории России (45 - 65° с.ш., 27 - 57° в.д.), соответствующей примерно европейской ее части. Оценка прогнозов проводилась по данным 432 синоптических станций, расположенных на этой территории и данные наблюдений которых поступают в Гидрометцентр России. Большая часть из этих станций – это станции Российской Федерации, но включены также станции Украины, Республики Беларусь и Финляндии. Период оценки для прогнозов температуры воздуха – с 1 июля по 15 сентября 2007 г. и для остальных метеорологических элементов - с 1 июня по 15 сентября 2007 г.


Краткие сведения о сравниваемых моделях атмосферы

Оценивались следующие модели:

1. Глобальные
- T85L31 (спектральная модель Гидрометцентра России),
- PLAV–полулагранжева модель с постоянным разрешением (автор М. А.Толстых, Гидрометцентр России),
- UKMO (Великобритания, в г.Exeter находится Метеоцентр Великобритании),
- NCEP (США),
- DVD (ФРГ, в г. Offenbach находится Метеоцентр ФРГ).

2. Региональные
- REGION (автор В. М. Лосев, Гидрометцентр России),
- PLAV2 – полулагранжева модель с переменным разрешением (автор М. А. Толстых)

3. Мезомасштабные
- Мезомасштабная модель (автор Д. Я. Прессман, Гидрометцентр России),
- ММ5 (отв. К. Г. Рубинштейн, Гидрометцентр России),
- ММ5 (отв. Г. Ю. Калугина, Московское Гидрометбюро),
- ETA-model (отв. И. В. Тросников, Гидрометцентр России),
- WRFZ (отв.Р. Б. Зарипов, Гидрометцентр России),
- WRFJ (отв.В. Д. Жупанов, Гидрометцентр России).

Прогнозы зарубежных глобальных моделей (UKMO, NCEP и DWD) поступают в Гидрометцентр России в коде GRIB в узлах сетки по широте и долготе соответственно. Следует отметить, что реальная сетка в этих моделях имеет шаг 30 – 40 км на глобусе. Модель T85L31 имеет пространственный шаг ~ по широте и долготе, модель PLAV 0,72?0,9°, модель PLAV2 ~40 км, региональная модель ~75 км. Для зарубежных мезомасштабных моделей пространственный шаг составляет от 15 до 20 км и только в модели Д. Я. Прессмана шаг сетки равен 10 км (эта модель охватывает территорию лишь узлов сетки, что примерно соответствует территории Московской области, и имеет заблаговременность прогноза только до 36 ч).

Отметим, что во все модели включена довольно совершенная система учета разнообразных притоков тепла и неадиабатических факторов, что позволяет достаточно успешно давать прогноз таких сложных метеоэлементов, как приземная температура воздуха и осадки.

Модели ММ5, ETA-model, WRF разработаны в США. При оперативной эксплуатации использовались поля американского объективного анализа и боковые граничные условия из глобальных моделей США, которые передавались по Интернету (соответствующее программное обеспечение встроено в эти модели).

В мезомасштабной модели Д. Я. Прессмана в качестве боковых граничных условий используются прогнозы UKMO. Ответственные за счет мезомасштабных моделей имели возможность варьировать многочисленные внешние параметры этих моделей с целью достижения лучших результатов прогнозов. Расчет прогнозов проводился на вычислительных системах ГВЦ Росгидромета: Itanium, Tiger, Xeon и других.


Экспериментальные прогнозы приземной температуры воздуха по методу многомодельного ансамбля
Кроме того, была сделана попытка в экспериментальном режиме рассчитать прогнозы приземной температуры воздуха и осадков по методу многомодельного ансамбля. Для реализации этого метода в случае прогноза температуры воздуха необходимо иметь на каждой станции предварительно накопленный архив прогнозов температуры (15-20 ближайших дней) разной заблаговременности по разным моделям. Тогда расчет прогностического значения метеоэлемента производится по формуле:

      (1)

где
f – любая прогнозируемая переменная,
j – номер схемы, участвующей в ансамбле,
J – количество схем в ансамбле,
wj - вес j-й схемы,
cj - средняя (систематическая) ошибка j-й схемы.

Веса в (1) задаются формулой

      (2)


Методология сравнения
Для унификации оценки успешности прогнозов все мезомасштабные модели (кроме модели Д. Я. Прессмана) производили запись прогнозов всех проверяемых метеорологических элементов через 6 ч для вышеуказанной области – европейской территории России (ЕТР) в сетке точек узел с шагом по широте и долготе. Затем для всех моделей делалась билинейная интерполяция метеорологических элементов из прогностических полей на станции и выполнялось последующее сравнение с фактическими данными наблюдений. Все данные фактических наблюдений прошли через систему контроля в ходе оперативного объективного анализа и не имели грубых ошибок.

Все фактические и прогностические значения метеорологических величин на станциях для сравниваемых моделей записывались в специальную базу данных с длительным сроком хранения, что облегчало дальнейшую оценку.

Оценки проводились отдельно для:
- г. Москвы (станция ВВЦ),
- примерно для территории Московской области (21 станция),
- областным городам Центрального Федерального Округа (ЦФО): 17 станций, включая ВВЦ, г. Москва,
- по всем 432 станциям выбранной территории (ЕТР).


Результаты сравнительной оценки прогнозов температуры воздуха, давления на уровне моря, ветра и точки росы
В таблицах ниже представлены оценки прогнозов по всем моделям для температуры воздуха (t), давления на уровне моря (p), ветра (w) и точки росы (td). Был рассчитан обычный набор характеристик успешности прогнозов. Обозначения в таблицах (BIAS, RMS, ABS, OTNO, <1, <2, <3 и >3) соответствовали средней, среднеквадратической, средней абсолютной и относительной ошибкам, а также проценту обеспеченности прогнозов, имеющих ошибки меньше или больше некоторых пороговых значений: 1°С, 2°С, 3°С (1, 2, 3 гПа или 1, 2, 3 м/с). N – количество оцененных прогнозов. Следует отметить, что по техническим причинам число N для разных моделей оказалось не одинаковым, что несколько снизило общую достоверность сравнения.

Из данных таблиц  1     2     3     4     5  следует, что в среднем успешность прогноза температуры воздуха на 48 и 72 ч несколько выше, чем на 36 и 60 ч, что объясняется влиянием суточного хода температуры, который недостаточно адекватно учитывается в рассматриваемых моделях атмосферы. Жирным шрифтом отмечены лучшие показатели успешности прогнозов.

В таблицах  6     7     8     9     10    представлены показатели успешности прогнозов давления на уровне моря с заблаговременностью от 24 до 72 ч. Из сравниваемых моделей атмосферы наименьшие погрешности были у моделей UKMO, WRFZ, REGION.

Прогноз приземного ветра и влажности в некоторых моделях не предвычисляется. В случае наличия прогнозов ветра оценивалась векторная ошибка скорости ветра. Из таблиц  11  и  12    следует, что все модели систематически завышают скорость ветра (средняя ошибка ветра равна абсолютной ошибке у всех моделей).

Ошибки при прогнозе влажности (температуры точки росы) оказались заметно выше, чем при прогнозе температуры воздуха (таблицы  13  и  14 ).


Экспериментальные прогнозы осадков по методу многомодельного ансамбля
Попытка сделать удовлетворительный ансамблевый прогноз осадков по формулам (1) и (2) оказалась малоуспешной. Поэтому для прогноза осадков был применен многомодельный ансамблевый метод, основанный на байесовском подходе, предложенный сотрудником Гидрометцентра России В. А. Гординым. Он же предложил метод оценки успешности прогнозов количества осадков. Пусть х – фактическое количество выпавших осадков, измеренных на станции (мм), а у – прогностическое количество осадков для той же станции. Погрешность предлагается оценивать следующей эмпирически подобранной безразмерной величиной:

      (3)

Критерий (3) подобран так, что абсолютная погрешность прогноза менее значима, когда и прогноз, и фактическое значение больше. На следующем этапе была построена байесовская схема прогноза количества осадков, когда известны два предиктора (пока наилучшая версия – использование UKMO, NCEP). Оптимизация параметров схемы производилась численно по критерию (3), на архиве данных 2800 станций за второе полугодие 2006 г. Последующая проверка показала, что в результате оптимизации параметров схемы прогноза осадков она улучшается и в смысле других, использовавшихся ранее критериев оценки прогноза количества осадков. Это, в свою очередь, подтверждает разумность критерия (3).

Недостаток байесовского подхода – необходимость сравнительно большого ансамбля для обучения. Поэтому в ансамбль приходится включать различные географические зоны, различные сезоны и, возможно, прогнозы по схемам, претерпевшим какие-то изменения.


Сравнительной оценки прогнозов осадков и полученные результаты
Для осадков оценивался факт выпадения осадков по известным критериям (обозначения в таблицах): U, Uoc, Uбo, Poc, Pбo, Pir, т.е. общая оправдываемость, оправдываемость прогноза «осадки» и «без осадков», предупрежденность случаев с осадками, без осадков (все эти значения в %) и критерий качества Пирси-Обухова. При оценке прогноза количества осадков были рассчитаны средняя (cr/os) и средняя абсолютная ошибки (ab/os) в мм/12ч. N, как и ранее – количество оцененных прогнозов. Оценка успешности прогнозов осадков проводилась для заблаговременностей 18, 30, 42, 54 и 66 ч, т. к. на ЕТР России измерения полусуточных осадков производятся в 6 и 18 ч ВСВ, т.е. производятся сравнения осадков за синхронные сроки.
В таблицах  15     16     17     18     19  представлены характеристики успешности прогнозов осадков по станциям ЦФО и ЕТР.
При анализе таблиц с характеристиками успешности прогнозов осадков довольно трудно определить наиболее успешные модели. ввиду большого числа критериев оценки.


В целом результаты сравнения показали следующее:
- показатели успешности прогнозов температуры воздуха у всех моделей оказались практически сравнимы друг с другом, не выявив заметного преимущества мезомасштабных и региональных моделей перед глобальными;
- из представленных мезомасштабных моделей наилучшие показатели успешности прогнозов имела модель WRFZ (отв. Р. Б. Зарипов);
- высокие показатели успешности прогнозов отдельных метеорологических величин имели две отечественные модели (мезомасштабная модель Д. М. Прессмана, региональная модель В. М. Лосева - Гидрометцентр России) и мезомасштабная модель ММ5 (отв. Г. Ю. Калугина - Московское Гидрометбюро);
- экспериментальные прогнозы температуры воздуха Гидрометцентра России на основе ансамбля двух или трех глобальных оперативных моделей (UKMO, NCEP, DWD) имели лучшие результаты по всем оцениваемым территориям и для всех заблаговременностей прогнозов;
- экспериментальные прогнозы осадков с использованием ансамблевого подхода также имели высокую оправдываемость.


Выводы
Полученные результаты сравнения моделей атмосферы за один летний сезон являются предварительными и не могут дать однозначного ответа какая мезомасштабная модель является лучшей.

Поэтому ЦМКП в решении от 22 октября 2007 г. рекомендовала Гидрометцентру России:
- продолжить сравнительную оценку прогнозов метеорологических величин по моделям в другие сезоны года (до июля 2008 г.) с целью определения базовой региональной/мезомасштабной модели, удовлетворяющей требованиям высокого качества выходной продукции, оперативности, технологичности и возможности эксплуатации моделей в региональных центрах Росгидромета; результаты представить на заседание ЦМКП;
- считать целесообразным развивать ансамблевый подход в рамках международной кооперации, прежде всего по проекту ТОРПЕКС.


© Методический кабинет Гидрометцентра России