Сравнительный анализ оправдываемости прогнозов температуры воздуха и осадков,
получаемых на основе рекомендованных к внедрению моделей и методов по центральной части европейской территории России, Московской области и Москве

В Гидрометцентре России в течение полугодия (с февраля по июль 2007 г.) проводилась сравнительная оценка успешности прогнозов температуры воздуха и осадков на 24, 36 и 48 ч, получаемых оперативно с помощью рекомендованных к внедрению моделей и методов прогнозов.. Работа выполнялась в соответствии с решением Центральной методической комиссии по гидрометеорологическим и гелиогеофизическим прогнозам (ЦМКП) от 9 ноября 2006 г.

Методика сравнения
Методика сравнения прогностических значений метеорологических величин (срочной, экстремальной температуры воздуха и осадков), полученных на основе внедренных гидродинамических моделей атмосферы различного масштаба (от глобальных до мезомасштабных) и технологии расчета элементов погоды (РЭП), предусматривала расчет показателей успешности прогнозов в пунктах центральной части европейской территории России (50-61° с.ш., 27,7-45° в.д.), Центрального Федерального Округа (ЦФО), Московской области и в Москве.

В таблице 1 дан перечень моделей и методов, прогнозирующих приземную температуру воздуха по срокам, экстремальную температуру воздуха и осадки на соответствующей территории оценки.
Прогнозы рассчитывались в оперативном режиме по исходным данным наблюдений за 00 ч ВСВ. Оценивались прогнозы срочной и экстремальной температуры воздуха, а также прогнозы факта выпадения осадков (наличие или отсутствие) и количество полусуточных сумм осадков.

В сравнительной оценке участвовали следующие отечественные гидродинамические модели атмосферы, внедренные в оперативную практику:
- глобальная модель T85L31 (отв. Розинкина И. А.) – прогнозы срочной температуры воздуха и осадков;
- методическая интерпретация выходной продукции модели T85L31 в прогноз осадков (автор Акимов И.В.) - по Москве и Московской области;
- региональная модель (автор. Лосев В. М.) - прогноз осадков;
- мезомасштабная модель (отв. Прессман Д. Я.) – срочная температура воздуха и осадки по Москве и Московской области.
Для сравнения привлекалась поступающая в коде ГРИБ аналогичная прогностическая продукция глобальных гидродинамических моделей зарубежных центров: UKMO (Великобритания) и NCEP (США); а также прогностическая продукция мезомасштабной модели ММ5 (МГмБ), в опытном порядке эксплуатируемой в Московском Гидрометбюро (отв. Калугина Г.Ю.) с использованием полей американского объективного анализа и боковых граничных условий из глобальных моделей США, которые получали посредством Интернет.

В экспериментальном порядке в сравнении участвовали также:
- схема прогноза температуры воздуха на основе ансамбля (отв. Багров А. Н.) двух глобальных оперативных моделей UKMO и NCEP [см. «Результаты сравнительной оценки успешности прогнозов элементов погоды на основе ряда отечественных и зарубежных моделей атмосферы различного масштаба» в разделе «Модели];
- комплексная схема (отв. Беркович Л. В.) прогноза температуры воздуха – по Москве и 17 городам ЦФО, прогноза осадков - по Москве, Московской области и 17 городам ЦФО.
Методика сравнения предусматривала также оценку успешности краткосрочных методических и синоптических прогнозов максимальной и минимальной температуры воздуха по Москве. Методические прогнозы максимальной и минимальной температуры воздуха по Москве (ВВЦ) рассчитывались на основе технологии РЭП (расчет элементов погоды - отв. Васильев П. П.) , на основе ансамблевого подхода (отв. Багров А. А.), а также прогнозистами-синоптиками Московского Гидрометбюро и Гидрометцентра России.

Показатели успешности прогнозов
Расчет показателей успешности прогнозов производился с помощью автоматизированной технологии Гидрометцентра России по единой методике. При оценке прогнозов температуры воздуха рассчитывались систематическая ошибка (BIAS), абсолютная ошибка (ABS), относительная ошибка (OTNO) , среднеквадратическое отклонение (RMS), обеспеченность (%) заданной абсолютной ошибки величиной менее 1°С, менее 2°С и менее 3°С. Результаты выполненного сравнения прогнозов срочной температуры воздуха представлены в таблицах 2, 3, 4, 5 и экстремальной температуры воздуха – в таблицах 6, 7. Для дополнительного контроля сравнимости полученных результатов во всех таблицах в отдельной графе указано рассмотренное число прогнозов.


Результаты сравнения успешности прогнозов срочной температуры воздуха
Из данных таблицы 2 видно, что среди внедренных отечественных гидродинамических моделей наименьшие погрешности прогнозов срочной температуры воздуха по г. Москве имеет мезомасштабная модель (отв. Прессман Д. Я.) при заблаговременности 36 ч и экспериментальная комплексная схема (отв. Беркович Л. В.) при заблаговременности 24 и 48 ч. Прогнозы срочной температуры воздуха на 36 ч по мезомасштабной модели (отв. Прессман Д. Я.) имеют более высокие показатели успешности (ABS=1,75°С; RMS=2,22°С), чем аналогичные прогнозы по модели NCEP (ABS=2,05&3176;С; RMS=2,62°С) и по модели ММ5 (МГмБ) (ABS=2,11°С; RMS=2,62°С).
Однако при других заблаговременностях прогнозы сравниваемых отечественных моделей несколько уступают в успешности зарубежным гидродинамическим моделям по всем рассматриваемым критериям успешности. При заданной абсолютной ошибке менее 3°С прогнозы всех заблаговременностей у отечественных моделей имеют обеспеченность в среднем 70-83%, а у зарубежных моделей – 77-90%. Число рассмотренных прогнозов срочной температуры воздуха по Москве у разных моделей находилось в пределах 155-165.

Самые лучшие характеристики успешности (ABS в пределах от 1,13 до 1,42°С) имели экспериментальные прогнозы срочной температуры воздуха на основе ансамбля из двух глобальных оперативных моделей UKMO и NCEP (отв. Багров А. Н.). Показатели успешности этих прогнозов превышали аналогичные показатели лучших зарубежных глобальных и мезомасштабных моделей.

Количество рассмотренных прогнозов срочной температуры воздуха по территории Московской области составляло от 2739 до 2913. В данном сравнении моделей отмечено преимущество в успешности прогнозов срочной температуры воздуха у отечественной мезомасштабной модели (авт. Прессман Д. Я.), имеющей абсолютные ошибки величиной 1,62 и 1,84°С при заблаговременности прогнозов 24 и 36 ч соответственно, а также преимущество (6 – 12%) в обеспеченности прогнозов с абсолютной ошибкой менее 3°С. Указанной модели уступали в успешности прогнозы отечественной глобальной модели T85L31 и прогнозы мезомасштабной модели ММ5 (МГмБ) при заблаговременности 24 и 36 ч, а также прогнозы глобальной модели NCEP при заблаговременности 36 ч. Однако экспериментальные прогнозы с использованием ансамблевого подхода (отв. Багров А.Н.) по Московской области, как и по Москве, по всем показателям успешности были лучше отечественных и зарубежных моделей.

По ЦФО количество рассмотренных прогнозов срочной температуры воздуха было сопоставимо с количеством аналогичных прогнозов по территории Московской области. Результаты сравнения свидетельствуют, что при заблаговременности 24 ч, прогнозы температуры воздуха по комплексной схеме (отв. Беркович Л. В.) и модельные прогнозы зарубежных центров UKMO и NSEP имеют практически одинаковые показатели успешности (ABS, RMS и обеспеченность прогнозов с ошибкой менее 3?С, равную 87%). Прогнозы температуры воздуха заблаговременностью 36 и 48 ч зарубежных центров имели оправдываемость на 10-12% выше, чем комплексная схема (отв. Беркович Л. В.). Успешность прогнозов температуры воздуха на данной территории на основе ансамблевого подхода (отв. Багров А. Н.) по всем рассмотренным характеристикам превышала успешность прогнозов зарубежных моделей.

Показатели успешности прогнозов срочной температуры воздуха на центральной части европейской территории России приведены в таблице 5, из данных которой видно, что количество рассмотренных прогнозов для данной территории на порядок больше рассмотренных прогнозов по остальным территориям. При этом наиболее высокие характеристики успешности прогнозов срочной температуры воздуха для заблаговременностей 24, 36 и 48 ч (ABS =1,50; 1,63; 1,60°С и обеспеченность прогнозов с ошибкой менее 3°С в пределах 87-90%) оказались у метода, базирующегося на основе использования ансамблевого подхода (отв. Багров А. Н.), превысив характеристики успешности всех зарубежных моделей и отечественной глобальной модели Т85L31.


Результаты сравнения успешности прогнозов экстремальной температуры воздуха
Сравнительная оценка прогнозов минимальной и максимальной температуры воздуха производилась по Москве (станция ВВЦ), 21 станции Московской области и предусматривала сравнение методических прогнозов, рассчитанных оперативно на основе технологии РЭП (отв. Васильев П. П.), на основе ансамблевого подхода (отв. Багров А. Н.) и прогнозов, составленных прогнозистами-синоптиками. Полученные результаты сравнения приведены в таблицах 6 и 7.

Из данных таблицы 6 видно, что средняя абсолютная ошибка прогнозов минимальной температуры воздуха у всех рассмотренных методов в среднем не превышает 1,4°С и находится в пределах 1,2-1,4°С. Оправдываемость прогнозов минимальной температуры воздуха достаточна высокая у всех методов и составляет в среднем 90-98 %. Преимущество в оправдываемости прогнозов минимальной температуры на 24 и 48 ч (в 2-3%) по сравнению с прогнозами синоптиков имелось у экспериментальных прогнозов по методу ансамбля. Прогнозы минимальной температуры с заблаговременностью 48 ч по технологии РЭП оправдываются лучше, чем синоптические прогнозы в среднем на 2%, а в феврале и апреле - на 3-7%. Различие с успешностью ансамблевых прогнозов составляет 0,1°С по абсолютной ошибке и 1% в оправдываемости прогнозов.

Успешность прогнозов максимальной температуры воздуха (таблица 7) у всех сравниваемых методов несколько ниже, чем успешность прогнозов минимальной температуры воздуха. В целом за полугодие синоптические прогнозы максимальной температуры воздуха на 24 и 48 ч имели оправдываемость на 2-5% выше, чем прогнозы на основе технологии РЭП. Однако более высокая оправдываемость была у ансамблевых прогнозов как суточных, так и на 48 ч.

При детальном сравнении успешности прогнозов по месяцам (см. рисунок) заметны колебания в распределении абсолютной ошибки и оправдываемости прогнозов. Самые большие различия в величинах абсолютной ошибки наблюдались в феврале и апреле, когда фактическая изменчивость экстремальной температуры воздуха в 2007 г. была наибольшей. В июле при небольшой изменчивости температуры и преобладании погоды антициклонального типа на территории Москвы и Московской области абсолютная ошибка по разным методам составляет не более 1,4-1,8оС. Наименьшей (1,2&3176;С) абсолютная ошибка была у экспериментальных ансамблевых прогнозов при заблаговременности 24 ч, она увеличилась до 1,7°С у Тmax при заблаговременности прогнозов до 48 ч, как и у других методов.

В целом можно заключить, что успешность прогнозов экстремальной температуры воздуха заблаговременностью до 48 ч у методических и синоптических прогнозов достигала высокого уровня и в среднем превышает 90%.


Методика сравнительной оценки качества прогнозов осадков
Методика сравнительной оценки качества прогнозов осадков предусматривала расчет общепринятых характеристик успешности:
- по факту их выпадения: общая оправдываемость (U), оправдываемость прогнозов наличия (Uoc) и отсутствия осадков (Uбo), предупрежденность наличия (Po) и отсутствия осадков (Pбo), критерий качества Пирси-Обухова (Pir), критерий надежности Багрова-Хайдке (HSS);
- статистические показатели, характеризующие успешность прогноза количества осадков: средние (сr/os) и абсолютные ошибки (ab/os);
- оправдываемость прогнозов количества осадков согласно действующего Наставления [2] по территории Москвы и Московской области.

Сравнение прогностических 12-часовых сумм осадков, рассчитанных с заблаговременностью 24, 36, 48 ч, проводилось с данными измерений за соответствующие сроки на метеорологических станциях европейской части территории России, Центрального Федерального Округа, Московской области и Москвы (таблица 1). При этом за прогностическое значение осадков на станции принималось значение, полученное с помощью билинейной интерполяции от значения ближайшего узла сетки модели.

Успешность прогнозов осадков отечественных гидродинамических моделей сравнивалась с успешностью аналогичных прогнозов зарубежных моделей (таблицы 8-11) и отдельно проводилось сравнение успешности методических прогнозов на основе внедренных моделей и методов с успешностью оперативных прогнозов синоптиков (таблицы 12, 13).


Результаты сравнения прогнозов осадков по отечественным и зарубежным гидродинамическим моделям
В таблице 8 представлены характеристики успешности прогнозов осадков по центральной части центральной части европейской территории России за период с 16 февраля по 31 июля 2007 г. Количество рассчитанных прогнозов в указанный период составляло от 25755 до 27458 прогнозов, что свидетельствовало о статистической значимости результатов сравнительной оценки. Полученные результаты показали, что прогнозы осадков на основе сравниваемых отечественных и зарубежных моделей практически значимы. Величины критерия качества Пирси-Обухова (Pir) находятся в пределах 0,42-0,54 при заблаговременности 24 ч и в пределах 0,36-0,46 при заблаговременности 48 ч. Критерий надежности Багрова-Хайдке (HSS) близок по величине к критерию Пирси-Обухова. Другие показатели характеризуют разные стороны сравниваемых моделей. Так зарубежные глобальные модели (NCEP, UKMO) чаще (86%) предупреждают факт выпадения осадков в прогнозах на 24 и 36 ч, а отечественные глобальная модель Т85L31 при этих заблаговременностях - их отсутствие (85%). В тоже время оправдываемость прогнозов наличия осадков у сравниваемых моделей различается на 4-10 % в пользу модели Т85L31. Региональная отечественная модель и мезомасштабная модель ММ5 (MГмБ) реже дают прогнозы без осадков, но имеют более высокую их опрадываемость (86%). Общая оправдываемость прогнозов факта наличия и отсутствия осадков у всех сравниваемых моделей в пределах 70–76%. В суточных прогнозах меньшие погрешности в количестве осадков имели глобальная модель NCEP, региональная отечественная и глобальная модель UKMO (соответственно 1,73; 1,78; 1,87 мм/12 ч). С увеличением заблаговременности только у модели UKMO абсолютная ошибка прогноза количества осадков оставалась близкой 2 мм/12 ч, у других моделей указанная погрешность возросла до 2,2-2,4 мм/12 ч.
В целом можно заключить, что отечественные и зарубежные гидродинамические модели прогноза осадков имеют вполне сопоставимый уровень успешности прогнозов.

Для территории ЦФО (таблица 9) количество оцененных прогнозов по каждой модели было в пределах 2403-2556. Соотношение характеристик качества прогнозов осадков на основе отечественных и зарубежных моделей практически идентично описанному выше. Однако среди всех сравниваемых моделей на рассматриваемой территории лучшие прогнозы количества осадков с абсолютной ошибкой 1,23 и 1.46 мм/12 ч при заблаговременностях 24 и 36 ч продемонстрировала экспериментальная комплексная схема (отв. Беркович Л. В.). Имея самую высокую предупрежденность выпадения осадков (94 и 97%) и оправдываемость прогнозов без осадков (95 и 96%), комплексная схема на 5-10% уступала в общей оправдываемости прогнозов факта наличия и отсутствия осадков другим отечественным и зарубежным моделям. Наибольшие значения общей оправдываемости прогнозов осадков, предупрежденности без осадков имели прогнозы модели T85L31 при заблаговременности 24 ч. Предупрежденность случаев без осадков наиболее высокой была у региональной модели (78,8%) при заблаговременности 36 ч, по сравнению с зарубежными моделями превышение составило 3-18,3%.

В таблице 10 приведены показатели успешности прогнозов осадков сравниваемых моделей по Московской области. Объем указанной выборки составил 2739-2913 прогнозов по каждой модели. Из представленных результатов видно, что наиболее высокие значения общей оправдываемости прогнозов и предупрежденности случаев без осадков имела глобальная модель T85L31 при заблаговременности 24 ч. В общем соотношение различных характеристик качества прогнозов факта выпадения осадков у отечественных и зарубежных моделей было аналогичным описанному соотношению на территории центральной части европейской территории и ЦФО. Однако статистические характеристики прогнозов количества осадков у региональной и мезомасштабной отечественных моделей стали лучше.

Наименьшие абсолютные ошибки прогноза количества осадков при заблаговременности прогнозов 24 и 36 ч имели соответственно региональная модель Лосева В. М. (1,35мм/12 ч) и мезомасштабная модель Прессмана Д. Я. (1,54 мм/12 ч) при сравнении абсолютных ошибок прогнозов отечественных и зарубежных моделей с заблаговременностью 24 и 36 ч.

При заблаговременности прогнозов 48 ч (сравнивались только глобальные модели) большинство характеристик успешности оказалось выше у прогнозов зарубежных моделей, у модели Т85L31, по сравнению с моделью UKMO, была несколько выше предупрежденность осадков и меньше величина абсолютной ошибки количества осадков.

Оценка прогнозов осадков по Москве (таблица 11) осуществлялась по станции ВВЦ из-за отсутствия автоматизированного поступления в базу данных метеорологических наблюдений с других станций. Число сравниваемых прогнозов по каждой модели составляло от 155 до 165.

Сравнение успешности суточных прогнозов осадков на основе отечественных моделей показало, что все они при оценке факта выпадения осадков имеют те или иные высокие показатели: глобальная модель Т85L31 (общая оправдываемость, оправдываемость прогнозов осадков и предупрежденности случаев без осадков соответственно - 76,4%, 61,2%, 83,6%), региональная модель (предупрежденность осадков 80%, оправдываемость прогнозов без осадков 88,5% и самый высокий критерий качества Пирси–Обухова), комплексная схема (предупрежденность осадков 95,71%, оправдываемость прогнозов без осадков 96,1), мезометеорологическая модель (предупрежденность без осадков 80,9%, общая оправдываемость прогнозов 72,1%). Наименьшие значения абсолютной ошибки прогноза количества осадков были у комплексной схемы (1,00 мм/12 ч) и региональной модели (1,27 мм/12 ч). При заблаговременности прогнозов 36 ч наиболее высокие значения оправдываемости прогнозов без осадков и предупрежденности наличия осадков (97,6%, 98,3%), а также наименьшую абсолютную ошибку прогноза количества осадков имела экспериментальная комплексная схема Берковича Л. В.

Следует отметить, что приведенные характеристики успешности прогнозов осадков на основе отечественных моделей в общем вполне сопоставимы с качеством прогнозов осадков зарубежных центров, различаясь только по отдельным показателям. Данный вывод относится и к сопоставлению прогнозов осадков на 48 ч на основе сравниваемых глобальных моделей Т85L31, UKMO и NCEP.


Результаты сравнения успешности методических и синоптических прогнозов осадков по Москве и Московской области
Характеристики успешности прогнозов осадков заблаговременностью 24, 36 и 48 ч по Москве и Московской области (таблицы 12, 13) свидетельствуют о том, что в рассматриваемый период оперативные синоптические прогнозы имели преимущество перед методическими прогнозами по большинству представленных показателей. Согласно Наставлению общая оправдываемость прогнозов осадков по Москве составляет соответственно 82, 84 и 78%, по Московской области – 85, 86 и 78%. Абсолютная ошибка прогнозов количества осадков у синоптиков колеблется в пределах от 0,6 до 1,7 мм/12ч). Величина критерия качества Пирси – Обухова составляет 0,51–0,54 при заблаговременности прогнозов 24 ч, 0,43 - при заблаговременности 36 ч и 0,36-0,37 - при заблаговременности 48 ч.

Методические прогнозы (комплексная схема Берковича Л.В. и интерпретация выходной продукции модели T85L31) имеют аналогичные ошибки количества осадков, комплексная схема существенно лучше предупреждает факт выпадения осадков, а мезомасштабная модель Прессмана Д.Я. и региональная модель лучше предупреждают факт отсутствия осадков. При заблаговременности 48 ч различия в успешности прогнозов осадков у моделей и синоптиков становятся менее выраженными.


Выводы
Сравнительный анализ результатов показал высокий уровень оправдываемости прогнозов срочной температуры воздуха (выше 85%) и практически значимое качество прогнозов осадков (критерий качества Пирси-Обухова выше 0,40) по всем сравниваемым методам и моделям. Существующий разброс в оценках качества сравниваемых методов свидетельствует о том, что разные модели и методы достаточно хорошо адаптированы для различных типов процессов и синоптических ситуаций.
В целом уровень успешности прогнозов температуры и осадков по отечественным моделям в сравнении с зарубежными моделями показал достаточно близкие оценки успешности. Тем не менее эти оценки несколько уступают оценкам качества зарубежных моделей.

Прогнозы экстремальной температуры воздуха у синоптиков и по схеме РЭП имели достаточно высокие и близкие характеристики успешности. Прогнозы осадков по Москве и Московской области у синоптиков имели более высокие оправдываемости, чем у методических прогнозов.

Проведенный эксперимент по прогнозированию приземной температуры воздуха с использованием ансамблевого подхода показал уровень успешности, превосходящий успешность прогнозов по лучшим зарубежным моделям.


Рекомендации ЦМКП
Результаты выполненного сравнения методических и синоптических прогнозов были доложены на заседании ЦМКП 2 октября 2007 г.
ЦМКП одобрила выполненную Гидрометцентром России работу по сравнительной оценке качества прогнозов на основе внедренных прогностических схем и моделей. Комиссия рекомендовала Гидрометцентру России использовать в оперативной практике в качестве основных:
- технологию выпуска регионального гидродинамического прогноза полей давления на уровне моря, геопотенциала изобарических поверхностей до 100 гПа, температуры и ветра в тропосфере, а также осадков на сроки до 48 ч (автор В. М. Лосев);
- технологию выпуска глобальных гидродинамических прогнозов полей давления на уровне моря, высоты геопотенциала основных изобарических поверхностей, температуры воздуха и ветра в тропосфере с заблаговременностью 12-240 ч, а также прогнозы осадков в холодные периоды года для заблаговременности 24–72 ч на базе спектральной модели T85L31;
- технологию РЭП (автор П. П. Васильев) в части прогнозирования экстремальной температуры воздуха по Москве на 2-3 сутки и по Московской области на 1-5 сутки.

В качестве вспомогательной рекомендовано использовать в оперативной практике технологию расчета гидродинамического локального прогноза приземной температуры воздуха, давления, скорости ветра, а также осадков в холодный период года по территории Москвы и Московской области с заблаговременностью 36 ч на основе мезомасштабной модели (автор Д. Я. Прессман).

ЦМКП предложила продолжить опытное использование экспериментальной комплексной схемы (автор Л. В. Беркович) в течение года.
Комиссия рекомендовала Гидрометцентру России создавать новые виды прогностической продукции в вероятностной форме.


Авторы:
И. А. Горлач, aigorl@mecom.ru, тел.: 8 (495) 255-23-41, 255-21-02
Г. К. Веселова veselova@mecom.ru, тел.: 8 (495) 605-36-52
Е. Н. Шакотько,
Г. В. Малинская