УДК 551.505.331

 

 

Сравнение параметрического и непараметрического
 подходов к вероятностной интерпретации ансамблевых сезонных прогнозов

В.Н. Крыжов

Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия

kryjov@mecom.com

 

Проведено исследование успешности вероятностных прогнозов, рассчитанных с использованием параметрического и непараметрического подходов к вероятностной интерпретации ансамблевых модельных прогнозов. Показано, что аппроксимация распределения вероятностей прогностического ансамбля гауссовым распределением улучшает его вероятностную интерпретацию и ведет к существенному статистически значимому повышению успешности вероятностных прогнозов.

Ключевые слова: модельный ансамблевый прогноз, вероятностная интерпретация ансамбля прогнозов, показатель мастерства вероятностного прогноза в ранжированных категориях

 

 

Comparison of the parametric and non-parametric
 approaches to probabilistic interpretation of ensemble seasonal predictions

V.N. Kryjov

Hydrometeorological Research Center of Russian Federation, Moscow, Russia

kryjov@mecom.com

 

A skill of probabilistic predictions estimated based on the parametric and non-parametric approaches to the probabilistic interpretation of ensemble model forecasts is analyzed. It is shown that the Gaussian approximation of the probability distribution of the forecast ensemble improves its probabilistic interpretation and leads to the essential statistically significant improvement of the skill of probabilistic forecasts.

Keywords: model ensemble forecast, probabilistic interpretation of forecast ensemble, rank probability skill score

 

 

Введение

В настоящее время в соответствии с рекомендациями ВМО [20¸ 21] сезонный прогноз представляется в вероятностной форме. Преимущества вероятностных прогнозов перед детерминистскими широко обсуждались в литературе [5, 6, 11 и др.]. Основное преимущество вероятностных
прогнозов – это использование полной информации, содержащейся
в ансамблевом прогнозе, где среднее ансамбля несет полезный сигнал,
а разброс ансамбля характеризует его неопределенность. В соответствии
с рекомендациями ВМО, обязательно представление
долгосрочного вероятностного прогноза как вероятности осуществления прогнозируемого события в трех равновероятных категориях – «выше нормы», «около нормы», «ниже нормы».

Существует два подхода к расчету вероятностного прогноза на основе ансамблевого модельного прогноза: непараметрический и параметрический. При первом подходе используется простой подсчет. Вероятность осуществления события в каждой из трех категорий рассчитывается как число членов ансамбля, попавших в эту категорию, деленное на общее число членов ансамбля. Во втором подходе предполагается, что ансамбль прогнозов – это случайная выборка из генеральной совокупности, распределенной определенным образом, причем оценки параметров распределения определяются по этой выборке. Вероятность осуществления события в каждой из трех категорий определяется как доля кумулятивной вероятности прогнозируемого распределения, отнесенная к данной категории. Этот метод применяется, в частности, в АРСС, причем распределение вероятностей аппроксимируется нормальным распределением. Подробное описание метода приводится в работах [1, 12, 13]. 

Оба подхода имеют свои плюсы и минусы. Неоспоримым достоинством первого метода является отсутствие необходимости каких-либо предположений о распределении модельного ансамблевого прогноза. Этот метод считается наиболее понятным и простым, он рекомендуется к использованию даже в развивающихся странах [20]. Однако, особенно при малых размерах ансамбля, велика вероятность больших случайных ошибок, связанных со случайным попаданием члена ансамбля в другую категорию (в ансамбле из 10 членов 95%-ный доверительный интервал случайного попадания числа членов ансамбля в ту или иную категорию составляет 2–3 члена ансамбля).

Во втором методе расчета в варианте АРСС делается предположение о нормальности распределения случайной ошибки – это можно рассматривать как недостаток. Но анализ для температуры, осадков и Н500, проведенный в АРСС [12, 13], показал, что отличие распределения случайных ошибок сезонного прогноза от нормального не существенно. По простоте применения второй метод также может конкурировать с первым. Естественно, для малых ансамблей этот метод также страдает от случайных ошибок параметров распределения, вблизи вершины функции плотности распределения случайные ошибки сравнимы с ошибками первого метода, но на периферии ошибки частично сглаживаются, и это легко показать с помощью формул из [1]. 

На сегодняшний день оба метода расчета нашли применение в оперативной практике. Первый метод применяется в России, Китае, Европейских центрах (для Европейских прогностических центров, имеющих
ансамбли размером 41 член, различия в прогнозах, рассчитанных первым и вторым методами не существенны). Второй метод используется в США, Японии, Корее, Канаде, Австралии. Второй метод представляется предпочтительным, как в большей степени отвечающим самой природе ансамблевого модельного прогноза [19]. Остается, однако, вопрос о соотношении успешности первого и второго методов.

По опыту работы Канадской метеорологической службы, успешность второго метода (параметрический – гауссова аппроксимация) несколько превосходит успешность первого метода (непараметрический – эмпирическое распределение). К аналогичным выводам пришли и специалисты Колумбийского университета [17].

Цель работы – сравнить оценки успешности вероятностных прогнозов, рассчитываемых методом подсчета и с использованием гауссовой аппроксимации функции распределения вероятностей. В сокращенном виде это сравнение было проведено в диссертационной работе автора [3].

 

1. Материалы и методы исследования

В работе использовались исторические прогнозы пяти моделей из архива АРСС за 1983–2003 гг. Исторические прогнозы этих же моделей использовались в работах [1, 12, 13], там же дано их описание. В соответствии с задачей исследования, были отобраны модели с различным числом членов ансамбля (ч.а.) в исторических прогнозах: MGO – 6 ч.а.; HMC – 10 ч.а.; METRI – 10 ч.а.; NCEP – 15 ч.а.; GDAPS – 20 ч.а.

Следует подчеркнуть, что в работе не сравнивается успешность прогнозов этих моделей – эти оценки можно найти в опубликованных статьях [10, 14, 15]. И не сравнивается успешность прогнозов с различным числом членов ансамбля, что также широко представлено в литературе [8 и др.]. В работе сравниваются оценки успешности кроссвалидированных вероятностных прогнозов, рассчитанных по одному и тому же ансамблевому модельному прогнозу двумя различными методами – непараметрическим и параметрическим на основе нормального распределения. 

Анализ был проведен для трех переменных: температура воздуха на высоте 850 гПа поверхности, высота геопотенциальной поверхности 500 гПа, осадки. Для верификации прогнозов использовались данные из реанализа [9]. Сравнение было проведено в двух вариантах – наблюдаемая категория прогнозируемой переменной определялась при расчете наблюдаемых климатических терцилей по эмпирическому и по нормальному распределениям вероятностей наблюдений. Разница между результатами оказалась пренебрежимо мала. В табл. 1 и 2 показаны результаты, полученные с использованием эмпирического распределения.

В качестве показателя успешности каждого из методов использовался показатель успешности вероятностного прогноза в ранжированных категориях RPS (Rank Probability Score) [4, 7, 16, 18]:

,

где М = 3 – число категорий; р – прогнозируемая вероятность; о = 1, если событие произошло, и о = 0 в противном случае.

RPS характеризует ошибку прогноза, поэтому для идеальных прогнозов RPS = 0, а с возрастанием ошибки значения RPS увеличиваются.

Сравнение методов проводилось с использованием показателя RPSS (Rank Probability Skill Score) – меры мастерства второго метода (индекс 2) по отношению к первому (индекс 1) на основе RPS:

,

где черта сверху означает осреднение по времени и/или пространству.

Положительные значения RPSS говорят о превосходстве второго метода (аппроксимация гауссовым распределением), отрицательные – о превосходстве первого (эмпирическое распределение). RPSS изменяется в диапазоне от минус бесконечности до единицы. RPSS идеальных прогнозов равен единице.

Для оценки статистической значимости полученных оценок применялся метод бутстреп на основе метода Монте – Карло в версии, подробно описанной в [2]. Случайным образом генерировались 32-летние последовательности вероятностей, дающих единицу в сумме по трем градациям. По этим последовательностям рассчитывались случайные значения RPSS. Было генерировано 1000 последовательностей и, соответственно, было получено 1000 случайных значений RPSS. Уровень значимости (односторонний) определялся как доля случайно полученных значений RPSS, превышающих или равных значению RPSS, полученному на оригинальных прогнозах. Например, одностороннему уровню значимости 2,5 % соответствует 25 превышений в 1000 тестов.

 

2. Анализ и результаты исследования

В табл. 1 и 2 приводятся результаты сравнения успешности прогнозов, рассчитанных двумя методами для зимы и лета соответственно. Анализ результатов показывает, что вероятностные прогнозы, рассчитанные вторым методом, оказались в подавляющем большинстве случаев успешнее вероятностных прогнозов, рассчитанных первым методом, и это повышение успешности – статистически значимым. Величины RPSS имеют порядок сотых. Это характерный порядок величин RPSS при использовании климатического прогноза в качестве референтного для внетропических широт. Для тропиков порядок этой величины повышается до десятых. Таким образом, повышение успешности оказывается весьма существенным. Заметим, что (в пределах каждой модели, сезона, района, года) для обоих методов расчета вероятностного прогноза   использовался

 

Таблица 1. Показатель мастерства вероятностного прогноза в ранжированных категориях глобального вероятностного прогноза, рассчитанного с использованием нормального распределения, по отношению к прогнозу, рассчитанному на основе эмпирического распределения. Зима

Table 1. Rank Probability Skill Score (RPSS) of the global probabilistic forecasts estimated using Gaussian probability distribution function with respect to forecasts estimated using empirical probability distribution function for winter (December-February)

Температура воздуха на высоте 850 гПа поверхности

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.037

0.044

0.027

0.049

0.084

0.048

0.053

HMC

0.016

0.020

0.012

0.015

0.024

0.022

0.016

METRI

0.017

0.023

0.012

0.033

0.037

0.031

0.042

NCEP

0.015

0.020

0.012

0.020

0.023

0.017

0.025

GDAPS_20

0.014

0.016

0.012

0.011

0.013

0.011

0.008

GDAPS_10

0.025

0.030

0.020

0.016

0.022

0.027

0.011

GDAPS_5

0.042

0.049

0.033

0.033

0.051

0.044

0.030

ММЕ

0.002

0.004

0.001

0.003

0.012

0.002

0.006

Высота геопотенциальной поверхности 500 гПа

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.047

0.048

0.045

0.042

0.053

0.042

0.045

HMC

0.036

0.027

0.052

0.021

0.039

0.021

0.009

METRI

0.030

0.027

0.036

0.034

0.041

0.038

0.042

NCEP

0.029

0.025

0.036

0.026

0.037

0.019

0.024

GDAPS_20

0.018

0.026

-0.009

0.030

0.023

0.012

0.020

GDAPS_10

0.033

0.034

0.021

0.024

0.019

0.037

0.032

GDAPS_5

0.052

0.055

0.040

0.048

0.034

0.061

0.066

ММЕ

0.013

0.012

0.014

0.010

0.014

0.008

0.010

Осадки

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.026

0.034

0.015

0.040

0.045

0.035

0.035

HMC

0.016

0.026

0.011

0.017

0.013

0.021

0.020

METRI

0.014

0.017

0.009

0.023

0.014

0.023

0.027

NCEP

0.042

0.034

0.076

0.014

0.020

0.016

0.018

GDAPS_20

0.008

0.009

0.005

0.015

0.011

0.015

0.015

GDAPS_10

0.016

0.018

0.009

0.027

0.026

0.022

0.025

GDAPS_5

0.031

0.033

0.024

0.040

0.040

0.043

0.047

ММЕ

-0.004

-0.002

-0.008

0.001

-0.002

0.001

0.003

Примечание. З.Ш. – земной шар; С.П. – Северное полушарие; Троп. – тропики; С.Евр. – северная Евразия; Е.Т.Р. – Европейская территория России; Арк. – Арктика; В.А. – восточная Арктика. Величины RPSS, статистически не значимые на 2,5%-ном уровне в одностороннем тесте, показаны курсивом.

 

Таблица 2. Показатель мастерства вероятностного прогноза в ранжированных категориях глобального вероятностного прогноза, рассчитанного с использованием нормального распределения, по отношению к прогнозу, рассчитанному на основе эмпирического распределения. Лето.

Table 2. Rank Probability Skill Score (RPSS) of the global probabilistic forecasts estimated using Gaussian probability distribution function with respect to forecasts estimated using empirical probability distribution function for summer

Температура воздуха на высоте 850 гПа поверхности

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.035

0.043

0.022

0.051

0.048

0.054

0.050

HMC

0.013

0.020

0.001

0.031

0.025

0.036

0.040

METRI

0.020

0.022

0.014

0.019

0.020

0.025

0.010

NCEP

0.019

0.021

0.015

0.020

0.030

0.019

0.010

GDAPS_20

0.020

0.022

0.014

0.025

0.001

0.028

0.029

GDAPS_10

0.019

0.027

0.008

0.028

0.011

0.034

0.031

GDAPS_5

0.035

0.042

0.023

0.043

0.031

0.044

0.033

ММЕ

0.002

0.005

-0.004

0.006

0.002

0.008

0.004

Высота геопотенциальной поверхности 500 гПа

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.041

0.044

0.038

0.045

0.037

0.047

0.058

HMC

0.026

0.023

0.031

0.028

0.036

0.030

0.029

METRI

0.021

0.023

0.016

0.016

0.018

0.020

0.019

NCEP

0.017

0.015

0.016

0.026

0.028

0.020

0.023

GDAPS_20

0.007

0.019

-0.030

0.018

0.005

0.013

0.018

GDAPS_10

0.021

0.025

0.014

0.026

0.031

0.029

0.025

GDAPS_5

0.039

0.038

0.041

0.038

0.041

0.055

0.037

ММЕ

0.004

0.003

0.004

0.006

0.009

0.003

0.003

Осадки

Модель

З.Ш.

С.П.

Троп.

С.Евр.

Е.Т.Р.

Арк.

В.А.

MGO

0.023

0.031

0.008

0.039

0.040

0.041

0.041

HMC

0.011

0.014

-0.001

0.020

0.024

0.023

0.026

METRI

0.015

0.017

0.012

0.018

0.013

0.026

0.026

NCEP

0.020

0.018

0.028

0.016

0.018

0.019

0.019

GDAPS_20

0.007

0.011

0.001

0.013

0.012

0.016

0.015

GDAPS_10

0.016

0.022

0.010

0.022

0.023

0.027

0.028

GDAPS_5

0.032

0.034

0.027

0.040

0.043

0.042

0.042

ММЕ

-0.008

-0.004

-0.017

-0.001

-0.001

0.02

0.003

Примечание. З.Ш. – земной шар; С.П. – Северное полушарие; Троп. – тропики; С.Евр. – северная Евразия; Е.Т.Р. – Европейская территория России; Арк. – Арктика; В.А. – восточная Арктика. Величины RPSS, статистически не значимые на 2,5%-ном уровне в одностороннем тесте, показаны курсивом.

 

один и тот же «сырой» ансамблевый модельный прогноз. При увеличении числа членов ансамбля от 6 (MGO) до 20 (GDAPS_20) различие уменьшается, но, как правило, RPSS остается статистически значимым. По-видимому, это можно объяснить тем, что эмпирическое распределение членов ансамбля с увеличением их числа стремится к нормальному, и можно предположить, что при дальнейшем увеличении членов ансамбля до нескольких десятков членов эта разница исчезнет.

С целью подтверждения факта наибольшей чувствительности к аппроксимации при малом числе членов ансамбля на основе ансамблей модели GDAPS_20 (20 ч.а.) были рассчитаны прогнозы по неполному ансамблю – 10 ч.а. (GDAPS_10) и 5 ч.а. (GDAPS_5). При этом оставлялись наиболее приближенные к периоду прогноза члены ансамбля. Величины RPSS сравнимы с величинами, полученными на разных моделях со сравнимыми размерами ансамбля. Значения RPSS для полуансамбля (GDAPS_10) сравнимы с результатами для моделей HMC и METRI (10 ч.а.), а для четвертьансамбля (GDAPS_5) – сравнимы с MGO (6 ч.а.).

Наименьшие различия, частично статистически значимые, частично – незначимые, отмечены для мультимодельного ансамбля. При этом не происходит обнуление, так как при нашем построении мультимодельного ансамбля прогностические вероятности по каждой модели рассчитываются отдельно, а потом они комбинируются с весами, обратно пропорциональными случайной ошибке среднего [13]. Поэтому не происходит просто суммирование членов модельных ансамблей до 61, а комбинируются уже рассчитанные вероятности.

 

3. Обсуждение и заключение

Объяснение повышения успешности прогнозов при параметрическом подходе чисто статистическое, а не физическое, так как для каждой модели для расчета различными методами используется один и тот же прогностический ансамбль. Успешность повышается за счет учета разброса ансамбля при аппроксимации нормальным распределением – параметры распределения среднее и дисперсия рассчитываются с учетом значений всех членов ансамбля.

При эмпирическом распределении учитывается только попадание членов ансамбля в ту или иную категорию независимо от их положения на числовой оси и удаленности от границ категорий. Поясним на примере. Допустим нижняя граница категории выше нормы равна 2 ºС. При попадании в категорию каждого прогностического члена ансамбля вероятность этой категории увеличивается на 1/n, независимо от числового значения этого прогноза 2.1 или 5.0. При нормальной аппроксимации прогнозы 2.1 и 5.0 дадут различный вклад в рассчитываемую вероятность этой категории. То есть полнее учитывается информация, содержащаяся в ансамблевом прогнозе.

Успешность вероятностных прогнозов, рассчитанных с использованием гауссовой аппроксимации распределения прогностического ансамбля, в подавляющем большинстве случаев превосходит успешность вероятностных прогнозов, рассчитанных с использованием эмпирического распределения прогностического ансамбля. Наиболее существенно это превосходство для малых ансамблей. С ростом размера ансамбля его эмпирическое распределение вероятностей стремится к нормальному, и превосходство снижается.

Следует еще раз подчеркнуть, что проведенный анализ никак не
характеризует успешность прогнозов той или иной модели. Более того, этот анализ и не позволяет оценивать успешность прогнозов индивидуальных моделей или проводить их сравнение. Этот анализ характеризует соотношение успешности прогнозов одной и той же модели при использовании двух различных методов интерпретации одного и того же модельного прогноза в терминах терцильных вероятностей. Также следует подчеркнуть, что повышение успешности вероятностных прогнозов, рассчитанных параметрическим методом, по сравнению с непараметрическим методом, происходит только за счет лучшей вероятностной интерпретации ансамблевого прогноза, а не за счет каких-либо корректировок ансамбля.

С точки зрения технологичности и с учетом большей успешности целесообразно отдать предпочтение параметрическому подходу к вероятностной интерпретации ансамблевого прогноза.

 

Список литературы

1. Бундель А.Ю., Крыжов В.Н., Мин Ён-Ми, Хан В.М., Вильфанд Р.М., Тищенко В.А. Оценка мультимодельного вероятностного прогноза на сезон на основе данных моделей APCC // Метеорология и гидрология. 2011. № 3. С. 5-19.

2. Киктев Д.Б., Крыжов В.Н. О сравнении различных методов оценки cтатистической значимости линейных трендов // Метеорология и гидрология. 2004. № 11. С. 27-38.

3. Крыжов В.Н. Вероятностный сезонный прогноз температуры воздуха на основе статистических связей метеорологических величин: Дис. … докт. геогр. наук. М.: Гидрометцентр России, 2012. 297 с.

4. Мирвис В.М., Мелешко В.П., Гаврилина В.М., Матюгин В.А., Львова Т.Ю. Прогноз метеорологических величин на предстоящий месяц гидродинамико-статистическим методом ГГО. II. Вероятностный прогноз: анализ и интерпретация распределения ансамбля, методика и качество прогнозов // Метеорология и гидрология. 2006. № 2. С. 5-16.

5. Alessandri A., Borrelli A., Navarra A., Arribas A., Deque M. et al. Evaluation of probabilistic quality and value of the ENSEMBELS multi-model seasonal forecasts: comparison with DEMETER // Mon. Wea. Rev. 2011. Vol. 139. P. 581-607.

6. Cusack S., Arribas A. Sampling errors in seasonal forecasting // Mon. Wea. Rev. 2009. Vol. 137. P. 1132-1141.

7. Epstein E.S. A scoring system for probability forecasts of ranked categories // J. Appl. Meteorol. 1969. Vol. 8. P. 985-987.

8. Hagedorn R., Doblas-Reyes F.J., Palmer T.N. The rationale behind the success of multi-model ensembles in seasonal forecasting. I. Basic concept // Tellus. 2005. Vol. 57A. P. 219-233.

9. Kanamitsu M., Ebisuzaki W., Woollen J., Yang S.-K., Hnilo J.J., Fiorino M., Potter G.L. NCEP–DOE AMIP-II Reanalysis (R-2) // Bull. Amer. Meteor. Soc. 2002. Vol. 83. P. 1631-1643.

10. Kryjov V.N., Kang H.-W., Nohara D., Song B.-G., Lee D.-Y., An K.-H., Sohn S.-J.,
Min Y.-M., Saji N.H., Tam C.Y.F.
Assessment of the climate forecasts produced by individual models and MME methods // APCC Technical Report. 2006. Vol. 1, no. 1. 534 p.

11. Krzysztofowicz R. Why should a forecaster and a decision maker use Bayes theorem // Water Resour. Res. 1983. Vol. 19. P. 327-336.

12. Min Y.-M., Kryjov V.N. Comparison between PMME Prediction Methods based on different PDFs // APCC Technical Report. 2007. Vol. 2. P. 31-48.

13. Min Y.-M., Kryjov V.N., Park C.-K. A probabilistic multimodel ensemble approach to seasonal prediction // Wea. Forecasting. 2009. Vol. 24. P. 812-828.

14. Min Y.-M., Kryjov V.N., Oh S.-M. Assessment of APCC multimodel ensemble prediction in seasonal climate forecasting: Retrospective (1983–2003) and real-time forecasts (2008–2013) // J. Geoph. Res. Atm. 2014. Vol. 199. P. 12132-12150.

15. Min Y.-M., Kryjov V.N., Oh S.-M., Lee H.-J. Skill of real-time operational forecasts with the APCC multi-model ensemble prediction system during the period 2008-2015 // Clim. Dynam. 2017. Vol. 49. P. 4141-4156.

16. Murphy A.H. A note on the ranked probability score // J. Appl. Meteorol. 1971. Vol. 10. P. 155-156.

17. Tippett M.K., Barnston A.G., Robertson A.W. Estimation of seasonal precipitation tercile-based categorical probabilities from ensembles // J. Clim. 2007. Vol. 20. P. 2210-2228.

18. Wilks D.S. Statistical Methods in the Atmospheric Sciences. Academic Press, 1995. 467 p.

19. Wilks D.S. Smoothing forecast ensembles with fitted probability distributions // Q. J. R. Meteorol. Soc. 2002. Vol. 128. P. 2821-2836.

20. WMO Meeting of the Expert Team on Extended and Long-Range Forecasting. Beijing, 2008, 65 p. [Электронный ресурс]. URL: https://www.wmo.int/pages/prog/www/
DPFS/Reports/ET-ELRF_Beijing2008.doc
.

21. WMO-No. 485. Manual on the Global Data-processing and Forecasting System. Vol. 1. Global Aspects. Geneva:WMO, 2010. 190 p.

 

References

1. Bundel A.Yu., Kryzhov V.N., Min Young-Mi, Khan V.M., Vilfand R.M., Tishchenko V.A. Assessment of probability multimodel seasonal forecast based on the APCC model data. Russ. Meteorol. Hydrol. 2011, vol. 36, no. 3, pp. 145-154, doi: 10.3103/S1068373911030010.

2. Kiktev D. B., Kryzhov V. N. Comparison of Several Methoda of Assessment of Statistical Significance of Linear Trends. Russ. Meteorol. Hydrol., 2004, no. 11, pp. 17-25.

3. Kryzhov V. N. Veroyatnostnyy sezonnyy prognoz temperatury vozdukha na osnove statisticheskikh svyazey meteorologicheskikh velichin. Moscow, Hydrometcenter of Russia, 2012, p. 297. [in Russ.].           

4. Mirvis V. M., Meleshko V. P., Gavrilina V. M., Matyugin V. A., L’vova T. Yu. Monthly Meteorological Forecasting with the MGO Hydrodynamic-statistical Method. II. Probabilistic Forecast: Analysis and Interpretation of Ensemble Distribution, Methods, and Skill of the Forecasts. Russ. Meteorol. Hydrol., 2006, no. 2, pp. 1-10.

5. Alessandri A., Borrelli A., Navarra A., Arribas A., Deque M. et al. Evaluation of probabilistic quality and value of the ENSEMBELS multi-model seasonal forecasts: comparison with DEMETER. Mon. Wea. Rev., 2011, vol. 139, pp. 581-607.

6. Cusack S., Arribas A. Sampling errors in seasonal forecasting. Mon. Wea. Rev., 2009, vol. 137, pp. 1132-1141.

7. Epstein E.S. A scoring system for probability forecasts of ranked categories. J. Appl. Meteorol., 1969, vol. 8, pp. 985-987.

8. Hagedorn R., Doblas-Reyes F.J., Palmer T.N. The rationale behind the success of multi-model ensembles in seasonal forecasting. I. Basic concept. Tellus, 2005, vol. 57A, pp. 219-233.

9. Kanamitsu M., Ebisuzaki W., Woollen J., Yang S.-K., Hnilo J.J., Fiorino M., Potter G.L. NCEP–DOE AMIP-II Reanalysis (R-2). Bull. Amer. Meteor. Soc., 2002, vol. 83, pp. 1631-1643.

10. Kryjov V.N., Kang H.-W., Nohara D., Song B.-G., Lee D.-Y., An K.-H., Sohn S.-J., Min Y.-M., Saji N.H., Tam C.Y.F. Assessment of the climate forecasts produced by individual models and MME methods. APCC Technical Report, 2006, vol. 1, no. 1, p. 534.

11. Krzysztofowicz R. Why should a forecaster and a decision maker use Bayes theorem. Water Resour. Res., 1983, vol. 19, pp. 327-336.

12. Min Y.-M., Kryjov V.N. Comparison between PMME Prediction Methods based on different PDFs. APCC Technical Report, 2007, vol. 2, pp. 31-48.

13. Min Y.-M., Kryjov V.N., Park C.-K. A probabilistic multimodel ensemble approach
to seasonal prediction. Wea. Forecasting, 2009, vol. 24, pp. 812-828.

14. Min Y.-M., Kryjov V.N., Oh S.-M. Assessment of APCC multimodel ensemble prediction in seasonal climate forecasting: Retrospective (1983-2003) and real-time forecasts (2008-2013). J. Geoph. Res. Atm., 2014, vol. 199, pp. 12132-12150.

15. Min Y.-M., Kryjov V.N., Oh S.-M., Lee H.-J. Skill of real-time operational forecasts with the APCC multi-model ensemble prediction system during the period 2008-2015. Clim. Dynam., 2017, vol. 49, pp. 4141-4156.

16. Murphy A.H. A note on the ranked probability score. J. Appl. Meteorol., 1971, vol. 10, pp. 155-156.

17. Tippett M.K., Barnston A.G., Robertson A.W. Estimation of seasonal precipitation tercile-based categorical probabilities from ensembles. J. Clim., 2007, vol. 20, pp. 2210-2228.

18. Wilks D.S. Statistical Methods in the Atmospheric Sciences. Academic Press, 1995, 467 p.

19. Wilks D.S. Smoothing forecast ensembles with fitted probability distributions. Q. J. R. Meteorol. Soc., 2002, vol. 128, pp. 2821-2836.

20. WMO Meeting of the Expert Team on Extended and Long-Range Forecasting.,
Beijing, 2008, 65 p.,
available at: www.wmo.int/pages/prog/www/DPFS/Reports/
ET-ELRF_Beijing2008.doc
.

21. WMO-No. 485. Manual on the Global Data-processing and Forecasting System. Vol. 1  Global Aspects. Geneva, WMO, 2010, 190 p.

 

      Поступила в редакцию 13.02.2018 г.

Received by the editor 13.02.2018.