Гидрометеорологические исследования и прогнозы. 2023. № 2 (388). С. 138-155 138

DOI: https://doi.org/10.37162/2618-9631-2023-2-138-155

УДК 556.536+519.688+004.8+004.438

Глубокие нейронные сети архитектуры трансформер

в задачах гидрологических прогнозов

А.В. Романов1, Э.Р. Акмаев2, М.А. Червоненкис2

1Гидрометеорологический научно-исследовательский центр

Российской Федерации, г. Москва, Россия;

2ООО «ПАВЛИН Технологии» г. Дубна Московской обл., Россия

alexey.romanov@mecom.ru, akmaew1@gmail.com, chervonenkis@yandex.ru

Выполнен теоретический анализ современных нейросетевых моделей,

используемых для обработки временных рядов. При этом особое внимание уделено

архитектуре построения алгоритмов глубокого машинного обучения. Показаны

преимущества нейросетевой модели Temporal Fusion Transformer (TFT), которая

выбрана в качестве базовой для моделирования процесса формирования весеннего

половодья. Детально численно проанализированы возможности использования

модели TFT для долгосрочного прогноза максимальных уровней воды с

заблаговременностью 60 и 90 суток для нескольких водпостов р. Исеть (бассейн

речной системы Тобола). В качестве исходной информации для обучения модели

(зависимая/обучаемая выборка) использованы суточные временные ряды за 27 лет

(1991–2017 гг.) по восьми гидрометеорологическим характеристикам. Приводятся

результаты прогнозов для независимой выборки (2018–2022 гг.), а также данные

оперативного прогноза за 2023 г. Выделены несколько направлений развития

нейросетевого моделирования для долгосрочных и краткосрочных прогнозов

речного стока.

Ключевые слова: долгосрочные гидрологические прогнозы, половодье,

нейронные сети, расход воды, уровень воды, искусственный интеллект, глубокое

машинное обучение, Временной Объединяющий Трансформер

Deep neural networks of transformer architecture

in problems of hydrological forecasts

A.V. Romanov1, E.R. Akmaev2, M.A. Chervonenkis2

1Hydrometeorological Research Center of Russian Federation, Moscow, Russia

2PAWLIN Technologies, Dubna, Moscow region, Russia

alexey.romanov@mecom.ru, akmaew1@gmail.com, chervonenkis@yandex.ru

The theoretical analysis of modern neural network models used for processing time

series is carried out. At the same time, special attention is paid to the architecture of

building deep machine learning algorithms. The advantages of the neural network model

Temporal Fusion Transformer (TFT), which is selected as the base for modeling the

process of spring flood formation, are shown. The possibilities of using the TFT model for

a long-term forecast of maximum water levels with a lead time of 60 and 90 days for

several points of the Iset river (the basin of the Tobol river system) are numerically

analyzed in detail. The daily time series for 27 years (1991-2017) for eight

hydrometeorological characteristics were used as the initial information for training the

model (dependent (trainable) sample). The results of forecasts for an independent sample

(2018-2022), as well as operational forecast data for 2023 are presented. Several directions

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 139

of development of neural network modeling for long-term and short-term forecasts of

streamflow are identified.

Keywords: hydrological long-term forecasts, flooding, neural networks, discharge,

water level, water regime, artificial intelligence, deep machine learning, Temporal Fusion

Transformer

Введение

Анализ мирового опыта развития методов математического

моделирования речного стока показывает, что в основном все достигнутые

в этом направлении результаты относятся к их использованию в области

краткосрочных прогнозов водного режима с заблаговременностью от трех

до десяти суток. При этом методы долгосрочных прогнозов с

заблаговременностью месяц и более практически остались на уровне,

достигнутом на рубеже XX и XXI веков. Физической основой последних

прежде всего является уравнение водного баланса, которое может быть

записано с той или точностью в зависимости от объема исходной

гидрометеорологической информации. При этом подавляющее

большинство методов долгосрочных прогнозов различных элементов

речного стока, основанных на использовании уравнения водного баланса,

базируются на физико-статистическом подходе, широко использующим

корреляционные статистические методы анализа.

В то же время стремительный рост объема цифровой

гидрометеорологической информации, развитие нейросетей, а также

расширение парка и мощности вычислительных ресурсов предъявляют

новые требования к их обработке, которые распространяются и на

долгосрочные гидрологические прогнозы, представляющие собой

практически чрезвычайно важную область гидрологии суши. На

сегодняшний день в отечественной литературе практически нет

публикаций, в которых рассматривается использование искусственных

нейронных сетей (ANN) для долгосрочных прогнозов уровней воды с

заблаговременностью месяц и более. В то же время практическая

потребность в разработке таких методов постоянно нарастает, так как

позволяет существенно повысить эффективность управления водными

ресурсами, а также избежать серьезных экономических потерь при

образовании катастрофических наводнений.

В последние годы алгоритмы глубокого обучения ANN показали

большую эффективность в самых разных областях: от синтеза речи до

компьютерного зрения и прогнозирования временных рядов [1]. Важной

особенностью таких алгоритмов является их способность улавливать

нелинейные связи между данными разного типа, а также работать с их

большим объемом. В качестве объекта исследования возможностей

использования ANN были выбраны три водпоста р. Исеть (бассейн речной

системы р. Тобол), для которых классические методы долгосрочного

140 Гидрологические прогнозы

прогноза максимальных уровней воды с заблаговременностью не менее 30

дней, используемые в ФГБУ «Уральское УГМС», не дали положительных

результатов.

1. Архитектура базовой нейросетевой модели

Рассмотрим особенности архитектуры модели Temporal Fusion

Transformer / Трансформатор Временного Синтеза (TFT) [7], которая

нашла широкое применение в различных областях науки для предсказания

временных рядов. Эта модель обладает множеством приложений и

успешно используется в задачах прогнозирования временных данных, где

эффективное предсказание и моделирование временных зависимостей

играют важную роль [3]. Текущие часто используемые подходы включают

в себя такие модели глубокого обучения, как MLP, RNN, LSTM [5],

TCNN (Temporal Convolutional Neural Network / Временная Свёрточная

Нейронная Сеть), а также комбинированные подходы, как, например,

LSTM в сочетании со SWAT (Soil & Water Assessment Tool / Инструмент

Оценки Почвы и Воды). Однако они все страдают одним и тем же

недостатком: во многих случаях возможно использование только

непрерывных временных наблюдаемых признаков, в то время как

использование категориальных и статических признаков позволяет

улучшить качество прогнозов. Подключение категориальных и

статических признаков к указанным моделям возможно путем различных

модификаций (например, используются one-hot – кодировщики,

необучаемые слои или признаки подаются на вход верхних уровней

модели). Однако их использование недостаточно эффективно

(существенное увеличение размерности, неоптимальная архитектура).

В базовой модели TFT могут быть реализованы следующие признаки:

 Статические категориальные

 Статические непрерывные

 Временные категориальные, известные заранее

 Временные непрерывные, известные заранее

 Временные категориальные, наблюдаемые

 Временные непрерывные, наблюдаемые

 Целевые значения временных рядов, наблюдаемые до настоящего

момента времени

Ещё одной проблемой, с которой сталкиваются модели, является не

только необходимость обработки значений в различных диапазонах, но и

способность предсказывать значения в достаточно большом интервале.

Решением данной задачи может быть преобразование входного

временного ряда целевой переменной к нормализованному распределению

через среднее и стандартное отклонение. Эти значения могут

использоваться для преобразования выхода модели в требуемый диапазон.

Такой подход позволяет улучшить точность прогнозов и снизить ошибки

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 141

модели [2], поскольку теперь её непосредственные выходы будут лежать в

одном распределении.

Общая архитектура используемой модели представлена на рис. 1.

142 Гидрологические прогнозы

Рис. 1. Архитектура модифицированной модели Temporal Fusion Transformer.

Fig. 1. Modified Temporal Fusion Transformer model architecture.

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 143

Выделим основные концептуальные идеи, положенные в основу

построения данной модели:

 в качестве энкодера и декодера используется LSTM-слой;

 GLU-блоки или их включающие используются для контроля потока

информации и предотвращения насыщения или затирания градиентов

линейных слоев;

 сети выбора переменных (Variable Selection Networks)

используются для отбора наиболее важных признаков, возвращая

дополнительно сами веса важности признаков. Также этот блок

ответственен за приведение размерности от разных типов данных к одному

виду – например, категориальные признаки будут иметь отличную от

непрерывных размерность;

 в качестве внимания используется скалярное внимание (dot-product

attention).

В данной работе все численные эксперименты выполнены на базе

модификации модели, предложенной в [6]. Для упрощения описания

блоков используемой модели выделим только те из них, которые

отличаются от оригинальной имплементации.

Регуляционные (Шлюзовые) линейные ячейки (Gated Linear Unit,

GLU) – блоки регуляции потока информации в нейронных сетях [4]. Они

обеспечивают стабильность распределения входов в последующие слои. В

GLU вход делится на две части: одна часть проходит через линейную

функцию активации, а другая часть проходит через сигмоидную функцию

активации, т. е. этот блок пропускает только половину информации из

предыдущего слоя, взвешенную с помощью второй половины, прошедшей

через сигмоиду, а затем происходит поэлементное умножение тензоров:

󰇛󰇜󰇛󰇜

где  – первая половина входного тензора;  – вторая;  – операция

поэлементного умножения тензоров (разделение принято проводить по

последней оси тензора); 󰇛󰇜 – операция поэлементного применения

сигмоиды.

В данной имплементации в каждом блоке GLU непосредственно

самой операции предшествует линейный слой, увеличивающий

количество признаков вдвое – это предотвращает затирание информации и

сохранение размерностей. Сравнение представлено на рис. 2.

Блок смещения с нормализацией (Add & Norm) – это блок, который

включает в себя слой нормализации и блок обхода (skip-connection). Блок

смещения с нормализацией используется для комбинации текущего входа

с предыдущим выходом и нормализации результирующего сигнала. Он

представляет собой следующую последовательность действий:

 установка параметров блока: размерности входных и выходных

тензоров, возможность обучения маски;

144 Гидрологические прогнозы

 если размерность входного тензора не равна размерности

выходного тензора, то применяется блок интерполяции; в противном

случае используется слой-тождественность;

 если параметр добавления обучаемый, то создается параметр

маски, который затем проходит через блок сигмоидальной активации и

после этого умножается на параметр пропуска и некоторый множитель;

 вычисление нормализации входного тензора с добавлением

параметра пропуска;

 возвращение выходного тензора.

Рис. 2. Слева – исходный блок GLU, справа – используемый в данной

имплементации, где разделению входов предшествует линейный слой,

увеличивающий вход вдвое по последний оси тензора.

Fig. 2. Left plot - original GLU block, right plot - used in this implementation,

where a linear layer is applied before the input split, doubling the input along

the last axis of the tensor.

Слой Интерпретируемое Многоголовое Внимание (Interpretable

MultiHead Attention) – это модификация стандартного механизма

многоголового внимания [8], которая обеспечивает более прозрачную и

интерпретируемую работу слоя. Этот блок принимает на вход три вектора:

запросы (Q), ключи (K) и значения (V).

Каждый из этих векторов проходит через отдельные линейные

преобразования, чтобы получить векторы с размерностью 󰇡

󰇢, где

heads – число голов, на которые разбивается вход этого слоя,  –

размерность скрытого состояния модели. Затем происходит процесс

«внимания», где каждая голова вычисляет веса «внимания» для каждой

пары запросов и ключей, а затем объединяет взвешенные значения из

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 145

вектора значений, чтобы получить итоговые значения для каждой головы.

Далее, все головы объединяются и проходят через линейное

преобразование, чтобы получить окончательный выход.

󰇛󰇜󰇧

󰇨

󰇛󰇜

 

󰇟󰇠 󰇟󰇠

 

 

  



  

  





 

  





󰇛󰇜

где  – размерность скрытого состояния модели; – размерность

вектора значений;  – размерность вектора ключей;  – размер пакета

(batch size); – размерность временного шага; i – индекс головы; –

тензор выхода голов; – тензор внимания; mask – тензор бинарной

маски; encLen – длина энкодера; decLen – длина декодера;  – слой

линейного преобразования выхода голов;  – среднее

арифметическое выходов голов; output – выход слоя. В данной реализации

используются отдельные линейные слои для запросов и ключей для каждой

из голов, в то время как в стандартной имплементации все головы

используют одинаковые линейные преобразования для Q, K и V. Кроме

того здесь введен дополнительный слой  для объединения выходов

голов, а также используется dropout для предотвращения переобучения на

выходе данного слоя ,

где x – входной тензор; m – бинарная маска, определяющая, какие элементы

входного тензора следует обнулить; оператор  – поэлементное

умножение. При обучении модели бинарная маска генерируется

случайным образом с заданной конфигурацией модели вероятностью p для

каждого входного тензора, в то время как во время предсказания dropout

не применяется.

146 Гидрологические прогнозы

Помимо архитектуры самой модели, достаточно внимания должно

уделяться предобработке входов в модель. Ранее уже отмечалось, что

нормализация может улучшить точность модели, поэтому для каждого

непрерывного признака данных используется закрепленный за ним

нормализатор (StandardScaler), обеспечивающий нормализованное

распределение этого признака. Схематично описанный процесс

представлен на рис. 3.

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 147

Рис. 3. Схема процесса нормализации входных данных (распределение переменной in_var со средним значением

μ и стандартным отклонением σ переходит в стандартное распределение).

Fig. 3. Diagram of the input data normalization process (the distribution of the variable in_var with mean μ and standard

deviation σ is transformed into a standard distribution).

148 Гидрологические прогнозы

В качестве дополнения для целевой переменной мы дополнительно

удерживаем эти параметры нормализации (среднее и стандартное

отклонение) и подаем их на вход в модель, где они используются для

обратного масштабирования выходов модели (рис. 4).

Рис. 4. Графическое представление процедуры преобразования целевой

переменной target через соответствующий нормализатор.

Fig. 4. Visual representation of the target variable transformation using the

corresponding normalizer.

2. Численная реализация и анализ результатов прогнозов

В качестве объекта численной реализации модифицированной модели

TFT были выбраны три водпоста р. Исеть (бассейн речной системы р.

Тобол): Катайск, Шадринск, Мехонское, для которых все классические

методы долгосрочных прогнозов максимальных уровней воды оказались

безуспешными. В общем виде задача долгосрочного прогноза

максимального уровня воды в данном случае формулируется следующим

образом. Имея временные ряды нескольких входных переменных,

необходимо предсказать уровень воды на каждом временном шаге,

интерпретируемом как 1 сутки. В табл. 1–3 представлено описание каждой

из используемых переменных.

Все исходные данные для проведения численных экспериментов были

представлены ФГБУ «Уральское УГМС» и ФГБУ «Гидрометцентр

России». Использовалось следующее пространственное распределение

гидрометеорологической информации:

1) гидрологические данные (среднесуточные расход и уровень воды)

по водпостам Катайск, Шадринск, Мехонское;

2) метеорологическая информация (суточные температура воздуха,

высота снежного покрова, скорость ветра, температура точки росы, сумма

осадков, относительная влажность в %) по метеостанциям Далматово,

Шадринск, Шатрово, Курган.

В зависимости от наличия пропусков и их количества, а также

характера индивидуального поведения кривой какой-либо из переменных,

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 149

для заполнения данных использовались линейная, бикубическая

интерполяции или же сплайны.

Таблица 1. Список исходных переменных, полученных из исходных данных,

и их преобразование

Table 1. List of input features derived from the source data and their

transformations

Кодировка

Физический смысл

Расчетная формула

at_N_h

Температура воздуха

N часов, °C

−

Температура воздуха

среднесуточная, °C







asd

Среднесуточная высота

снежного покрова, см

−

ws _N_h

Средняя скорость ветра

в срок наблюдения

(каждые h часов), м/с

−

awspd

Среднесуточная скорость

ветра, м/с







dpt_N_h

Температура точки росы

в срок наблюдения, °C

−

dpt

Среднесуточная

температура точки росы,

°C



 



ps_N_h

Сумма осадков

за период между

сроками h часов, м

−

psbd

Сумма осадков за сутки,

мм







rhp_N_h

Относительная влажность

в срок наблюдения

(h часов), %

−

rhp

Среднесуточная

влажность, от 0.0 до 1.0



  



flow

Среднесуточный расход

воды, м3/сек

−

level

Среднесуточный уровень

воды, в см над «0»

графика поста

−

Примечание. M – количество показаний.

150 Гидрологические прогнозы

Таблица 2. Список дополнительно введенных переменных

Table 2. List of additional introduced features

Кодировка

Расчетная формула

month

Взятие месяца из текущей даты

month_x

sin(2*pi*month/12)

month_y

cos(2*pi*month/12)

day

Взятие дня из текущей даты с начала текущего года

day_x

sin(2*pi*day/365) | sin(2*pi*day/366)

day_y

cos(2*pi*day/365) | cos(2*pi*day/366)

relative_time_idx





где t – позиция временного шага,

max_encoder_len – максимальная длина энкодера

(входная длина)

level_scale

󰇛󰇜

 

где σ(level) – взятие стандартного отклонения для текущего

входного временного ряда level длиной encoder_length;

 и  – среднее и стандартное отклонение

по всей выборке; последнее рассчитывается по совокупности

стандартных отклонений посчитанных на группах длиной

encoder_length + decoder_length

level_center

󰇛󰇜

 

где (level) – взятие среднего для текущего входного

временного ряда level длиной encoder_length;

 и  – среднее и стандартное

отклонение среднего по всей выборке; последнее

рассчитывается по совокупности средних посчитанных на

группах длиной encoder_length + decoder_length.

encoder_length

Длина входного временного ряда

region

Закодированное (в целых числах) имя водпоста

Каждый из гидрологических постов ассоциировался с данными одной

или нескольких метеостанций и группировка по дате с усреднением

характеристик. В наших расчетах использовалось соответствие,

приведенное в табл. 4.

Все модели обучались на зависимой выборке с 1991 по 2017 г. (27 лет)

и валидировались на независимой выборке 2018–2022 гг. (5 лет) с

одинаковыми параметрами обучения, представленными в табл. 5.

Романов А.В., Акмаев Э.Р., Червоненкис М.А. 151

Таблица 3. Типы переменных, подаваемых на вход модифицированной

модели

Table 3. Feature types list for the modified model

Кодировка

переменной

Тип переменной

encoder_length

Статическая непрерывная

level_center

Статическая непрерывная

level_scale

Статическая непрерывная

time_idx

Временная непрерывная, известная заранее

relative_time_idx

Временная непрерывная, известная заранее