Гидрометеорологические исследования и прогнозы. 2019. № 4 (374). С. 257-285

УДК 551.5

Автоматизированная технология
Гидрометцентра России для оперативной обработки
информации в высокопроизводительной
кластерной инфраструктуре

Ю.А. Степанов, И.И. Жабина, И.Э. Пурина,
А.Ю. Недачина, Г.В. Елисеев

Гидрометеорологический научно-исследовательский центр
Российской Федерации, г. Москва, Россия

ФГБУ «Гидрометцентр России» как Мировой метеорологический центр ВМО (ММЦ Москва) осуществляет в соответствии с установленным регламентом подготовки и выпуска информационной (прогностической) продукции сложную обработку большого потока разнородной информации с использованием автоматизированной технологии оперативной обработки информации (АСООИ-ГМЦ), разработанной и развиваемой специалистами Гидрометцентра России. Главное назначение АСООИ-ГМЦ состоит в организации централизованного, регламентированного по времени запуска, взаимно скоординированного по данным и управлению счета множества различных прогностических и специализирован-
ных прикладных задач, принадлежащих различным гидрометеорологическим областям, и обеспечении их взаимодействия посредством баз данных коллективного пользования.

Неотъемлемой частью технологии являются программные комплексы приема, раскодирования и размещения в соответствующих базах данных входной гидрометеорологической информации, а также формирования на основе информационной базы АСООИ выходной продукции в различных форматах, предназначенной для локального использования, в том числе на рабочих местах программно-технологического комплекса Прометей, и распространения в сетях АСПД и ГСТ для внешних потребителей оперативной прогностической продукции Гидрометцентра России.

Результаты оперативной эксплуатации АСООИ-ГМЦ на различных автономных оперативных серверах Гидрометцентра России показали ее работоспособность, высокую надежность и востребованность потребителями.

По мере оснащения ММЦ Москва высокопроизводительными кластерными платформами, включая Торнадо, развивались и адаптировались функциональные возможности технологии АСООИ-ГМЦ. В настоящее время эти работы ведутся на новом суперкомпьютере CRAY-XC40.

Ключевые слова: кластер, интегрированная среда разработки, IDE, трехзвенная архитектура управления, язык программирования, объектно-ориентированный подход, масштабируемость, портируемость, журналирование событий, транзакция

Automated technology of the Hydrometeorological Center
of Russia for operational information processing
in a high-performance cluster infrastructure

Yu.A. Stepanov, I.I. Zhabina, I.E. Purina,
A.Yu. Nedachina, G.V. Eliseev

Hydrometeorological Research Center of Russian Federation, Moscow, Russia

In accordance to the established rules for the preparation and issue of information (forecast) products, Hydrometeorological Center of Russia being the World Meteorological Center of WMO (WMC Moscow) carries out a complex processing of the large flow of heterogeneous information using the automated information processing technology (ASOOI-GMTs) developed by its specialists. The main purpose of ASOOI-GMTs is to organize a centralized, time-controlled start, mutually coordinated (in terms of data and management) computation of many different prognostic and specialized applied tasks belonging to different hydrometeorological areas and to ensure their interaction via shared databases. An integral part of the technology is software systems for receiving, decoding and placing input hydrometeorological data to appropriate databases as well as for generating output products in various formats based on the ASOOI database for local use, in particular, at the Prometei software and hardware complex workplaces, and for the distribution of operational forecast products of the Hydrometeorological Center of Russia to external consumers via the ASPD and GST networks.

The results of the ASOOI-GMTs operation on various autonomous operational servers of the Hydrometeorological Center of Russia exhibited its operability, high reliability and demand by consumers.

As WMC Moscow has been equipped with high-performance cluster platforms, including Tornado, the ASOOI-GMTs technology functionality has been developed and adapted. Currently, these works are carried out on the new CRAY-XC40 supercomputer.

Keywords: cluster, integrated development environment, IDE, three-tier management architecture, programming language, object-oriented approach, scalability, portability, event logging, transaction

Введение

Одной из функций Гидрометцентра России является создание и развитие систем обработки гидрометеорологической информации. Одной из таких систем является Автоматизированная технология оперативной обработки информации Гидрометцентра России АСООИ-ГМЦ (далее, для краткости, АСООИ). АСООИ является технологией корпоративного уровня, предназначенной для обеспечения комплексной, централизованной, автоматизированной обработки, использования, хранения и распространения разнообразной гидрометеорологической информации в рамках различных предметных областей деятельности Гидрометцентра России. Ее главное назначение состоит в организации централизованного, регламентированного и взаимно скоординированного счета множества различных прогностических и специализированных прикладных задач и в обеспечении их информационного взаимодействия посредством баз данных коллективного пользования.

В первой части статьи (разделы 1–5) рассматриваются система
Банков задач АСООИ, автоматизация оперативного вычислительного процесса АСООИ и администрирование АСООИ. Во второй части статьи (разделы 6–7) рассматривается централизованное информационное обеспечение АСООИ.

В табл. 1 приведен перечень условных предметных областей Гидрометцентра России, которые представлены в оперативном Банке задач и в оперативном вычислительном процессе АСООИ. Предметные области условны, так как целый ряд задач можно причислить одновременно к нескольким областям. Предметные области тесно взаимосвязаны в процессе оперативного счета задач.

Таблица 1. Условные предметные области технологии АСООИ-ГМЦ

Table 1. Conditional subject areas of technology ASOOI-GMC

№	Условная предметная область
1.	Постпервичная обработка данных наблюдений
2.	Глобальный объективный анализ (ГОА)
3.	Глобальная система усвоения данных (ГСУД, A3F)
4.	Глобальная спектральная модель атмосферы (ГСМА)
5.	Глобальная полулагранжева модель атмосферы (ПЛАВ)
6.	Региональные прогнозы и прогнозы опасных явлений
7.	Расчет траекторий переноса воздушных частиц
8.	Мезомасштабные модели
9.	Авиационные прогнозы
10.	Речные гидрологические прогнозы
11.	Морские прогнозы
12.	Комплексный прогноз
13.	Оценки гидрометеорологических прогнозов
14.	Расчет осредненных полей объективного анализа метеоэлементов и других данных
15.	Обеспечение WEB-сервера фактическими данными
16.	Администрирование и архивация информационной базы
17.	Администрирование всех ресурсов АСООИ-сервера
18.	Мезомасштабная неоперативная модель COSMO-13 (на кластере Tornado)

Все фактические сведения в настоящей статье приводятся по состоянию на 22.08.2019 года.

1. Общие сведения о ядре АСООИ-ГМЦ

Программное обеспечение предметных областей обычно реализовано в виде программного обеспечения (ПО), разработанного пользователями в соответствующих подразделениях Гидрометцентра России и функционирующего на многопользовательских серверах. Назовем их пользовательскими приложениями. Такие приложения разных разработчиков могут работать либо самодостаточно, либо в связке по данным с другими приложениями (однозвенная архитектура), либо задействовать связь по данным через централизованные информационные базы данных (двухзвенная архитектура). Эти работы обычно ведутся в рамках индивидуальных пользовательских ресурсов, определенных системными Администраторами серверов.

Разработчики приложений должны согласовать между собой все
вопросы взаимодействия своих приложений в процессе оперативной эксплуатации. Такими вопросами являются: синхронизация времени запусков/окончаний приложений, синхронизация обмена данными, автоматизация запусков на счет, совместные модификации, тестирование и внедрение ПО, средства контроля, мониторинга и обеспечения надежности совместного вычислительного процесса, обеспечение своевременного формирования выходной продукции и т. д. Весь комплект приложений должен соответствовать системным и аппаратным ресурсам сервера.
Такой процесс согласования является трудоемким, рутинным и длительным.

В рамках АСООИ решение таких и многих других вопросов осуществляется централизованно и в автоматизированном режиме. Для этого были разработаны и реализованы Автоматизированная система управления, централизованная система Банков задач, система администрирования ресурсов АСООИ. Вся иерархия ПО АСООИ реализована в парадигме «трехзвенной архитектуры управления». Обоснование и принципы организации такой парадигмы АСООИ приводятся в предыдущих публикациях [7, 8].

Управляющее программное обеспечение АСООИ разработано в парадигме «объектно-ориентированного программирования» (ООП). Обоснование и подробности приводятся в [8]. Программно-аппаратная реализация АСООИ постоянно развивается и расширяется как в качественном, так и в количественном отношении. Это необходимо для повышения надежности и масштабируемости оперативного вычислительного процесса на разных вычислительных платформах.

АСООИ включает в себя большое множество приложений, которые называются «Задачи АСООИ» и являются экземплярами пользовательских приложений, переработанными согласно принципам стандартизации, унификации, портируемости, масштабируемости, автоматизации разработки и сопровождения. Все задачи АСООИ размещены внутри системы Банков задач АСООИ. Общая схема технологии АСООИ на базе автономного сервера представлена на рис. 1.

Рис. 1. Схема информационного обеспечения технологии АСООИ и пользователей локальной вычислительной сети Гидрометцентра России.

Fig. 1. The scheme of informational provision of the ASOOI technology and users of the local network of the Hydrometeorological Center of Russia.

Ядро технологии АСООИ состоит из четырех тесно взаимодействующих подтехнологий (серверных подсистем):

· АСООИ-АСУ – автоматизированная система управления вычислительным процессом.

· АСООИ-БнЗ – система объектно-ориентированных Банков задач (пользовательских, администраторских, оперативных.)

· АСООИ-СУБД – информационные Базы данных.

· АСООИ-АДМ – администрирование всех ресурсов АСООИ, в том числе и системных ресурсов (АСООИ-ОС).

Детализированная схема Ядра представлена на рис. 2.

Система объектно-ориентированных Банков задач (АСООИ-БнЗ, сервер приложений) объединяет в себе все задачи АСООИ и подразделяется на три категории.

Персональные Банки задач (условно «песочница №2», т. е. контейнер для разработки/отладки/тестирования надежных версий ПО) принадлежат пользователям-разработчикам задач АСООИ, располагаются в соответствующих домашних каталогах, по одному Банку задач на каждого пользователя. Здесь пользователь осуществляет разработку задач АСООИ на основе своих НИР-приложений («песочница №1», т. е. домашние каталоги).

Рис. 2. Ядро технологии АСООИ. Детализированная схема.

Fig. 2. The Core of the ASOOI technology. Detailed scheme.

Каждый объект-задача является пользовательским приложением, переработанным и стандартизованным в соответствии с технологи-ческими требованиями АСООИ. Эти требования никак не затрагивают внутреннюю логику, дизайн и алгоритмы работы приложения, т. е. являются «интерфейсными» (Application Programming Interface, API Банка задач). Для приложений Фортрана предназначена специальная «строгая» интерфейсная библиотека АСООИ ascpload.asoi.arch-x86_64.a. Для приложений Shell или Python интерфейс разрабатывается на соответствующем языке программирования совместно Администратором и автором, а технологические требования менее строгие, в том числе по входным и выходным параметрам. Процесс разработки объектов-задач «под ключ» автоматизирован посредством интегрированной среды разработки Банка задач (Integrated Development Environment, IDE). IDE включает в себя как автоматизированную среду компиляции/сборки/
исполнения/отладки/тестирования задач АСООИ, так и использование таких современных расширенных возможностей, как Anaconda 2019.03 (для приложений Python) и Modules (модули автоматизации среды ОС для Фортран, C++, MPI, MKL, Python, различных научных пакетов третьих фирм и т.п.). Новую задачу пользователь может создать либо «с нуля» посредством IDE, либо путем клонирования с переименованием («создание экземпляра») и модификации («наследование», «полиморфизм» и т.д.) уже существующей задачи с последующей полной перегенерацией «под ключ» посредством IDE. Вся иерархия используемых в IDE файлов и каталогов является динамически вычисляемой, где каждый файловый объект представлен вычисляемым полным путем от точки монтирования файловой системы (т. е. от текущего домашнего каталога $HOME). С точки зрения файловых систем, все задачи являются независимыми (изолированными) друг от друга объектами. Доступ к Банкам задач других пользователей не разрешен. IDE предназначен для работ в интерфейсе командной строки Linux (CLI, Command Line Interface). Подробности реализации объектно-ориентированного управляющего программного обеспечения АСООИ рассмотрены в [8].

Основные требования к фортранному приложению со стороны управляющего ПО АСООИ такие:

1. Принять из внешней управляющей среды АСООИ несколько обязательных входных параметров (день, месяц, год, срок наблюдений, режим фиктивного счета, режим печати) и задействовать их при обработке данных.

2. По окончании счета сформировать два содержательных числовых кода возврата (код качества и код завершения) и корректно вернуть управление обратно в вызывающую управляющую программу. Например, все фортранные операторы STOP должны быть заменены на
RETURN во всех подпрограммах, а головная программа должна быть оформлена в виде подпрограммы. Оба кода возврата, а также системный код завершения регистрируются в системе журналирования событий АСООИ и позволяют определять характер и значимость нештатных ситуаций при исполнении каждой задачи.

3. Исходные тексты Фортрана и управляющие include-файлы
АСООИ должны располагаться в статическом подкаталоге/sources (предварительно создается вручную).

4. Собственные файлы данных располагать в локальном хранилище (статический подкаталог ./datasets, предварительно создается вручную), полный путь к которому динамически вычисляется управляющей программой и передается в приложение; динамическая программная среда фортрана автоматически обеспечивается вышеуказанной библиотекой.

5. Конфигурационный файл для сборки задачи (AppConfigFile.1.ctl – содержит настройки для компиляторов, линкеров, make-файлов, библиотек, плагинов и т. д.), дополнительные управляющие плагины
(опциональные Shell-программы – как АСООИ, так и пользовательские), основная запускающая Shell-программа (LaunchTask.3.sh – выполняет автоматическую генерацию задачи «под ключ») должны располагаться в статическом подкаталоге ./lib (предварительно создается вручную).

6. Результирующий исполнимый модуль задачи создается в автоматически создаваемом подкаталоге ./bin, а имя этого модуля совпадает с именем задачи.

7. Спулы задачи (подкаталоги ./spool, ./log, ./tmp, ./admin) создаются автоматически.

8. Подробности и спецификации API Банка задач изложены в соответствующей инструкции для пользователя АСООИ.

9. В оперативной версии АСООИ в каждой задаче должны оставаться только подкаталоги ./bin, ./lib, ./datasets (это «чистая» задача).

10. Все спулы оперативных задач АСООИ автоматически перенаправляются в единое иерархическое оперативное хранилище АСООИ, удобный доступ к которому осуществляется пользователями через систему специальных команд АСООИ.

Для задач, разработанных на Python и/или Shell, пункты 2, 3, 6 не являются обязательными.

Общее количество локальных зарегистрированных пользователей на автономном АСООИ-сервере равно 64. Из них разработчиками задач АСООИ являются 24 пользователя и все они имеют собственные Персональные Банки задач. API Банка задач доступен только этим пользователям и Администратору. Также им предоставляются удобные средства доступа к результатам оперативного счета всех своих и некоторых других задач по согласованию с Администратором. Например, им
доступны для просмотра такие файловые объекты, как спулы листингов задач АСООИ, журналы задач АСООИ, диагностика работы задач
с Базами данных, справки о содержимом соответствующих Баз данных АСООИ и т. д.

Администраторский Банк задач («песочница №3», полностью изолирована от пользователей) является совокупностью копий всех Персональных Банков задач, принадлежит Администратору АСООИ (далее просто Администратор) и располагается в домашнем каталоге ~asoiadm. Здесь Администратор осуществляет (по заявкам пользователей) тиражирование (по протоколу RSYNC) из Персональных БнЗ новых и/или модифицированных задач (обычно копируется только изменившиеся компоненты), полную генерацию «с нуля» посредством API Банка задач соответствующих оперативных задач (т. е. повторяет и контролирует в точности действия пользователя) и их всестороннее тестирование, в том числе в связке с другими оперативными задачами, используя динамические или статические сеансы АСООИ.

Оперативный Банк задач («релиз», т. е. протестированная производственная версия) принадлежит Администратору, располагается в
домашнем каталоге ~asoiopr и является производственной версией Администраторского БнЗ, содержащей окончательно отлаженные и протестированные версии всех задач, готовые для оперативной эксплуатации.
Администратор осуществляет тиражирование по RSYNC из Администраторского БнЗ изменившихся или новых задач, прочищает от неоперативных подкаталогов (в том числе и от «исходников»), запускает на оперативный счет либо только эти задач, либо целиком соответствующие сеансы АСООИ, просит пользователя проверить правильность результатов. С этого момента эти задачи являются внедренными в оперативную практику.

Сначала все эти работы по внедрению задач (и сеансов) осуществляются на основном АСООИ-сервере «asoi-x32a». Если все хорошо, то
Администратор реплицирует по RSYNC эти задачи во все другие Банки задач на все АСООИ-серверы, но не осуществляет там никакого ручного тестирования. В этом и заключаются преимущества портируемости прикладного ПО. При этом комплектация и состав (номенклатура) оперативных баз данных АСООИ должны быть одинаковыми на всех серверах. Общий порядок внедрения пользовательских приложений в оперативную версию АСООИ представлен на рис. 3.

Все 326 объектов-задач разработаны в подразделениях Гидрометцентра России и сгруппированы по условным 18 предметным областям. Все три категории Банков задач являются портируемыми и масштабируемыми в рамках платформы Intel/Linux/Python/Bash/Fortran.

Все Банки задач изолированы друг от друга в соответствии с пользовательской и групповой политикой, определяемой и конфигуриру-
емой Администратором АСООИ и системными и сетевыми Администраторами.

Рис. 3. Порядок внедрения задач в оперативную версию технологии АСООИ.

Fig. 3. The order of implementation of tasks into the operational version
of the ASOOI technology.

Автоматизированная Система Управления вычислительным процессом (АСООИ-АСУ, сервер управления) организует оперативный счет в виде регламентированного запуска объектов-сеансов обработки данных (сеансы АСООИ), являющихся составными транзакциями, т. е. последовательностями выполнения объектов-задач, связанных между
собой как по данным, так и по управлению. Задача АСООИ является атомарной транзакцией. Логика централизованной обработки информации в Гидрометцентре России требует максимально детерминированного счета множества различных сеансов, в том числе и в параллельном режиме. Сценарий автоматического запуска сеансов обеспечивает такие возможности.

Сеанс АСООИ является единицей оперативных работ на АСООИ-сервере. Статические сеансы – это заранее сконфигурированные объекты (списки имен задач) внутри реестра сеансов Управляющей базы данных АСООИ. Мнемонические имена сеансов внутри Управляющей базы должны быть уникальными. Мнемонические имена задач внутри Банков задач АСООИ должны быть уникальными. Исполнение сеанса АСООИ – это программный цикл запусков на счет по таблице имен задач. Каждая задача исполняется в своем изолированном пространстве (в среде ОС и в ресурсах АСООИ), в котором располагаются, в частности, персональные конфигурационные управляющие файлы и файлы данных. Динамические сеансы можно использовать при ручном запуске на счет в командной строке Linux, при этом можно задать как список требуемых задач, так и любые внешние параметры АСООИ, управляющие настройкой и работой как сеансов, так и задач. Обычно сеансы состоят из задач нескольких взаимосвязанных предметных областей.

Вся необходимая информация о разработчиках, задачах, сеансах, предметных областях, сценариях и т. д. находится в управляющей базе данных АСООИ. Общая структура этой базы представлена на рис. 4.

Управляющее программное обеспечение является многоуровневым, разработано в среде Linux/Python/Shell/Fortran и реализует парадигму «трехзвенной архитектуры управления», MiddleWare. Вся система управления является портируемой. Все 111 статических оперативных сеансов (т. е. заранее сконфигурированных внутри управляющей БД АСООИ) ежесуточно запускаются на счет в виде экземпляров объектов-сеансов 322 раза в сутки (в соответствии со Сценарием), в их составе выполняются 1954 экземпляров объектов-задач. Также обеспечена возможность «ручного управления» и динамического формирования сеансов АСООИ, т. е. запуск на счет и онлайновый мониторинг любых задач и сеансов за любые даты и сроки наблюдений в любых последовательностях и комбинациях, в том числе и в параллельном режиме. Эти средства доступны операторам ЭВМ и Администраторам при разборе нештатных ситуаций и восстановлении их последствий, а также при разработке, тестировании и внедрении новых версий задач и сеансов. Имеется подробная инструкция для оперативного персонала. Общая структура управляющего ПО представлена на рис. 4.

Рис. 4. Управляющее программное обеспечение и управляющая База данных технологии АСООИ.

Fig. 4. Management software and control Database of the ASOOI technology.

Система администрирования АСООИ (АСООИ-АДМ, сервер администрирования) содержит различные инструментальные средства как пассивного контроля (т.е. наблюдения за ходом оперативного счета), так и активного управления всеми технологическими ресурсами. Имеются соответствующие инструкции для операторов и администраторов. Сбор, обработка и хранение статистической информации о работе технологии основаны на унифицированной системе журналирования событий и на системе сбора диагностической информации АСООИ. Средства стандартного администрирования дают возможность администратору, пользователям и операторам полностью контролировать весь вычислительный процесс в рамках своих привилегий, а также оперативно осуществлять анализ нештатных ситуаций и восстановление отсутствующей информации внутри информационных баз данных АСООИ. Средства расширенного администрирования включают в себя как средства системного администрирования ресурсов АСООИ (АСООИ-ОС), так и собственные средства высокоуровневого и низкоуровневого мониторинга, сетевой репликации, зеркалирования и резервного копирования ресурсов АСООИ. На автономных АСООИ-серверах Администратор АСООИ является также системным и сетевым Администратором. Он разрабатывает, реализует и сопровождает пользовательскую и групповую политику ОС Linux с целью разграничения прав доступа пользователей к ресурсам и сервисам АСООИ. В частности, вести разработку задач АСООИ, иметь персональные Банки задач и иметь прямой доступ к результатам оперативного счета задач разрешено только зарегистрированным пользователям АСООИ.

Связь по данным между задачами осуществляется посредством как централизованных информационных баз данных (АСООИ-СУБД, сервер баз данных), так и посредством собственных файлов данных. В оперативной версии АСООИ задействованы почти 90 физических БД («горячие базы») общим объемом около 0.9 ТиБ. Эти БД содержат циклически обновляемую, статическую и архивную продукцию различных задач АСООИ, а также входные и выходные данные (результаты работы) смежных технологий. Общее количество физических БД различного назначения (оперативные, архивные, персональные, специализированные и т. д.) – около 250.

Смежными технологиями являются:

1. Обработка входной гидрометеорологической информации. Реализована в виде программного комплекса PROMETEI, который предназначен для приема и раскодирования входных данных, для размещения результатов во входных информационных базах данных АСООИ и для предоставления этих БД пользователям ЛВС Гидрометцентра России посредством клиентских рабочих мест и средств удаленного доступа к базам данных [5].

2. Формирование выходной продукции. Реализовано в виде программного комплекса, который формирует в надлежащем представлении результаты работы технологии АСООИ и размещает их в выходных информационных базах данных. Эти результаты предназначены для сетевых учреждений Росгидромета (АСПД), а также для распространения в сетях ГСТ и Интернет.

В настоящее время технология АСООИ функционирует в оперативном режиме на трех зеркальных автономных 32-процессорных серверах архитектуры x86_64 (один основной и два «горячих резервных»), а также в неоперативном режиме на кластерах XSK (РСК Торнадо) и ICE-X (все кластеры и фронтэнды архитектуры x86_64). Все эти устройства расположены в серверных стойках в инфраструктуре ГВЦ Росгидромета. Инфраструктура автономного АСООИ-сервера представлена на рис. 1. Результаты оперативной эксплуатации АСООИ показали работоспособность, высокую надежность и востребованность разработчиками и потребителями.

В новой кластерной инфраструктуре на базе нового суперкомпьютера CRAY XC40 ведется разработка и адаптация новой версии технологии АСООИ и смежных технологий, поскольку программно-аппаратное и сетевое обеспечение этой новой платформы существенно отличается от существующих платформ. Общая схема экспериментальной (разрабатываемой) версии АСООИ для данной платформы приведена на рис. 5.

Рис. 5. Экспериментальная версия технологии АСООИ-ГМЦ в инфраструктуре кластера CRAY XC40.

Fig. 5. Experimental version of the ASOOI-GMC technology inside the infrastructure of cluster CRAY XC40.

2. Используемое серверное оборудование в инфраструктуре
технологии АСООИ

Технология АСООИ в процессе своего развития разрабатывалась и была развернута на различных вычислительных платформах ГВЦ Росгидромета и Гидрометцентра России. На сегодняшний день АСООИ имеет различный статус (оперативный, неоперативный, квазиоперативный, экспериментальный и т.д.) на различных «серверных площадках». Такие площадки можно условно обозначить так (в порядке наследования версий АСООИ):

1) автономные 32-процессорные АСООИ-серверы Гидрометцентра России, на которых функционирует оперативная версия АСООИ,
рассматриваемая в настоящей статье; имеются два зеркальных оперативных сервера, один резервный и администраторский сервер, один коммуникационный шлюз между кластерными площадками и автономными АСООИ-серверами (для балансировки внутрисетевого файлового обмена данными в смежных технологиях АСООИ);

2) действующая кластерная инфраструктура ММЦ Москва, в которой в 2013-2019 годах разрабатывалась, развивалась и функционирует в квазиоперативном режиме «кластерная» версия АСООИ. Имеются два кластера различной конфигурации с общим фронтэндом «xfront1»: кластер РСК «Tornado» (96 узлов) и кластер SGI ICE-X (36 узлов). На обоих кластерах выделены ресурсы для технологии АСООИ. В настоящее время эти кластеры морально и физически устаревают;

3) новая кластерная инфраструктура ММЦ Москва на базе кластера Cray XC40-LC (976 узлов) с фронтэндом «xfront3», в которой в настоящее время разрабатывается (портируется, перерабатывается и адаптируется) новая экспериментальная «кластерная» версия АСООИ.

3. Сценарий автоматического запуска сеансов АСООИ

Сценарии АСООИ разрабатываются и конфигурируются Администратором с учетом различных аспектов производственной деятельности Гидрометцентра России: детерминированность запусков и окончаний сеансов АСООИ, сложность информационного взаимодействия множества предметных областей, сложность взаимодействия различных групп задач по управлению и по данным, сложность конфигурирования реального (производственного) расписания запуска на счет, портируемость сценариев между АСООИ-серверами и т.д.

Единицей оперативных работ на АСООИ-сервере является сеанс АСООИ.

Количество статических сеансов равно 111 (в управляющей базе данных АСУ).

Количество оперативных задач АСООИ равно 326 (в оперативном Банке задач АСООИ), в том числе 316 автоматически запускаемых в оперативном режиме и 10 «вручную» запускаемых.

Сценарий автоматического запуска сеансов является параметризованной и форматированной таблицей, оформленной в виде входного управляющего файла для системного демона CRON; сценарий обеспечивает детерминированный ежесуточный запуск на счет статических сеансов. В рамках каждого стартовавшего сеанса последовательно исполняются необходимые задачи из соответствующей таблицы сеанса.

Ежесуточное количество автоматических запусков сеансов на счет равно N1=322.

Ежесуточное количество автоматических запусков задач на счет в составе статических сеансов равно N2=1954.

Общее ежесуточное количество журналируемых событий АСООИ должно быть равно 4552, т. е. 2×(N1+N2); событием АСООИ является старт или окончание работы объекта АСООИ (задачи или сеанса); в идеальном (штатном) режиме счета все запланированные сеансы и задачи должны успешно и своевременно стартовать и все они должны завершиться (с какими-либо кодами завершения) в течение текущих суток,
т. е. все транзакции должны быть завершены и отобразиться в журналах АСООИ; если есть асимметрия в ежесуточных счетчиках транзакций,
то необходимо осуществить расследование причин с использованием
рассмотренных далее инструментальных средств администрирования АСООИ.

При конфигурировании и тонкой настройке сценария Администратор учитывает следующие взаимосвязанные (и зачастую взаимно противоречивые!) факторы:

§ специфика каждой предметной области Гидрометцентра России – когда и сколько раз нужно считать соответствующие задачи или группы задач с точки зрения готовности продукции и производственной необходимости?

§ требования и пожелания разработчиков задач АСООИ
(«писатели») и пользователей АСООИ («читатели»);

§ требования и пожелания потребителей продукции АСООИ
(«клиенты»);

§ множественная взаимозависимость (как по обработке данных, так и по управлению) различных сочетаний предметных областей;

§ оптимальное распределение оперативного счета в течение суток;

§ балансировка вычислительной нагрузки в многопользовательской и многозадачной параллельной среде, плотность распределения событий запуска в течение суток, особенно в «пиковое» время счета «больших» прогностических моделей;

§ физические ограничения программно-аппаратной платформы (процессоры, память, сеть, СХД, ОС и т. п.);

§ симметричность работы всей технологии АСООИ на всех
АСООИ-серверах (основных, резервных и кластерных);

§ масштабируемость оперативного вычислительного процесса
АСООИ, т.е. расширение количества и номенклатуры данных и приложений без переработки управляющего программного обеспечения;

§ мониторинг и статистика работы таких общесистемных планировщиков заданий, как CRON (системный демон, в Linux) и PBS (Portable Batch System, в кластерных технологиях).

Весь такой «распараллеленный вычислительный конвейер» должен быть максимально детерминирован как по времени запуска сеансов на счет, так и по длительности счета, а также масштабируемым.

Структура и содержание сценария являются портируемыми между АСООИ-серверами, поэтому он конфигурируется и внедряется в оперативную практику Администратором АСООИ сначала на основном
АСООИ-сервере (asoi-x32a). Однако программная реализация сценария, основанная на использовании системного демона «cron» и соответствующего управляющего системного файла «crontab», является платформо-зависимой, т.е., к сожалению, не является полностью автоматизируемой и портируемой. Внутри «crontab» возможности гибкого и динамического программирования языка Shell существенно ограничены (например, не получается использовать рекурсивную интерпретацию Shell-переменных, использовать подстановку результатов команд Shell и Linux, использовать циклы и т.п.), поэтому приходится использовать системно-зависимые константы вместо динамически вычисляемых значений. В частности, для именования спулов АСООИ используются фиксированные имена хостов (из системного файла /etc/hosts, например asoi-x32a, asoi-x32b, asoi46a). Поэтому приходится иметь по два экземпляра файлов «crontab» для каждого АСООИ-сервера, различающихся несколькими системно-зависимыми константами. Администратор заранее заготавливает все комплекты файлов «crontab», после чего тиражирует необходимые экземпляры сценариев на соответствующие остальные АСООИ-серверы и там
активирует их.

4. Журналирование событий АСООИ (Event Logging)

В любой большой онлайновой инфраструктуре должна существовать какая-нибудь система регистрации исполнения транзакций, например автоматическое ведение журналов событий. В технологии АСООИ разработана и функционирует полностью автоматизированная многоуровневая система журналирования событий (Event Logging). Содержащаяся в журналах информация о составных и атомарных транзакциях позволяет производить расследование нештатных ситуаций оперативного вычислительного процесса АСООИ. Журналы АСООИ являются отправной точкой для автоматизированного сбора и обработки различной статистики работы сеансов и задач, а также для систем мониторинга АСООИ. Далее кратко рассматривается система журналирования АСООИ.

Типами объектов АСООИ являются: «task» для задачи АСООИ и «session» для сеанса АСООИ

Типами событий АСООИ для каждого объекта являются: «start» для запуска на исполнение и «end» для завершения исполнения

Таким образом, возможны четыре категории записей в журналах АСООИ: о запуске задачи (13 полей), об окончании задачи (49 полей), о запуске сеанса (13 полей), об окончании сеанса (15 полей).

Эти категории различаются комплектацией и назначением полей внутри записей, но первые 11 полей всегда имеют одинаковое назначение (имя хоста, имя пользователя, тип события, тип и имя объекта, дата, время, день недели, способ запуска (автоматический/ручной), имя сеанса). Для старта сеанса заносятся начальные значения для четырех видов динамических счетчиков задач этого сеанса. Для окончания сеанса заносятся итоговые значения этих счетчиков и астрономическая длительность счета (ЧЧЧ:ММ:СС). Для старта задачи заносится порядковый номер в текущем сеансе. Для окончания задачи заносятся много разнообразных показателей (длительность счета, порядковый номер в сеансе, коды возврата (KS, KV, KV_SYS), день, месяц, год и срок наблюдений, режим счета (полный или фиктивный), количество потоков распараллеливания по OpenMP, версия компилятора фортрана, восемь основных параметров очереди PBS/QSUB, дополнительные поля).

В технологии АСООИ реализованы и поддерживаются три вида оперативных журналов событий АСООИ. Есть комплект специальных команд (алиасов) АСООИ, которые обеспечивают пользователям, операторам и администраторам прямой доступ к файлам журналов и способы их фильтрации и сортировки. Доступ возможен в рамках полномочий, определяемых пользовательской/групповой политикой АСООИ.

В Супержурнал АСООИ заносятся записи о всех объектах и событиях. Этот журнал доступен только администраторам и операторам.

Для каждой задачи АСООИ обеспечивается собственный журнал событий и журнал нештатных (сбойных) завершений. Оба журнала доступны пользователям и администраторам.

Для каждого сеанса АСООИ обеспечивается собственный журнал событий, доступный только администраторам.

Следует отметить, что записи журналов содержат в себе имя хоста и учетную запись в локальной среде каждого АСООИ-сервера, т. е. сами файлы журналов объективно не могут быть портируемы на другие АСООИ-серверы

5. Мониторинг работы АСООИ

Средства автоматизированного мониторинга АСООИ подразделяются на несколько категорий: мониторинг и статистика задач и сеансов АСООИ, мониторинг состояния управляющей среды АСООИ, мониторинг внешней среды АСООИ, мониторинг информационных Баз данных АСООИ и т.д. Эти средства позволяют Администратору существенно минимизировать длительность ручных рутинных работ по регулярному контролю работы АСООИ и по разбору нештатных ситуаций. Результатами работы этих средств являются текстовые удобочитаемые файлы (листинги), хранящихся в специализированных спулах АСООИ. Ротация и чистка спулов также осуществляется программным способом в автоматизированном режиме.

Мониторинг и статистика задач и сеансов включает следующие возможности:

· журналирование событий, рассмотренное выше в настоящей
статье;

· простые средства визуализации и фильтрации журналов, основанные на возможностях утилит Linux и интерпретатора Shell. Для этого предусмотрены специальные команды АСООИ (алиасы);

· собственные программные средства для статистической обработки журналов и формирования кумулятивных отчетов за предыдущие периоды времени:

– для каждой из наиболее важных задач (примерно 100 штук) формируется удобочитаемая широкая кумулятивная таблица за последние 200 запусков. В этой таблице присутствуют некоторые важные поля из журналов, а также битовая маска по трем кодам возврата (KS & KV & KV_SYS), по которой сразу видны все нештатные ситуации за соответствующий период. Это ПО реализовано как задача АСООИ с именем «zzinfo7» и включена в сеанс «zz-info-7» и в Сценарий АСООИ. Язык программирования – Shell;

– ежедневно в 0:30 ВСВ формируется сводный отчет (в виде очень длинного листинга) за полные предыдущие сутки по всем задачам и сеансам. Отчет содержит таблицу кумулятивных счетчиков завершенных и незавершенных транзакций, списки (в виде словарей Python) и количества всех стартовавших и завершившихся в эти сутки задач и сеансов, выборка из Супержурналов АСООИ всех записей о нештатно завершенных задачах, ряд других сведений. Это ПО реализовано как задача АСООИ с именем «zzinfo5» и включена в сеанс «zz-info-5» и в Сценарий АСООИ. Язык программирования – Python;

– аналогичный отчет формируется за текущие сутки в период времени от 00:00 до 5:30 ВСВ. Это ПО реализовано как задача АСООИ с именем «zzinfo6» и включена в сеанс «zz-info-6» и в Сценарий АСООИ. Язык программирования – Python;

– за вчерашние полные сутки осуществляется «поиск иголки
в нескольких стогах сена». Над списками (множествами) завершенных
и незавершенных транзакций производятся операции пересечения, разницы, вхождения и т. д., формируются списки и словари в форматах Python (pformat) и JSON. В итоге, числовые счетчики транзакций и их асимметрия представлены в виде как конкретных списков имен задач и сеансов, так и различий этих списков, что позволяет Администратору во много раз ускорить локализацию нештатных ситуаций и подробный «разбор полетов». Это ПО реализовано как задача АСООИ с именем «zzinfo9» и включена в сеанс «zz-info-9» и в Сценарий АСООИ. Язык программирования – Python;

– есть средства ручного мониторинга и статистики (не автоматизированы).

Мониторинг управляющей базы данных АСООИ-АСУ:

· специальный сеанс «zz-full-d» осуществляет формирование сводного табличного отчета о реестрах задач, пользователей, предметных областей, учетных записей и т. д. на момент запуска этого сеанса (два раза в сутки). Язык программирования – Shell;

· в этом сеансе формируются пять таблиц (листингов), отличающихся порядком сортировки по ключевым полям.

Мониторинг внешней среды АСООИ включает в себя:

· сбор статистики сетевого трафика на заданном сетевом интерфейсе АСООИ-сервера (bond0 – объединение портов eth0, eth1 …). Сведения о входящем, исходящем и суммарном трафике по четырем показателям (байты, пакеты, сбойные пакеты и отброшенные пакеты). Таблица формируется нарастающим итогом с момента последней перезагрузки сервера, с заданным квантом по-времени (по-умолчанию три часа). Числовые показатели преобразуются в KiB, MiB, GiB, TiB и помещаются в эту таблицу. Таблицы архивируются во внутреннюю базу данных.

Это ПО реализовано как задача АСООИ и включена в Сценарий АСООИ. Язык программирования – Python. Задача позволяет Администратору определять как узкие места в аппаратном и сетевом обеспечении АСООИ-сервера, так и определять при необходимости сетевую нагрузку от задач АСООИ и от администраторских работ;

· диагностика работы демона CRON в процессе запуска каждого сеанса АСООИ в рамках Сценария АСООИ;

· диагностика работы PBS и QSUB в процессе запуска и работы каждого кластерного сеанса АСООИ;

· состояние системной среды ежечасно проверяется утилитами Linux пользовательского уровня (df, mount, top, qstat, w, pgrep, lsof и т. д.). Листинги можно фильтровать и компоновать средствами Linux. Включено в Сценарий АСООИ;

· каждые два часа создается «снимок» состояния процессорной нагрузки и всех процессов посредством утилиты «top» в пакетном режиме. Полученный листинг фильтруется по заданному списку шаблонов (имена процессов, имена пользователей и т.д.). Включено в Сценарий АСООИ;

· в рамках API Банка задач АСООИ в каждую задачу автоматически встраиваются программные средства АСООИ («черные ящики»), анализирующие текущую системную среду и создающие читабельные отчеты. Эти отчеты встраивается внутрь листинга задачи.

Мониторинг информационных баз данных АСООИ включает в себя:

· общая диагностика работы каждой задачи АСООИ с физическими базами данных. В файлах ERRMES регистрируются события открытия/закрытия необходимых БД, сообщения о кодах возврата и об ошибках работы с БД;

· низкоуровневая диагностика и трассировка всех запросов задачи к БД. Эти программные средства интегрированы в библиотеку bankload.asoi.arch-x86_64.a. Это расширенные администраторские возможности. В ходе работы задачи автоматически формируется длинный листинг, содержащий многостолбцовую таблицу. Таблица содержит в хронологическом порядке по каждой транзакции БД такие сведения, как хронометраж (дата, время, длительность и т.д.), имя задачи, имя БД, имя метода БД, имя поля метеоэлемента, дата и срок данных, код возврата метода БД и т. д.;

· листинги хранятся в оперативных спулах АСООИ, цикл ротации спулов составляет 8 суток. Администратор может отфильтровать эти спулы средствами Linux и понять нештатные ситуации при обработке данных по каждой задаче АСООИ на каждом АСООИ-сервере;

· в оперативном Банке задач имеется комплект задач (около 80 штук), которые обеспечивают получение подробных справок (каталогов) о составе и наличии/отсутствии данных. Для одной БД – одна задача. Счет этих задач осуществляется в рамках двух больших сеансов четыре раза
в сутки, а также в составе многих других сеансов;

· есть средства ручного мониторинга БД.

6. Информационная база технологии АСООИ

В Гидрометцентре России разработаны и успешно функционируют как в оперативном режиме, так и для обеспечения НИР СУБД собственной разработки двух типов.

1. Реляционные базы данных, которые представляются пользователю в виде совокупности логических отношений (БД NABL, BUFR, AGRO); эти БД называются «базы данных наблюдений».

2. Базы данных прямого доступа с поименованными ключами и общим интерфейсом для размещения полей метеоэлементов; базы хранят статические и циклически организованные данные, представленные
нормализованными таблицами, полями или рядами, с соответствующими заданными признаками; эти БД называются «базы данных полей метеоэлементов».

Доступ к данным, хранящимся в обоих типах СУБД, осуществляется с помощью соответствующих языков манипулирования данными и интерфейсных библиотек. Доступ реализуется как для пользователей, работающих на автономных серверах и кластерах, так и с помощью сетевого сервиса remDB для пользователей рабочих мест ПТК Прометей и прогностических задач, выполняющихся на ПК в локальной сети. Общая схема информационного обеспечения потребителей продукции технологии АСООИ приведена на рис. 6.

В управляющей базе данных АСООИ-АСУ, рассмотренной выше в настоящей статье, централизованно хранятся экземпляры интерфейсных библиотек для информационных баз данных АСООИ. Далее приводится список этих библиотек:

· bankload.asoi.arch-x86_64.a – для баз данных полей метеоэлементов;

· nablload.asoi.arch-x86_64.a – для баз данных наблюдений;

· remdbload.asoi.arch-x86_64.a – для удаленного доступа к базам данных.

Эти библиотеки интегрированы в API Банка задач АСООИ, поэтому они автоматически подключаются (линкуются) в необходимом порядке при генерации задач посредством IDE АСООИ. Для НИР необходимо использовать оригинальные версии этих библиотек, например bankload.a, StaticNablLoad.lib и т. д.

Информационная база технологии АСООИ в соответствии с источниками данных подразделяется на четыре обширных подмножества:

– входные базы данных, содержащие раскодированные данные разнообразных глобальных и региональных наблюдений, сообщения об опасных явлениях и прогностическую продукцию ряда зарубежных центров;

– базы данных, содержащие отконтролированные и упорядочен-
ные глобальные данные наблюдений разных типов, прошедшие постпервичную обработку и контроль, поля объективного анализа и глобальной системы усвоения данных, прогностические поля множества задач
различных предметных областей технологии АСООИ, приведенных в табл. 6, а также климатическую, справочную и другую информацию;

– базы данных, содержащие продукцию нескольких прогностических моделей Гидрометцентра России (региональные модели COSMO с шагом 13 км, 7 км, 2,2 км, ансамблевый прогноз, ПЛАВ20), функционирующих автономно на СуперЭВМ CRAY вне технологии АСООИ, некоторые результаты которых являются официальной продукцией Гидрометцентра России, распространяемой в ГСТ в соответствии с международными обязательствами;

– многолетние архивные базы данных макетов отконтролированных глобальных синоптических, аэрологических, гидрологических данных наблюдений, а также глобальных полей объективного анализа метеоэлементов и Глобальной системы усвоения данных и некоторых прогностических моделей.

Рис. 6. Общая схема информационного обеспечения потребителей продукции технологии АСООИ.

Fig. 6. General scheme of informational provision of consumers of products of the operational ASOOI technology.

Общие характеристики некоторых оперативных баз данных технологии АСООИ приведены в табл. 2.

Пример состава базы, содержащей результаты глобальной системы усвоения данных A3F, приведен в табл. 3.

Таблица 2. Общие характеристики некоторых оперативных баз данных технологии АСООИ

Table 2. General characteristics of some operational databases of ASOOI technology

Название базы данных	Период хранения (сут)	Краткое описание состава
ANAZ	65	Данные в географической сетке 1,25×1,25^о: - поля ОА Гидрометцентра России по Сев. и Южному полушариям за сроки 00, 06, 12 и 18 ч ВСВ; - поля глобального ОА облачности за срок 00 ВСВ, рассчитанные в НИЦ «Планета»; - поля глобального ОА суммарной высоты волн за сроки 00 и 12 ВСВ. Макеты значения сумм осадков на станциях за сроки 00, 06, 12 и 18 ВСВ. Данные в сетке 0,11×0,18^оза сроки 00 и 12 ВСВ: - поля относительной влажности почвы по региону Евразии из НИЦ «Планета»; - поля анализа запасов продуктивной влаги в слое почвы
AVIA	40	Макеты, содержащие оценки (16 типов) 50 элементов авиапрогнозов, рассчитанных по модели ПЛАВ по территории России, ЕТР и Северному полушарию
AZOV	5 6 лет	Прогноз метеоэлементов по Азовскому морю в сетке 0,5×0,5 морских миль за сроки 00 и 12 ч ВСВ с заблаговременностью до 48 ч и шагом 1 ч. Данные наблюдений за стоком рек в Азовском море и прогноз уровня моря на 14 станциях за 2015-2020 гг.
AGRO	36 мес	Раскодированные данные агрометеорологических наблюдений, поступивших в коде КН-21М
BUFR	до 10	Раскодированные данные наблюдений, поступающие в двоичном коде BUFR
EGRG	8	Глобальные анализы и прогнозы метеоэлементов, поступающие из метеорологического центра Экзетер в кодовой форме GRIB в сетке 1,0×1,0^о
EPSG	7	Продукция ансамблевой системы для последующего распространения по ГСТ
F387	12	Поля глобального вариационного анализа метеоэлементов A3F системы усвоения данных в сетке 0,5×0,5^о по данным за сроки 00, 06, 12 и 18 ч ВСВ на 38 уровнях и у Земли
LMW7	6	Мезомасштабные прогностические поля метеоэлементов модели COSMO в сетке 7×7 км по территории Европейского региона с заблаговременностью до 72 ч за сроки 00, 06, 12 и 18 ч ВСВ. Поля авиапрогнозов по региону Северного полушария в сетке COSMO за сроки 00 и 12 ч ВСВ
MIDL	21 год (2000 – 2020)	Макеты осредненных (за 3 декады, 25 дней и месяц) данных синоптических наблюдений, включая данные сообщений CLIMAT; осредненные за месяц и декаду глобальные поля объективного анализа некоторых метеоэлементов в сетке 1,25×1,25^ои их нормы; макеты производных данных для наноски по 208 станциям; ежедневные и осредненные индексы атмосферной циркуляции Каца и Блиновой. Долгосрочные (месяц) прогнозы приземной температуры и ее аномалии для 70 реперных станций по разным схемам с нулевой, а также 2 и 3-месячной заблаговременностью для схемы В.П. Садокова. Архив осредненных за месяц значений метеоэлементов и аномалий
NABL	36	Раскодированные данные кодовых форм SYNOP, TEMP, PILOT, SHIP, SATEM, SATOB, BATHY, TESAC, AIREP, HYDRO, CLIMAT
NCMN	10 30	Глобальные анализы и прогнозы метеоэлементов, поступающие из метеорологического центра NCEP в кодовой форме GRIB2 в сетке 0,5×0,5^о
RGPR	6	Результаты регионального прогноза на плоскости полярной стереографической проекции с шагом 75 км и прогноза опасных явлений. Макеты данных регионального прогноза для 500 станций, данных прогноза траекторий воздушных частиц, данных комплексного прогноза температуры и осадков по 18 городам ЦФО.
MAKT	100	Макеты восьмисрочных отконтролированных данных синоптических наблюдений, прогнозы погоды региональных центров на 1-3 суток, поступающие в коде КП-68
RUSS	40 суток и 1 год (цикли-ческий)	Макеты данных синоптических наблюдений на станциях и интерполированных данных из полей ОА – на постах. Макеты, содержащие данные прогностических полей модели COSMO-Ru7, центров NCEP, Токио и Экзетер, проинтерполированные в координаты метеостанций и гидрологических постов. Макеты: - гидрологических наблюдений по территории России и прилегающим территориям; - данных о снеге на снегомерных маршрутах; - агрометеорологических наблюдений
SLMA	7	Поля объективного анализа и прогноза по полулагранжевой модели (ПЛАВ) за сроки 00 и 12 ч ВСВ для Северного полушария в сетке 0,186×0,225^о и для Южного полушария в сетке 0,247×0,225^о с заблаговременностью до 240 ч
VLST	3 года	Оценки прогнозов метеоэлементов по станциям за 2014-2020 гг.

Информационная база АСООИ является связующим звеном между задачами различных предметных областей АСООИ (связь по данным), а также информационной основой технологии формирования выходной продукции Гидрометцентра России и функционирования рабочих мест ПТК Прометей в ЛВС [5].

Таблица 3. Состав базы данных F387

Table 3. Catalog of the F387 database

Период хранения:12 суток. Сроки: 00, 06, 12 и 18 ч ВСВ.
Циркулярные поля. Автор: М.Д. Цырульников.

Географическая область: глобус. Размерность поля: 720×361 точек, real.

Шаг сетки: 0,5×0,5^о. Вид данных: поля объективного анализа метеоэлементов в Глобальной системе усвоения данных

Хранимые величины	Единица измерен.	Уровни (гПа)	Имя поля
Геопотенциальная высота	м	1075; 1050; 1037.5; 1025; 1012.5; 1000; 987.5; 975; 962.5; 950; 937.5; 925; 900; 850; 800; 750; 700; 650; 600; 550; 500; 450; 400; 350; 300; 250; 200; 150; 100; 70; 50; 30; 20; 10; 5; 2; 1; 0.5	H*******
Зональная составляющая ветра	м/с		U*******
Меридиональная составляющая ветра	м/с		V*******
Относительная влажность	%		R*******
Температура	ºC		T*******
Давление	гПа	98 (уровень моря)	P98G000D
		93 (подстилающая поверхность)	P93G000D
Температура	ºC	98 (уровень моря)	T98G000D
Температура	ºC	99 (приземный)	T99G000D
Зональная составляющая ветра	м/с		U99G000D
Меридиональная составляющая ветра			V99G000D
Относительная влажность	%		R99G000D

Примечание. В имени поля на месте ******* размещаются значения уровней в Па, умноженные на 10 с отсечением дробной части.

7. Оперативная продукция технологии АСООИ, распространяемая в ГСТ, АСПД, Интернет и на ftp-серверы

Информационной основой системы формирования оперативной продукции является совокупность баз данных технологии АСООИ. Базы данных пополняются результатами как практически всех задач АСООИ, выполняющихся на автономных АСООИ-серверах, так и ряда приложений, оперативный счет которых производится в кластерной инфраструктуре вне АСООИ и на Windows-сервере (прогноз РЭП).

Необходимые входные данные выбираются программными средствами системы формирования продукции из соответствующих баз данных АСООИ и кодируются в код GRIB или GRIB2, а часть выходных данных представляется в оговоренных текстовых форматах. Сообщения передаются в ГСТ в соответствии с международными обязательствами Росгидромета, а также в АСПД, на ftp-серверы и в Интернет для использования региональными Гидрометцентрами, НИУ и др.

Кроме того, оперативная продукция передается в базы данных
программно-технологического комплекса (ПТК) Прометей на серверах, размещенных в ФГБУ «Авиаметтелеком Росгидромета», с которых
осуществляется обслуживание рабочих мест комплекса Прометей,
установленных в территориальных структурах Росгидромета. Перечень рабочих мест приведен в табл. 4.

Таблица 4. Автоматизированные рабочие места специалистов в ПТК Прометей

Table 4. Automated workplaces of the Prometei software and technology complex

Название	Содержание
Прогноз в точке	Прогностические данные основных моделей, проинтерполированные в указанный пункт
Опасные явления	Текстовые сообщения об опасных явлениях
Утро синоптика	Наблюдения к 9.00 мск и 7 сроков до того в заданном пункте
Мониторинг	Мониторинг синоптической ситуации
Живые графики	Синоптические, аэрологические, гидрологические графики
Гидрология	Раскодированные гидрологические наблюдения
Агро	Агрокарты, журналы, статистика
Телетайп	Просмотр текстовых сообщений («ВОЗДУХ», WAREP, текстовые прогнозы и др.)
Прогностический зонд	Графики прогностических данных на уровнях
РМ программиста	Доступ к информационной базе с ПК и серверов локальной сети
Погода	Прогнозы погоды от УГМС (ЦГМС), передаваемые в текстовом формате
КП-68	Численные прогнозы погоды на 24, 48 и 72 ч от УГМС (ЦГМС), передаваемые в коде КП-68
Воздух	Загрязнения, индекс ультрафиолетового излучения (УФИ), вулканические выбросы (пепел)
Архиватор	Архивация синоптических и агрометеорологических наблюдений
Климат	Месячный и декадный климат, сравнение с нормами
Береговые станции	Раскодированные морские береговые наблюдения в коде КН-02
WAREP	Раскодированные сообщения WAREP
Мониторинг поступления	Мониторинг поступления данных наблюдений
Просмотр регулярных станционных наблюдений	SYNOP, SHIP, BUOY, TEMP, PILOT, AMDAR, AIREP и др.
Изограф (разработка ЛГСПП)	Отображение на карте полей объективного анализа и прогностических моделей в виде изолиний, а также наноска данных наблюдений

Программные средства рабочих мест ПТК Прометей позволяют представить информацию, хранящуюся в базах данных серверов Прометей, в удобном и наглядном виде [5]. При этом доступна практически вся оперативная продукция технологии АСООИ. Кроме того, пользователи-программисты могут с помощью сервиса remDB читать информацию из баз данных сервера ПТК и использовать её в своих прикладных программах.

В табл. 5 приведен перечень оперативной продукции технологии АСООИ, поступающей в ГСТ, АСПД, Интернет и на ftp-серверы.

Таблица 5. Оперативная продукция технологии АСООИ

Table 5. The ASOOI technology оperational products

Заказчик	Информация	Сетка	Территория	Сроки
Абоненты глобальной метеорологичес-кой сети (ГСТ)	Поля объективного анализа системы усвоения A3F	0,5×0,5^о	Глобус	00, 06, 12, 18 ВСВ
	Прогноз глобальной модели атмосферы ПЛАВ20	1,5×1,5^о		00, 12 ВСВ
	Глобальный ансамблевый прогноз	1,5×1,5^о		12 ВСВ
	Региональный прогноз COSMO-RU	0,5×0,5^о	Регион 49,68-34,0 с.ш. 80,1-351 в.д.	00, 06, 12, 18 ВСВ
Абоненты российской метеорологичес-кой сети (АСПД)	Поля объективного анализа	2,5×2,5^о 1,25×1,25^о	Глобус
	Прогноз глобальной модели атмосферы ПЛАВ2008	2,5×2,5^о		00, 12 ВСВ
	Прогноз спектральной модели атмосферы СМА T169L31	1,25×1,25^о
	Прогнозы по технологии REP’BIS - основной - уточнённый		По заданному перечню пунктов
	Прогноз траекторий воздушных частиц			00 ВСВ
Лаборатория зональных прогнозов	Авиапрогнозы	1,25×1,25^о	Северное полушарие	00, 12 ВСВ
НПО Тайфун	Поля объективного анализа	1,25×1,25^о	Глобус	00, 06, 12, 18 ВСВ
	Прогноз спектральной модели атмосферы СМА			00, 12 ВСВ
ГГО	Осреднённые за декаду поля объективного анализа.	2,5×2,5^о		1, 11 и 21 числа каждого месяца
	Поля объективного анализа системы усвоения A3F	0,5×0,5^о		00, 06, 12, 18 ВСВ
	Поля объективного анализа	2,5×2,5^о
ЦАО	Раскодированные аэрологические и синоптические наблюдения
	Статистика поступления аэрологических данных			за прошед-шие сутки
Томский университет, Пермский университет, МГИ (Севастополь)	Прогноз глобальной модели атмосферы ПЛАВ20	0.225×0.186^о	Регион Томска Регион Перми Черное море	00, 12 ВСВ
Гидрометцентр России
Основной сайт (meteoinfo.ru)	Фактические данные		глобус	8 сроков
	Гидрологическая информация по рекам бассейна Кубани		регион	1 раз в сутки
Методический кабинет»	Фактические агроданные (карты, журналы)		Россия	декада
Все подразделения	Оперативная и архивная информация из баз данных технологии АСООИ в виде карт, таблиц, журналов, графиков и др.

Заключение

Технология АСООИ Гидрометцентра России развивалась по мере
появления в ММЦ «Москва» новых программно-аппаратных платформ. Эти платформы обычно очень существенно различались, так же, как и их вычислительная и сетевая инфраструктура. Поэтому при переходе на новую платформу осуществлялся большой объем работ по модернизации АСООИ по всем направлениям, рассмотренным в настоящей статье. Все эти годы технология АСООИ функционирует в оперативном режиме,
выполняя описанные в статье функции.

Использовались следующие основные платформы:

· ЭВМ ЕС-1060 и Компарекс. Проприетарная ОС IBM/360. Создана Информационная база и первые оперативные версии Банка задач и программного обеспечения системы АСООИ [3, 4].

· СуперЭВМ CRAY Y-MP8E. Мэйнфрейм под проприетарной UNIX-подобной ОС UNICOS. Заново разработано все программное обеспечение АСООИ [2, 6, 9].

· Поколение серверов на базе процессорной архитектуры Intel Xeon и серверных ОС Linux. Сначала 4-процессорные 32-разрядные автономные серверы архитектуры x86 под серверной ОС RHEL: двухмашинная версия АСООИ с горячим резервированием [7]; затем 8-процессорные 64-разрядные (два 4-ядерных процессора) серверы архитектуры x86_64 под серверной ОС RHEL: многомашинная АСООИ, расширенное администрирование АСООИ, переработка АСООИ-АСУ с языка Shell на язык Python [8].

· 32-ядерные 64-разрядные (четыре 8-ядерных процессора) серверы архитектуры x86_64. Серверная ОС SLES. Четыре автономных сервера, упомянутые выше в настоящей статье. Модернизация и расширение инфраструктуры АСООИ, в том числе и автоматизация расширенного администрирования. Действующая оперативная версия на сегодняшний день.

· Кластеры Tornado и ICE-X. Серверная ОС SLES и среда разработки Intel Cluster Studio для Фортрана, Си, MPI и т.д. Фундаментальная
модернизация АСООИ под кластерную инфраструктуру, автоматизация использования PBS/QSUB внутри сеансов и Сценария АСООИ.

· Новый высокопроизводительный кластер CRAY XC40-LC. Серверная ОС SLES. Среды разработки как CRAY, так и Intel. Работы по переводу инфраструктуры АСООИ на эту новую платформу, включая переработку и адаптацию смежных технологий АСООИ и систему архивации баз данных АСООИ. Экспериментальная версия АСООИ. Планируются дальнейшие работы по подготовке и использованию АСООИ в оперативных целях.

В качестве примера практического использования продукции
АСООИ можно привести речные гидрологические прогнозы [1, 10].
Результаты функционирования технологии АСООИ используются во многих предметных областях прогностической деятельности Гидрометцентра России.

Список литературы

1. Борщ С.В., Симонов Ю.А., Христофоров А.В., Жабина И.И., Леонтьева Е.А.,
Недачина А.Ю., Пурина И.Э., Степанов Ю.А. Система прогнозирования паводков и раннего оповещения о наводнениях на реках Черноморского побережья Кавказа и бассейна Кубани. Глава 6. Система прогнозирования СПН «ЧПК-Кубань» // Труды Гидрометцентра России. 2015. Вып. 356. С. 188-232.

2. Жабина И.И., Пурина И.Э., Степанов Ю.А., Чекулаева Т.С. Новые оперативные технологии обработки гидрометеорологических данных и управления прикладными программами с использованием суперЭВМ CRAY // 70 лет Гидрометцентру России. СПб.: Гидрометеоиздат, 1999. С. 90-117.

3. Кастин О.М. Банк гидрометеорологических данных «ПРОГНОЗ». Общее описание БНД «ПРОГНОЗ 1060»: Материалы по мат. обеспечению ЭВМ. М.: Гидрометцентр СССР, 1985. 43 с.

4. Кастин О.М., Жабина И.И., Степанов Ю.А. Банк гидрометеорологических данных «ПРОГНОЗ». Средства и организация работы с базами данных БНД «ПРОГНОЗ». М.: Гидрометцентр СССР, 1985. 67 с.

5. Пурина И.Э., Жабина И.И., Недачина А.Ю., Дегтярева Н.В., Маковская И.В. Развитие
информационного обеспечения Гидрометцентра России на базе технологического комплекса PROMETEI // 80 лет Гидрометцентру России. М.: Триада лтд, 2010. С. 423-434.

6. Пурина И.Э., Жабина И.И., Недачина А.Ю., Штырева Н.В. Развитие информационных технологий в локальной сети CRAY // Труды Гидрометцентра России. 2000. Вып. 334. С. 134-147.

7. Степанов Ю.А., Жабина И.И. АСООИ-Xeon4 – многомашинная оперативная автоматизированная технология ГУ «Гидрометцентр России», предназначенная для информационного обеспечения, регламентированного счета и формирования продукции различных прогностических моделей // 80 лет Гидрометцентру России. М.: Триада лтд, 2010. С. 435-452.

8. Степанов Ю.А., Жабина И.И. Новая версия автоматизированной технологии АСООИ на
выделенном сервере Гидрометцентра России // Труды Гидрометцентра России. 2011. Вып. 346.
С. 146-169.

9. Фролов А.В. Автоматизированная обработка оперативной метеорологической информации в ММЦ Москва с использованием суперЭВМ CRAY // Труды Гидрометцентра России. 2000. Вып. 334. С. 3-18.

10. Фролов А.В., Асмус В.В., Борщ С.В., Вильфанд Р.М., Жабина И.И., Затягалова В.В., Кровотынцев В.А., Кудрявцева О.И., Леонтьева Е.А., Симонов Ю.А., Степанов Ю.А. «ГИС Амур»: система мониторинга, прогнозирования и раннего оповещения о наводнениях // Метеорология и гидрология. 2016. № 3. С. 5-21.

References

1. Borsch S.V., Simonov Y.A., Khristoforov A.V., Zhabina I.I., Leont’eva E.A. Nedachina A.Yu., Purina I. E., Stepanov Yu. A. Flood forecasting and early warning system for rivers of the Black sea shore of Caucasian region and the Kuban river basin. Ch. 6. The forecasting system SPN "FTC-Kuban". Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2015, vol. 356, Special issue, pp. 188-232 [in Russ.].

2. Zhabina I.I., Purina I.E., Stepanov YU.A., Chekulaeva T.S. Novye operativnye tekhnologii obrabotki gidrometeorologicheskih dannyh i upravleniya prikladnymi programmami s ispol'zovaniem superEVM CRAY. 70 let Gidromettsentru Rossii, Saint Petersburg, Gidrometeoizdat publ., 1999, pp. 90-117 [in Russ.].

3. Kastin O.M. Bank gidrometeorologicheskih dannyh «PROGNOZ». Obschee opisanie BND «PROGNOZ 1060»: Materialy po mat. obespecheniyu EVM. Moscow, Gidromettsentr SSSR, 1985, 43 p.
[in Russ.].

4. Kastin O.M., Zhabina I.I., Stepanov Yu.A. Bank gidrometeorologicheskih dannyh «PROGNOZ». Sredstva i organizatsiya raboty s bazami dannyh BND «PROGNOZ». Moscow, Gidromettsentr SSSR, 1985, 67 p. [in Russ.].

5. Purina I.E., Zhabina I.I., Nedachina A.Yu., Degtyareva N.V., Makovskaya I.V. Razvitie informatsionnogo obespecheniya Gidromettsentra Rossii na baze tekhnologicheskogo kompleksa PROMETEI. 80 let Gidromettsentru Rossii. Moscow, Triada LTD publ., 2010, pp. 423-434. [in Russ.].

6. Purina I.E., Zhabina I.I., Nedachina A.Yu., Shtyreva N.V. Razvitie informatsionnyh tekhnologii v lokal'noi seti CRAY. Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2000, vol. 334, pp. 134-147 [in Russ.].

7. Stepanov Yu.A., Zhabina I.I. Novaya versiya avtomatizirovannoi tekhnologii ASOOI na vydelennom servere Gidromettsentra Rossii. 80 let Gidromettsentru Rossii. Moscow, Triada LTD publ., 2010, pp. 435-452 [in Russ.].

8. Stepanov Yu.A., Zhabina I.I. New version of automated technology ASOIP on dedicated server of Hydrometcenter of Russia. Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2011, vol. 346, pp. 146-169 [in Russ.].

9. Frolov A.V. Avtomatizirovannaya obrabotka operativnoi meteorologicheskoi informatsii v MMTS Moskva s ispol'zovaniem superEVM CRAY. Trudy Gidromettsentra Rossii [Proceedings of the Hydrometcentre of Russia], 2000, vol. 334, pp. 3-18 [in Russ.].

10. Frolov A.V., Asmus V.V., Borshch S.V., Vil’fand R.M., Zhabina I.I., Zatyagalova V.V., Krovotyntsev V.A., Kudryavtseva O.I., Leont’eva E.A., Simonov Yu. A., Stepanov Yu. A. GIS-Amur system of flood monitoring, forecasting, and early warning. Russ. Meteorol. Hydrol., 2016, vol. 41, no. 3, pp. 157-169. DOI: 10.3103/S1068373916030018.

Поступила в редакцию 12.09.2019 г.

Received by the editor 12.09.2019.