Создание программно-аппаратного комплекса архива научных космических данных

Назиров Р.Р., Боярский М.Н., Шевченко М.И. Институт космических исследований РАН

Программа №22 ПРАНРаздел 9.5. Наземные системы обработки и

распределения научной информации

Цель: Создание отказоустойчивого, высокодоступного и масштабируемого программно-аппаратного комплекса архива научных космических данных

• При выходе из строя любого элемента оборудования данные остаются доступными без необходимости замены этого элемента и восстановления данных из резервной копии

• Архитектура архива позволяет наращивать объемы хранимых данных без необходимости реорганизации системы хранения

В Институте космических исследований РАН за более чем четыре десятилетия его существования был накоплен большой объем данных научных космических экспериментов по различным направлениям космической физики: исследование Солнца и солнечно-земных связей (проект Интербол, проекты серий "Прогноз", "Магион", проекты "Аркад-3", "Активный", "АПЭКС", Интеркосмос-Болгария 1300 и другие); исследования планет и других тел солнечной системы (проекты "Вега-1,2", "Фобос-1,2”).

Название проекта Объем данных, МБ Количество сеансов

Активный 3926 682

Аркад 17500 2476

Апэкс 768 119

Интеркосмос-Болгария 1300 1440 221

Прогноз 7 200 193

Прогноз 8 2100 1323

Прогноз 9 45 63

Прогноз 10 365 74

Вега 1,2 234 11178

Архив данных проекта ИНТЕРБОЛ содержит около 285 гигабайт научных данных проекта ИНТЕРБОЛ; из них в открытом доступе находятся 2 гигабайта данных ключевых физических параметров. В открытом доступе, осуществляемом через WWW-сервер проекта ИНТЕРБОЛ (http://www.iki.rssi.ru/interball), находятся орбитальная информация, данные ориентации и ключевые физические параметры.

Авроральный Зонд   Хвостовой Зонд

"Сырые данные" 20 ГБ   "Сырые данные" 74 ГБ

Экспресс-анализ 14 ГБ   Экспресс-анализ 24 ГБ

Обработанные данные

32 ГБ   Обработанные данные 81 ГБ

СТО 15 ГБ   Магион 4,5 25 ГБ

ВСЕГО: 285 ГБ

Современные научные космические проекты характеризуются все большим объемом данных, как первичных, так и различных уровней обработки, которые нуждаются в надежном хранении (архивировании) и эффективном распределении между потребителями. Например, объем данных, полученных в результате обработки данных эксперимента «Плазма-Ф» за 5 месяцев функционирования аппарата «Спектр-Р» превзошел весь объем данных архива всех приборов двух аппаратов проекта «Интербол» за все время выполнения этого проекта, при этом планируемое время работы КА «Спектр-Р» составляет 5 лет. Архив данных плазменно-магнитного эксперимента «Плазма-Ф» (КА «Спектр-Р») содержит на 2 апреля 2012 г. 36.5 ГБ сырых данных (уровень 0) и 243 ГБ обработанных данных (уровень 1 и 2). Также в архиве хранятся и распространяются вспомогательные данные по орбите и ориентации.

Методы и подходы: Предполагается использование платформы облачных вычислений для решения проблем, связанных с обеспечением отказоустойчивости, масштабируемости и высокой доступности архива научных данных завершенных космических проектов, данных, получаемых в настоящее время и планируемых к получению с перспективных космических аппаратов

ЛВС ИКИ РАН ИНТЕРНЕТ

В качестве программной основы для построения системы архивирования предполагается использовать открытую платформу OpenNebula, предназначенную

для организации управления cloud-инфраструктурой.

Платформа позволяет организовать функционирование распределенной инфраструктуры динамически разворачиваемых сервисов, комбинируя ресурсы локального дата-центра и внешних облачных провайдеров. Есть средства для управления виртуальными серверами, хранилищем и сетью, для мониторинга, контроля доступа и обеспечения безопасности.

Поддерживаются гибридные cloud-системы, сочетающие элементы публичных и приватных cloud-систем. Например, изначально вся система может быть построена как приватная, но при нехватке ресурсов в пиковые моменты к работе привлекаются мощности публичных сервисов. Также в перспективе возможно использование создаваемого в NASA облака хранения научных космических данных NASA Nebula Object Store для расширения объема доступных данных.

Ожидаемые в конце 2012 года результаты:

• Создание сводного каталога имеющихся в ИКИ данных• Создание программно-аппаратного комплекса отказоустойчивого, высокодоступного и масштабируемого хранения данных• Создание архива данных завершенных космических проектов Интербол, Прогноз 7, Прогноз 8, Прогноз 9 (Реликт), Прогноз 10, Аркад-3, Активный, Интеркосмос-Болгария 1300, Космос-900, Вега-1,2, Фобос-1,2 и текущих данных эксперимента «Плазма-Ф» проекта «Радиоастрон»

В перспективе предполагается, что создаваемая система архивации научных космических данных предоставит возможность организациям-участницам Программы 22 размещать свои данные для хранения и распределения.