langzeitarchivierung von satellitendaten: esa missionen...
TRANSCRIPT
Langzeitarchivierung von Satellitendaten: ESA Missionen Sentinel 1 und Sentinel 3 Technische Besonderheiten der SAM-QFS Konfiguration und Nutzung Charlotte Wehn, Stephan Schropp Deutsches Zentrum für Luft- und Raumfahrt, Earth Observation Center 22.6.2017
• Das ESA Copernicus Programm • Satelliten Sentinel 1 und Sentinel 3
• Überblick über das Langzeitarchiv • Oracle HSM Konfigurationen:
• Shared QFS über Firewall • SAM-QFS: Manuelle Hochverfügbarkeit • SAM-QFS Library Anbindung über Netzwerk (ACSLS) durch eine Firewall
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 2
Agenda
• Katastrophen- und Krisenmanagement • Informationen zur Verbesserung der Reaktionsfähigkeit auf Katastrophen und
Unterstützung von Rettungskräften • Landüberwachung
• Informationen über Landbedeckung und -nutzung sowie Veränderungen der Landoberfläche für z.B. urbane Planung, Stadtentwicklung, Flächenversiegelung
• Überwachung der Meeresumwelt • Informationen über den Zustand der Ozeane, Küstengebiete sowie für die
Schifffahrt (z.B. Eisdienst) • Überwachung der Atmosphäre
• Informationen zur Zusammensetzung der Atmosphäre für die Überwachung der Luftqualität und die Überwachung globaler Abkommen und deren Wirksamkeit
• Überwachung des Klimawandels • Aufbau von Klimainformationsdiensten
• Zivile Sicherheit • Überwachung der EU-Außengrenzen und maritime Überwachung
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 3
Das Copernicus Programm der ESA Copernicus ist ein umfassendes satellitengestütztes Erdbeobachtungsprogramm der ESA. Seine Aufgaben sind:
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 4
Die ESA Sentinel Satellitenfamilie
2014 2015 2016 2017 2018 2019 2020 2021 2022 2023
Sentinel 1 – SAR imaging
Sentinel 2 – Multispectral imaging d
c
a b
a b
c d
Sentinel 3 – Ocean and global land monitoring
c d
a b
Sentinel 4 – Geostationary Atmosphere
Sentinel 5 – Low-orbit Atmosphere/ Air quality
S5 Precursor
Payload on EUMETSAT geostationary
Payload on EUMETSAT polar orbiting
Sentinel 6 – Low-orbit Altimetry CNES JASON heritage
a + b
a + b
a + b +c
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 5
Sentinel 1 Sentinel-1A 03.04.2014
Sentinel-1B 25.04.2016
© ESA
- Zwei Satelliten: Sentinel 1a und Sentinel 1b - C-Band SAR (Synthetic Aperture Radar) in der
Kontinuität der ESA-Missionen ERS (seit 1991) und ENVISAT
- wetter- und beleuchtungsunabhängig - Je nach Modus bis zu 5x5m Auflösung
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 6 Die Ostalpen 06.12.2014, Sentinel-1A: IW Modus, GRD © Copernicus Sentinel Daten (2014)
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 7
Eisberg-Überwachung mit Sentinel-1
© Polar TEP, Polar View, C-CORE, Canadian Ice Service,
Danish Meteorological Institute, International Ice Patrol © Copernicus Sentinel data
(2015)/ESA
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 8
Hochwasser-kartierung nach Zyklon Roanu, Mai 2016, Sentinel-1A 30 h von der Aktivierung bis zur ersten Karte
© Copernicus Service information (2016) / Copernicus EMS / e-GEOS
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 9
www.DLR.de • Chart 9
© Contains modified Copernicus Sentinel data (2016)/ESA/CNR-IREA
Erdbeben am 24.08.2016 in Mittel-Italien: Interferogramm aus Sentinel-1-Daten (15.8. + 27.8.2016)
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 10
Sentinel 3 - Zwei Satelliten: Sentinel 3a (gestartet), Sentinel 3b
(Start geplant März 2018) - mittelaufgelöste, tägliche Information über Land
und Ozeanen mittels optischer und passiver und aktiver Radarsensoren
- Messungen der Landbedeckung, Ozeanfarbe, Ozean-Oberflächentemperatur und -höhe
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 11
Sandsturm über dem Roten Meer,
25.07.2016 Sentinel-3A OLCI
© Contains modified Copernicus Sentinel
data (2016), processed by ESA
Sandsturm über dem Roten Meer,
25.07.2016 Sentinel-3A OLCI
© Contains modified Copernicus Sentinel
data (2016), processed by ESA
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 12
Hurrrikan Matthew, Thermal-Infrared,
Oberflächen- Temperaturen,
Sentinel-3A SLSTR
© Contains modified Copernicus Sentinel
data (2016), processed by ESA
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 13
Sentinel-3A SRAL © contains modified Copernicus
Sentinel data (2016), processed by ESA and CNES
Schwankungen des Meeresspiegels, 3.3. - 2.4.2016, Sentinel-3A Radar Altimeter
Copernicus Daten sind öffentlich und kostenfrei zugänglich. Für Deutschland betreibt das DLR Earth Observation Center die Plattform. Copernicus Data and Exploitation Platform – Deutschland
https://code-de.org
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 14
Zugang zu Sentinel Daten
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 15
DLR Sentinel Processing and Archiving Center
S-1B S-2A S-3A
X XX X
S1-PAC
DLR
GMES-WAN / ESA Data Circulation and Dissemination Network (T-Systems)
S1-PAC
Airbus
S3-PACOLCI
DLR
S3-PACSLSTR+Synergy
ACRI
S3-PACSRAL
CLS
S1-MPCCLS
S3-MPCACRI
Svalbard
KSAT
Inuvik
KSAT
Matera
e-GEOS
Maspalomas
INTA
S2-PAC
Indra
S2-PAC
Airbus
S2-MPCCS
ESA Sentinel Space Segment
X-Band
S-1A S-2B S-3B
ESA SentinelPayload Data Ground Segment
CDS
PDMC
ESRIN
CopernicusServices
Users
S1S3-PAC-DLR & S-5P PAC
Ka-Band
XEDRS-Stations
WeilheimHarwellRedu
S-5PPAC
DLR
S-5P
• Dateneingang der Sentinel-Daten von den CGSs und EDRS via GMES-WAN (2*10Gbit/s)
• systematische Prozessierung aller Daten zu höherwertigeren Produkten
• Datenarchivierung im Langzeitarchiv (LTA) des DLR-EOC
• Datenaustausch mit Partner-Einrichtung (UK-PAC) Redundanz!
• Verteilung der Sentinel-Daten
Copernicus-Nutzlastbodensegment
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 16
Erwarteter Zuwachs des Datenvolumens für S1/S3 am DLR Processing and Archiving Center 2014 – 2025 (in Terabyte)
Sentinel-1A: 03. April 2014
Sentinel-1B: 25. April 2016
Sentinel-3A: 16. Feb. 2016
Sentinel-3B: März 2018
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 17
Die Sentinel 1 + 3 LTA Umgebung
Firewall
SAN Switches
Appl. Server Appl. Server Appl. Server
ESA
Appl. Zone
data transfer from/to ESA
Internal Networks
= failover
Zone FS.
SAM-FS config
SAM-QFS
HA Server / Appl Server SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. Appl.
Zone Shared QFS 1
Archivserver Archivserver Archivserver Archivserver
Appl. Zone
Appl. Zone
Shared QFS 2
Shared QFS 2
Shared QFS 1
1st Copy
ACSLS 1
2nd Copy
ACSLS 2
Archive Net
Shared QFS 1
Shared QFS 2
Ausgangslage: • Ursprünglich wenig performante Firewall zwischen Quell- und Zielsystem • Große Datenmengen zur Auslieferung • Zwei Quellsysteme, ein Zielsystem • Zielsystem muss Daten nach Verarbeitung löschen können • Gemeinsame SAN Infrastruktur und Storage vorhanden
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 18
Shared QFS über Firewall
Lösung: • Shared QFS • Daten laufen nur über SAN • Metadaten werden über Firewall übertragen • Primärer und Sekundärer Metadatenserver auf den Quellsystemen • Zielsystem fungiert als Client • Firewallfreischaltung: Port 7105 von Client zu Metadatenservern
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 19
Shared QFS über Firewall
Anlegen des Filesystems mit Shared: # samfsinfo QFS1 samfsinfo: filesystem QFS1 is mounted. name: QFS1 version: 2A shared [ … ] Host File (/etc/opt/SUNWsamfs/hosts.QFS1): # samsharefs QFS1 # # Host file for family set ‘QFS1' # # Version: 4 Generation: 13 Count: 5 # Server = host 0/Archive-Server-1, length = 210 # Archive-Server-1 A.B.X.x 1 - server Archive-Server-2 A.B.X.y 2 - Appl-Server-1 A.B.Y.a - - Appl-Server-HA A.B.Y.b - - Archive-Server-HA A.B.X.z - -
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 20
Shared QFS über Firewall: Konfiguration
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 21
Die Sentinel 1 + 3 LTA Umgebung
Firewall
SAN Switches
Appl. Server Appl. Server Appl. Server
ESA
Appl. Zone
data transfer from/to ESA
Internal Networks
= failover
Zone FS.
SAM-FS config
SAM-QFS
HA Server / Appl Server SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. Appl.
Zone Shared QFS 1
Archivserver Archivserver Archivserver Archivserver
Appl. Zone
Appl. Zone
Shared QFS 2
Shared QFS 2
Shared QFS 1
1st Copy
ACSLS 1
2nd Copy
ACSLS 2
Archive Net
Shared QFS 1
Shared QFS 2
Ausgangslage: • Vier Archivserver, ein Zielserver für Failover • Zeitliche Anforderung: mehrere Stunden Downtime sind OK • Gemeinsame SAN Infrastruktur und Storage vorhanden • Identische Hardware mit identischen Controllerpfaden zu Platten
Ziele: • HA-Lösung mit Sun Cluster aus Komplexitäts- und Kostengründen nicht
erwünscht • Möglichst wenig fehleranfällige Lösung
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 22
Manueller Failover von SAM-QFS - Ausgangslage
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 23
Manueller Failover von SAM-QFS – Lösung Dokumentiert und getestet
Zpool mit • Anwendungsverzeichnissen • SAMFS Konfig und Runtime
/etc/opt/SUNWsamfs /var/opt/SUNWsamfs
SAM-QFS Devices/FS
Sek
undä
rer M
etad
aten
serv
er
Archivserver HA Server
Anwendungsprozesse
Service IP Adresse
Metadaten- server
Service IP Adresse
Anwendungsprozesse
Met
adat
ense
rver
SAM Services SAM Services
Auf dem Archivserver: • aridle, möglichst abwarten • Anwendung herunterfahren • IP Adresse wegkonfigurieren • Wenn nötig: Metadatenserver umziehen auf sekundären Metadatenserver • Alle SAM-QFS unmounten • Service sam-fsd in SMF disablen • Unser SAM-QFS Log liegt unter /var/opt/SUNWsamfs
-> in /etc/syslog.conf auskommentieren, Refresh auf Service system-log • Zpool exportieren
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 24
Manueller Failover von SAM-QFS – Herunterfahren
Falls Crash eines primären Metadatenservers, auf sekundärem Metadatenserver: • Metadatenserver mit Force holen!
Auf dem HA-Server: • Zpool importieren – nach Crash mit Force! • Unser SAM-QFS Log liegt unter /var/opt/SUNWsamfs -> in /etc/syslog.conf
vorbereitete Zeile ent-kommentieren, Refresh auf Service system-log • Service sam-fsd in SMF enablen. Häufig „samd config“ nötig -> warum? • Alle SAM-QFS Filesysteme mounten
Eigenes Mount-Skript mit eigener vfstab in /etc/opt/SUNWsamfs • Service IP Adresse konfigurieren.
Vorsicht vor Wiederhochfahren eines gecrashten Servers! • Anwendung hochfahren • Bei uns: arrun, da nicht automatisch
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 25
Manueller Failover von SAM-QFS – Hochfahren
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 26
Die Sentinel 1 + 3 LTA Umgebung
Firewall
SAN Switches
Appl. Server Appl. Server Appl. Server
ESA
Appl. Zone
data transfer from/to ESA
Internal Networks
= failover
Zone FS.
SAM-FS config
SAM-QFS
HA Server / Appl Server SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. Appl.
Zone Shared QFS 1
Archivserver Archivserver Archivserver Archivserver
Appl. Zone
Appl. Zone
Shared QFS 2
Shared QFS 2
Shared QFS 1
1st Copy
ACSLS 1
2nd Copy
ACSLS 2
Archive Net
Shared QFS 1
Shared QFS 2
• Zwei Storage TEK Libraries mit ACSLS Anbindung, jeweils eigener ACSLS Server • ACSLS Server / Libraries für verschiedene Umgebungen in eigenem Netz • Netze getrennt durch Firewall • ACSLS funktioniert asynchron: Auftrag für Mount/Dismount und Bestätigung über getrennte
Verbindungen
• Verbindung zum ACSLS Server nutzt als Default RCP Bind Firewall
• SAM-QFS Seite (ACSLS Client) nutzt je einen ACSLS Client Prozess (ssi_so) mit zwei TCP Ports pro Library:
• Port für lokale Verbindung von Sam Prozessen, Default 50004 zwei Prozesse
• Port für Rückverbindungen von ACSLS Server, Default dynamisch Firewall
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 27
ACSLS über Firewall - Ausgangslage
SAM-QFS Server ACSLS Server ssi_so
50004 rpcbind
ACSLS
111/UDP
30031 dynamisch Sam
Prozesse
ssi_so
50004
• Verbindung zum ACSLS Server: Port 30031 fix konfiguriert, kein rpcbind • Unterschiedliche fixe Ports für die ACSLS Client-Prozesse (ssi_so) auf SAM-QFS Server
Einfache Firewall-Freischaltungen: Verbindung vom SAM-QFS Server zum ACSLS Server: Immer Port 30031 Verbindung vom ACSLS Server zum SAM/QFS Server: Ports 30031 und 30032
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 28
ACSLS über Firewall - Lösung
SAM-QFS Server ACSLS Server 2
Sam Prozesse
ssi_so
50022
ACSLS
Fix 30031
ssi_so ACSLS Server 1
ACSLS
Fix 30031 Fix 30031
Fix 30032
50023
Library Parameter File 1 (Auszug): hostname = acsls-1 # ACSLS Server portnum = 50022 # lokaler Port csi_hostport 30031 # Port auf ACSLS Server ssi_inet_port 30031 # Port für Rückverbindung vom ACSLS Server Library Parameter File 2 (Auszug): hostname = acsls-2 portnum = 50023 csi_hostport 30031 ssi_inet_port 30032
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 29
ACSLS über Firewall - Konfiguration
Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 30
Fragen?