Projektziele und Arbeitsschwerpunkte
Projektziele
Das vom DLR geförderte SDC-Projekt hat insgesamt eine Laufzeit von fünf Jahren und wurde am 01.07.2024 gestartet. Der planmäßige Projektabschluss ist für den 30.06.2029 terminiert. Basis der Arbeiten sind die Daten, die während des mehr als zehnjährigen Betriebs des SOFIA-Observatoriums aufgezeichnet wurden. Dazu zählen neben den Wissenschaftsdaten, welche die Instrumente aufgezeichnet haben, auch die Daten, die während der Entwicklung des Teleskops und des Betriebs von SOFIA entstanden sind. Aber auch detaillierte Informationen über die astronomischen Beobachtungsprojekte gehören dazu.
Die wesentlichen Projektziele des SOFIA Data Centers sind:
- Entwicklung eines deutschen SOFIA Datenarchivs für die astronomische Community
- Sicherstellung der Qualität des Datenarchivs
- Nutzbarmachung der Daten für Astronomen ohne tiefe spezifische Kenntnis des Observatoriums oder der Instrumente
- Verfügbarkeit von Infrarotdaten, insbesondere in den nächsten 10-20 Jahren, in denen keine neuen Datenquellen in dem von SOFIA beobachteten Wellenlängenbereich vorhanden sein werden
- Aufbau eines Betriebs- und Technikarchivs, das alle relevanten Informationen zum Teleskop, seiner Entwicklung, seiner Performance und seines Betriebs enthält
Daraus ergeben sich für das SDC die folgenden Arbeitsgebiete:
- Beschaffung und Sicherung der Daten auf Servern der Universität Stuttgart
- Bereinigung der Daten von instrumentenspezifischen Artefakten, fehlerhaften oder unbrauchbaren Datensätzen etc.
- Modifikation und Optimierung der instrumentenspezifischen Datenreduktionspipelines und anschließende Reprozessierung der Wissenschaftsdaten
- Verbesserung der Datenqualität im Hinblick auf den atmosphärischen Wasserdampf und das Teleskop-Pointing
- Bereitstellung der Wissenschaftsdaten in einem Archiv mit VO-Funktionalität (VO – Virtual Observatory)
- Bereitstellung der technischen und operativen Daten des Teleskops in einer strukturierten Datenbank
- Unterstützung der Nutzer (astronomisch, technisch) durch Support, Schulung, Workshops und Ähnliches
- Einrichtung einer SDC-User Group, zur Rückmeldung des Bedarfs und der Anforderungen der astronomischen Community in das Projekt
Daraus ergeben sich für das Projekt die folgenden Arbeitspakete und Schwerpunkte:
Datentransfer und Datensicherung
Die Identifikation aller erforderlichen Daten, ihr Export aus den USA nach Deutschland und ihre Bereitstellung und Sicherung auf Servern der Universität Stuttgart war und ist eine unabdingbare Grundvoraussetzung für den Aufbau und Betrieb eines SOFIA Data Centers. Dieser Prozess ist inzwischen abgeschlossen, es sind mehrere Arten von Daten und Software zu unterscheiden:
SI-Rohdaten: Insgesamt umfassen die SOFIA-Rohdaten etwa 141 TB, das Datenvolumen der Wissenschaftsinstrumente macht davon rund 24,2 TB aus. Zu den Rohdaten zählen aber auch die Housekeepingdaten des Teleskops und des MCCS (Mission Control and Communication System) sowie die Bilder der Teleskopkameras.
Metadaten: Dabei handelt es sich um das DCS (Data Cycle System), das wichtige Informationen zu den Beobachtungsprojekten enthält. Dazu zählen die Beobachtungsvorschläge (AORs), die Reihenfolge der Beobachtungen, ihre Verteilung auf verschiedene Flüge, Informationen zur technischen Durchführbarkeit, Flugrouten usw.
Prozessierte Wissenschaftsdaten: Diese Daten wurden aus den Rohdaten mit einer früheren Version der Datenreduktions-Pipeline (REDUX) bzw. mit einer optimierten REDUX-Version (ab 2017) prozessiert und dienen als Referenz zum Vergleich mit weiteren Updates der Pipeline, die im Rahmen des SDC-Projektes entwickelt werden.
Der Vollständigkeit halber sei an dieser Stelle noch erwähnt, dass die Wissenschaftsdaten heute schon über das Multimissionsarchiv der NASA (IRSA – InfraRed Science Archive) abrufbar sind, allerdings nicht weiter gepflegt oder verbessert werden.
Datenreduktions-Pipeline: Die instrumentenspezifische Datenreduktions-Pipeline (REDUX) wurde ebenfalls gesichert und ist inzwischen im SDC lauffähig. Für die US-Instrumente (EXES, FORCAST, HAWC+) wurden bisher keine spezifischen Optimierungen an der Pipeline vorgenommen. Für das Instrument FIFI-LS sind die Verbesserungen an der Pipeline derzeit (Sommer 2025) in vollem Gange, da das Know-How für dieses Instrument im SDC vorhanden ist. Die Pipeline für das Instrument GREAT wird an der Universität zu Köln bearbeitet.
Precipitable Water Vapor (PWV)
Wasserdampf, genauer gesagt “Precipitable Water Vapor” (PWV), bezeichnet die Menge an Wasserdampf in einer vertikalen Säule der Erdatmosphäre (entlang der Blickrichtung des Teleskops), die zu flüssigem Wasser kondensieren kann. PWV wird in mm angegeben und ist der wesentliche Grund für die Absorption von langwelliger Infrarotstrahlung in der Atmosphäre. Selbst in der Flughöhe von SOFIA (Stratosphäre) beeinflusst PWV astronomische Messungen erheblich. Im SDC-Projekt wird ein neuartiges Verfahren zur Wasserdampfbestimmung zur Anwendung kommen, das auf der Reanalyse der Erdatmosphäre des European Centre for Medium-Range Weather Forecasts (ECMWF) beruht. Die Reanalyse greift auf einen Katalog zurück, in dem eine Vielzahl physikalischer Größen der Atmosphäre mit einer geographischen Auflösung von 25 km erfasst sind. Aus diesen Daten wird dann in Abhängigkeit von der Zeit, den geographischen Koordinaten und der Flughöhe der Wasserdampfgehalt in Blickrichtung des Teleskops ermittelt.
Diese Informationen werden für alle SOFIA Wissenschaftsflüge ermittelt und als allgemein zugängliche Wasserdampfprodukte zur Verfügung gestellt. Sie erlauben eine deutlich verbesserte Korrektur der astronomischen Beobachtungen bezüglich der atmosphärischen Transmission. Das Verfahren wurde bereits mit Daten des Instruments FIFI-LS erfolgreich demonstriert.
Imager und Pointing
Das SOFIA-Teleskop verfügte über insgesamt drei Kameras im Wellenlängenbereich des sichtbaren Lichts, die während aller Wissenschaftsflüge permanent im Einsatz waren und während eines Fluges rund 25.000 Bilder je Kamera aufgenommen haben. Diese wurden allesamt gespeichert, standen den Forschenden bisher aber nicht zur Verfügung. Die Kameras sind:
- Wide Field Imager (WFI) mit einer Brennweite von 136 mm (Gesichtsfeld 6 x 6 Grad)
- Fine Field Imager (FFI) mit einer Brennweite von 733 mm (Gesichtsfeld 67 x 67 arcmin)
- Focal Plane Imager plus (FPI+) in der Fokalebene des Teleskops
Die beiden CCD-Kameras WFI und FFI waren am Frontring des Teleskops montiert und dienten im Wesentlichen dem Telescope Operator zur Orientierung am Himmel und halfen bei der Erkennung von Sternenmustern. Der FPI+ war die Nachführkamera des Teleskops und wurde zudem auch als Wissenschaftsinstrument bei der Beobachtung von Sternbedeckungen eingesetzt.
Um die aufgezeichneten Bilder der drei Teleskopkameras nutzbar zu machen, müssen diese zunächst aus dem ARK-Format (Level 0 Images) in das in der Astronomie weit verbreitete FITS-Format (Flexible Image Transport System) umgewandelt werden. In diesem Zuge werden die FITS-Dateien in ihrem Header mit einer Vielzahl von relevanten Daten angereichert, die aus verschiedenen Housekeeping-Dateien extrahiert werden und unter entsprechenden FITS-Keywords im Header abgelegt werden. Dazu gehören auch die WCS-Daten (World Coordinate System), die Aufschluss über die Himmelskoordinaten des Bildes geben (Level 1 Images).
Die Himmelskoordinaten entsprechen dabei den an das Teleskop kommandierten Daten, die sich aus der Position des beobachteten Objekts ergeben. Allerdings können die tatsächlichen Himmelskoordinaten, also das Teleskop-Pointing, mit Hilfe von Plate-Solving-Methoden noch genauer bestimmt werden. Dazu kommen Programme wie Astrometry.net oder SCAMP zum Einsatz, die auf Basis eines Sternenkatalogs die exakte Position und Orientierung eines Bildes ermitteln können. Diese werden dann im WCS-Header des FITS-Bildes abgelegt und für die weitere Verwendung gespeichert (Level 2 Images). Dies kann zu einer weiteren Verbesserung der anschließenden Datenreduktion führen.
Betriebs- und Technikarchiv
Während der Entwicklung und des Betriebs des SOFIA-Teleskops entstand eine große Menge an technischer Dokumentation. Allein das Acceptance Data Package (ADP) des Entwicklerkonsortiums umfasst rund 150 A4-Ordner, die Dokumentation des Critical Design Review (CDR) der NASA weitere 50 A4-Ordner. Diese Dokumentation wurde im Laufe des Betriebs digitalisiert und auf dem aktuellen Stand gehalten, wenn Modifikationen, Reparaturen oder Verbesserungen eingeführt wurden. Die Dokumente unterlagen einer Versionskontrolle und wurden im Dokumentenmanagement Tool Windchill verwaltet. Daneben existieren technische und operationelle Dokumente aus anderen Bereichen, die ebenfalls in elektronischer Form vorliegen. Die wichtigsten Dokumentkategorien sind
- Technische Teleskopdokumentation (Windchill)
- Dokumentation der Wartungsarbeiten (NAMIS) inkl. des Workorder-Systems
- Dokumentation der Teleskopelektronik (EPALN)
- Issue-Tracking und Konfigurations-Management (JIRA)
- Dokumentation von Entwicklungsprojekten und weitere Unterlagen
- CAD-Daten aus verschiedenen Tools wie SolidWorks, Zemax etc.
Um die langfristige Verfügbarkeit all dieser Daten sicherzustellen, werden diese in das Datenrepositorium der Universität Stuttgart (DaRUS) übernommen. Dieses beruht auf der OpenSource Software Dataverse und garantiert, dass die Daten langfristig und sicher verwahrt werden. Zudem sind der Zugriff auf die Daten (intern und extern mit Zugangskontrolle) sichergestellt. Die Dokumente können übersichtlich strukturiert und organisiert werden, die Datenbank ist mit Suchkriterien zu durchsuchen, sodass einzelne oder Gruppen von Dokumenten schnell gefunden werden können.
Wissenschaftsinstrumente & Redux-Pipeline
Das SOFIA-Observatorium verfügte während seiner Betriebsphase über eine Vielzahl unterschiedlicher Wissenschaftsinstrumente (Scientific Instruments, SI), die jeweils eine dedizierte Funktionalität in den Bereichen Spektroskopie, Photometrie oder Polarimetrie hatten. Dabei konnten Instrumente zum Teil in unterschiedlichen Betriebsmodi oder Wellenlängenbereichen betrieben werden. Die Instrumente und ihre wesentlichen Charakteristika sind in einem separaten Bereich der SDC-Homepage beschrieben.
Die während der Beobachtungskampagne aufgezeichnete Daten der SIs (Rohdaten) sind nicht unmittelbar für die Datenauswertung und Visualisierung von astronomischen Sachverhalten oder gar Ergebnissen geeignet. Vielmehr ist eine umfangreiche und komplexe Reprozessierung der Rohdaten erforderlich (Datenreduktion), um alle instrumentellen und atmosphärischen Störgrößen zu entfernen und die Daten zu kalibrieren, um physikalisch aussagekräftige und wissenschaftlich verwertbare Bilder oder Spektren des beobachteten astronomischen Objekts zu erhalten. Typische Störgrößen, die durch Datenreduktion korrigiert werden müssen, sind z.B.
- Eigenemission der Atmosphäre und des Teleskops,
- Absorption der Erdatmosphäre,
- Detektoreffekte.
Für die SOFIA-Daten fand die Datenreduktion für alle Instrumente (Ausnahme: GREAT, s.u.) unter einem einheitlichen Framework namens „Redux“ bzw. „Redux-Pipeline“ statt. Ziel des SDC-Projektes ist es, die Redux-Pipeline nach neuesten Erkenntnissen und mit verbesserten Algorithmen zu modifizieren, und auf diese Weise instrumentelle Eigenheit, Artefakte und Kalibrierungsdefizite weitestgehend zu eliminieren. Zudem werden auch die im SDC-Projekt neuberechneten Pointing- und Wasserdampfdaten in die Datenreduktion eingehen. Fehlerhafte oder unvollständige Datensätze werde zudem identifiziert und gekennzeichnet, sofern sie nicht reparabel sind. Damit können diese aus der Analyse und Bewertung ausgeschlossen werden.
Die Daten aller neun SOFIA-Beobachtungszyklen (OC #1 bis #OC9) mit allen Instrumenten sollen auf diese Weise reprozessiert werden. Dadurch sollen Forschende unterschiedlicher astrophysikalischer Fachrichtungen auch ohne tiefes spezifisches Know-How der Instrumente und ihrer Datenreduktion verlässlich auf die SOFIA-Daten zugreifen und diese verwenden und bewerten können. Dies wird auch zu einer weiteren Verbreitung der mit SOFIA gewonnenen Daten führen.
Hinsichtlich der Priorisierung der Instrumente wurde durch die Deutsche Raumfahrtagentur in Zusammenarbeit mit der GSSWG die folgende Reihenfolge beschlossen, die insbesondere bei etwaigen Kapazitätsengpässen bei der Bearbeitung zum Tragen kommt: Priorität haben die durch Deutschland finanzierten Instrumente (GREAT, FIFI-LS, FPI+) vor den US-Instrumenten in der Reihenfolge HAWC+, FORCAST und EXES. Nicht bearbeitet werden Daten der Instrumente HIPO und FLITECAM, die nur sehr kurz zu Beginn des Betriebs von SOFIA im Einsatz waren. Anpassungen dieser Priorisierung können innerhalb der SDC User Group besprochen und der Raumfahrtagentur vorgeschlagen werden.
Eine Sonderstellung nimmt zudem das Instrument GREAT (https://upgreat.uni-koeln.de) ein. Die Reprozessierung der Daten erfolgt, wie auch schon während der aktiven Phase des SOFIA-Projektes, durch die Universität zu Köln. Es ist aber geplant, die GREAT-Daten in die Datenbasis des SDC zu überführen, und somit die Daten aller Instrumente unter einer einheitlichen Oberfläche verfügbar zu machen.
Bei den Arbeiten des SDC liegt daher derzeit (11/2025) der Fokus auf den Themenbereichen Wasserdampf, Pointing und FIFI-LS.
Die Weiterentwicklung der Redux-Pipeline wird auf dem GitHub Enterprise Server der Universität Stuttgart durchgeführt, der Code wird für die Anwender bereitgestellt. Der Server ist öffentlich erreichbar unter:
https://github.com/SOFIA-Data-Center/sofia_redux
und wurde abgeleitet aus:
https://github.com/SOFIA-USRA/sofia_redux
Eine schematische Darstellung des Ablaufs der Reprozessierung ist in dieser Grafik zusammengefasst.
SOFIA Datenarchiv & Virtual Observatory (VO)
Das SOFIA Datenarchiv soll zur effizienten Verwaltung und Bereitstellung aller astronomischen und technischen Daten des Observatoriums dienen, um eine weitere wissenschaftliche Nutzung zu ermöglichen. Darüber hinaus werden aber auch eine Vielzahl flankierender Informationen bereitgestellt, die die Arbeit mit den wissenschaftlichen Daten erleichtern und unterstützen werden.
So werden z.B. die Inhalte des Data Cycle Systems (DCS) bereitgestellt, die Flugpläne, Veröffentlichungen, Informationen zu Beobachtungsprogrammen und weitere Metadaten enthalten. Auch werden die Housekeeping-Daten des Observatoriums und des Teleskops zugänglich sein, um ggf. zusätzliche Informationen hinsichtlich der Qualität der Daten erhalten zu können. Auch soll die Verknüpfung von Datensätzen und bereits veröffentlichen Publikationen aufgezeigt werden.
Das Filesystem mit den Wissenschaftsdaten wird neben den Rohdaten der Instrumente auch die Daten verschiedener Prozessierungsstufen bis hin zu zusammengesetzten Mosaiken enthalten. Die Reprozessierung selbst wird in einer weitgehend automatisierten Umgebung im Hintergrund und ohne zeitintensive Interaktion ablaufen. Dies ermöglicht die Reprozessierung iterativ und in übersichtlichen Schritten durchzuführen und zu wiederholen.
Auf den Inhalt des Betriebs- und Technikarchivs wurde bereits an anderer Stelle eingegangen. Ebenso werden die Resultate der Imager-Pipeline, also FITS-Files der Level 0, 1 und 2 in dem Archiv bereitgestellt.
Der Zugriff auf das Datenarchiv soll kompatibel zu den Standards des „Virtual Observatory“ (VO) ausgeführt werden. Dies hat zum einen den Vorteil, dass der Programmieraufwand zur Erstellung der User-Interfaces reduziert werden kann, da auf bereits vorhandenen Softwarepakete zurückgegriffen wird. Zum anderen finden die Anwenderinnen und Anwender eine ihnen vertraute Benutzeroberfläche vor, da IRSA dieselben Tools einsetzt. Zudem wird dadurch die Auffindbarkeit von SOFIA-Daten außerhalb der unmittelbaren FIR-Community erhöht.
Eine mögliche Lösung dazu wurde bereits mit dem Astronomischen Recheninstitut der Universität Heidelberg (ARI, Markus Demleitner) diskutiert, welches das German Astrophysical Virtual Observatory (GAVO) beherbergt. Mit der dort vorhandenen Softwarebibliothek „DaCHS“ kann ein VO-kompatibles Datenarchiv aufgebaut werden („VO Archive SDC“). Als Nutzerschnittstelle ist der VO-Client „Firefly“ geplant, entwickelt bei Caltech/IPAC und bei IRSA bereits für mehrere große Projekte im Einsatz.
Als Speicherort für das SOFAI-Datenarchiv ist derzeit das Datenrepositorium der Universität Stuttgart (DaRUS) geplant. Nach Beendigung des SDC-Projektes im Jahre 2029 ist ein Transfer der Daten an das Deutsche Zentrum für Astrophysik (https://deutscheszentrumastrophysik.de/de) in Görlitz in Diskussion, aber auch eine dauerhafte Datenhaltung in Stuttgart ist möglich.
Auf Basis der wissenschaftlichen Daten und aller begleitenden Daten und Dokumente lässt sich ein umfassendes Bild der wissenschaftlichen Beobachtungen des Observatoriums, seiner Technik, seines Betriebs und der Arbeitsabläufe detailliert rekonstruieren und studieren. Dies geht über die Inhalte des derzeit verfügbaren IRSA-Archivs deutlich hinaus. Das Diagramm zeigt eine schematische Darstellung des SDC VO Archivs.
Kontakt
Bernhard Schulz
Dr. rer. nat.Projektwissenschaftler SOFIA Data Center
Benjamin Greiner
Dr.-Ing.Wissenschaftlicher Mitarbeiter SOFIA Data Center
Michael Hütwohl
Dipl.-Ing.Project Manager SOFIA Data Center