In der im Wasserrechtsgesetz geforderten Zusammenarbeit zwischen Bund und Länder wird ein Messnetz zur Bestimmung des Wasserhaushaltes in Österreich betrieben. Diese Daten werden von den Bundesländern gesammelt und in das Hydrographisches Daten Management System (HyDaMS) übermittelt.
Das HyDaMS basiert bisher auf einer proprietären Software, mit welcher in einem sehr speziellen Format über 300.000 Zeitreihen mit unterschiedlichen Parametern und Zeitbezügen vorgehalten werden.
Im Rahmen der INSPIRE-Richtlinie (2007; Umsetzung AT: Geodateninfrastrukturgesetz 2010) sind Geodaten zu benennen und bekannt zu machen (Metadaten) und harmonisiert (definierte gemeinsame Datenstruktur) bereitzustellen (Datenservices).
Im Jahr 2019 erfolgte die Neufassung/Novellierung der alten PSI-RL (PublicSectorInformation) zur OpenData-RL, die 2022 als Informationsweiterverwendungsgesetz 2022 im Bund in Kraft trat. Sie enthält Mindestregeln für die Weiterverwendung öffentlicher Daten und führt das Open-By-Default-Prinzip ein: öffentliche Daten sollen also prinzipiell offen (OpenData) sein, solange nichts definitiv dagegenspricht. Darüber hinaus sind dynamische Daten (Sensoren/Zeitreihen) über Services/API bereitzustellen.
Eine Verschärfung trat im Februar 2023 durch die Verlautbarung der HVD-VO (HighValueDatasets-Verordnung) ein. Dort genannte Datensätze sind verpflichtend kostenlos (OpenData) per Service/API bereitzustellen.
Zielsetzung
Moderne Big-Data Auswertungsmöglichkeiten und Dashboards können wegen der speziellen Struktur des bisher eingesetzten Datenformates nicht auf die Zeitreihendaten innerhalb des HyDaMS zugreifen.
Um Big-Data Analysen oder Modellberechnungen zu ermöglichen, sollen die Zeitreihen automatisch über eine zu entwickelnde Schnittstelle periodisch und gemonitort in ein Open-Source (OS) Datenbanksystem gespiegelt werden. Dies betrifft (i) die geprüften Daten der Hydrographie, die jährlich mit Abschluss eines Jahrbuches eingespielt werden sollen sowie (ii) die aktuellen fernübertragenen (und ungeprüften) Daten aus den Ländern, die kontinuierlich eingespielt werden sollen.
Ein modernes Datenbanksystem ist auch Voraussetzung für zahlreiche geplante Innovationen seitens der Abt. I/3 Wasserhaushalt, so zum Beispiel ein nationales Wasserhaushaltsmodell. Ebenso ist die Datenbereitstellung über das WebGIS-Portal eHYD Stand heute nicht mehr zeitgemäß. Zuerst müssen aus dem HyDaMS die Zeitreihen und Stammdaten als Textdateien exportiert und anschließend manuell in das eHYD integriert werden. Aufgrund der großen Datenmengen gibt es Limitierungen, so werden viele Zeitreihen nur in aggregierter zeitlicher Auflösung angeboten, um die Datenmenge zu reduzieren. Bei Vorhandensein einer Datenbank mit moderner Schnittstelle könnte das eHYD direkt mit der neuen Datenbank verknüpft werden, sodass ein Nutzer auf den gesamten Datenstand der Hydrographie zugreifen kann.
Das HyDaMS besitzt keine maschinenlesbare Schnittstelle (API) und kann laut Auskunft des Softwareunternehmens auch nicht damit ausgestattet werden. Das vorliegende Datenpipeline- bzw. Datenbankprojekt zwischen dem BML und der BAB ist also auch durch gesetzliche Vorgaben bedingt (siehe „Ausgangssituation“).
Hauptziele
- Stabiler Export von Daten aus HyDaMS (Stammdaten und Zeitreihen)
- Auswahl eines geeigneten Open-Source-Datenbank-Systems
- Aufbau von Daten-Pipelines für den Import von Daten aus HyDaMS in eine ausgewählte Open-Source Datenbank
- Aufbau und Betrieb eines Testsystems
- Bereitstellung der Schnittstellen zu Dashboard- und state-of-the-art Auswertungs-Tools
Stand des Projekts
- BMLUK Abt. IV/3: vorhandene Daten (Stammdaten und Zeitreihen) wurden gesichtet und bewertet
- BAB: OS-Datenbank zur effizienten Verwaltung eines Sensorzeitreihen-Big-Data-Testdatensatzes ausgewählt
- BAB: Geeignetes Datenbankschema implementiert
- BAB / BMLUK Abt. IV/2: Skripten, für die folgenden Anwendungen entwickelt
- Verknüpfung der Zeitreihen aus Hydams/Callisto mit den Stammdaten
- Exportieren in Arrays mit Format-Konvertierungen
- Übertragung der Daten in OS-Datenbanken
- BAB: Funktionen: Parallelisierung, Protokollierung und Monitoring werden derzeit sichergestellt
- BAB: Test-DBMS wird bereitgestellt und gehostet
- BAB: Test-Export von Zeitreihendaten aus HyDaMs umgesetzt
- BAB: Test-Import von Zeitreihendaten in das gewählte Testsystem umgesetzt
- BAB: Zeitgesteuerte Ausführung der Import-Workflows wird derzeit abgeschlossen
- BAB / BMLUK Abt. IV/3: Datenvalidierung wird derzeit durchgeführt
Geplanter Ablauf, Durchführung 2026
- Abschluss der oben genannten Punkte welche sich noch in Umsetzung befinden
- BAB / BMLUK Abt. IV/3: Import ungeprüfter Zeitreihen via Schnittstellen aus den hydrographischen Dienststellen in das Testsystem
- BAB: Entwicklung einer Schnittstelle für den externen Zugriff auf das Testsystem
Zeitplan
Projektbeginn: 01/2024
Projektende: 12/2026
