Aufbau von Analyse-Tools für wiederkehrende agrarpolitische Fragestellungen anhand des Beispiels Dürremonitoring
Ausgangssituation
An der Bundesanstalt für Agrarwirtschaft und Bergbauernfragen (BAB) befindet sich ein Rechen-Cluster, auf der ein Open Data Cube (ODC https://www.opendatacube.org/) eingerichtet wurde. Im Rahmen der laufenden Weiterentwicklung wird die Datenbasis kontinuierlich erweitert und ausgebaut. Der Datenwürfel (ODC) wurde entwickelt, um die ständig anwachsenden Mengen an Satellitenbilddaten effizient verwalten zu können. Das einzigartige am Open Data Cube der BAB soll die Erweiterung der ursprünglich für Satellitenbilder gedachten Technologie sein, sodass auch andere Daten indiziert und als Zeitreihen in diesen mehrdimensionalen Datenwürfel geladen werden können. Dadurch wird es möglich, eine Vielzahl an Raster- und rasterisierte Vektordaten (ZAMG, ALS, INVEKOS uvm.) und Satellitenbilder in einem System zu verschneiden und auszuwerten. Zusätzlich zur rein räumlichen Analyse kann im mehrdimensionalen Datenwürfel auch die zeitliche Dimension in den Berechnungen und Auswertungen berücksichtigt werden, was die Analysen von Zeitreihen ermöglicht. Aus Sicht der landwirtschaftlichen Grundlagenforschung und Agrarpolitik sind Fragen des Trockenheits- oder Anbaumonitorings, wie z.B. die zeitliche Entwicklung der Anbaufläche von Brotgetreide, von großer Bedeutung. Exakt hier liegt die Stärke der Datenwürfeltechnologie mit der performanten Analyse im Big Data Bereich über zusätzliche Zeitdimensionen. Dadurch ist es z.B. möglich, die Entwicklung des Brotgetreideanbaus in den letzten 20 Jahren darzustellen (Höhenlagen, geographische Verteilung, Klimadaten der ZAMG etc.). Für die Zeitreihenanalyse können MODIS-Satellitendaten herangezogen werden, da im Vergleich zu Sentinel-2-Produkten (ab 2015) bereits langfristige Zeitreihen (ab 2000) vorliegen. Der Bedarf dieser Werkzeuge zeigte sich bereits im Jahr 2018, als eine Dürrekulisse zur Abwicklung einer Dürreentschädigung an Landwirt:innen mit relativ rudimentären, technologisch veralteten und einfachen IT/GIS-Anwendungen erstellt wurde. Unter Einsatz aktueller IT- und GIS-Technologien sollen derart wiederkehrende Fragestelllungen bei neuerlich auftretenden Wetterkapriolen (z.B. Frühjahrsdürre 2020) mit geringer Vorlaufzeit beantwortet werden können. Das verbesserte Analyse-Tool-Dürremonitoring soll dazu beitragen, derartige agrarpolitische Fragestellungen in Zukunft wesentlich zielgerichteter beantworten zu können. Im Rahmen einer zukünftigen Digitalisierungsstrategie in der Landwirtschaft (Geodateninfrastruktur GDI) kann der bestehende ODC am BAB für die Anwendung eines Dürremonitorings als IT-Systemgrundlage dienen. Die Erkenntnisse aus dem Projekt sollen interessierten Expert:innen aus dem behördlichen Umfeld frei zur Verfügung gestellt werden.
Zielsetzung
Ziel des Projekts ist die Entwicklung eines Dürremonitorings. Dazu werden aktuelle österreichische Wetterdaten analysiert und mit 30-jährigen Zeitreihen (Klimaperiode) verglichen, um Dürreperioden zu identifizieren. Dabei sollen die Auswirkungen von Dürreperioden auf bestimmte Kulturpflanzenarten untersucht und die zeitliche Veränderung der Schlagnutzung unter sich verändernden Klimabedingungen und regionalen Verschiebungen analysiert werden (Time Series Analysis). Um sämtliche Einflussfaktoren zu identifizieren, werden auch Verfahren des statistischen Lernens und der Mustererkennung (Machinelearning, KI) herangezogen. Dies dient neben einer (begrenzt möglich) Prognosemöglichkeit in erster Linie der Beurteilung der Wichtigkeit verschiedener Einflussfaktoren sowie der Vereinfachung der entwickelten Modelle auf möglichst wenige, aber umso relevantere Umweltdaten.
Der ODC soll als vernetzte Datenstelle dienen und über Cloud Object Storage Schnittstellen (z.B. S3) für Dateneinbindungen offen fungieren können. Damit soll ein Teil der bestehenden Geodateninfrastruktur ersetzt werden. Diese Lösung soll Fehlerquellen minimieren, die aktuellsten Daten allen Nutzer:innen unmittelbar zur Verfügung stellen und dezentral verwaltet werden können. Nutzer sollen die notwendigen Analysen selbständig via Internetbrowser auf der Infrastruktur des BAB durchführen können. Dabei sollen bestehende Analysefunktionen erweitert und wiederkehrende Auswertungen diverser Fragestellungen aktualisiert werden können.
Stand des Projekts
Das Analyse-Tool Dürremonitoring konnte im Jahr 2021 erfolgreich abgeschlossen und die Relevanz des Open Data Cube als Datenrepository und Analysewerkzeug verdeutlicht werden. Weiters wurden auf Basis der Flächenschwerpunkte der aktuellen Acker- und Grünlandnutzung für jede Katastralgemeinde Österreichs definierte Klimaparameter (z.B. die klimatische Wasserbilanz, Hitzetage und Trockenperioden von 10 oder mehr Tagen) für die Klimanormalperiode 1961-1990 als auch 1991-2020 berechnet. Ohne ODC wären derart komplexe Berechnungen nicht in der kurzen Bearbeitungszeit von wenigen Tagen durchführbar gewesen. Die Ergebnisse dieser Analysen wurden dem BMF zur weiteren Verarbeitung zur Verfügung gestellt. Es wurde damit eine Basis geschaffen, die es erlaubt, diese oder ähnliche wiederkehrende Fragestellungen bei Bedarf mit aktuellen Daten kurzfristig beantworten zu können. Die Analysefunktionen werden mittels Jupyter Notebooks für den Nutzer bereitgestellt und können eigenständig nach Bedarf angepasst und erweitert werden.
Im Jahr 2022 wurde die Infrastruktur rund um den ODC komplett neu aufgestellt. Mit einer Jupyterhub-Instanz und einer eigenen Container-Registry (Harbor) wurde innerhalb eines Kubernetes-Clusters (System zur Orchestrierung von Container-Anwendungen) eine neue Plattform geschaffen. Diese erlaubt es, die Anwendung Jupyter Notebook für eine Vielzahl an Usern bereitzustellen und ermöglicht es, den Nutzer:innen vorkonfigurierte Umgebungen anzubieten. Die Umgebungen sind auf die unterschiedlichen Bedürfnisse der Nutzer:innen abgestimmt, ersparen ihnen den Installationsprozess und können bei Bedarf beliebig erweitert oder angepasst werden. Der ODC ist eine dieser Umgebungen. Die Plattform ist leicht skalierbar und unterstützt eine Vielzahl an Authentifizierungsprotokollen.
Geplante Arbeiten 2023
Aufgrund der positiven Erfahrungen, die im Verlauf des ODC-Projekts gesammelt werden konnten und dessen Stärken, nämlich große Mengen an Rasterdaten (Satelliten, Klimadaten, ALS uvm.) strukturiert abspeichern und für viele Fragestellungen kombiniert auswerten zu können, wird der ODC als dauerhaftes Analysewerkzeug Bestand haben. Die Ergebnisse bereits durchgeführter Analysen, wie etwa die Berechnung der Klimaparameter für Acker- und Grünlandflächen, sollen nach Akquise der aktuellen Daten aktualisiert werden. Die Infrastruktur wird weiter optimiert und zu einem Dask-Cluster ausgebaut. Dies ermöglicht es, Prozesse zu parallelisieren, um die Hardware-Ressourcen des Kubernetes-Clusters bestmöglich nutzen zu können und die Performanz zu steigern.
Zeitplan
Projektbeginn: 01/2021
Projektende: 12/2023
