BAB 072/24: Vorbereitung, Datenmanagement und Evaluierung ausgewählter Evaluierungsthemen

des österreichischen  GAP-Strategieplans 2023-2027 sowie des Ländlichen Entwicklungsprogramms 2014-2020

Wie in den vorhergehenden Förderperioden kommt der Evaluierung im Umsetzungszeitraum des GAP Strategieplans (GSP) 2023-2027 eine wichtige Bedeutung zu. Den rechtlichen Rahmen des Monitorings- und Evaluierungssystems geben dafür im Wesentlichen die GAP-Strategieplanverordnung (EU) 2021/2115 sowie deren Durchführungsverordnungen DVO 2021/2289 (Inhalte zum GSP) und DVO 2021/2290 (Berechnung der gemeinsamen Output- und Ergebnisindikatoren) vor. Entsprechend den rechtlichen Vorgaben stehen die Wirkungen des GSP sowie dessen Relevanz (d.h. Zweckdienlichkeit), Effektivität (d.h. Ausmaß der Zielerreichung), Effizienz (d.h. Kosten-Wirksamkeit), Kohärenz und der Unionsmehrt (d.h. der auf Unionsebene erzielte Zusatznutzen des GSP) im Fokus der Evaluierung.

Im Evaluierungsplan für den GSP Österreich 2023-2027 (BML, 2023) wurden zur Ermittlung von zentralen inhaltlichen Fragestellungen (Evaluierungsthemen) die 45 nationalen Bedarfe des österreichischen GSP 23-27 entlang der neun Spezifischen Ziele und dem Querschnittsziel (QZ10 – Qualifikation und Kompetenzaufbau) mit den 17 Evaluierungselementen (z.B. „Wettbewerbsfähigkeit landwirtschaftlicher Betriebe“, „Klimaschutz“, „Gleichstellung der Geschlechter und soziale Inklusion“) und 5 Evaluierungskriterien (Relevanz, Effektivität, Effizienz, Kohärenz, Unionsmehrwert) kombiniert. Die ermittelten 36 Evaluierungsthemen als Basis für die gesamte Evaluierung des GSP 23-27 (Evaluierung im Umsetzungszeitraum und Ex-Post-Evaluierung) wurden detailliert ausgearbeitet. Für jedes Evaluierungsthema wurde eine Evaluierungsfrage definiert, die über Erfolgsfaktoren inhaltlich weiter spezifiziert werden. Damit verknüpft sind alle relevanten Interventionen und zugeordnete Indikatoren (Output-, Ergebnis-, Wirkungs-Indikatoren) sowie nationale Indikatoren. Im Zusammenhang mit den neun Spezifischen Zielen und dem Querschnittsziel stehen 44 Ergebnisindikatoren (jede konkrete Intervention des GSP muss mindestens einem Ergebnisindikator zugeordnet sein) und 29 Wirkungsindikatoren.

Die Evaluierung des österreichischen GSP 23-27 erfordert, dass jedes der drei Allgemeinen Ziele (Ziel A – Förderung des Agrarsektors und der Ernährungssicherheit; Ziel B – Förderung des Umweltschutzes, der biologischen Vielfalt und des Klimaschutzes, Beitrag zur Erreichung umwelt- und klimabezogenen Ziele der EU; Ziel C – Stärkung des sozioökonomischen Gefüges in ländlichen Gebieten) der Gemeinsamen Agrarpolitik (GAP) und jedes Spezifische Ziel, einschließlich des Querschnittsziels (QZ10) sowie jedes Spezifische Thema (z.B. Umwelt- und Klimaarchitektur, AKIS) mindestens einmal im Umsetzungszeitraum bewertet wird, wobei die Wirkung der Interventionen auf die einzelnen spezifischen Ziele eingeschätzt werden muss. Der Zeitraum für diese Evaluierung kann daher laut Evaluierungsplan auf die Jahre 2025-2028 eingegrenzt werden; die Ex-Post-Evaluierung des österreichischen GSP 23-27 ist für den Zeitraum 2029-2031 geplant.

Zeitlich wird sich die Evaluierung des GSP 23-27 mit der Ex-post-Evaluierung des Ländlichen Entwicklungsprogramms 2014-2020 (LE 14-20) sowie mit der Programmierung des GSP 2028-2035 überschneiden.

Zielsetzung

Ziele des Langzeitprojektes sind i) die wissenschaftliche Begleitung der sich zeitlich überschneidenden Evaluierungen durch die Unterstützung und wissenschaftliche Beratung des BML (Abteilung II/1 und Interventionsverantwortliche) bei der Vorbereitung der Evaluierung, durch die Identifikation erforderlicher Evaluierungsstudien etc.; ii) die Spezifizierung erforderlicher und Überprüfung vorhandener Daten, die – gemeinsam mit geeigneten Methoden   zur Beantwortung der Evaluierungsfragen notwendig sind, sowie die Identifizierung von Datenlücken unter Berücksichtigung von Erfahrungen aus vorangegangenen Evaluierungen; und iii) die Evaluierung ausgewählter Evaluierungsbereiche.

Das Projekt besteht aus mehreren Arbeitspaketen, bei denen die Evaluator:innen der Bundesanstalt bei ausgewählten Evaluierungsthemen mitarbeiten werden. Die Arbeitspaketleiter:innen sind jeweils für die Koordination und Durchführung der Evaluierungstätigkeiten, die ihre Arbeitspakete betreffen, verantwortlich. Hauptaufgaben der Leitung des Gesamtprojektes an der Bundesanstalt sind z.B. die Koordination der Evaluierungstätigkeiten über die Arbeitspakete hinweg, der kontinuierliche Austausch mit dem BML hinsichtlich der Organisation der Evaluierungstätigkeiten und der Austausch mit dem Projektteam des Projektes BAB 073/24 „GAP Datenpool – Datenmodellierung und Datenmanagement“.

Stand des Gesamtprojektes

Gemeinsam mit der Abteilung II/1 wurden im Jahr 2024 die Evaluierungsthemen und Bereiche festgelegt, bei denen die Bundesanstalt bei der Evaluierung des GSP 23-27 mitarbeiten wird: Die Bundesanstalt wird die Evaluierung des Allgemeinen GAP Ziels B („Förderung des Umweltschutzes, der biologischen Vielfalt und des Klimaschutzes, Beitrag zur Erreichung umwelt- und klimabezogener Ziele der EU“) koordinieren. Darüber hinaus wird die Bundesanstalt folgende Bereiche evaluieren: das Spezifische Ziel 02 (Verstärkte Ausrichtung auf den Markt und Steigerung der Wettbewerbsfähigkeit landwirtschaftlicher Betriebe), das Spezifische Ziel 07 (Steigerung der Attraktivität für Junglandwirte; Erleichterung der Unternehmensentwicklung), das Evaluierungsthema Q2 „Qualifikation und Kompetenzaufbau, AKIS“, das Evaluierungsthema „Mehrwert von LEADER“ sowie das Evaluierungsthema „Gleichstellung“.

Im Zusammenhang mit diesen Bereichen und darüber hinaus wurde das BML laufend bei der Vorbereitung der Evaluierung des GSP 23-27 unterstützt, z.B. durch das Aufzeigen von Datenlücken, bei der Ermittlung des Bedarfs an Evaluierungsstudien, durch inhaltliche/wissenschaftliche Beratung- u.a. bei der Weiterentwicklung der vorhandenen Formblätter zu den Evaluierungsthemen   oder über die Teilnahme an Workshops.

Geplante Arbeiten 2025

Die erforderlichen Tätigkeiten im Zusammenhang mit der Evaluierung des GSP 23-27 im Umsetzungszeitraum werden in Zusammenarbeit mit dem BML koordiniert, geplant und durchgeführt. Beispiele dazu sind die finale Ausarbeitung der Evaluierungsthemen (Formblätter), die Begleitung von Evaluierungsstudien, die Teilnahme an Koordinierungsbesprechungen im BML zu den betroffenen Evaluierungsthemen, die Spezifikation der erforderlichen Daten etc. Darüber hinaus wird die Bundesanstalt die Evaluierung im Rahmen der Arbeitspakete durchführen, z.B. die Beantwortung der Evaluierungsfragen mithilfe unterschiedlicher Analysemethoden.

Für die Evaluierung des GSP 23-27 wird ein kontinuierlicher Austausch mit dem Projektteam des Projektes BAB 073/24 „GAP Datenpool – Datenmodellierung und Datenmanagement“ erfolgen, um die Entwicklung der Datenbasis und die Anforderungen an die Daten seitens der Evaluator:innen aufeinander abzustimmen.

Im Jahr 2025 werden die Tätigkeiten im Zusammenhang mit der Ex-Post-Evaluierung des LE 14-20 beginnen. Im Vordergrund steht dabei eine Aktualisierung der Berichte zur Halbzeitbewertung des LE 14-20 aus dem Jahr 2019 auf Basis von aktuellen Daten, von eigenen Auswertungen und Analysen, Ergebnissen der Literatur etc. Diese Arbeiten erfolgen nach einer noch ausständigen Abstimmung mit dem BML zu Details zu Tätigkeiten und Umfang im Rahmen der jeweiligen Arbeitspakete.

Weitere Details finden sich nachfolgend in den Beschreibungen der einzelnen Arbeitspaketen:

Arbeitspaket „Bildung und Beratung, AKIS“
(Arbeitspaketleitung: Sarah Lappöhn; Mitarbeit: Sophie Pfusterschmid)

Im Evaluierungsplan für den GSP 23–27 wurde das Evaluierungsthema „ET-Q2 Qualifikation und Kompetenzaufbau, AKIS“ festgelegt, das als integriertes Thema das Querschnittsziel QZ10, AKIS (Agricultural Knowledge and Innovation Systems) und die digitale Strategie betrifft. Die Evaluierungsfrage dazu lautet: „In welchem Umfang hat der GSP auf Basis eines strategischen Ansatzes (Kap 8 GSP) dazu beigetragen, das nationale AKIS zu verbessern und die Vermittlung und Anwendung von Wissen, Innovationen und digitalen Lösungen im Agrarsektor und für Akteurinnen und Akteure in Ländlichen Regionen unterstützt und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit, Kohärenz und EU-Mehrwert zu beurteilen?“

Zur Beantwortung dieser Frage wird ein robuster Datensatz zu den direkt zugeordneten Interventionen (77-03, 77-06, 78-01, 78-02, 78-03) sowie zu anderen relevanten Interventionen (GAP-Netzwerk, LEADER etc.) benötigt. Die Erfahrungen vorangegangener Evaluierungen zeigten, dass vor allem bei den Bildungsmaßnahmen nicht ausreichende Datensätze für die Evaluierung zur Verfügung standen. Um die Datensituation für die Evaluierung zu verbessern, sollen der Datenbedarf und Datenlücken frühzeitig abgeklärt und entsprechende Vorkehrungen für die Datenverfügbarkeit getroffen werden.

Vor allem Bildung und Beratung sind aufgrund ihres Beitrages zu den vielfältigen Zielen, die teilweise in Wechselwirkung zueinanderstehen, ein sehr komplexes Evaluierungsvorhaben. Im Vorfeld sollten evaluierungsrelevante Daten identifiziert und Datenlücken geschlossen werden, damit im Rahmen der Ex-Post-Evaluierung des LE 14-20 (Schwerpunktbereiche 1A, 1B, 1C) die geförderten Aktivitäten abgebildet und evaluiert werden können sowie bei der Evaluierung des GSP 23-27 darauf aufbauend die Verbesserung, Weiterentwicklung, der Kompetenzaufbau des AKIS sowie die Erreichung der Wirkungsziele dargestellt werden können.

Als erster Arbeitsschritt sind Datenrecherche und Sichtung relevanter Literatur zu AKIS sowie die Identifikation von Datenlücken basierend auf Erfahrungen der Halbzeitbewertung des LE 14-20 vorgesehen. Weitere Arbeitsschritte sind Recherchearbeiten bei geförderten Bildungseinrichtungen bezüglich Verfügbarkeit von Daten über Teilnehmer:innen von Bildungsmaßnahmen im Zusammenhang mit bestimmten Interventionen. In einem weiteren Schritt sollen diese Daten der LE-Periode 2014-2020 mit INVEKOS-Daten über die Betriebsnummer verknüpft werden, dies soll als Vorbereitung für die Ex-Post-Evaluierung des LE 14-20 dienen. Je nach Verfügbarkeit der Daten soll versucht werden, Auswertungen zu ausgewählten Fragestellungen wie bspw. den Beitrag der Wissenstransfermaßnahmen zur Verbesserung des Wissens der Landwirtinnen und Landwirte bezüglich Klimaschutz, Klimawandelanpassung oder die Bewusstseinsbildung im Bereich von Biodiversität, Boden- und Wasserschutz sowie unternehmerischer Kompetenzen.

Arbeitspaket „Wettbewerbsfähigkeit und Hofnachfolge“
(Arbeitspaketleitung: Christoph Tribl, Josef Hambrusch; Mitarbeit: Dieter Kömle, Martin Weigl, Julian Zeilinger)

Ziel des Arbeitspaketes ist in Bezug auf den GSP 23-27 die Evaluierung des Spezifischen Ziels 02 („Verstärkte Ausrichtung auf den Markt und Steigerung der Wettbewerbsfähigkeit landwirtschaftlicher Betriebe“) sowie des Spezifischen Ziels 07 („Steigerung der Attraktivität für Junglandwirte; Erleichterung der Unternehmensentwicklung“).

Das Spezifische Ziel 02 ist dem Allgemeinen Ziel A („Förderung des Agrarsektors und der Ernährungssicherheit“) zugeordnet. Im Evaluierungsplan des GSP 23-27 sind dem Spezifischen Ziel 02 wiederum zwei Evaluierungsthemen mit jeweils einer eigenen Evaluierungsfragen zugeordnet:

• ET_A01_3: „Wettbewerbsfähigkeit landwirtschaftlicher Betriebe und des Sektors“ mit der Evaluierungsfrage: „In welchem Umfang hat der GSP dazu beigetragen, die Wettbewerbsfähigkeit land- und forstwirtschaftlicher Betriebe zu steigern und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit und Kohärenz zu beurteilen?“ (Evaluierungselement „Wettbewerbsfähigkeit landwirtschaftlicher Betriebe“).
• ET_A0203_4: „Marktorientierung“ mit der Evaluierungsfrage „In welchem Umfang hat der GSP dazu beigetragen, die Marktorientierung land- und forstwirtschaftlicher Betriebe durch die Herstellung von Verarbeitung von Qualitätsprodukten sowie einer verbesserten vertikalen Kooperation entlang der Wertschöpfungskette zu steigern und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit und Kohärenz zu beurteilen?“ (Evaluierungselement „Verstärkte Ausrichtung auf den Markt“). Das Spezifische Ziel 07 ist dem Allgemeinen Ziel C („Stärkung des sozioökonomischen Gefüges in ländlichen Gebieten“) zugeordnet. Diesem Spezifischen Ziel ist im Evaluierungsplan des GSP 23-27 ein Evaluierungsthema mit zwei Evaluierungsfragen zugeordnet:
• ET_C07_6: „Hofnachfolge und Betriebsentwicklung“ mit den Evaluierungsfragen
  „In welchem Umfang hat der GSP dazu beigetragen, die Attraktivität der Landwirtschaft für Junglandwirte zu steigern und die inner- und außerfamiliäre Betriebsübernahme zu erleichtern und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit und Kohärenz zu beurteilen?“ (Evaluierungselement „Generationswechsel landwirtschaftlicher Betriebe“)
  „In welchem Umfang hat der GSP dazu beigetragen, die Diversifizierung lw. Betriebe zu unterstützen und wie ist diese Wirkung im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit und Kohärenz zu beurteilen?“ (Evaluierungselement „Unternehmensentwicklung“)

In Bezug auf Ex-Post-Evaluierung das LE 14-20 besteht in diesem Arbeitspaket ein thematischer Zusammenhang zur Priorität 2 „Verbesserung der Lebensfähigkeit der landwirtschaftlichen Betriebe und der Wettbewerbsfähigkeit aller Arten von Landwirtschaft in allen Regionen und Förderung innovativer landwirtschaftlicher Techniken und der nachhaltigen Waldbewirtschaftung“ mit den zwei Schwerpunktbereichen (SPB):

• SPB 2A „Verbesserung der Wirtschaftsleistung aller landwirtschaftlichen Betriebe, Unterstützung der Betriebsumstrukturierung und –modernisierung insbesondere mit Blick auf die Erhöhung der Marktbeteiligung und –orientierung sowie der landwirtschaftlichen Diversifizierung“;
• SPB 2B „Erleichterung des Zugangs angemessen qualifizierter Landwirte zum Agrarsektor und insbesondere des Generationswechsels“.

Details zu Tätigkeiten und Umfang der Evaluierung des GSP 23-27 und der Ex-Post-Evaluierung des LE 14-20 im Rahmen dieses Arbeitspaketes werden im Laufe des Jahres 2025 mit dem BML abgestimmt.

Arbeitspaket „Umwelt und Klima“
(Arbeitspaketleitung: Julia Niedermayr; Mitarbeit: Christoph Tribl)

In Bezug auf den GSP 23-27 ist das Ziel dieses Arbeitspaketes die übergreifende Bewertung des Allgemeinen GAP-Ziels B („Unterstützung und Stärkung von Umweltschutz, einschließlich der biologischen Vielfalt, Klimaschutz und Beitrag zur Erreichung der umwelt- und klimabezogenen Ziele der Union, einschließlich ihrer Verpflichtungen im Rahmen des Übereinkommens von Paris“).

Laut Evaluierungsplan des GSP 23-27 sind für die Evaluierung des Evaluierungsthemas „Übergreifende Bewertung allgemeines GAP-Ziels B“ (ET_B) folgende zwei Evaluierungsfragen zu beantworten:

• „In welchem Umfang hat der GSP dazu beigetragen, die Umwelt- und Klimawirkungen zu erhöhen und einen Beitrag zur Erreichung gesetzter Umwelt- und Klimaziele zu leisten und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz, Relevanz/Zweckdienlichkeit, Kohärenz und EU-Mehrwert zu beurteilen?“
• „Welche umwelt- und klimabezogenen Wechselwirkungen bestehen zwischen den Interventionen des GSP und wie werden mögliche negative Wechselwirkungen für Umwelt und Klima abgemildert bzw. ausgeglichen?“

Dem allgemeinen GAP-Ziel B sind laut Evaluierungsplan folgende Schwerpunktziele (SZ) zugeordnet und für die übergreifende Bewertung relevant:

• SZ04: Förderung des Klimaschutz, der Anpassung an den Klimawandel und nachhaltiger Energie
• SZ05: Nachhaltige Bewirtschaftung natürlicher Ressourcen (Wasser, Böden, Luft) und Verringerung der Abhängigkeit von Chemikalien
• SZ06: Beitrag zur Eindämmung und Umkehrung des Verlusts an biologischer Vielfalt, Verbesserung von Ökosystemleistungen und Erhaltung von Lebensräumen und Landschaften

Die Evaluierung des Allgemeinen GAP-Ziels B baut daher auf den Evaluierungsergebnissen der Evaluator:innen dieser SZ auf und kann erst erfolgen, wenn die respektiven Evaluierungsberichte vorliegen. Das Evaluierungsteam stimmt sich bedarfsmäßig mit den Evaluator:innen der SZ ab und unterstützt das BML bei der Formulierung und Begleitung von Evaluierungsstudien.

Hinsichtlich der Ex-post Evaluierung des LE 14-20 knüpfen die Arbeiten des Evaluierungsteams an die Tätigkeiten zur Erstellung des Berichts zur Halbzeitbewertung 2019 an. Dies umfasst die Koordinierung der Evaluierung der folgenden Schwerpunktbereiche (SPB) für ausgewählte Vorhabensarten, insbesondere jene des ÖPUL-Programms:

• SPB 4B „Verbesserung der Wasserwirtschaft, einschließlich des Umgangs mit Düngemitteln und Schädlingsbekämpfungsmitteln“
• SPB 4C „Verhinderung der Bodenerosion und Verbesserung der Bodenbewirtschaftung“

Arbeitspaket „Gleichstellung“
(Arbeitspaketleitung: Theresia Oedl-Wieser; Mitarbeit: Erika Quendler, Katrin Hofer, N.N.)

Die Evaluierungsfrage zum Evaluierungsthema „Gleichstellung“ (ET_Q1) in Bezug auf den GSP 23-27 lautet: „In welchem Umfang hat der GSP dazu beigetragen, die Gleichstellung von Frauen und Männern und die Vereinbarkeit von Beruf und Familie zu verbessern, die gesellschaftliche und politischer Teilhabe und die soziale Vielfalt zu unterstützen und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz (administrative Umsetzung), Relevanz/Zweckdienlichkeit, Kohärenz und EU-Mehrwert zu beurteilen?“ Neben dieser allgemein zu behandelnden Frage werden für ausgewählte Maßnahmen (derzeit 13) spezifische Gleichstellungsziele formuliert, die von den Evaluator:innen im Zuge der begleitenden Evaluierung beantwortet werden sollen. Die Evaluierungsergebnisse können in Folge in die Beantwortung der Gleichstellungsfrage einfließen. Des Weiteren wird das Evaluierungsteam das BML bei der Formulierung von Begleitforschungsstudien unterstützten.

In Bezug auf die Ex-Post-Evaluierung des LE 14-20 wird zu Jahresbeginn 2025 geklärt, in welchem Umfang eine Gleichstellungsevaluierung durchgeführt wird.

Arbeitspaket „LEADER/CLLD“
(Arbeitspaketleitung: Ingrid Machold; Mitarbeit: Theresia Oedl-Wieser, Katrin Hofer, N.N.)

Die Evaluierungsfrage zum Evaluierungsthema „Mehrwert von LEADER“ (ET_C08_1) in Bezug auf den GSP 23-27 lautet: „In welchem Umfang hat das LEADER/CLLD [Community-Led Local Development] Umsetzungsmodell im Rahmen des GSP zur lokalen Entwicklungsarbeit beigetragen, eine Verbesserung des Sozialkapitals im lokalen Umfeld sowie der lokalen Governance erreicht und durch Projekte und Initiativen mit hoher Akzeptanz und lokalem/regionalem Nutzen zur positiven Veränderung der sozioökonomischen Dynamik in lokalen Gebieten beigetragen und wie sind diese Wirkungen im Hinblick auf Wirksamkeit, Effizienz (administrative Umsetzung), Relevanz/Zweckdienlichkeit, Kohärenz und EU-Mehrwert zu beurteilen?“ Darüber hinaus wird das Evaluierungsteam das BML bei der Formulierung von Begleitforschungsstudien unterstützten.

Im Rahmen der Ex-Post-Evaluierung des LE 14-20 ist vorgesehen, die Maßnahme LEADER/CLLD in Anlehnung an die Vorgehensweise bei der Halbzeitbewertung des LE 14-20 des Jahres 2019 zu analysieren.

Arbeitspaket „Mobilität und Breitbandinfrastruktur“
(Arbeitspaketleitung: Oliver Tamme; Mitarbeit: N.N.)

Für die Ex-Post-Evaluierung des LE 14-20 ist geplant, bestimmte Maßnahmen im Zusammenhang mit Mobilität und Breitbandinfrastruktur in Anlehnung an die Vorgehensweise bei der Halbzeitbewertung des LE 14-20 des Jahres 2019 zu analysieren. Details dazu sowie mögliche Evaluierungstätigkeiten im Rahmen der Evaluierung des GSP 23-27 werden im Laufe des Jahres 2025 gemeinsam mit dem BML geklärt.

Zeitplan

Projektbeginn:01/2024
Projektdauer: GAP-Strategieplan 2023-2027 begleitendes Langzeitprojekt