8  Lerneinheit 08: Validierung einer thematischen Waldtypenkarte des Nationalpark Harz

8.1 Lernziele & Aufgabenstellung

In der letzten Übung (Kapitel 7) haben wir mithilfe eines automatischen Bildklassifikationsverfahrens eine einfache Waldtypenkarten für den Nationalpark Harz erstellt. In der vorliegenden Übung wollen wir nun eine Validierung der Landbedeckungskarte mit einem unabhängigen Referenzdatensatz durchführen, um die Kartengenauigkeit zu ermitteln. Außerdem sollen Modell- und Kartengenauigkeit miteinander verglichen werden.

Lernziele

Die Studierenden sollen:

  • Validierungsdaten für die Validierung von thematischen Karten erstellen
  • Mithilfe von Fehlermatrizen die Genauigkeit eine thematischen Karte beurteilen
  • den Unterscheid zwischen der Modell- und der Kartengenauigkeit erläutern können.

Aufgaben

  1. Raster- und Vektordaten importieren
  2. Erstellen eines Validierungsrasters
  3. Visuelle Interpretation von Ortholuftbildern
  4. Berechnung von Fehlerstatistiken aus der Fehlermatrix
  5. Vergleich der Modell- und Kartengenauigkeit

8.2 Aufgabe 0: Anlegen eine neuen QGIS-Projektes und Kontrolle des Nutzerprofils

Folgen sie der Anleitung aus LE01 Kapitel 1.3 um eine neue Ordnerstruktur und ein neues QGIS-Projekt für LE07 anzulegen. In der Übung bietet es sich an den Ordner “daten” weiter in die Unterordner “vektor” und “raster” zu unterteilen.

Prüfen sie außerdem ob Ihr Nutzerprofil korrekt geladen wurde und ob die OTB-Funktionen im Werkzeugkasten vorhanden sind. Sollte dies nicht der Fall sein stellen sie ihr gesichertes Nutzerprofil wieder her (siehe auch LE01 Kapitel 1.2.4).

8.3 Aufgabe 01: Download und Import der Geodaten

8.3.1 Rasterdaten

8.3.1.1 Luftbilder

Für die Erstellung der Validierungssdaten sollen Luftbilder mit einer hohen räumlichen Auflösung genutzt werden. Da der Nationalpark Harz in zwei Bundesländern liegt müssen von beiden Bundesländern entsprechende DOP-Bilder als WMS eingebunden werden (siehe dazu auch LE03 Kapitel 3.4). Nutzen sie hier für folgende Links:

Sachsen-Anhalt:

DOP-WMS:

https://www.geodatenportal.sachsen-anhalt.de/wss/service/ST_LVermGeo_DOP_WMS_OpenData/guest?

DOP-Aktualität:

https://www.geodatenportal.sachsen-anhalt.de/wss/service/ST_LVermGeo_DOP_WMS_Kacheluebersicht/guest?

Niedersachsen:

DOP: https://opendata.lgln.niedersachsen.de/doorman/noauth/dop_wms

8.3.2 Vektordaten

Da wir die Validierung auf das Gebiet des Nationalparks beschränkt werden soll, benötigen wir das Polygon mit den Außengrenzen des Parks das sie hier herunterladen können:

https://cloud.hawk.de/index.php/s/Hs52DFGtPnfKzyN

8.4 Aufgabe 02: Erstellen eines Validierungslayers

Für die Erstellung eines unabhängigen Validierungsdatensatzes ist es wichtig die Punkte, an denen eine Überprüfung stattfinden soll, nach einem statistischen Verfahren auszuwählen. In der Übung wollen wir ein systematisches Punktraster mit einer Rasterweite von 2000 m x 2000 m anlegen. QGIS bietet eine entsprechende Funktion unter Vektor->Forschungswerkzeuge-> Gitter erzeugen. Hier wählen wir:

  • Gittertyp = Punkt
  • Gitterausdehnung = Aus Layer berechnen Nationalpark Harz
  • Horizontaler Abstand = 2000 m
  • Vertikaler Abstand = 2000 m
  • Gitter-KBS = 25832

Da das Punktraster nur auf die Ausdehnung des Polygons zugeschnitten wird, umfasst es noch Punkte außerhalb der Grenzen des Nationalparks. Um diese zu entfernen nutzen wir die Funktion

Menü-> Vektor-> Geoverarbeitungswerkzeuge-> Zuschneiden mit folgenden Einstellungen:

  • Eingabelayer = Punktraster
  • Layer überlagern = Grenzen Nationalpark Harz
  • Zugeschnitten = Wir speichern das Punktraster als neues Layer (‚Validierungspunkte‘) im geopackage „uebung08.gpkg“

Sie sollten in diesem Layer jetzt 61 Punkte innerhalb des Nationalparkgebietes haben. Die Attributtabelle enthält aber noch einige automatisch erzeugte Spalten, die wir nicht mehr benötigen. Zum Entfernen der Spalten (left, right, top, bottom, row_index, col_index) öffnen wir die Attributtabelle, wechseln in den Editiermodus und wählen im Werkzeug „Spalte löschen“ die entsprechenden Spalten aus. Anschließende speichern wir das Layer im Geopackage “uebung08.gpkg”.

8.5 Aufgabe 03: Visuelle Interpretation der Validierungspunkte

Die Überprüfung der Genauigkeit erfolgt auf Grundlage einer visuellen Interpretation. Bevor wir mit der Interpretation beginnen können, müssen wir noch eine Spalte mit den beobachteten Klassen anlegen. Dazu öffnen wir die Attributtabelle des Punktlayers, wechseln in den Editiermodus und klicken auf das Symbol „Neue Spalte“. Und wählen folgende Einstellungen:

  • Name: Code
  • Type: Ganzzahl (integer)

Für die visuelle Interpretation aktivieren wir den Editiermodus unseres Punktlayers und interpretieren jeden Punkt der systematischen Stichprobe auf Grundlage der Luftbilder. Dabei weisen wir jedem Punkt die Landbedeckungsklasse (Code) des Klassifikationsschemas zu. Für die visuelle Kontrolle bietet es sich außerdem an einen Darstellungsstil mit den gleichen Klassen und Farben wie bei der Bildklassifikation zu wählen. Eine entsprechend vorbereiteten Stil für das Punktraster können sie unter folgendem Link herunterladen:

https://cloud.hawk.de/index.php/s/tBqHkG9NxbaoiW5

Zum laden des neuen Stils gehen öffnen sie: Layereigenschaften -> Symbolisierung -> Stil ->Stil laden -> aus Datei Dort wählen sie dann die *.qml Datei aus.

Hinweis

Für eine effiziente Interpretation ist es sinnvoll sich die Attributtabelle als Formular anzeigen zu lassen. Dazu öffnen wir die Attributtabelle und schalten die Ansicht von Tabellenansicht auf Formularansicht, unten links, um. Anschließend können wir dieses Fenster an unsere QGIS Hauptfenster andocken. Durch Aktivierung der Funktion „Automatisch zum aktuellen Objekt verschieben“, die sich unter der Liste mit den einzelnen Punkten befindet, springt der Kartenausschnitt automatisch zum gewählten Punkt. Wir können nun einzeln die Punkte der Liste von unten nach oben durchgehen und jeweils die beobachtete Klasse eintragen. Am Ende der visuellen Interpretation sollte für jeden Punkt eine der vier Klassen in der Attributtabelle eingetragen sein.

8.6 Aufgabe 04: Erstellen einer Fehlermatrix

Zum Erstellen der Fehlermatrix verwenden wir die OTB-Funktion ComputeConfusionMatrix, die wir in den Verarbeitungswerkzeugen über die Suche finden können. In dem Funktionsfenster wählen wir die folgenden Einstellungen:

  • Input Image: Waldtypenkarte Harz

  • Output format: confusionmatrix

  • Ground truth: vector

  • Input reference vector data: Validierungspunkte_Nationalpark_harz

  • Field name: Code

  • Matrix output: fehlermatrix.csv

Anschließend starten wir die Berechnung. Als Ergebnis wird eine Komma-getrennte csv-Datei ausgeschrieben, die wir in Excel öffnen können. Berechnen sie nun folgende Statistiken nach der Anleitung in den Vorlesungsfolien:

  • Gesamtgenauigkeit

  • Nutzergenauigkeiten für alle vier Klassen

  • Produzentengenauigkeiten für alle vier Klassen

  1. Wie beurteilen sie die Genauigkeit der Klassifikation?
  2. Welche Nutzergenauigkeit hat die Klasse „stehendes Totholz“?

8.7 Augabe 05: Vergleich Modell- und Kartengenauigkeit

Bei der Erstellung des RandomForest Klassifikationsmodells (siehe Kapitel 7.5) haben wir auch eine Fehlermatrix gespeichert („rf_harz_2025.cm“). Diese wurde auf Basis der Trainingsdaten berechnet, da wir zum Zeitpunkt des Modelltrainings die Validierungsdaten noch nicht erstellt hatten. Insofern beschreibt diese Fehlermatrix die Modellgenauigkeit.

Erstellen sie äquivalent zu Aufgabe 04 eine Fehlermatrix aus dieser Datei und vergleichen sie beide Fehlermatrizen miteinander um untenstehende Fragen zu beantworten.

  1. Welche Fehlermatrix liefert eine höhere Gesamtgenauigkeit?
  2. Wie begründen sie die Unterschiede zwischen den beiden Fehlermatrizen?
  3. Welche Fehlermatrix würden sie für die Bewertung der praktischen Nutzbarkeit der Karte verwenden?