Forschungs- und Innovationsprojekt EWIS
Erkennung von Unkraut in Sorghum durch künstliche Intelligenz

Im Laufe des Projektes wurden durch den Einsatz von Drohnen, aber auch durch den Einsatz der Moving-Fields-Anlage über 121.000 Bilder aufgenommen und in diesen ca. 336.000 Pflanzen annotiert. Der gesamte Datensatz hat eine Größe von 1.483 Gigabyte (siehe Tabelle 1).

Im Gegensatz zum Labor sind im Freiland nicht nur die Pflanzen, sondern auch die Sensoren verschiedenen Umwelteinflüssen ausgesetzt. In Tabelle 2 ist der jeweilige Umwelteinfluss auf die Bildqualität dargestellt. Insbesondere die Bodenauflösung (GSD) durch die Flughöhe, die Kameraauflösung und die Bildschärfe haben einen entscheidenden Einfluss auf die generierten Bestandsaufnahmen.

Für die automatische Beikrauterkennung in Sorghum (für die Jugendentwicklung) wurde ein KI-Modell entwickelt, das Sorghum, Beikraut und Acker in Drohnenaufnahmen erkennt und klassifiziert (siehe Abbildung 1).

Für die Optimierung wurde das Modell zur künstlichen Schärfung/Qualitätsverbesserung von Drohnenaufnahmen und zur verbesserten Beikrauterkennung (externe Umwelteinflüsse) weiterentwickelt. Abbildung 2 zeigt schematisch die Funktionsweise der künstlichen Schärfung von Drohnenaufnahmen zur Verbesserung der Vorhersage.

Der Annotationsprozess ist sehr zeitaufwendig, da es sich um eine sehr gründliche manuelle Tätigkeit handelt. Die Qualität und Quantität der annotierten Daten wirken sich direkt auf die Performance des Modells aus. Daher wurden ein semi-automatischer Prozess zur Erleichterung bei der Annotation und ein generatives Modell zur Erzeugung künstlicher Trainingsdaten entwickelt. Künstlich erzeugte Trainingsdaten müssen nicht mehr annotiert werden, da die Informationen über Segmente und Klassen bereits vorhanden sind.

Die genaue quantitative Analyse zeigt, dass das entwickelte Modell Sorghum und Beikraut in den meisten Fällen richtig erkennt (vergleiche Abbildung 3). Die Fehlerquellen liegen darin, dass entweder Sorghum (22,5 %) oder Beikraut (27,9 %) als Acker vorher-gesagt werden. Fehlklassifikationen zwischen Sorghum und Beikraut sind selten, nur in 1,3 % der Fälle wird Sorghum fälschlicherweise als Beikraut vorhergesagt. Etwas häufiger (4,3 %) wurden Beikrautpixel als Sorghum erkannt. Es werden folglich die meisten Pflanzen richtig segmentiert, wenn man die allgemeine Form der Pflanze betrachtet (vergleiche Abbildung 4). Das Modell ist in der Lage, verschiedene Beikrautspezies als Beikraut vorherzusagen und liefert auch in schwierigen Situationen, wie z. B. bei teilweisen Überlappungen der Pflanzen, akzeptable Ergebnisse (vgl. Abbildung 4 a, c). Inkonsistenzen in der Vorhersage wurden hauptsächlich an den Rändern der Pflanzen beobachtet (vergleiche Abbildung 4). Dies ist am besten in der Zeile "Unterschied" zu erkennen, in der nur die Unterschiede zwischen Grundwahrheit und Vorhersage dargestellt sind. Rosa und violett eingefärbte Pixel stellen Fehler in der Vorhersage dar, bei denen Pflanzenpixel als Acker erkannt wurden. Aus pflanzenbaulicher Sicht sind diese Fehler vernachlässigbar, da die allgemeine Form der Pflanzen trotzdem erkannt wird. Schwerwiegender sind Fehler, bei denen Sorghum als Beikraut klassifiziert wird. Dies kommt nur selten vor, vor allem wenn sich Sorghum und Beikraut teilweise überlappen (Abbildung 4, rot). In seltenen Fällen wird Beikraut als Sorghum vorhergesagt, was häufig bei monokotylen Pflanzen vorkommt (vgl. Abbildung 4).

Ein auf Sorghum trainiertes Modell liefert vielversprechende Ergebnisse bei der Adaption auf Mais. Weitere Anpassungen des Modells sind notwendig, um es zuverlässig auf Aufnahmen von Sorghum und Mais anwenden zu können (siehe Abbildung 5).

Weiter zu: Forschungs- und Innovationsprojekt EWIS2 – Entwicklung und Bewertung von Beikraut-Applikationskarten für den Einsatz von Robotern zur mechanischen Beikrautregulierung

[1] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Beikrauterkennung mit Drohnen und künstlicher Intelligenz-Ein Einblick in das Projekt "EWIS". Schule und Beratung. München: Bayerisches Staatsministerium für Ernährung, Landwirtschaft und Forsten. Bd. 8-10, S. 12-15.

[2] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Intelligente Augen in der Luft. Land und Forst. Hannover: Deutscher Landwirtschaftsverlag GmbH. Bd. 40/2021, S. 12-13.

[3] AJEKWE, R., GRIEB, M., GENZE, N., GRIMM, D. (2021): Drohnen schauen und die KI erkennt. Bayerisches Landwirtschaftliches Wochenblatt. Hannover: Deutscher Landwirtschafts-verlag GmbH. Bd. 36/2021, S. 47-48.

[4] GENZE, N., GRIMM, D. (24.06.2021): Maschinelles Lernen zur automatischen Erkennung von Beikräutern in Sorghum mit Hilfe von Drohnen. https://www.youtube.com/watch?v=7y6MCoQkXzQ (Stand: 12.05.2022).

[5] GENZE, N., AJEKWE, R., GÜRELI, Z., HASELBECK, F., GRIEB, M., GRIMM, D. G. (2022): Deep learning-based early weed segmentation using motion blurred UAV images of sorghum fields. Computers and Electronics in Agriculture, Volume 202, P. 107388, ISSN 0168-1699, https://doi.org/10.1016/j.compag.2022.107388.

https://www.sciencedirect.com/science/article/pii/S0168169922006962?via%3Dihub

[6] GENZE, N., WIRTH, M., SCHREINER, C., AJEKWE, R., GRIEB, M. & GRIMM, D. G. (2023): Improved weed segmentation in UAV imagery of sorghum fields with a combined deblurring segmentation model. Plant Methods 19, 87. https://doi.org/10.1186/s13007-023-01060-8

https://plantmethods.biomedcentral.com/articles/10.1186/s13007-023-01060-8