PlantVillage: Warum Pflanzenkrankheits-KI auch außerhalb des Labors getestet werden muss

Das Projekt: Lernen aus annotierten Blattbildern

2016 untersuchten Mohanty, Hughes und Salathé die Krankheitsklassifikation anhand von 54.306 PlantVillage-Bildern mit 14 Kulturarten und 38 Kultur-Zustandsklassen. Die beste berichtete Klassifikationsgenauigkeit auf zurückgehaltenen Testbildern betrug 99,35 %. Ursprüngliche PlantVillage-Studie.

Entscheidend ist, was ein ungesehenes Bild im Test bedeutet. Ein zurückgehaltenes Bild kann im Training fehlen und der Trainingssammlung dennoch sehr ähnlich sein. Eine Kamera über einem Anbautisch wirft eine weitere Frage auf: Entsprechen Aufnahmebedingungen und Pflanzendarstellung den Bedingungen, die diese Sammlung abbildet?

Fragen Sie vor der Verwendung einer publizierten Genauigkeit im Beschaffungsgespräch nach der exakt vorhergesagten Kategorie. Die Klassifikation eines vorbereiteten Blattbilds, die Lokalisierung eines Symptoms im Bestand und die Bestimmung der Ursache eines Kulturproblems sind verschiedene Aufgaben. Das Ergebnis einer Aufgabe darf nicht unbemerkt zur Aussage über eine andere werden.

Der Test mit externen Bildern veränderte das Bild

Dieselbe Studie bewertete zwei kleine, getrennt verifizierte Webbildsätze mit 121 beziehungsweise 119 Bildern. Die besten berichteten Top-1-Genauigkeiten lagen bei 31,40 % und 31,69 %. Die Bewertungsverteilungen unterschieden sich, ebenso die jeweils besten Modellkonfigurationen der externen Sätze. Auswertung externer Bilder.

Eine separate Maniokstudie bringt die Kamera ins Feld

Ramcharan und Kollegen bewerteten 2019 ein mobiles System zur Erkennung von Maniokkrankheiten in Tansania. Sie untersuchten Einzelbilder und Videos und unterschieden milde von ausgeprägten Symptomen. Die Leistung veränderte sich mit den Testbedingungen; milde Symptome waren besonders schwierig. Maniok-Feldstudie.

Diese Arbeit verwendet eine andere Kultur, ein anderes Modell, einen anderen Datensatz und ein anderes Bewertungsdesign als PlantVillage. Ergebnisse sollten daher nicht zu einer gemeinsamen Genauigkeitsrangliste zusammengeführt werden. Hier ist sie nützlich, weil Feldbedingungen und Symptomdarstellung Teil des Tests werden und nicht erst nach dem Einsatz zu lösende Details bleiben.

Hamfy folgert daraus, dass ein Kamerapilot repräsentative schwierige Fälle braucht. Ein nur an deutlichen Symptomen geprüftes System belegt womöglich wenig über frühe Beobachtungen, die bei Bestandskontrollen zählen. Entscheiden Sie, ob Kontrollen priorisiert, bereits sichtbare Muster erkannt oder spezifischere Diagnosen unterstützt werden sollen, und richten Sie die Bewertung darauf aus.

Den tatsächlichen Kamerablick des Anbauers testen

Dokumentieren Sie zunächst den normalen Blick der Kamera: Abstand, Winkel, Beleuchtungszustand, sichtbare Kulturfläche und erwartete Verdeckungen. Sammeln Sie vor der endgültigen Modellwahl Beispiele aus verschiedenen Kulturstadien. Führen Sie getrennte Aufzeichnungen für schlechte Bildqualität und biologische Mehrdeutigkeit; sie benötigen unterschiedliche Korrekturen.

Die PlantCV-Empfehlungen zur Aufnahme unterstützen eine Erfassung entlang der geplanten Analyse. Für eine installierte Kamera schlägt Hamfy vor, Beispielbilder mit der späteren nutzenden Person zu prüfen. Kann schon eine menschliche Fachperson den gewählten Blick nicht zuverlässig auslegen, bestimmen Sie den zusätzlich benötigten Blickwinkel oder Messwert.

Richten Sie den unabhängigen Test auf den nächsten geplanten Einsatz aus. Halten Sie je nach Bedarf Kulturzyklus, Zone oder Standort zurück und nutzen Sie deren annotierte Ergebnisse nicht zum laufenden Nachjustieren, während Sie sie weiterhin als Abschlusstest bezeichnen. Dokumentieren Sie vor Beginn Modellversion, Entscheidungsschwelle und den Umgang mit unsicheren Ausgaben.

Zählen Sie bestätigte Ereignisse, die das System findet und übersieht, und messen Sie den durch Fehlmeldungen verursachten Kontrollaufwand. Bewahren Sie Beispiele beider Arten auf. Ein zusammenfassender Prozentwert ist nur nützlich, wenn er zu Aufgabe, Testpopulation und Prüfregeln zurückverfolgt werden kann.

Unsicheren Beobachtungen einen sinnvollen nächsten Schritt geben

Ein Unsicherheitspfad gehört zum Ablauf: eine weitere Ansicht anfordern, die Beobachtung einer Fachperson vorlegen oder eine ergänzende Messung verlangen. Erzwingen Sie keine sichere Krankheitszuordnung bei unzureichenden Belegen. Legen Sie fest, wer die Nachprüfung verantwortet und wie deren Ergebnis in die Auswertung eingeht.

Trennen Sie Überwachungshinweise von automatischen Eingriffen in die Kultur. Bevor ein System Anbaubedingungen verändern darf, braucht es dafür geeignete Belege und Kontrollmechanismen. Eine Kamera, die Bestandskontrollen sinnvoll priorisiert, kann ohne diesen zusätzlichen Anspruch ein lohnender Einstieg sein.

Das NIST-KI-Rahmenwerk unterstützt Bewertung und Überwachung über die gesamte Nutzung. Wir schlagen eine erneute Prüfung bei Änderungen von Kameraeinstellungen, Kultur, Anbaumethode oder Modellversion vor und dokumentieren, ob die frühere Abnahme weiterhin gilt.

Die älteren Studien setzen heutigen KI-Systemen keine Leistungsobergrenze. Sie zeigen, warum Einsatzbehauptungen Einsatzbelege benötigen. Unser Leitfaden für Indoor-Kamerapiloten überträgt diese Lehre in einen Planungs- und Abnahmeprozess.