PlantVillage: dlaczego AI rozpoznająca choroby roślin wymaga testów poza laboratorium
Czego opublikowane badania PlantVillage i manioku uczą o ocenianiu kamer rozpoznających choroby roślin w warunkach, w których będą używać ich plantatorzy?
Tłumaczenie z angielskiego oryginału · Oryginał angielski
Przejdź do poradnika
Model może dobrze działać na znajomych obrazach i nadal wymagać znacznej pracy, zanim stanie się użyteczny dla plantatora. Dwa opublikowane badania chorób roślin pokazują konkretny problem testowania. Ich wartością dla projektu kamer indoor jest lepszy plan oceny, a nie prognoza skuteczności każdego współczesnego modelu.
Nazwij test
Wynik wymaga zbioru danych, zadania, miary i warunków oceny.
Testuj docelowe otoczenie
Uwzględnij rzeczywisty widok kamery, fazy uprawy i trudne obserwacje.
Zapewnij obsługę niepewności
Zachowaj ścieżkę kontroli dla przypadków niejednoznacznych lub nieznanych.
Projekt: uczenie na oznaczonych zdjęciach liści
W 2016 roku Mohanty, Hughes i Salathé badali klasyfikację chorób na 54 306 obrazach PlantVillage obejmujących 14 gatunków upraw i 38 klas roślina–stan. Najlepsza raportowana trafność klasyfikacji na wydzielonym zbiorze testowym wyniosła 99,35%. Oryginalne badanie PlantVillage.
Ważne pytanie oceny brzmi: co oznacza niewidziany wcześniej obraz? Obraz testowy może być nieobecny w treningu, a mimo to silnie przypominać zbiór treningowy. Kamera zamontowana nad stołem stawia kolejne pytanie: czy pozyskiwanie obrazu i sposób prezentacji roślin odpowiadają warunkom reprezentowanym w tej kolekcji?
Przed wykorzystaniem opublikowanej trafności w rozmowie zakupowej zapytaj o dokładną przewidywaną etykietę. Klasyfikowanie przygotowanego zdjęcia liścia, lokalizowanie objawu w okrywie roślinnej i identyfikowanie przyczyny problemu to różne zadania. Wynik jednego nie powinien po cichu stawać się twierdzeniem o innym.
Test obrazów zewnętrznych zmienił obraz sytuacji
Ta sama publikacja oceniła również dwa małe, oddzielnie zweryfikowane zestawy zdjęć internetowych: 121 i 119 obrazów. Najlepsze raportowane trafności top-1 wyniosły 31,40% i 31,69%. Były to inne rozkłady danych oceny, a najlepsze konfiguracje modeli różniły się między zewnętrznymi zestawami. Ocena obrazów zewnętrznych.
Trzy wyniki wymagające opisów testu
| Ocena | Raportowana trafność top-1 | Kontekst |
|---|---|---|
| Wydzielone obrazy PlantVillage | 99.35% | Obrazy z kontrolowanej kolekcji |
| Zewnętrzny zestaw obrazów 1 | 31.40% | 121 zweryfikowanych zdjęć internetowych |
| Zewnętrzny zestaw obrazów 2 | 31.69% | 119 zweryfikowanych zdjęć internetowych |
Osobne badanie manioku przenosi kamerę w teren
Badanie Ramcharana i współautorów z 2019 roku oceniało mobilny system wykrywania chorób manioku w Tanzanii. Analizowano zdjęcia i wideo oraz rozróżniano objawy łagodne i wyraźne. Skuteczność zmieniała się zależnie od warunków oceny, a łagodne objawy były szczególnym wyzwaniem. Badanie terenowe manioku.
Praca dotyczy innej rośliny, modelu, zbioru danych i planu oceny niż publikacja PlantVillage. Wyników nie należy łączyć w jeden ranking trafności. Badanie jest tu przydatne, ponieważ włącza warunki terenowe i sposób prezentacji objawów do testu, zamiast traktować je jako szczegóły do rozwiązania po wdrożeniu.
W interpretacji Hamfy pilotaż kamer potrzebuje reprezentatywnych trudnych przypadków. System oceniany wyłącznie na oczywistych objawach może dostarczać niewiele dowodów dotyczących wczesnych obserwacji ważnych przy lustracji. Ustal, czy zadaniem jest nadawanie priorytetu kontrolom, rozpoznawanie już widocznego wzorca czy wspieranie bardziej szczegółowej diagnozy, i wokół tego zaprojektuj ocenę.
Przygotuj test dla widoku, którego plantator rzeczywiście użyje
Zacznij od udokumentowania normalnego widoku kamery: odległości, kąta, stanu oświetlenia, widocznej powierzchni i oczekiwanych przesłonięć. Zbierz próbkę z różnych faz uprawy przed wyborem ostatecznego modelu. Oddziel zapisy niskiej jakości obrazu od niejednoznaczności biologicznej; wymagają różnych działań naprawczych.
Wytyczne rejestracji PlantCV wspierają planowanie zdjęć pod kątem docelowej analizy. Dla kamery zainstalowanej Hamfy proponuje przegląd próbek z osobą, która będzie używała wyniku. Jeśli człowiek nie potrafi wiarygodnie interpretować wybranego widoku, ustal, jaki dodatkowy widok lub pomiar jest potrzebny.
Zaprojektuj niezależny test wokół kolejnego planowanego wdrożenia. W razie potrzeby wydziel cykl, strefę lub obiekt i nie wykorzystuj jego oznaczonych wyników do ciągłego dostrajania modelu, nadal nazywając go testem końcowym. Przed oceną zapisz wersję modelu, próg decyzyjny i sposób obsługi niepewnych wyników.
Policz potwierdzone zdarzenia znalezione i przeoczone przez system, a następnie zmierz nakład kontroli wywołany błędnymi alertami. Zachowaj przykłady obu kategorii. Zbiorczy procent jest przydatny tylko wtedy, gdy zespół może powiązać go z zadaniem, populacją testową i zasadami weryfikacji.
Daj niepewnym obserwacjom użyteczny następny krok
Ścieżka obsługi niepewności powinna być częścią pracy: poproś o inny widok, przekaż obserwację weryfikatorowi lub zażądaj pomiaru uzupełniającego. Nie zmuszaj programu do pewnej etykiety choroby, gdy dowody są niewystarczające. Ustal odpowiedzialność za dalsze sprawdzenie i sposób włączenia jego wyniku do rejestru oceny.
Oddziel porady monitoringu od automatycznej interwencji w uprawę. Zanim system zmieni warunek uprawowy, potrzebuje dowodów i zabezpieczeń odpowiednich dla tej czynności. Przydatna kamera pomagająca priorytetyzować lustrację może być wartościowym pierwszym projektem bez deklarowania dodatkowej zdolności sterowania.
Ramy AI NIST wspierają ocenę i monitorowanie przez cały okres użytkowania. Proponujemy przegląd po zmianie ustawień kamery, rośliny, metody uprawy lub wersji modelu oraz zapis, czy wcześniejszy wynik odbioru nadal obowiązuje.
Starsze publikacje nie wyznaczają górnej granicy skuteczności obecnej AI. Pokazują, dlaczego twierdzenie o wdrożeniu powinno mieć dowody z wdrożenia. Nasz poradnik pilotażu kamer indoor przekłada tę lekcję na proces określania zakresu i odbioru.
Częste pytania
Czy to znaczy, że kamery nie pomagają wykrywać problemów roślin?
Nie. Oznacza to konieczność testowania deklarowanego zadania w docelowych warunkach. Priorytetyzacja lustracji może być przydatna nawet wtedy, gdy sama kamera nie potwierdza biologicznej przyczyny objawu.
Co dostawca powinien podać obok liczby określającej trafność?
Poproś o definicję zadania, populację testową, miarę, wersję modelu, warunki oceny i przykłady błędów. Przy pilotażu operacyjnym zapytaj też, jak raportowane będą przeoczenia, powtarzane alerty, niepewność i obciążenie operatora.
Źródła i badania
Źródła pierwotne wybrane do tego artykułu. Zweryfikowane przez Hamfy dnia .
Jak czytać wyniki AI chorób roślin, zachowując kontekst testuOpracowanie badawcze · zakres, ustalenia i ograniczenia- Recenzowane doświadczenie · 2016Using Deep Learning for Image-Based Plant Disease DetectionMohanty, Hughes & Salathé · Frontiers in Plant Science
Źródło trzech raportowanych wyników oceny. DOI: 10.3389/fpls.2016.01419. Testy obrazów zewnętrznych opisano w części Discussion.
- Recenzowana ocena terenowa · 2019A Mobile-Based Deep Learning Model for Cassava Disease DiagnosisRamcharan et al. · Frontiers in Plant Science
Osobny przykład terenowy porównujący zdjęcia i wideo oraz nasilenie objawów. Jego miary nie są bezpośrednio zamienne z trafnością PlantVillage.
- Dokumentacja techniczna · v4.4Analysis approachesPlantCV documentation
Wspiera planowanie rejestracji wokół zamierzonej obserwacji i analizy.
- Publiczne ramy postępowania · 2023AI Risk Management Framework: CoreNIST
Zapewniają ogólną podstawę oceny w kontekście i ciągłego monitorowania.
Masz uwagę lub dodatkowe udokumentowane wyniki projektu? Napisz do zespołu Hamfy.
Testuj kamerę pod kątem decyzji, które mają znaczenie
Hamfy pomoże określić obserwację, zbiór danych i proces weryfikacji dla pilotażu kamer o zdefiniowanym zakresie w Twoim obiekcie.
