Jak czytać wyniki AI chorób roślin, zachowując kontekst testu
Jakie dowody powinny towarzyszyć twierdzeniu, że model chorób roślin jest gotowy do użycia w obiekcie uprawowym?
Tłumaczenie z angielskiego oryginału · Oryginał angielski
Zakres przeglądu
Porównawcza lektura dwóch pierwotnych publikacji badawczych, wsparta dokumentacją rejestracji obrazów i ramami oceny AI. Badania dotyczą różnych zadań i warunków. To analiza granic dowodów, a nie benchmark współczesnych modeli lub test produktu Hamfy.
Jak ocenialiśmy dowody
Sprawdziliśmy liczby PlantVillage względem streszczenia oryginalnej publikacji i dyskusji o obrazach zewnętrznych, a badanie manioku względem metod i wyników oceny terenowej. Zachowaliśmy oddzielne miary i populacje testowe. Nie trenowaliśmy modeli ponownie, nie zmienialiśmy etykiet zdjęć i nie łączyliśmy punktacji badań.
Co potwierdzają dowody
Populacja testowa jest częścią wyniku
Publikacja PlantVillage uzasadnia rozróżnienie skuteczności w kontrolowanej kolekcji i na małym zewnętrznym zbiorze zdjęć. Nasz praktyczny wniosek to wymaganie opisu danych przy każdym eksponowanym wyniku.
Prezentacja w terenie należy do oceny
Badanie manioku jawnie uwzględnia nasilenie objawów i tryb rejestracji. Na tej podstawie zalecamy trudne, reprezentatywne obserwacje zamiast testowania samych oczywistych przykładów. Nie określa ono liczbowo oczekiwanej skuteczności kamery nad uprawą indoor.
Rejestracja i weryfikacja potrzebują własnych zapisów
Wytyczne PlantCV wspierają planowanie rejestracji, a NIST zapewnia ogólny kontekst oceny. Proponowany proces Hamfy dodaje kontrole jakości obrazu, niezależne testy i wskazanego weryfikatora niepewnych obserwacji.
Czego ten przegląd nie dowodzi
- Badania opublikowano w 2016 i 2019 roku; nie są przeglądem najnowszych możliwości modeli.
- Zewnętrzne zbiory PlantVillage to małe próbki zdjęć internetowych; ich wyniki nie szacują trafności w każdym gospodarstwie.
- Ocena manioku wykorzystuje inną roślinę, zadanie detekcji i miary, więc łączny wynik ani bezpośredni ranking modeli nie są uzasadnione.
Kolejny krok proponowany przez Hamfy
Przed rozmową o celu trafności poproś potencjalnego dostawcę o opis zadania i warunków testu. Zaplanuj ocenę w konkretnym obiekcie z niezależnymi przykładami oraz rejestrem przeoczeń, fałszywych alertów i wysiłku weryfikacji. Przed rozszerzeniem roli systemu określ, jakie twierdzenie wspierają dowody.
Dane do zebrania w rzeczywistym projekcie
- Reprezentatywne zdjęcia z docelowego widoku zainstalowanej kamery.
- Etykiety z udokumentowaną metodą potwierdzania i kategorią niepewności.
- Niezależna populacja testowa odpowiadająca proponowanemu zakresowi pracy.
- Dziennik weryfikacji operatora powiązany z dokładną wersją modelu i ocenianym progiem.
Uwagi do źródeł
- Recenzowane doświadczenie · 2016Using Deep Learning for Image-Based Plant Disease DetectionMohanty, Hughes & Salathé · Frontiers in Plant Science
Źródło trzech raportowanych wyników oceny. DOI: 10.3389/fpls.2016.01419. Testy obrazów zewnętrznych opisano w części Discussion.
- Recenzowana ocena terenowa · 2019A Mobile-Based Deep Learning Model for Cassava Disease DiagnosisRamcharan et al. · Frontiers in Plant Science
Osobny przykład terenowy porównujący zdjęcia i wideo oraz nasilenie objawów. Jego miary nie są bezpośrednio zamienne z trafnością PlantVillage.
- Dokumentacja techniczna · v4.4Analysis approachesPlantCV documentation
Wspiera planowanie rejestracji wokół zamierzonej obserwacji i analizy.
- Publiczne ramy postępowania · 2023AI Risk Management Framework: CoreNIST
Zapewniają ogólną podstawę oceny w kontekście i ciągłego monitorowania.