PlantVillage: proč AI pro rozpoznávání chorob rostlin potřebuje test mimo laboratoř

Projekt: učení z anotovaných snímků listů

V roce 2016 zkoumali Mohanty, Hughes a Salathé klasifikaci chorob pomocí 54 306 snímků PlantVillage zahrnujících 14 druhů plodin a 38 tříd kombinujících plodinu a stav. Nejlepší uvedená přesnost klasifikace na vyhrazených testovacích datech byla 99,35 %. Původní studie PlantVillage.

Podstatnou otázkou hodnocení je význam dosud neviděného snímku. Snímek vyhrazený pro test nemusí být součástí tréninku a přesto se může velmi podobat trénovací sbírce. Kamera instalovaná nad pěstebním stolem přináší další otázku: odpovídá způsob snímání a zobrazení rostlin podmínkám zastoupeným v dané sbírce?

Před použitím publikované přesnosti při jednání o nákupu se ptejte na přesnou předpovídanou kategorii. Klasifikace připraveného snímku listu, lokalizace příznaku v porostu a určení příčiny problému plodiny jsou různé úkoly. Výsledek jednoho se nemá bez vysvětlení stát tvrzením o druhém.

Test externích snímků ukázal jiný výsledek

Stejná studie hodnotila také dvě malé, samostatně ověřené sady webových snímků: 121 a 119 obrázků. Nejlepší uvedená přesnost první předpovědi, tedy top-1, dosáhla 31,40 % a 31,69 %. Šlo o různá rozdělení testovacích dat a mezi externími sadami se lišily i nejúspěšnější konfigurace modelu. Hodnocení externích snímků.

Samostatná studie manioku přenáší kameru do terénu

Studie Ramcharanové a kolegů z roku 2019 hodnotila mobilní systém detekce chorob manioku v Tanzanii. Zkoumala fotografie i video a rozlišovala mírné a výrazné příznaky. Úspěšnost se měnila podle podmínek hodnocení a mírné příznaky představovaly zvláštní obtíž. Terénní studie manioku.

Tato práce používá jinou plodinu, model, data i návrh hodnocení než článek PlantVillage. Výsledky se nemají slučovat do jediného žebříčku přesnosti. Zde je přínosná tím, že terénní podmínky a podobu příznaků zahrnuje přímo do testu, místo aby je považovala za detaily řešitelné až po nasazení.

Hamfy z toho vyvozuje, že kamerový pilot potřebuje reprezentativní obtížné případy. Systém hodnocený jen na zjevných příznacích může málo vypovídat o časných pozorováních důležitých pro kontrolu porostu. Určete, zda má úkol stanovovat pořadí kontrol, rozpoznávat už viditelný vzorec nebo podporovat konkrétnější diagnózu, a podle toho navrhněte hodnocení.

Navrhněte test pro pohled, který pěstitel skutečně použije

Začněte popisem běžného pohledu kamery: vzdálenost, úhel, stav osvětlení, viditelná plocha porostu a očekávané překážky. Před výběrem konečného modelu shromážděte vzorek z různých růstových fází. Odděleně evidujte špatnou kvalitu obrazu a biologickou nejednoznačnost; vyžadují odlišnou nápravu.

Doporučení PlantCV k pořizování snímků podporují plánování snímání podle zamýšlené analýzy. U instalované kamery Hamfy navrhuje hodnotit ukázkové snímky s člověkem, který bude výstup používat. Pokud zvolený pohled nedokáže spolehlivě interpretovat ani hodnotitel, určete potřebný doplňující pohled nebo měření.

Nezávislý test navrhněte podle dalšího zamýšleného nasazení. Podle potřeby vyhraďte pěstební cyklus, zónu nebo lokalitu a nepoužívejte jejich anotované výsledky k průběžnému ladění modelu, pokud má test zůstat závěrečným ověřením. Před zahájením hodnocení zaznamenejte verzi modelu, rozhodovací práh a zacházení s nejistými výstupy.

Počítejte potvrzené události, které systém našel i přehlédl, a měřte pracovní zátěž kontrol vyvolaných chybnými upozorněními. Uchovávejte příklady obou. Souhrnné procento je užitečné jen tehdy, když tým dohledá jeho vztah k úkolu, testované skupině a pravidlům hodnocení.

Určete užitečný další krok pro nejistá pozorování

Součástí postupu má být řešení nejistoty: vyžádání dalšího pohledu, předání pozorování hodnotiteli nebo doplňující měření. Nenuťte software přidělovat jisté označení choroby při nedostatečných podkladech. Určete odpovědnost za navazující kontrolu a způsob zařazení jejího výsledku do hodnoticího záznamu.

Monitorovací doporučení oddělujte od automatického zásahu do pěstování. Než systém začne měnit pěstební podmínky, potřebuje důkazy a ochranné mechanismy odpovídající danému zásahu. Užitečná kamera pomáhající určovat pořadí kontrol může být přínosným prvním projektem i bez tohoto dalšího tvrzení.

Rámec NIST pro AI podporuje hodnocení a sledování během používání. V našem návrhu to znamená naplánovat kontrolu při změně nastavení kamery, plodiny, pěstební metody nebo verze modelu a zaznamenat, zda dřívější přejímací výsledek zůstává platný.

Starší studie neurčují výkonnostní strop současné AI. Ukazují, proč tvrzení o nasazení potřebuje důkazy z nasazení. Náš průvodce indoor kamerovým pilotem převádí toto poučení do postupu vymezení a přejímky projektu.