Jak číst výsledky AI pro choroby rostlin se zachováním kontextu testu
Jaké důkazy mají doprovázet tvrzení, že model chorob rostlin je připravený k použití v pěstebním provozu?
Přeloženo z anglického originálu · Anglický originál
Rozsah této rešerše
Srovnávací četba dvou původních výzkumných studií doplněná dokumentací snímání a rámcem hodnocení AI. Studie se týkají odlišných úkolů a podmínek. Jde o rozbor hranic důkazů, nikoli srovnávací test současných modelů nebo produktu Hamfy.
Jak jsme posuzovali podklady
Údaje PlantVillage jsme ověřovali podle abstraktu původního článku a diskuse o externích snímcích; studii manioku podle metod a výsledků terénního hodnocení. Metriky a testované skupiny jsme ponechali oddělené. Modely jsme znovu netrénovali, snímky nepřeznačovali a skóre studií neslučovali.
Co podklady dokládají
Ke skóre patří testovaná skupina
Studie PlantVillage dokládá rozdíl mezi výkonem uvnitř kontrolované sbírky a na malé externí sadě snímků. Praktickým závěrem je požadovat popis dat vedle každého hlavního výsledku.
Terénní podoba příznaků patří do hodnocení
Studie manioku výslovně uvádí závažnost příznaků a režim snímání. Je podkladem doporučení zahrnout obtížná reprezentativní pozorování místo pouhých zjevných příkladů. Nevyčísluje očekávaný výkon kamery sledující indoor porost.
Snímání a kontrola potřebují vlastní záznamy
Doporučení PlantCV podporují plánování snímání, zatímco NIST poskytuje obecný kontext hodnocení. Hamfy do návrhu postupu přidává kontroly kvality obrazu, nezávislé testování a určeného hodnotitele nejistých pozorování.
Co tato rešerše neprokazuje
- Studie vyšly v letech 2016 a 2019 a nepředstavují přehled nejnovějších schopností modelů.
- Externí sady PlantVillage jsou malé vzorky webových snímků; jejich skóre neodhaduje přesnost v každé pěstírně.
- Hodnocení manioku používá jinou plodinu, detekční úkol a metriky, proto nelze odůvodnit společné skóre nebo přímý žebříček modelů.
Další krok navrhovaný Hamfy
Ještě před jednáním o cílové přesnosti požádejte dodavatele o popis úkolu a testovacích podmínek. Naplánujte ověření v konkrétním provozu s nezávislými příklady a záznamem přehlédnutých událostí, falešných upozornění a času hodnocení. Před rozšířením role systému určete, jaké tvrzení získané důkazy podporují.
Podklady potřebné pro skutečný projekt
- Reprezentativní snímky ze zamýšleného pohledu instalované kamery.
- Anotace se zdokumentovaným způsobem potvrzení a kategorií nejistoty.
- Nezávislá testovaná skupina odpovídající navrženému provoznímu rozsahu.
- Záznam kontrol obsluhy navázaný na přesnou hodnocenou verzi modelu a rozhodovací práh.
Poznámky ke zdrojům
- Recenzovaný experiment · 2016Using Deep Learning for Image-Based Plant Disease DetectionMohanty, Hughes & Salathé · Frontiers in Plant Science
Zdroj tří uváděných výsledků hodnocení. DOI: 10.3389/fpls.2016.01419. Testy externích snímků jsou popsané v diskusi.
- Recenzované terénní hodnocení · 2019A Mobile-Based Deep Learning Model for Cassava Disease DiagnosisRamcharan et al. · Frontiers in Plant Science
Samostatný terénní příklad se srovnáním fotografií, videa a závažnosti příznaků. Jeho metriky nejsou přímo zaměnitelné s přesností PlantVillage.
- Technická dokumentace · v4.4Analysis approachesPlantCV documentation
Podporuje plánování snímání podle zamýšleného pozorování a analýzy.
- Veřejně dostupný rámec · 2023AI Risk Management Framework: CoreNIST
Obecný základ pro hodnocení v podmínkách použití a průběžné sledování.