利用多阶段、多尺度深度学习的植物病害检测制造技术

在一些实施例中，系统被编程为从多个训练集构建多个数字模型，每个数字模型用于识别具有相似尺寸症状的植物病害。每个数字模型可以使用深度学习架构来实现，该深度学习架构将图像分类为若干类别之一。因此，对于每个训练集，系统被编程为收集示出具有相似尺寸的一个或多个植物病害的症状的图像。然后，这些图像被分配到多个病害类别。对于用于构建第一数字模型的训练集中的第一训练集，系统被编程为还包括与健康状况相对应的图像和具有其他尺寸的症状的图像。然后，这些图像被分配到无病害类别和综合类别。给定来自用户设备的新图像，该系统被编程为随后首先应用第一数字模型。对于被分类为综合类别的新图像的部分，系统被编程为应用另一数字模型。该系统被编程为最终向用户设备传输分类数据，该分类数据指示新图像的每个部分如何被分类为与植物病害或没有植物病害相对应的类别。

【技术实现步骤摘要】
【国外来华专利技术】利用多阶段、多尺度深度学习的植物病害检测相关申请的交叉引用该专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以专利和商标局专利文件或记录中的形式复制专利文件或专利公开的内容，但保留所有版权或权利。2015-2019克莱米特公司(ClimateCorporation)。
本公开涉及植物病害检测和机器学习
本公开还涉及以不同尺度处理图像以识别具有不同尺寸的症状的病害

技术介绍
本部分中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有说明，否则不应当仅由于本部分中所述的任何方法被包括在本部分中而认为本部分中所述的任何方法有资格作为现有技术。植物病害检测在农业中很重要。如今，自动化方法通常涉及通过从样本照片中学习来对植物照片进行分类。每个照片可以示出具有病害症状的叶子。有时，这些症状是由多个病害引起的。有时，这些症状具有不同尺寸或彼此重叠。将有帮助的是，具有一种有效且准确的方法可以从这种照片中识别出感染叶片的植物病害，而无需示出这些植物病害的各种症状的大量照片作为样本。
技术实现思路
所附权利要求可以用作本公开的概述。附图说明在附图中：图1示出了被配置为执行本文中描述的功能的示例计算机系统，该示例计算机系统在田地环境中与该系统可以与之交互的其他装置一起示出。图2示出了当示例移动应用被加载以供执行时主存储器中的指令集的示例逻辑组织的两个视图。图3示出了编程过程，通过该过程，农业智能计算机系统使用由一个或多个数据源提供的农艺数据来生成一个或多个预先配置的农艺模型。图4是示出可以在其上实现本专利技术的实施例的计算机系统的框图。图5描绘了用于数据输入的时间线视图的示例实施例。图6描绘了用于数据输入的电子表格视图的示例实施例。图7A示出了从照片中提取样本图像的示例方法，该照片示出了相对较小的植物病害的症状。图7B示出了从照片中提取样本图像的示例方法，该照片示出了相对较大的植物病害的症状。图8示出了使用多个数字模型从植物图像识别具有多尺寸症状的植物病害的示例过程。图9A示出了示例预测图，该示例预测图示出了将第一数字模型应用于植物图像以识别具有相对较小症状的植物病害的结果。图9B示出了示例预测图，该示例预测图示出了将第二数字模型应用于植物图像以识别具有相对较大症状的植物病害的结果。图10示出了由被编程用于从植物图像中识别具有多尺寸症状的植物病害的服务器计算机执行的示例方法。具体实施方式在下面的描述中，出于解释的目的，阐述了很多具体细节以便提供对本公开的透彻理解。然而，将很清楚的是，可以在没有这些具体细节的情况下实践实施例。在其他实例中，以框图形式示出了公知的结构和设备，以避免不必要地使本公开变得晦涩。根据以下概述，在各部分中公开了实施例：1.概述2.示例农业智能计算机系统2.1.结构概述2.2.应用程序概述2.3.计算机系统的数据摄取2.4.过程概述——农业模型训练2.5.实现示例——硬件概述3.功能描述3.3训练集和数字模型构造3.4数字模型执行3.5示例过程4.扩展和替代方案1.总体概述公开了一种用于从植物照片中识别产生多尺寸症状的植物病害的系统。在一些实施例中，该系统被编程为从多个训练集中构建多个数字模型，每个数字模型用于识别具有相似尺寸的症状的植物病害。每个数字模型可以使用深度学习架构(诸如卷积神经网络(CNN))来实现，该深度学习架构将图像分类为若干类别之一。因此，对于每个训练集，该系统被编程为收集示出具有相似尺寸的一个或多个植物病害的症状的图像。然后，这些图像被分配给多个病害类别。对于用于构建第一数字模型的训练集中的第一训练集，该系统被编程为还包括与健康状况相对应的图像和具有其他尺寸的症状的图像。然后，这些图像被分配给无病害类别和综合(catch-all)类别。给定来自用户设备的新图像，该系统被编程为随后首先应用第一数字模型。对于由第一数字模型分类为综合类别的新图像的至少部分，该系统被编程为随后应用另一数字模型。该系统被编程为最终向用户设备传输分类数据，该分类数据指示新图像的每个部分如何被分类为与植物病害或根本没有植物病害相对应的类别。在一些实施例中，植物是玉米。每个图像可以是数字图像，并且通常是示出被一个或多个病害感染的玉米叶子的照片。该系统可以被编程为构建两个数字模型，第一数字模型用于识别产生相对较小症状的玉米病害，而第二数字模型用于识别产生较大症状的玉米病害。在一些实施例中，对于用于构建第一数字模型的第一训练集，该系统可以被配置为包括照片，该照片主要示出症状相对较小的这些病害的症状。这些照片因此将具有相对较小的尺寸。替代地，该系统可以被配置为包括这些照片的缩放版本，该缩放版本对应于与原始照片相似的视场但具有固定尺寸。该系统可以被配置为还包括与相似视场相对应、但未示出症状或示出症状相对较大的这些病害的症状的照片。因此，第一数字模型被设计为将玉米图像分类为与症状相对较小或健康状况的这些玉米病害中的一个病害相对应的类别、或与症状相对较大的这些玉米病害的组合相对应的综合类别。在一些实施例中，对于用于构建第二数字模型的第二训练集，该系统可以被配置为包括照片，该照片主要示出具有相对较大症状的这些病害的症状。这些照片因此将具有相对较大的尺寸。替代地，该系统可以被配置为包括这些照片的缩放版本，该缩放版本对应于与原始照片相似的视场但具有固定尺寸。因此，第二数字模型被设计为将玉米图像分类为与症状相对较大的这些玉米病害中的一个病害相对应的类别。该系统可以被编程为分别从第一训练集和第二训练集构建作为CNN的第一数字模型和第二数字模型。在一些实施例中，该系统被编程为从用户设备接收新图像，诸如被感染的玉米叶子的新照片，并且将数字模型应用于新图像。具体地，该系统被编程为首先将第一数字模型应用于新图像，以将新图像内的每个第一区域分类为与症状相对较小的玉米病害、健康状况、或症状相对较大的玉米病害的组合相对应的类别之一。该系统被编程为接下来将第二数字模型应用于已经被分类为综合类别的第一区域的组合内的每个第二区域，以分类为与症状相对较大的玉米病害相对应的类别之一。第二区域通常大于第一区域，第一区域对应于较大症状或较大视场。该系统可以被编程为随后向用户设备发送分类数据，该分类数据与如何将每个第一区域或第二区域分类为与玉米病害或健康状况相对应的类别之一有关。该系统产生各种技术益处。该系统允许从一个植物图像中检测许多种植物病害。该系统还允许检测症状相对较小的一个植物病害，即使这种症状与另一植物病害的相对较大症状重叠。另外，该系统还允许从一个植物图像中检测具有多尺寸症状的植物病害。更具体地，即使病害症状具有不同尺寸，该系统使得能够将植物内的多个区域中的每个区域与多个植物病害之一或健康类别相关联。此外本文档来自技高网...

【技术保护点】
1.一种从植物图像中识别具有多尺寸症状的植物病害的计算机实现的方法，包括：/n由处理器从至少第一照片、第二照片和第三照片中获取第一训练集，所述第一照片示出第一多个植物病害中的一个植物病害的第一症状，所述第二照片未示出症状，所述第三照片示出第二多个植物病害中的一个植物病害的部分第二症状，/n所述第一症状小于所述第二症状，/n所述第一照片、所述第二照片和所述第三照片对应于类似尺寸的视场；/n由所述处理器从所述第一训练集构建第一数字模型，以用于将图像分类为与所述第一多个植物病害、健康状况、或所述第二多个植物病害的组合相对应的第一组类别中的类别；/n从示出所述第二症状的至少第四照片获取第二训练集；/n从所述第二训练集构建第二数字模型，以用于将图像分类为与所述第二多个植物病害相对应的第二组类别中的类别；/n从用户设备接收新图像；/n将所述第一数字模型应用于所述新图像内的多个第一区域以获取多个分类；/n将所述第二数字模型应用于一个或多个第二区域以获取一个或多个分类，每个第二区域对应于所述多个第一区域中的若干个第一区域的组合，/n所述若干个第一区域被分类为与所述第二多个植物病害的所述组合相对应的所述类别；/n向所述用户设备传输分类数据，所述分类数据与所述多个分类和所述一个或多个分类有关，所述多个分类是到与所述第一多个植物病害中的一个植物病害或所述健康状况相对应的类别的分类。/n...

【技术特征摘要】
【国外来华专利技术】20181024 US 62/750,1431.一种从植物图像中识别具有多尺寸症状的植物病害的计算机实现的方法，包括：
由处理器从至少第一照片、第二照片和第三照片中获取第一训练集，所述第一照片示出第一多个植物病害中的一个植物病害的第一症状，所述第二照片未示出症状，所述第三照片示出第二多个植物病害中的一个植物病害的部分第二症状，
所述第一症状小于所述第二症状，
所述第一照片、所述第二照片和所述第三照片对应于类似尺寸的视场；
由所述处理器从所述第一训练集构建第一数字模型，以用于将图像分类为与所述第一多个植物病害、健康状况、或所述第二多个植物病害的组合相对应的第一组类别中的类别；
从示出所述第二症状的至少第四照片获取第二训练集；
从所述第二训练集构建第二数字模型，以用于将图像分类为与所述第二多个植物病害相对应的第二组类别中的类别；
从用户设备接收新图像；
将所述第一数字模型应用于所述新图像内的多个第一区域以获取多个分类；
将所述第二数字模型应用于一个或多个第二区域以获取一个或多个分类，每个第二区域对应于所述多个第一区域中的若干个第一区域的组合，
所述若干个第一区域被分类为与所述第二多个植物病害的所述组合相对应的所述类别；
向所述用户设备传输分类数据，所述分类数据与所述多个分类和所述一个或多个分类有关，所述多个分类是到与所述第一多个植物病害中的一个植物病害或所述健康状况相对应的类别的分类。


2.根据权利要求1所述的计算机实现的方法，所述第一数字模型或所述第二数字模型是卷积神经网络(CNN)或决策树。


3.根据权利要求1所述的计算机实现的方法，
所述第一多个植物病害包括普通锈病、眼斑病、南方锈病、或早期灰斑病，
所述第二多个植物病害包括高斯枯萎病、北叶枯病、或晚期灰斑病。


4.根据权利要求1所述的计算机实现的方法，所述获取所述第一训练集包括：
标识滑动窗口的尺寸；
确定第一缩放因子；
基于所述滑动窗口的所述尺寸和所述第一缩放因子来确定第一图像尺寸；
根据所述第一图像尺寸调节所述第一照片、所述第二照片或所述第三照片的尺寸以获取经尺寸调节的第一照片、经尺寸调节的第二照片或经尺寸调节的第三照片。


5.根据权利要求4所述的计算机实现的方法，所述获取所述第二训练集包括：
确定小于所述第一缩放因子的第二缩放因子；
基于所述滑动窗口的所述尺寸和所述第二缩放因子来确定第二图像尺寸；
根据所述第二图像尺寸调节所述第四照片的尺寸以获取经尺寸调节的第四照片。


6.根据权利要求5所述的计算机实现的方法，还包括：
确定第一步幅和小于所述第一步幅的第二步幅，
所述获取所述第一训练集还包括使用具有所述第一步幅的所述滑动窗口从所述经尺寸调节的第一照片、所述经尺寸调节的第二照片或所述经尺寸调节的第三照片中提取第一组区域，
所述获取所述第二训练集还包括使用具有所述第二步幅的所述滑动窗口从所述经尺寸调节的第四照片中提取第二组区域。


7.根据权利要求6所述的计算机实现的方法，
所述获取所述第一训练集还包括将所述第一组类别中的类别的标签分配给所述第一组区域中的每个区域，
所述构建所述第一数字模型进一步从一组标签被分配给所述第一组区域来执行，
所述获取所述第二训练集还包括将所述第二组类别中的类别的标签分配给所述第二组区域中的每个区域，
所述构建所述第二数字模型进一步从一组标签被分配给所述第二组区域来执行。


8.根据权利要求6所述的计算机实现的方法，所述应用所述第一数字模型包括：
根据所述第一图像尺寸调节所述新图像的尺寸以获取第一更新图像；
使用具有所述第一步幅的所述滑动窗口从所述第一更新图像中提取所述第一多个区域。


9.根据权利要求8所述的计算机实现的方法，所述应用所述第二数字模型包括：
掩蔽所述新图像中被分类为与所述第一多个植物病害中的一个植物病害或健康状况相对应的类别的所述多个第一区域中的每个第一区域以获取掩蔽图像；
根据所述第二图像尺寸调节所述掩蔽图像的尺寸以获取第二更新图像；
使用具有所述第二步幅的所述滑动窗口从所述第二更新图像中提取所述一个或多个第二区域。


10.根据权利要求1所述的计算机实现的方法，所述应用所述第二数字模型包括调节所述第一多个区域中的若干个第一区域的组合的一部分的尺寸以获取所述一个第二区域。


11.根据权利要求1所述的计算机实现的方法，所述第一训练集进一步是从特定照片中获取的，所述特定照片示出所述第一多个植物病害中的一个植物病害的第三症状和所述第二多个植物病害中的一个植物病害的第四...

【专利技术属性】
技术研发人员：桂壹川，关伟，
申请(专利权)人：克莱米特公司，
类型：发明
国别省市：美国;US