一种多草工况下田间作物的识别方法技术

本申请公开了一种多草工况下田间作物的识别方法，该识别方法包括：将训练集图像和验证集图像输入到视觉注意模型中以获得第一预测结果图像；根据训练集图像、验证集图像对应的标签图像和第一预测结果图像，以及损失函数计算损失值；若损失值处于收敛状态，则停止训练，以获得训练后的视觉注意模型；否则，利用反向传播算法调节权重，并继续进行训练直到损失值达到收敛状态；将测试集图像输入到训练后的视觉注意模型中以获得第二预测结果图像；判断第二预测结果图像是否符合预期；若是，则将训练后的视觉注意模型移植到机器上；否则，调整超参数，并对视觉注意模型进行重新训练。通过上述方式，本申请能够将作物从多草环境中识别出来。

A Recognition Method of Field Crops under Multi-Grass Conditions

【技术实现步骤摘要】
一种多草工况下田间作物的识别方法
本申请涉及图像处理
，特别是涉及一种多草工况下田间作物的识别方法。
技术介绍
除草机器人由于具备感知、决策和精确控制等功能，能够在不伤害作物的前提下，清除作物周边的杂草，实现更加高效、安全、环保的除草作业，对减少除草剂施放量，提高农作物产量和品质具有重要意义。现有的除草机器人所使用的作物识别技术可划分为两大类：(1)基于人工设计特征的作物识别技术。这类技术通常利用作物和杂草在颜色、光谱、位置、形状、纹理、大小、高度等方面的差异对其进行分类，通过人工选取特征和分类器，将作物与土壤、杂草区分开。由于作物、杂草种类多样，这类技术通常对环境和苗草种类变化的适应性欠佳；(2)随着深度学习技术的兴起，基于深度卷积神经网络的作物识别方法因其无需手工设计特征的便利性，以及良好的鲁棒性和泛化能力等优势，已经成为当前的研究热点和主流趋势。
技术实现思路
本申请主要解决的技术问题是提供一种多草工况下田间作物的识别方法，能够将作物从多草环境中识别出来。为解决上述技术问题，本申请采用的一个技术方案是：提供一种多草工况下田间作物的识别方法，所述识别方法包括：将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中，以获得第一预测结果图像；其中，所述田间图像数据集为多草工况下田间作物的成像的集合；根据所述训练集图像、所述验证集图像对应的标签图像和所述视觉注意模型的所述第一预测结果图像，以及所述视觉注意模型中的损失函数计算损失值；若当前所述损失值处于收敛状态，停止对所述视觉注意模型进行训练，以获得训练后的视觉注意模型；否则，利用反向传播算法调节所述视觉注意模型中的权重，并对所述视觉注意模型继续进行训练，直到所述损失值达到收敛状态；将所述田间图像数据集中的测试集图像输入到训练后的所述视觉注意模型中，以获得第二预测结果图像；判断所述第二预测结果图像是否符合预期；若是，则将训练后的视觉注意模型移植到机器上，以使得机器作业时识别作物；否则，调整视觉注意模型中的超参数，并返回至将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中的步骤。本申请的有益效果是：区别于现有技术的情况，本申请所提供的多草工况下田间作物的识别方法包括：训练视觉注意模型、评估视觉注意模型、以及将评估通过后的视觉注意模型移植到机器上，以使得机器在作业时能够识别作物。本申请根据田间作物(特别是移栽作物)相对杂草、土壤背景具有显著性特征，采用全卷积神经网络建立视觉注意模型，该视觉注意模型能够精确提取作物区域，在杂草茂盛、苗草叶片交叠情况下仍能输出准确的预测结果，该识别方法精度高、实时性好。该视觉注意模型对于不同田间苗草种类、杂草密度、光照条件的具有良好的适应性，泛化能力和鲁棒性好。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1为本申请多草工况下田间作物的识别方法一实施方式的流程示意图；图2a为田间图像数据集中的图像一实施方式的成像示意图；图2b为标签图像一实施方式的成像示意图；图2c为模型预测结果图像一实施方式的成像示意图；图3为图1中步骤S101之前本申请所提供的多草工况下田间作物的识别方法一实施方式的流程示意图；图4为图1中步骤S101一实施方式的流程示意图；图5为图1中视觉注意模型一实施方式的架构示意图；图6为图1中步骤S102一实施方式的流程示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参阅图1，图1为本申请多草工况下田间作物的识别方法一实施方式的流程示意图，该识别方法包括：S101：将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中，以获得第一预测结果图像；其中，田间图像数据集为多草工况下田间作物的成像的集合。具体地，在本申请中，田间图像数据集为多草工况下田间作物的成像的集合；该成像可以为彩色图像，例如，如图2a所示，图2a为田间图像数据集中的图像一实施方式的成像示意图。该田间图像数据集中的所有图像可以统一缩放至相同尺寸，例如，300×400。在一个实施方式中，请参阅图3，图3为图1中步骤S101之前本申请所提供的多草工况下田间作物的识别方法一实施方式的流程示意图，在上述步骤S101之前，本申请所提供的识别方法包括构建田间图像数据集，该构建田间图像数据集的过程可以为：S201：获得多个多草工况下的田间图像。具体地，可通过除草机器人上的摄像装置获得，也可通除草机器人外的其他具有摄像功能的装置获得。S202：对田间图像按照显著性检测数据集的方式进行标注，只标出显著性区域作为标签图像。具体地，上述标注方法可参见现有技术，在此不作过多说明。在本申请中，田间作物(特别是移栽作物)相对杂草、土壤背景具有显著性特征，显著性区域即为作物所在区域，标注后的标签图像可保存为二值图像，例如，如图2b所示，图2b为标签图像一实施方式的成像示意图。在本申请中，作物的显著性特征与作物的品种、生长阶段，以及田间杂草种类、杂草密度、光照条件等变化因素无关，相比传统方法使用的颜色、形状、纹理等特征更具鲁棒性和泛化性。S203：将采集到的田间图像和对应的标注后的标签图像按照预定比例划分为训练集、验证集和测试集。具体地，在本实施例中，训练集、验证集和测试集的预定比例可以为4:1:3或者其他比值。另外，在本实施例中，在把训练集图像和验证集图像输入到视觉注意模型前，需将训练集图像及验证集图像中的图像像素值归一化到[0,1]，并通过上下左右翻转、添加随机噪声等方式进行数据增强，增加样本量，提高视觉注意模型的泛化能力。上述步骤S101中视觉注意模型所采用的机制为视觉注意机制，视觉注意机制是指哺乳动物视觉可以在复杂的场景中选择少数的感兴趣区域作为注意焦点，并对其进行优先处理，从而极大地提高视觉系统处理的效率。在田间图像中，杂草相比作物个头小，数量多，呈无序分布。作物栽种时有一定的行距和株距，相比杂草更加稀疏，且移栽时已经有较大的叶片，因此在田间图像中更加显著。当人眼观看田间图像时，会首先关注到作物，而将杂草和土壤当作背景。基于上述现象，本申请以作物的显著性特征作为区分作物与杂草、土壤的依据，设计了轻量化的深度卷积神经网络构建视觉注意模型，进而实现对田间作物进行快速识别。下面将详细介绍图1中步骤S101的实现过程。在一个实施方式中，可以交替将一批(例如，5个、10个等)训练集图像和一批(例如，5个、10个等)验证集图像输入到当前视觉注意模型中。请参阅图4，图4为图1中步骤S101一实施方式的流程示意图，上述步骤S101中将田间图像数据集中的训练集图像输入到当前视觉注意模型中，并对当前视觉注意模型进行训练，以获得训练后的视觉注意模型，包括：S301：训练集图像经主干网络和多个支路网络处理后，在各支路网络输出本文档来自技高网...

【技术保护点】
1.一种多草工况下田间作物的识别方法，其特征在于，所述识别方法包括：将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中，以获得第一预测结果图像；其中，所述田间图像数据集为多草工况下田间作物的成像的集合；根据所述训练集图像、所述验证集图像对应的标签图像和所述视觉注意模型的所述第一预测结果图像，以及所述视觉注意模型中的损失函数计算损失值；若当前所述损失值处于收敛状态，停止对所述视觉注意模型进行训练，以获得训练后的视觉注意模型；否则，利用反向传播算法调节所述视觉注意模型中的权重，并对所述视觉注意模型继续进行训练，直到所述损失值达到收敛状态；将所述田间图像数据集中的测试集图像输入到训练后的所述视觉注意模型中，以获得第二预测结果图像；判断所述第二预测结果图像是否符合预期；若是，则将训练后的视觉注意模型移植到机器上，以使得机器作业时识别作物；否则，调整视觉注意模型中的超参数，并返回至将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中的步骤。

【技术特征摘要】
1.一种多草工况下田间作物的识别方法，其特征在于，所述识别方法包括：将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中，以获得第一预测结果图像；其中，所述田间图像数据集为多草工况下田间作物的成像的集合；根据所述训练集图像、所述验证集图像对应的标签图像和所述视觉注意模型的所述第一预测结果图像，以及所述视觉注意模型中的损失函数计算损失值；若当前所述损失值处于收敛状态，停止对所述视觉注意模型进行训练，以获得训练后的视觉注意模型；否则，利用反向传播算法调节所述视觉注意模型中的权重，并对所述视觉注意模型继续进行训练，直到所述损失值达到收敛状态；将所述田间图像数据集中的测试集图像输入到训练后的所述视觉注意模型中，以获得第二预测结果图像；判断所述第二预测结果图像是否符合预期；若是，则将训练后的视觉注意模型移植到机器上，以使得机器作业时识别作物；否则，调整视觉注意模型中的超参数，并返回至将田间图像数据集中的训练集图像和验证集图像输入到视觉注意模型中的步骤。2.根据权利要求1所述的识别方法，其特征在于，所述视觉注意模型结构包括主干网络和多个支路网络。所述主干网络依次包括第一卷积层、第一残差单元、第二残差单元、第三残差单元和第四残差单元；且所述第一残差单元与所述第一卷积层之间具有池化层；所述第一卷积层、所述第一残差单元、所述第二残差单元、所述第三残差单元和所述第四残差单元的输出端分别与第一支路网络、第二支路网络、第三支路网络、第四支路网络、第五支路网络连接。3.根据权利要求2所述的识别方法，其特征在于，所述第一残差单元或所述第二残差单元所述第三残差单元或所述第四残差单元依次包括：输入端、批归一化层、ReLU激活层、第二卷积层、批归一化层、ReLU激活层、第三卷积层、输出端，且所述输入端与所述输出端之间有一条旁路连接。4.根据权利要求2所述的识别方法，其特征在于，所述将田间图像数据集中的训练集图像输入到视觉注意模型中，以获得第一预测结果图像，包括：所述训练集图像经所述主干网络和多个所述支路网络处理后，在各支路网络输出端获得对应的第一支路预测结果图像、第二支路预测结果图像、第三支路预测结果图像、第四支路预测结果图像、第五支路预测结果图像；将所述第一支路预测结果图像、所述第二支路预测结果图像、所述第三支路预测结果图像、所述第四支路预测结果图像、所述第五支路预测结果图像融合后输出，以获得所述视觉注意模型的所述第一预测结果图像。5.根据权利要求4所述的识别方法，其特征在于，各支路网络前端具有连续的卷积结构，所述连续卷积结构依次包括：ReLU激活层、支路第一卷积层、ReLU激活层、支路第二卷积层、ReLU激活层、支路第三卷积层，在所述连续卷积结构之后，各支路网络之间具有跨支路连接结构。6.根据权利要求5所述的识别方法，所述经多个所述支路网络处理包括：各支路网络上的所述连续卷积结构分别输出第一支路特征图、第二支路特征图、第三支路特征图、第四支路特征图、第五支路特征图；将所述第五支路特征图通过反卷积上采样以形成与所述第三支路特征图、第二支路特征图、第一支路特征图尺寸分别相同的第一反卷积特征图、第二反卷积特征图和第三反卷积特征图；将所述第四支路特征图通过反卷积上采样以形成与所述第三支路特征图、第二支路特征图、第一支路特征图尺寸分别相同的第四反卷积特征图、第五反卷积特征图和第六反卷积特征图；将所述第三支路特征图和所述第二支路特征图分别通过反卷积上采样以形成与所述第一支路特征图尺寸相同的第七反卷积特征图和第八反卷积特征图；将所述第一反...

【专利技术属性】
技术研发人员：李南，张晓光，吴新宇，李柏翰，夏轩，何勇，陈春杰，马跃，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44