一种基于生成对抗学习的多维度田间杂草识别方法技术

本发明专利技术公开了一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，采用带标签数据和无标签数据输入对总体网络进行训练，利用带标签数据作为判别网络的输入，使用无标签数据对网络进行训练，用无监督数据产生的空间概率图作为半监督损失的计算，可以有效的反映出预测结果与真实数据分布的相似度，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果，使用置信图对网络进行自学习，采用半监督学习策略，可以突破带标签数据不足的限制；本发明专利技术使用分割网络替代传统的传统网络，可接受不同大小的输入特征，灵活性强。

A Multidimensional Field Weed Recognition Method Based on Generative Countermeasure Learning

The invention discloses a multi-dimensional field weed identification method based on generative antagonistic learning, which adopts semi-supervised learning strategy to train the overall network, uses labeled data and unlabeled data input to train the overall network, uses labeled data as input of discriminant network, uses unlabeled data to train the network, and generates spatial probability map with unsupervised data. As the calculation of semi-supervised loss, it can effectively reflect the similarity between the predicted results and the real data distribution. The confidence region of unlabeled data can be found by generating antagonistic learning, the final field weed knowledge results can be obtained by self-learning, the network can be self-learning by using confidence map, and the semi-supervised learning strategy can break through the limitation of insufficient labeled data. The traditional network is replaced by the partitioned network, which can accept input characteristics of different sizes and is flexible.

【技术实现步骤摘要】
一种基于生成对抗学习的多维度田间杂草识别方法
本专利技术属于人工智能
，涉及一种基于生成对抗学习的多维度田间杂草识别的方法。
技术介绍
杂草的存在对田间作物的产量构成了威胁，而传统的无差别化学除草方法给环境和食品安全带来了隐患，因此，如何能够精准靶向的区分杂草成为精准化除草的关键技术。基于计算机视觉的目标识别方法，因其无损、快速、自动化等特点已经成为目标识别的首选方法，然而当该类方法应用于田间杂草领域，通常会遇到两大难题：1)数据标签不足，相较于传统视觉场景，现存标注的田间杂草的数据集较少，对其进行标注需要耗费大量的人力物力财力。Milioto,A.,Lottes,P.,&Stachniss,C..(2017).Real-timeblob-wisesugarbeetsvsweedsclassificationformonitoringfieldsusingconvolutionalneuralnetworks使用仿射变换、尺度变换和随机裁剪等几何变换方法对图片数据进行扩充，然而该类方法一方面因其变换后的数据过于类似对算法性能提升有限，另一方面，扩充后的图片数据大小相同，对后续的分割模型限制较大，影响最终的识别结果。2)识别模型性能不佳，相较于传统视觉场景，杂草与作物在颜色纹理上相似度较高，Perez-Ortiz,M.,Pen～a,J.M.,Gutierrez,P.A.,Torres-Sa′nchez,J.,Herva′s-Mart′1nez,C.andLo′pez-Granados,F.,2016.Selectingpatternsandfeaturesforbetween-andwithin-crop-rowweedmappingusinguav-imagery.ExpertSystemswithApplications47,pp.85–94.通过像素向量的统计信息区分杂草和作物，但因统计信息需要手动设置，在不同的数据集上表现各有差异。Milioto,A.,Lottes,P.,&Stachniss,C..(2017).Real-timeblob-wisesugarbeetsvsweedsclassificationformonitoringfieldsusingconvolutionalneuralnetworks.通过构建CNN对田间作物进行识别，然而CNN要求图片数据大小相同，适用范围过窄。
技术实现思路
本专利技术的目的在于提供一种基于生成对抗学习的多维度田间杂草识别的方法，以克服现有技术的不足。为达到上述目的，本专利技术采用如下技术方案：一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。进一步的，总体网络包括分割网络和判别网络，分割网络为任意的深度分割网络，以多通道的图像作为分割网络的输入，分割网络输出为类概率图；判别网络输入为分割网络输出的类概率图，类概率图包括带标签的类概率图和分割网络输出的类概率图，判别网络输出为空间概率图。进一步的，采用带标签数据和无标签数据输入对总体网络进行训练，使用带标签数据对总体网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失，完成对总体网络的训练。进一步的，半监督损失的计算依托于置信图，置信图即使用无标签数据产生的空间概率图，用于反映预测结果与真实数据分布的相似度。进一步的，具体包括以下步骤：假设输入图像Xn的图像大小为H×W×L，其中H,W分别为图像的高与宽，L为输入图像的通道；分割网络为S(·)，其输出为大小H×W×C的类概率图S(Xn)，其中C为类别个数；判别网络为D(·)，其输出大小H×W×1的二类置信图D(Pn)，其中Pn是大小为H×W×C的类概率图，类概率图为真实的标签Yn或分割网络的输出S(Xn)。1)、采集输入图片数据，将输入图片数据进行降噪处理，得到处理后的图片数据；将处理后的图片数据划分为训练集Ttrain和测试集Ttest，其中Ttrain包括带标签数据集Ttrain-label和无标签数据集Ttrain-no-label；2)、采用式(a)对训练集Ttrain图片数据进行计算，得到IG,IR,IB,INir,IExG,IExR,ICIVE,INDI七个通道特征，得到大小为H×W×L(L＝7)的输入图像Xn；IExG＝2IG-IR-IBIExR＝1.4IR-IGICIVE＝0.881IG-0.441IR-0.385IB-18.8745其中IG,IR,IB,INir,IExG,IExR,ICIVE,INDI分别为图像的G通道矩阵，R通道矩阵，B通道矩阵，近红外矩阵，过绿因子矩阵，过红因子矩阵，植被提取颜色指数矩阵和归一化指数矩阵。3)、将得到的输入图像Xn输入到总体网络进行联合训练，当联合训练迭代次数大于最大迭代次数Loopmax时，训练停止并保存训练模型Mseg-adv；4)、将测试集Ttest通过步骤1)步骤2)进行处理得到测试输入数据将测试输入数据通过训练模型Mseg-adv中的分割网络进行计算得到最终的分割结果。进一步的，联合训练过程：首先，保持判别网络不变，使用随机梯度优化分割网络的目标函数；然后保持分割网络不变，使用随机梯度优化判别网络的目标函数；重复交替对判别网络和分割网络进行迭代训练，完成对总体网络的联合训练。进一步的，对于总体网络的训练，包括判别网络的训练和分割网络的训练：对于判别网络的训练，其优化目标为最小化如式(b)所示的损失lD：其中yn＝0，是指该数据来自分割网络，yn＝1，是指该数据来自真实标签；分割网络的输入为C通道的类概率图；对于真实标签Yn，使用one-hot编码方式构建概率图Pn，其中当其它情形为0；对于分割网络的训练，其优化目标(c)为：lseg＝lce+λadvladv+λsemilsemi(i)其中lce，ladv和lsemi分别空间多类交叉熵损失，对抗损失和半监督损失；λadv和λsemi分别为权重的参数；对于Ttrain-label，分割网络得到的预测结果为Pn＝S(Xn)，交叉熵通过公式(d)得到：ladv通过公式(e)得到：对于对抗损失，通过最优化分割网络得到的分割结果作为判别网络的输入；对于Ttrain-no-label，使用半监督学习策略进行网络训练，给定输入数据，判别网络产生置信图D(Pn)(h,w,1)。进一步的，对置信图采用二值化后得到可信的区域，该置信区域作为带标签数据对整个网络进行监督自学习：其中I(·)为指示函数，是控制区域敏感度的阈值，为预测结果。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果，使用置信图对网络进行自学习，采用半监督学习策略，可以突破带标签数据不足的限制；本专利技术使用分割网络替代传统的传统网络本文档来自技高网...

【技术保护点】
1.一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。

【技术特征摘要】
1.一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。2.根据权利要求1所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，总体网络包括分割网络和判别网络，分割网络为任意的深度分割网络，以多通道的图像作为分割网络的输入，分割网络输出为类概率图；判别网络输入为分割网络输出的类概率图，类概率图包括带标签的类概率图和分割网络输出的类概率图，判别网络输出为空间概率图。3.根据权利要求2所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，采用带标签数据和无标签数据输入对总体网络进行训练，使用带标签数据对总体网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失，完成对总体网络的训练。4.根据权利要求3所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，半监督损失的计算依托于置信图，置信图即使用无标签数据产生的空间概率图，用于反映预测结果与真实数据分布的相似度。5.根据权利要求3所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，具体包括以下步骤：1)、采集输入图片数据，将输入图片数据进行降噪处理，得到处理后的图片数据；将处理后的图片数据划分为训练集Ttrain和测试集Ttest，其中Ttrain包括带标签数据集Ttrain-label和无标签数据集Ttrain-no-label；2)、采用式(a)对训练集Ttrain图片数据进行计算，得到IG,IR,IB,INir,IExG,IExR,ICIVE,INDI七个通道特征，得到大小为H×W×L(L＝7)的输入图像Xn，其中IExG＝2IG-IR-IBIExR＝1.4IR-IGICIVE＝0.881...

【专利技术属性】
技术研发人员：徐亦飞，尉萍萍，宋佳音，朱利，孙妍，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61