基于CNN和GraphSAGE的苜蓿田杂草识别方法技术

本发明专利技术公开了基于CNN和GraphSAGE的苜蓿田杂草识别方法，包括：步骤1：输入杂草图像，使用CNN提取杂草图像特征；步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；步骤4：将融合特征输入分类器，基于特征相似性，从图中的邻居节点中得到未标记的杂草样本的标签信息，实现杂草和苜蓿分类。本发明专利技术可以充分利用杂草样本之间的特征关联性，在仅有少量标记样本图像的情况下取得较高的杂草识别率。较高的杂草识别率。较高的杂草识别率。

【技术实现步骤摘要】
基于CNN和GraphSAGE的苜蓿田杂草识别方法


[0001]本专利技术属于图像识别
，具体涉及基于CNN和GraphSAGE的苜蓿田杂草识别方法。

技术介绍

[0002]紫花苜蓿是豆科苜蓿属多年生草本植物，是我国的主要牧草之一，因具有产量高、品质好、根系发达、耐寒耐旱等优点，被誉为“牧草之王”。种植紫花苜蓿可以改良土壤、保持水土，起到保护生态环境的重要作用。紫花苜蓿含有丰富的矿物质和大量的粗蛋白，被认为是牲畜重要的饲料作物，是奶牛最好的饲料。
[0003]紫花苜蓿苗期生长缓慢，杂草是苜蓿生产过程中的一项重大威胁，它们会与苜蓿竞争养分、空间、阳光和水，危害时间长，会造成苜蓿幼苗弱小、根系生长困难，难以形成群落，从而降低牧草产量和营养价值。此外，某些杂草种类如紫苏薄荷含有对牲畜有害的物质，所以杂草防控应该贯穿于苜蓿生产全程。
[0004]化学除草常用于苜蓿杂草防治。通常情况下，除草剂以地毯式方式喷施，这种方式降低了除草剂的利用率。精准喷施除草剂，可以显著降低除草剂的投入和杂草管理成本。除草剂的精准喷施是指基于杂草识别的基础智能地检测和去除杂草。
[0005]近年来，深度学习被逐步应用到杂草识别领域，但是综合国内外研究现状，尚未有研究学者对苜蓿田杂草进行识别的相关研究。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于CNN(Convolutional Neural Network)和图神经网络GraphSAGE(Sample and Aggregate)的苜蓿田杂草识别方法，该方法可以充分利用杂草样本之间的特征关联性，在仅有少量标记样本图像的情况下取得较高的杂草识别率。
[0007]为实现上述技术目的，本专利技术采取的技术方案为：
[0008]基于CNN和GraphSAGE的苜蓿田杂草识别方法，包括：
[0009]步骤1：输入杂草图像，使用CNN提取杂草图像特征；
[0010]步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；
[0011]步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；
[0012]步骤4：将融合特征输入分类器，基于特征相似性，从图中的邻居节点中得到未标记的杂草样本的标签信息，实现杂草和苜蓿分类。
[0013]为优化上述技术方案，采取的具体措施还包括：
[0014]上述的步骤1采用的CNN为微调后的ResNet
‑
101算法模型，微调方式为：去掉全连接层，只保留卷积池化部分以进行杂草图像特征提取。
[0015]上述的步骤1具体为：输入原始的杂草图像，图像经过卷积层的下采样计算、池化
提取特征，将最后一层池化层得到的特征图转化为一维数组，作为杂草图像的特征信息。
[0016]上述的步骤2将每一个杂草样本都被看成是一个图节点，基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图G＝(V,E,X)；
[0017]其中，V为图节点；
[0018]E是边缘集，代表杂草样本节点之间的由欧氏距离得到的特征相似度；
[0019]X是输入特征矩阵，即CNN提取到的杂草图像特征。
[0020]上述的步骤3将杂草特征矩阵无向相似性图输入图神经网络GraphSAGE，GraphSAGE根据节点上结构和特征的信息在点与点之间传递。
[0021]上述的GraphSAGE通过聚合函数进行一次迭代的信息的传递过程，一个节点可以聚合邻居的信息，并且通过更新函数更新当前节点的信息，随着迭代次数的增加，一个节点能够聚合到更高阶邻居的信息，从而实现杂草图像节点之间的传播。
[0022]上述的步骤3包括：
[0023]1)采样方式为以节点为中心的邻居节点进行抽样；
[0024]采样算法采用小批量，给定一个输入节点的集合，采样它们的邻居节点，即一阶邻居，对于一阶邻居，采样它们的邻居，即二阶邻居，直到K阶邻居采样完成。
[0025]2)采用如下两种聚合函数对节点的邻居进行聚合：
[0026]均值聚合函数，对当前节点及其邻居节点进行均值操作，所述均值操作即GCN中的卷积操作，是对节点及其邻居向量的局部谱图卷积的线性相似；
[0027]池化均值函数，将所有邻居的向量放进一个全连接网络然后接上一个最大池化层或者平均池化层。
[0028]3)根据邻居节点的聚合信息对中心节点进行特征学习，经过多次谱图卷积后，中心节点获得图模型上其他抽样节点的特征，实现特征融合。
[0029]本专利技术具有以下有益效果：
[0030]1、本专利技术通过结合CNN和GraphSAGE网络模型，提升杂草之间的特征联系，通过特征传播，充分利用了图像之间的特征语义信息；
[0031]2、本专利技术可以在仅有少量标记的样本的情况下，很好地把杂草从苜蓿中识别出来；
[0032]3、本专利技术基于图卷积GraphSAGE，泛化性好，对于新加入的节点，可以根据其邻居聚合直接进行学习，而不必对整个网络重新迭代；
[0033]4、本专利技术可实现高精度、稳定的杂草和苜蓿识别，为实现智能农业中杂草精准识别提供技术指导。
附图说明
[0034]图1是结合CNN和GraphSAGE网络模型的杂草识别模型示意图；
[0035]图2是微调的ResNet
‑
101网络模型示意图；
[0036]图3是图卷积GraphSAGE网络模型卷积过程示意图；
[0037]附图标记如下：1
‑
学习到邻居节点聚合信息的中心节点。
具体实施方式
[0038]以下结合附图对本专利技术的实施例作进一步详细描述。
[0039]基于CNN和GraphSAGE的苜蓿田杂草识别方法，采用如图1所示的结合CNN和GraphSAGE网络模型的杂草识别模型，充分利用杂草图像语义信息和在仅有少量标记样本的情况下可以将杂草从苜蓿田很好地识别出来，具体实施过程如下：
[0040]步骤1：输入杂草图像，使用CNN提取杂草图像特征；
[0041]CNN具有较强的特征表示能力，首先采用的CNN为微调后的ResNet
‑
101算法模型，微调方式为：去掉全连接层，只保留卷积池化部分以进行杂草图像特征提取，如图2所示，输入原始的杂草图像，图像经过卷积层的下采样计算、池化提取明显特征，将最后一层池化层得到的特征图转化为一维数组，即作为杂草图像的特征信息。
[0042]步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；
[0043]本专利技术将杂草和苜蓿的识别问题转化为图上的学习问题，考虑将提取的杂草特征基于欧氏距离构造无向相似性图，即图G＝(V,E,X)是基于提取的杂草特征的欧氏距离构造的，其中V为图节点，每一个杂草样本都被看成是一个图节点，E是边缘集，代表杂草样本节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CNN和GraphSAGE的苜蓿田杂草识别方法，其特征在于，包括：步骤1：输入杂草图像，使用CNN提取杂草图像特征；步骤2：基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图；步骤3：杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间的传播，得到融合特征；步骤4：将融合特征输入分类器，基于特征相似性，从图中的邻居节点中得到未标记的杂草样本的标签信息，实现杂草和苜蓿分类。2.根据权利要求1所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法，其特征在于，所述步骤1采用的CNN为微调后的ResNet
‑
101算法模型，微调方式为：去掉全连接层，只保留卷积池化部分以进行杂草图像特征提取。3.根据权利要求2所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法，其特征在于，所述步骤1具体为：输入原始的杂草图像，图像经过卷积层的下采样计算、池化提取特征，将最后一层池化层得到的特征图转化为一维数组，作为杂草图像的特征信息。4.根据权利要求1所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法，其特征在于，所述步骤2将每一个杂草样本都被看成是一个图节点，基于杂草图像特征的欧氏距离构建杂草特征矩阵无向相似性图G＝(V,E,X)；其中，V为图节点；E是边缘集，代表杂草样本节点之间的由欧氏距离得到的特征相似度；X是输入特征矩阵，即CNN提取到的杂草图...

【专利技术属性】
技术研发人员：杨婕，陈勇，于佳琳，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：