基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法技术

本发明专利技术属于智能农业机械识别领域，涉及一种基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法。本发明专利技术克服了机器视觉杂草识别方法时靠人工提取特征难以获得接近杂草自然属性的问题和图像预处理对识别结果有影响的缺点。本发明专利技术首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对MLP分类器进行训练与检测；最终迁移学习后的MLP分类器对稻田杂草的种类、位置进行预测。通过上述步骤，使杂草识别的准确率、稳定性和实时性获得提升。本发明专利技术为智能稻田除草机械的研制奠定了基础，具有推广应用的价值。

Rice field weed recognition method based on multi dimension extended feature extracted by convolution neural network

The invention belongs to the field of intelligent agricultural machinery recognition, and relates to a rice field weed recognition method based on convolution neural network to extract multi-dimensional extended features. The invention overcomes the problem that it is difficult to get close to the natural attributes of weeds by manual feature extraction when using the machine vision weed recognition method and the disadvantage that the image preprocessing has an effect on the recognition result. The invention first obtains a large number of relevant training sets through multi-dimensional acquisition and multi-step expansion; secondly, extracts and selects weed features of rice field based on convolution neural network; then trains and detects MLP classifier; finally, the MLP classifier after migration and learning predicts the species and location of weeds in rice field. Through the above steps, the accuracy, stability and real-time of weed identification are improved. The invention lays a foundation for the development of intelligent paddy field weeding machine and has the value of popularization and application.

【技术实现步骤摘要】
基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法
本专利技术属于智能农业机械识别领域，具体涉及一种基于卷积神经网络提取多维度扩展特征识别稻田杂草方法。
技术介绍
稻田杂草对水稻的生长及产量会产生重要的影响，除草作业是必须且及时进行的工作。目前，人力除草已逐渐淘汰，喷洒化学除草剂会带来的环境污染，残留在水稻上的除草剂也会危害人类的健康，从可持续发展角度是不可取。机械除草，凭借其优势近年来迅速发展，机械除草设备也被广泛被研究。但如何实现稻田杂草的精确识别以及达到实时性要求的识别速度，是必须解决的关键技术之一。当前杂草识别研究中，基于机器视觉的识别方法被广泛使用。张小龙、李先锋等人根据作物和杂草在图像中所呈现出的不同颜色、纹理和形态特征对杂草进行区别，该类方法能够基本实现作物与杂草的有效识别，但识别准确率偏低，无法达到实际应用的需要。赵鹏、李慧等利用神经网络和SVM等，将提取到的图像特征记录为数据向量的形式，利用这些数据对模型进行训练，训练后的模型能够对不同的特征数据进行分类，实现作物与杂草的识别，该类方法能够达到较高的识别准确率，不足之处在于识别的准确率依赖于人工设计，而且对于图像的预处理有一定程度的要求，因此在实际应用中识别效果并不稳定。赵川源，王璨等人采用双目视觉技术提取图像目标的高度特征，利用融合高度、形态和纹理特征的SVM模型识别作物与杂草，获得了较为稳定的高识别准确率。不足之处在于特征提取方法较为复杂，实时性差。总结发现，自然且多样化的特征表达能够提高识别模型的准确率和稳定性，但依然存在以下两个主要问题。一方面，人工设计的特征提取难以获得最接近目标自然属性的特征表达，所得特征的识别能力有限。另一方面，图像的预处理效果对识别结果存在重要影响，尤其是作物与杂草交叠的分割处理，对于交叠程度较大的目标，常难以分割或在不影响其各自特征表达的情况下进行分割，造成实际识别准确率和稳定性的降低。为解决上述两个主要问题，本专利技术提出基于卷积神经网络提取多维度扩展特征识别稻田杂草方法，利用卷积神经网络从训练集中提取特征，克服了人工提取特征的不足，减少了复杂的图像预处理过程；利用多维度扩展能获得大量、具有相关性的图像，减少了卷积神经网络能过拟合的可能，而且特征表达效果更好。
技术实现思路
：本专利技术的目的在于克服现有技术的缺点与不足，提供了基于卷积神经网络提取多维度扩展特征识别稻田杂草方法。本专利技术通过下述方案实现：一种基于卷积神经网络提取多维度扩展特征稻田杂草识别方法，其特征在于：首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对MLP分类器进行训练与检测；最终迁移学习后的MLP分类器对稻田杂草的种类、位置进行预测。所述的多维度扩展，可看作从多个不同维度采集杂草图像以及旋转、平移、剪裁、放缩、噪声处理步骤扩展，获得大量、具有相关性的图像的过程；所述的卷积神经网络，可看作通过梯度下降的方法，不断从低层到高层提取和筛选特征的结构。所述的稻田杂草识别方法，其特征在于：包括以下步骤，步骤一、在不同视角下，通过多维度采集稻田杂草图像，并作像素压缩统一处理，获得更贴近稻田杂草生活环境的图像，并按1:1比例分为训练集和检测集。步骤二、通过多步骤扩展以及归一化处理训练集，获得大量、具有相关性的图像，使用相关性的图像训练卷积神经网络能减少过拟合的可能，而且特征表达效果更好。步骤三，基于多通道卷积神经网络提取多维度扩展图像特征作为识别的依据，提取多维度扩展图像特征，因不受主观因素影响，所以接近稻田杂草自然属性特征。步骤四、使用多维度扩展图像对MLP分类器进行训练，获得强大的MLP稻田杂草分类器。步骤五、先对检测集进行扩充，然后对MLP分类器的准确率和识别时间进行检测，确定MLP分类器的性能参数。步骤六、迁移学习提高图像分类的准确率，迁移学习后的MLP分类器，能实现对稻田杂草种类、位置的预测。所述的稻田杂草识别方法，其特征在于：所述的多维度采集图像是从杂草的正上方、正方以及两者之间45°侧方三个维度，采集同一杂草三个维度的图像。所述的稻田杂草识别方法，其特征在于：所述的多步骤扩展处理包括，旋转、平移、剪裁、放缩和噪声处理，获得大量、具有相关性图像训练集；所述的旋转处理，具体过程设置多个预选角度，并根据每个预选角度对训练集中的每个图像进行旋转，获得多幅杂草图像扩展训练集的数量；所述的平移处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行上下左右平移操作，获得多幅杂草图像扩展训练集的数量；所述的剪裁处理具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行剪裁操作，获得多幅杂草图像扩展训练集的数量；所述的放缩处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行放缩操作，获得多幅杂草图像扩展训练集的数量；所述的噪声处理，具体过程预设高斯白噪声参数，并根据预设的高斯白噪声参数对训练集中的每个图像中加入噪音，获得多幅杂草图像扩展训练集的数量。所述的稻田杂草识别方法，其特征在于：所述的多通道卷积神经网络，分别有三个具有相同结构的卷积神经网络组成，每个卷积神经网络都由两个全连接层以及两个卷积层和两个池化层交替组成。所述的稻田杂草识别方法，其特征在于：所述的卷积层的作用，建立每一个输出的特征图与上一层的几个特征图的卷积关系，提取的杂草特征在下一层结合形成更高一级的杂草特征；在卷积层进行特征提取后，对输出的特征图进行特征选择和信息过滤。所述的稻田杂草识别方法，其特征在于：所述的全连接层，可看作卷积层和池化层对杂草图像特征提取和筛序后的逻辑回归分类。所述的稻田杂草识别方法，其特征在于：所述的MLP分类器，即多层感知器，由一个2层神经网络组成，可对杂草图像中像素的类别进行预测。所述的识别稻田杂草方法，其特征在于：所述的迁移学习，就是要把在特定训练集上训练得到的“知识”成功运用到新的杂草识别之中。所述的稻田杂草识别方法，其特征在于：本专利技术解决了目前多数杂草识别方法中，靠人工提取特征难以获得接近杂草自然属性特征，图像预处理对识别结果有重要影响的问题。本专利技术使杂草识别的准确率、稳定性和实时性上获得提升，为杂草识别发展提供参考，为研制智能稻田除草设备奠定基础，具有推广应用的意义。本专利技术与现有技术相比具有以下的有益效果：(1)本专利技术采用多维度扩展，获得了大量、具有相关性的稻田杂草图像。(2)本专利技术克服了机器视觉杂草识别方法时靠人工提取特征难以获得接近杂草自然属性的问题和图像预处理对识别结果有影响的缺点。(3)本专利技术使杂草识别的准确率、稳定性和实时性获得提升。本专利技术为智能稻田除草机械的研制奠定了基础，具有推广应用的价值。附图说明图1为本专利技术作业流程图。图2为本专利技术图像多维度采集示意图。图3为本专利技术卷积神经网络结构示意图。具体实施方式:为了使本专利技术目本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络提取多维度扩展特征稻田杂草识别方法，其特征在于：首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对MLP分类器进行训练与检测；最终迁移学习后的MLP分类器对稻田杂草的种类、位置进行预测。所述的多维度扩展，可看作从多个不同维度采集杂草图像以及旋转、平移、剪裁、放缩、噪声处理步骤扩展，获得大量、具有相关性的图像的过程；所述的卷积神经网络，可看作通过梯度下降的方法，不断从低层到高层提取和筛选特征的结构。/n

【技术特征摘要】
1.一种基于卷积神经网络提取多维度扩展特征稻田杂草识别方法，其特征在于：首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对MLP分类器进行训练与检测；最终迁移学习后的MLP分类器对稻田杂草的种类、位置进行预测。所述的多维度扩展，可看作从多个不同维度采集杂草图像以及旋转、平移、剪裁、放缩、噪声处理步骤扩展，获得大量、具有相关性的图像的过程；所述的卷积神经网络，可看作通过梯度下降的方法，不断从低层到高层提取和筛选特征的结构。


2.根据权利要求1所述的稻田杂草识别方法，其特征在于：包括以下步骤，
步骤一、在不同视角下，通过多维度采集稻田杂草图像，并作像素压缩统一处理，获得更贴近稻田杂草生活环境的图像，并按1:1比例分为训练集和检测集。
步骤二、通过多步骤扩展以及归一化处理训练集，获得大量、具有相关性的图像，使用相关性的图像训练卷积神经网络能减少过拟合的可能，而且特征表达效果更好。
步骤三，基于多通道卷积神经网络提取多维度扩展图像特征作为识别的依据，提取多维度扩展图像特征，因不受主观因素影响，所以接近稻田杂草自然属性特征。
步骤四、使用多维度扩展图像对MLP分类器进行训练，获得强大的MLP稻田杂草分类器。
步骤五、先对检测集进行扩充，然后对MLP分类器的准确率和识别时间进行检测，确定MLP分类器的性能参数。
步骤六、迁移学习提高图像分类的准确率，迁移学习后的MLP分类器，能实现对稻田杂草种类、位置的预测。


3.根据权利要求1或2所述的稻田杂草识别方法，其特征在于：所述的多维度采集图像是从杂草的正上方、正方以及两者之间45°侧方三个维度，采集同一杂草三个维度的图像。


4.根据权利要求1或2所述的稻田杂草识别方法，其特征在于：所述的多步骤扩展...

【专利技术属性】
技术研发人员：陈学深，方贵进，陈林涛，马旭，齐龙，黄柱健，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44