一种融合上下文信息的病害图像识别方法技术

本发明专利技术涉及一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，与现有技术相比解决了病害图像识别率低、鲁棒性差的缺陷。本发明专利技术包括以下步骤：训练图像的收集和预处理；构造并训练混合卷积神经网络模型；待测图像的收集和预处理；将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。本发明专利技术将病害图像的图片信息和上下文信息相结合进行混合卷积神经网络的构建，从而提高了病害识别的准确率，增强了病害识别算法的鲁棒性。

A disease recognition method based on mixed convolution neural network based on fusion context information

The invention relates to a disease image recognition method based on mixed convolution neural network based on fusion context information, which solves the defects of low recognition rate and poor robustness of the disease image compared with the prior art. The invention comprises the following steps: collecting and preprocessing of training images are constructed and trained; hybrid convolution neural network model; test collection and image preprocessing; hybrid convolution neural network model to test sample after the completion of the training input, automatic identification of disease image recognition, to measure the disease image category. The invention combines the picture information and the context information of the disease image to construct the mixed convolution neural network, thereby improving the accuracy of the disease identification and enhancing the robustness of the disease identification algorithm.

【技术实现步骤摘要】
一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法
本专利技术涉及图像识别
，具体来说是一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法。
技术介绍
病害一直是困扰农作物生长的基本问题，由于植物病害症状最初很模糊，加大了人工目测的难度。现行的病害分类、识别工作主要是依靠少数植保专家和农技人员来完成的，但病害种类繁多，而每一位植保专家穷其所能也只能识别部分病害。病害图像的识别由于其植物种类的多样性、不同种类植物病害的多变性，使得传统的自动识别方法识别率不高、鲁棒性较差，且只能存在于实验阶段。因此，如何能够提高病害图像识别的准确性已经成为急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中病害图像识别率低、鲁棒性差的缺陷，提供一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，包括以下步骤：训练图像的收集和预处理，收集若干幅图像作为训练图像，收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本；构造并训练混合卷积神经网络模型，分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练；待测图像的收集和预处理，获取待测图像并将待测图像的大小归一化为256×256像素，得到测试样本；将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。所述的构造并训练混合卷积神经网络模型包括以下步骤：构建混合卷积神经网络模型，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率；混合卷积神经网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型，将初步训练后模型中的所有或者部分参数值用作最终模型参数的初始值，使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络模型进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。所述的构建混合卷积神经网络模型包括以下步骤：采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中：AlexNet模型的前5层为卷积层、后3层为全连接层，将归一化后截取的227×227像素大小的的训练样本输入混合卷积神经网络的第1层卷积层，经过从第2层至第5层卷积滤波后从混合卷积神经网络的第6层全连接层输出病害图像特征向量；前馈全连接子网的设定，将前馈全连接子网设定为两层全连接层，设病害作物所属类别数为n，将病害作物所属类别作为上下文信息，则输入向量为n维向量，将n维向量作为前馈全连接子网的两层全连接层的输入，输出上下文信息特征向量；将病害图像特征向量和上下文信息特征向量直接连接成混合向量；将混合向量作为混合卷积神经网络的第7层的输入，混合卷积神经网络的第8层的输出经过softmax分类器，得到图像所属的病害类别的概率。所述的混合卷积神经网络模型的训练包括以下步骤：针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型；将初步训练后的模型中的所有或者部分参数值用作最终模型参数的初始值，再使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练包括以下步骤：前向传播阶段，从imagenet图像集中取出一个样本(Xi,Oi)，将图像Xi输入混合卷积神经网络，经过逐级的变换，传送到输出层，计算相应的实际输出Oi,其计算公式如下：Oi＝Fn(Fn-1(…F2(F1(Xiw(1)+b(1))w(2)+b(2))…)w(n)+b(n)其中，Fn()表示第n层的激活函数，w(n)表示第n层的权值,b(n)表示第n的偏置；后向传播阶段，计算实际输出Oi和理想输出Yi的差，然后按照极小化误差的方法反向传播调整权矩阵，其输出层的误差计算公式如下：Ei＝1/2∑k(Oik-Tik)2，其中，Ei、Oik、Tik分别是第i个样本的误差、第i个样本输出层第k个神经元的输出、第i个样本输出层第k个神经元的期望输出。有益效果本专利技术的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，与现有技术相比将病害图像的图片信息和上下文信息相结合进行混合卷积神经网络的构建，从而提高了病害识别的准确率，增强了病害识别算法的鲁棒性。附图说明图1为本专利技术的方法顺序图；图2a为使用收集的病害图片训练网络FusionNet的第一层网络的权重滤波器展示图；图2b为使用imagenet图像集训练网络FusionNet的第一层网络的权重滤波器展示图；图2c为使用imagenet图像集初步训练后再使用收集的病害图片训练网络FusionNet即fine-tune模式的第一层网络的权重滤波器展示图。具体实施方式为使对本专利技术的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：如图1所示，本专利技术所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，包括以下步骤：第一步，训练图像的收集和预处理。收集若干幅图像作为训练图像，为了满足实际的病害识别环境的需要，所有的训练病害图像样本均在田间收集。收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本。第二步，构造并训练混合卷积神经网络模型。分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练。(1)构建混合卷积神经网络(FusionConvolutionalNeuralNetwork,FCNN)模型，FCNN网络模型是一个非常灵活的网络结构，它可以合并任何形式的先验信息，并且子网不一定非是全连接的网络，其可以是基于我们的先验信息的各种形式的连接，如CNN或者RNN等。在此，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率。其具体步骤如下：A、采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中：AlexNet模型自身为8层结构，在8层结构中前5层为卷积层、后3层为全连接层。以第一个卷积层(本文档来自技高网...

【技术保护点】
一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于,包括以下步骤：11)训练图像的收集和预处理，收集若干幅图像作为训练图像，收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本；12)构造并训练混合卷积神经网络模型，分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练；13)待测图像的收集和预处理，获取待测图像并将待测图像的大小归一化为256×256像素，得到测试样本；14)将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。

【技术特征摘要】
1.一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于,包括以下步骤：11)训练图像的收集和预处理，收集若干幅图像作为训练图像，收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本；12)构造并训练混合卷积神经网络模型，分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练；13)待测图像的收集和预处理，获取待测图像并将待测图像的大小归一化为256×256像素，得到测试样本；14)将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。2.根据权利要求1所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于，所述的构造并训练混合卷积神经网络模型包括以下步骤：21)构建混合卷积神经网络模型，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率；22)混合卷积神经网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型，将初步训练后模型中的所有或者部分参数值用作最终模型参数的初始值，使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络模型进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。3.根据权利要求2所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于，所述的构建混合卷积神经网络模型包括以下步骤：31)采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中：AlexNet模型的前5层为卷积层、后3层为全连接层，将归一化后截取的227×227像素大小的的训练样本输入混合卷积神经网络的第1层卷积层，经过从第2层至第5层卷积滤波...

【专利技术属性】
技术研发人员：陈天娇，谢成军，余健，张洁，李瑞，陈红波，王儒敬，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽,34