基于掩码卷积神经网络的植物叶片病害识别方法技术

本发明专利技术公开了一种基于掩码卷积神经网络的植物叶片病害识别方法，主要解决现有技术识别植物叶片病害准确率低的问题。其方案是：对原数据集进行增强和扩充，得到训练集和测试集；对训练集和测试集进行语义分割得到相应的掩码集；在该模型的全卷积层和掩码分支之间增加病害特征筛选模块，将训练集和掩码集输入到网络中进行训练，得到目标分类和目标检测的结果；将目标分类结果中属于病害叶片的特征图作为掩码分支的输入，多次迭代后得到训练后的模型；将测试集输入该模型，对叶片进行目标分类和目标检测，并对属于病害类别的叶片进行分割。本发明专利技术在传统方法的基础上提升了叶片病害识别的准确率，可用于农业种植中植物病害叶片识别和分割。

Plant leaf disease recognition method based on mask convolution neural network

【技术实现步骤摘要】
基于掩码卷积神经网络的植物叶片病害识别方法
本专利技术属于图像处理
，特别涉及一种植物叶片病害识别方法，可用于农业种植对植物病害叶片的分割和识别。
技术介绍
现代智慧农业中，农作物病害是对粮食安全的一大威胁，植物病害通过显著的降低产量而对农作物造成严重危害。其中早期枯萎病是一种可严重降低产量的典型疾病。类似地，在潮湿的气候中，晚疫病是另一种非常具有破坏性的疾病，它影响植物的叶子、茎和果实。保护植物免受病害对保证作物的质量和数量至关重要。保护农作物应该从早期发现疾病开始，以便在正确的时间选择适当的治疗方法，以防止病害的传播。识别大棚植物病害的病害类型主要包括细菌性斑点，早期枯萎病，晚疫病，叶霉病，黑斑病等多种病害。但实际中由于病害的数量多，且在叶片上的表现相似，很难准确定病害的种类。目前，对植物叶片的病害研究主要包括利用图像处理或者深度学习方法对其进行检测和分类。在植物病害防治中，国外PlantVillage团队在2016年提出了利用深度学习通过植物叶片对病害进行检测和分类的方法，主要在简单背景下通过智能手机对特定的部分植物病害进行本文档来自技高网...

【技术保护点】
1.一种基于掩码卷积神经网络的植物叶片病害识别方法，其特征在于，包括如下：/n(1)对原数据集依次进行增强，扩充和语义分割，得到训练和测试的图像集及掩码集；/n(2)对Mask R-CNN网络进行优化：即在Mask R-CNN网络ROI Align后的全卷积层和mask分支之间增加病害特征筛选模块；/n(3)对优化后的Mask R-CNN网络进行训练：/n(3a)设置主要的网络参数：/n在ResNet50和ResNet101这两个残差网络中选取主干网络；/n设置epoch的大小和每个epoch训练的步数；/n设置病害叶片在病害特征筛选模块的接收阈值T

【技术特征摘要】
1.一种基于掩码卷积神经网络的植物叶片病害识别方法，其特征在于，包括如下：
(1)对原数据集依次进行增强，扩充和语义分割，得到训练和测试的图像集及掩码集；
(2)对MaskR-CNN网络进行优化：即在MaskR-CNN网络ROIAlign后的全卷积层和mask分支之间增加病害特征筛选模块；
(3)对优化后的MaskR-CNN网络进行训练：
(3a)设置主要的网络参数：
在ResNet50和ResNet101这两个残差网络中选取主干网络；
设置epoch的大小和每个epoch训练的步数；
设置病害叶片在病害特征筛选模块的接收阈值T0，其余参数为MaskR-CNN的默认值；
(3b)根据已知的分类误差Lcls、检测误差Lbox和分割误差Lmask，确定优化后的MaskR-CNN网络损失函数为：Lloss＝Lcls+Lbox+Lmask；
(3c)将训练图像集和训练掩码集输入到优化后的MaskR-CNN网络中进行训练，得到训练后的模型；
(4)将测试图像输入训练后的模型中进行测试。


2.根据权利要求1所述的方法，其特征在于，其中(1)对原数据集依次进行增强，扩充和语义分割，得到训练和测试的图像集及掩码集，实现如下：
(1a)从公开项目PlantVillage-Dataset下载得到植物病害叶片数据集D0，利用自适应对比度增强算法对D0进行图像增强，以改善数据库中的模糊图像，得到图像增强后的数据集D1；
(1b)利用语义分割的标注工具对增强后的数据集D1中的图像目标分别进行标绘，生成目标的掩码，得到包含掩码信息和标签信息的掩码集D2；
(1c)利用图像变换对增强后的数据集D1和掩码集D2，依次进行平移，旋转和翻转，以增加样本数据量，得到扩充样本后的数据集D3和掩码集D4；
(1d)按照8:2的比例将扩充后的数据集D3和掩码集D4分为训练图像集D5和测试图像集D4，及训练掩码集D7和测试掩码集D8。


3.根据权利要求2所述的方法，其特征在于，(1a)中利用自适应对比度增强算法对进行图像增强，实现如下：
(1a1)将图像分为高频部分hx(i,j)和低频部分mx(i,j)，其中(i,j)是指图像的像素点；
(1a2)用图像中的高频部分乘以该部分的增益值G(i,j)，得到放大后的高频部分I(i,j)：
I(i,j)＝G(i,j)hx(i,j)
(1a3)将高频部分和低频部分重组后，得到增强后的图像f(i,j)：
f(i,j)＝mx(i,j)+I(i,j)。


4.根据权利要求1所述的方法，其特征在于，(2)中得到的优化后MaskR-CNN网络，其结构如下：
残差网络ResNet101/50或金字塔网络FPN→区域推荐生成网络RPN→全卷积层→病害特征筛选模块→mask分支即全卷积层和全连接层；
该病害特征筛选模块，用于通过判断全卷积层输出的病害叶片的置信度T1与给定的病害叶片接收阈值T0的大小关系，筛选出批处理中的病害叶片的特征图谱，并将筛选结果输入到mask分支进行处理。


5.根据权利要求1所述的方法，其特征在于，(3c)中对优化后的MaskR-CNN网络进行训练，实现如下：
(3c1)初始化(3a)中的网络参数，将训练图像集D5和训练掩码集D7输入到优化后的MaskR-CNN网络中；
(3c2)通过训练残差网络提取D5中的特征，得到特征图谱F0；
(3c3)将特征图谱F0输入到区域推荐生成网络RPN，得到目标区域的前景F1和背景F2；
(3c4)使用ROIAlign方法将目标区域的前景F1映射到特征图谱F0的对应位置，生成固定大小的特征图F3；
(3c5)将特征图F3通过全卷积层得到目标分类结果和目标检测的结果，并计算分类误差Lcls和检测误差Lbox；
(3c6)若分类结果...

【专利技术属性】
技术研发人员：王勇，刘雪月，胥克翔，靳伟昭，杨琦，朱文涛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61