一种基于改进全卷积神经网络的植物叶片分割方法技术

本发明专利技术公开了一种基于改进全卷积神经网络的植物叶片分割方法。原始FCN 8倍上采样的模型参数量大，为实现植物叶片快速精确分割，采用直连式结构，去除部分层，并利用单层特征，通过反卷积将经VGG16模型缩小后的特征图按缩小倍数上采样至原图尺寸，共得到3种改进后模型。最后以6种不同植物共1762张图片作为训练样本，441张叶片图片作为测试样本训练模型。发现采用4倍上采样的直连式结构模型的内存参数占用仅为6.90MB，缩小为原始FCN模型的1/77倍，测试集上类别平均准确率和平均区域重合度可达99.099％和98.204％。该方法与传统方法K‑means聚类和Otsu阈值分割法相比，平均区域重合度高出3.704和4.295个百分点，能够提取完整叶片，受叶片表面颜色、光照强度不均的影响小。

A method of plant leaf segmentation based on improved total convolution neural network

The invention discloses a plant leaf segmentation method based on improved total convolution neural network. In order to segment plant leaves quickly and accurately, the original FCN 8-fold up-sampling model has a large amount of parameters. In order to remove some layers, a direct structure is adopted. By using single-layer features, the reduced feature map of VGG16 model is deconvoluted and sampled to the original size according to the reduced multiple. Three improved models are obtained. Finally, 1762 pictures of 6 different plants were used as training samples, and 441 pictures of leaves were used as training samples. It is found that the 4-fold up-sampling direct structure model occupies only 6.90 MB of memory, which is reduced to 1/77 times of the original FCN model. The average accuracy and area coincidence of the test set are 99.099% and 98.204% respectively. Compared with the traditional K_means clustering and Otsu threshold segmentation, the average area coincidence is 3.704 and 4.295 percentage points higher, and the method can extract the whole leaf, which is less affected by the uneven color and light intensity of the leaf surface.

【技术实现步骤摘要】
一种基于改进全卷积神经网络的植物叶片分割方法
本专利技术涉及一种图像分割方法，具体涉及一种基于改进全卷积神经网络的植物叶片分割方法。
技术介绍
植物是生态系统的重要组成部分，植物鉴定和植物病害识别是植物保护的一项重要工作。植物叶片分割通旨在定位图像中的叶片区域并提取，以减少背景物体干扰，是植物鉴定和植物病害识别中的重要步骤。叶片的分割效果对后续的特征提取和模式识别工作会产生直接的影响，因此叶片的精确分割提取问题受到广泛关注。对于植物叶片的分割，现有的方法主要分为基于阈值的分割和基于聚类的分割，阈值分割有最小误差法、最大类间方差法(Otsu)和最大熵法。Otsu作为典型的阈值分割法，能够自动选取最佳分割阈值，实现较为简单，但在前景灰度分布范围较大时效果欠佳。聚类算法主要通过计算区域之间颜色的相似度，对相似颜色进行聚类，但在前景和背景颜色差异较小时，很难提取出前景目标。由于受外部环境因素影响较大，现有的一些方法存在误分割现象，这对后续识别过程的开展会产生不利影响，故提出一种自动、精确的分割方法是必要的。
技术实现思路
本专利技术的主要目的在于克服现有技术中的不足，提供一种能准确地将植物叶片从背景中分割出来的方法，对叶片中包含与背景颜色相似的病斑、光照不均或阴影部分，能克服其干扰并准确地提取完整叶片。为解决上述技术问题，本专利技术采用的技术方案是：一种基于改进全卷积神经网络的图像分割方法，包括如下步骤：(1)试验数据获取与处理；(2)构建全卷积神经网络；(3)训练全卷积神经网络；(4)采用训练好的全卷积神经网络进行叶片分割。所述过程(1)具体包括下述步骤：在选择试验样本时考虑样本的复杂多样性，如图片集中的图片尺寸不一致，拍摄光照强度不均匀，图片中有黑色阴影等，选择部分病斑的颜色与背景色相似的病害叶片。选用PlantVillage工程(www.plantvillage.org)中的6种植物共2203张叶片图片作为试验数据，其中包含5种植物的健康叶片图片和2种植物的病害叶片图片。通过专业图像标注工具标注图像，得到叶片与背景分别标注为1和0的二值图。将标注图像按4：1的比例随机分成训练集和测试集，得到1762张训练图片和441张测试图片。所述过程(2)具体包括下述步骤：选取VGG-16分类模型作为基础模型，构建全卷积神经网络。所述全卷积神经网络包含迁移学习参数层和非迁移学习的参数层。其中迁移学习的参数层有第一层卷积层C1，其包含Conv1_1、Conv1_2，第二层卷积层C2，其包含Conv2_1、Conv2_2,第三层卷积层C3，其包含Conv3_1、Conv3_2、Conv3_3,第四层卷积层C4，其包含Conv4_1、Conv4_2、Conv4_3。非迁移学习的参数层为卷积层C5、C6、C7，反卷积层D5、D6、D7。卷积层C1使用的卷积核大小为3×3，步长为1，共64个卷积核。卷积层C2使用的卷积核大小为3×3，步长为1，共128个卷积核。卷积层C3使用的卷积核大小为3×3，步长为1，共256个卷积核。卷积层C4使用的卷积核大小为3×3，步长为1，共512个卷积核。卷积层C5、C6、C7对特征进行非线性映射，使用的卷积核大小均为1×1，步长为1，共2个卷积核。反卷积层D5使用的卷积核大小为16×16，步长为8，共2个卷积核。反卷积层D6使用的卷积核大小为8×8，步长为4，共2个卷积核。反卷积层D7使用的卷积核大小为4×4，步长为2，共2个卷积核。在反卷积层后连接裁剪层，用于将采样后的特征图裁剪为原图尺寸，最后使用Softmax层计算损失值。上述全卷积神经网络设计为3个模型，分别是Direct-FCN8s，Direct-FCN4s，Direct-FCN2s，其中8、4、2分别是指反卷积层使用的步长。Direct-FCN8s迁移C1至Conv4-3参数后，连接C5和D5输出预测结果。Direct-FCN4s迁移C1至Conv3-3参数后，连接C6和D6输出预测结果。Direct-FCN2s迁移C1至Conv2-2参数后，连接C7和D7输出预测结果。所述过程(3)具体包括下述步骤：将获取的试验原图与标签图片一一对应，按照Caffe深度学习框架的输入形式将图片放入至对应文件夹，其中标签图片需转换成matlab矩阵形式，另外建立train.txt与val.txt文件，分别包含训练集和测试集所有图片的名称。在GPU环境下，设置训练的批量大小为1，使用随机梯度下降算法学习模型参数，固定学习率为1E-05，正则化系数设定为0.0005，并设置随机梯度下降的动量项为0.99。训练和测试图片批量大小设为1，训练迭代1762次批量，即遍历一次训练集(epoch)进行一次测试，遍历一遍测试集需441次测试迭代，最大迭代176200次(100次epoch)。评价模型性能，参考国际公认的语义分割评价指标，取分割的类别平均准确率(meanacc)和平均区域重合度(meanintersectionoverunion,meanIoU)作为分割精度指标，另外还考虑模型内存参数需求(模型本身所占计算机存储空间的大小)以及平均单张图片分割时间(随机抽取了35张测试图片，分别在仅有CPU和GPU状态下运行分割程序，取单张图片分割时间的平均值)。meanacc＝(1/ncl)∑inii/ti(1)meanIoU＝(1/ncl)∑inii/(ti+∑jnji-nii)(2)其中，ncl表示分割的类别数，ti＝∑jnij表示类别i的总像素数，nii表示类别i预测为i的像素数,nji表示类别j预测为i的像素数。所述过程(4)具体包括下述步骤：配置Caffe深度学习框架环境，读取需要进行图像分割的叶片图像，通过Python语句调用以.caffemodel为后缀的训练后模型文件，前向传播后计算得到图像类别1(即叶片)的概率分布图，取概率0.5作为阈值，大于0.5则将其判别为叶片，否则判别为背景，在程序中将类别为1处的像素值赋值为255，类别为0处的像素值赋值为0。经过模型分割后生成以白色为前景(叶片)、黑色为背景的二值图像。本专利技术的有益效果：本专利技术使用改进全卷积神经网络分割植物叶片，训练过后的模型能有效克服叶片表面的光照不均、阴影以及病斑的影响，避免欠分割和过分割的现象，模型参数量小，可以满足实时的要求，并得到准确完整的植物叶片分割结果。附图说明图1为本专利技术中的改进后全卷积神经网络的结构图。图2为改进模型分割精度与迭代次数关系图。图3为不同方法对部分测试样本的分割结果。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。本专利技术提出的一种基于改进全卷积神经网络的植物叶片分割方法，包括如下步骤：(1)试验数据获取与处理(2)构建全卷积神经网络(3)训练全卷积神经网络(4)使用训练好的全卷积神经网络模型实现叶片分割所述过程(1)具体包括下述步骤：在选择试验样本时考虑样本的复杂多样性，如图片集中的图片尺寸不一致，拍摄光照强度不均匀，图片中有黑色阴影等，选择部分病斑的颜色与背景色相似的病害叶片。选用PlantVillage工程(www.plantvillage.org)中的6种植物共2203张叶片图片作为试验数据，其中包含5种植物的健康叶片图片和2种植物的病害叶片本文档来自技高网...

【技术保护点】
1.一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，包括如下步骤：步骤1，试验数据获取与处理：获取试验数据样本具备复杂多样性，并将数据样本分为训练图片和测试图片；步骤2，选取VGG‑16分类模型作为基础模型，构建全卷积神经网络；步骤3，利用Caffe深度学习训练全卷积神经网络；步骤4，使用训练好的全卷积神经网络模型对叶片进行分割。

【技术特征摘要】
1.一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，包括如下步骤：步骤1，试验数据获取与处理：获取试验数据样本具备复杂多样性，并将数据样本分为训练图片和测试图片；步骤2，选取VGG-16分类模型作为基础模型，构建全卷积神经网络；步骤3，利用Caffe深度学习训练全卷积神经网络；步骤4，使用训练好的全卷积神经网络模型对叶片进行分割。2.根据权利要求1所述的一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，所述步骤1的具体过程包括：步骤1.1，选用PlantVillage工程中的6种植物共2203张叶片图片作为试验数据，其中包含5种植物的健康叶片图片和2种植物的病害叶片图片；步骤1.2，通过专业图像标注工具标注图像，得到叶片与背景分别标注为1和0的二值图，将标注图像按4：1的比例随机分成训练集和测试集，得到1762张训练图片和441张测试图片。3.根据权利要求1所述的一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，所述样本的复杂多样性包括：图片集中的图片尺寸不一致、拍摄光照强度不均匀、图片中有黑色阴影等、部分病斑的颜色与背景色相似。4.根据权利要求1所述的一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，所述步骤2的具体过程包括：所述全卷积神经网络包含迁移学习参数层和非迁移学习的参数层；其中迁移学习的参数层有第一层卷积层Conv1，第二层卷积层Conv2,第三层卷积层Conv3,第四层卷积层Conv，非迁移学习的参数层为卷积层C5、C6、C7，反卷积层D5、D6、D7；在反卷积层后连接裁剪层，用于将采样后的特征图裁剪为原图尺寸，最后使用Softmax层计算损失值。5.根据权利要求4所述的一种基于改进全卷积神经网络的植物叶片分割方法，其特征在于，卷积层Conv1包含Conv1_1、Conv1_2，使用的卷积核大小为3×3，步长为1，共64个卷积核；卷积层Conv2包含Conv2_1、Conv2_2，使用的卷积核大小为3×3，步长为1，共128个卷积核；卷积层Conv3包含Conv3_1、Conv3_2、Conv3_3，使用的卷积核大小为3×3，步长为1，共256个卷积核；卷积层Conv4包含Conv4_1、Conv4_2、Conv4_3，使用的卷积核大小为3×3，步长为1，共512个卷积核；卷积层C5、C6、C7对特征进行非线性映射，使用的卷积核大小均为1×1，步长为1，共2个卷积核；反卷积层D5使用的卷积核大小为16×16，步长为8，共2个卷积核；反卷积层D...

【专利技术属性】
技术研发人员：孙俊，谭文军，武小红，沈继锋，陆虎，戴春霞，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32