一种基于深度学习分割的水果表面缺陷检测方法技术

本发明专利技术公开了一种基于深度学习分割的水果表面缺陷检测方法。本发明专利技术的具体检测方法为：获取水果RGB彩色图像，去背景后转换成灰度图像并统一尺寸512×512；准备阳性样本图像数据和阴性样本图像数据，用于训练卷积神经分割网络；设计卷积神经分割网络进行训练，保存训练结束后的网络连接权重矩阵T用于后续检测步骤；将待检测水果图像送进已经训练好的卷积神经分割网络完成图像分割，获得水果表面缺陷图像。本发明专利技术检测准确、快速，能有效避免了对水果及农产品形状、大小的依赖以及避免了亮度矫正带来的复杂影响，应用对象广，具有较大的应用价值。

【技术实现步骤摘要】
一种基于深度学习分割的水果表面缺陷检测方法
本专利技术涉及计算机视觉图像处理方法，具体涉及一种基于深度学习分割的水果表面缺陷检测方法。
技术介绍
表面缺陷检测是水果分级的重要依据之一，在世界各国的水果评级标准中有严格的规定。国内外大量学者研究通过计算机视觉方式检测水果及农产品表面缺陷，但是许多农产品是类球体，二维图形中部的灰度值要远大于边缘的灰度值，导致表面缺陷图像检测的困难。经过现有的技术检索发现，方法主要分为三类：1)基于球体灰度模型的处理方法。譬如专利文献中国专利CN101984346A记载了一种基于低通滤波的水果表面缺陷检测方法，首先获得去除背景的R分量图像，利用水果彩色图像通过离散傅里叶变换进行低通滤波然后离散傅里叶反变换获得表面亮度图像，前者图像除以后者图像得到均一化亮度图像，再采用单阈值实现水果表面缺陷分割，该技术能检测亮度较低的表面缺陷，但是会丢失在中心区域以及边缘区域的高亮度及中亮度表面缺陷。2)基于表面纹理特征的处理方法。López-GarcíaF等人(2010)利用多元图像理论以及表面纹理特征算法训练方法检测脐橙表面缺陷，该算法比较复杂不易用于在线，而且检测脐橙表面缺陷类型有限。(López-GarcíaF,Andreu-GarcíaG,BlascoJ,etal.Automaticdetectionofskindefectsincitrusfruitsusingamultivariateimageanalysisapproach[J].ComputersandElectronicsinAgriculture,2010,71(2):189-19)。3)基于多光谱成像技术的处理方法。J.Blascoa等人利用多光谱成像设备进行脐橙表面缺陷分析，该方法硬件成本较高和复杂(2007)(J.Blascoa,N.Aleixos.(2007).Citrussortingbyidentificationofthemostcommondefectsusingmultispectralcomputervision.JournalofFoodEngineering83(2007)384–393)。现有方法存在检测表面缺陷类型有限以及计算方法较复杂难以用于在线检测或者依赖成本较高的复杂硬件成像技术的问题，因此需要新的水果表面缺陷检测方法。
技术实现思路
为了解决
技术介绍
中检测表面缺陷类型有限以及计算方法较复杂难以用于在线检测或者依赖成本较高的复杂硬件成像技术的问题，本专利技术的目的在于提供一种基于深度学习分割的水果表面缺陷检测方法，相比
技术介绍
，识别方法更简单，表面缺陷检测类型更多以及对象实用性更广。本专利技术所采用技术方案包括如下步骤：1)获取水果RGB彩色图像，将水果RGB彩色图像去背景后转换成灰度图像；2)将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，并构建训练数据用于训练卷积神经分割网络，所述训练数据为阳性样本图像和其对应的二值化图像样本及阴性样本图像和其对应的二值化图像样本；3)设计用于水果表面缺陷检测的卷积神经分割网络结构，使用步骤2)的训练数据进行训练，完成训练后获取网络连接权重矩阵T；4)将待检测的水果RGB彩色图像转化成灰度图像后输入步骤3)获取的卷积神经分割网络，完成图像分割后获得水果表面缺陷图像。所述步骤1)中的灰度图像尺寸需统一调整为512×512。所述步骤2)的具体步骤如下：2.1)根据水果是否有缺陷将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，所述阳性样本图像为有缺陷水果的灰度图像，阴性样本图像为无缺陷水果的灰度图像；2.2)构建阳性样本图像和其对应的缺陷区域像素值标记为255而非缺陷区域像素值标记为0的二值化图像样本，并构建阴性样本图像和其对应的像素值标记为0的二值化图像样本，从而组成包含缺陷水果和无缺陷水果的训练数据。所述步骤3)中设计用于水果表面缺陷检测的卷积神经分割网络结构的具体步骤如下：3.1)设计一个具有十三层卷积层、十二层批量归一化层、六层最大池化层、六层上采样层、十二层ReLU函数激活层、一层Sigmoid函数分类层的卷积神经分割网络；3.2)卷积神经分割网络具体主要由输入层、六个子单元、输出卷积层、Sigmoid函数分类层、输出层构成，每个子单元包括一个前特征网络单元、一个后特征网络单元和一个上采样层，输入层连接到第一个子单元的前特征网络单元，六个子单元的前特征网络单元依次连接传递，且六个子单元的后特征网络单元依次连接传递，与第一个前特征网络单元相连的后特征网络单元输出连接到输出卷积层，输出卷积层再经Sigmoid函数分类层连接到输出层；每个子单元内部，前特征网络单元均经上采样层连接到后特征网络单元，同时前特征网络单元均直接连接到后特征网络单元；每个前特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层、最大池化层；每个后特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层；最大池化层的输出作为前特征网络单元的输出，经当前所在子单元的上采样层传递到后特征网络单元的卷积层，同时传递到下一个子单元的前特征网络单元的卷积层；后特征网络单元的ReLU函数激活层的输出作为后特征网络单元的输出，传递到上一个子单元的上采样层。3.3)将步骤2)的训练数据输入到卷积神经分割网络的输入层，采用RMSprop优化算法代替常用的SGD算法训练卷积神经分割网络，直到卷积神经分割网络的误差达到最小值完成收敛，并获得完成训练后的卷积神经分割网络中各个参数组建的网络连接权重矩阵T，其中损失计算采用二分类交叉熵。所述步骤4)中的卷积神经分割网络为已载入连接权重矩阵T的卷积神经分割网络。本专利技术具有的有益效果是：1)本专利技术特殊构建的网络结构通过其中多层相互交叉传递信息使得图像细节处理更丰富，减少图像细节信息的丢失，提高分割效果，增强图像解析能力，保留更多的多尺度的图像细节信息。2)本专利技术对于检测水果表面缺陷具有很好的准确性和实时性，一张512×512尺寸的水果图像检测时间只需要15ms，深度学习具有更抽象的特征提取能力从而提升了水果缺陷检测的能力，同时也有效避免了类球体形状水果成像亮度矫正带来较复杂的计算，也避免了依赖高光谱以及多光谱成像硬件带来的高成本性问题。3)本专利技术能够有效检测不同亮度特征表面缺陷，譬如能检测脐橙9种表面缺陷(虫伤果、风伤果、蓟马果、介壳虫果、溃疡果、裂果、炭疽病、药害果、异色果)。本专利技术方法应用对象较广，方法简便易于实现，在水果及农产品品质计算机视觉在线检测方面具有较大的应用潜力。附图说明图1是本专利技术方法的流程图。图2是本专利技术方法的深度学习分割网络结构图。图3是本专利技术实施例1中的原始图像。图4是本专利技术实施例1中的表面缺陷图像。图5是脐橙虫伤果原始图。图6是脐橙虫伤果表面缺陷检测结果图。图7是脐橙风伤果原始图。图8是脐橙风伤果表面缺陷检测结果图。图9是脐橙蓟马果原始图。图10是脐橙蓟马果表面缺陷检测结果图。图11是脐橙介壳虫果原始图。图12是脐橙介壳虫果表面缺陷检测结果图。图13是脐橙溃疡果原始图。图14是脐橙溃疡果表面缺陷检测结果图。图15是脐橙裂果原始图。图16是脐橙裂果表面缺陷检测结果图。图1本文档来自技高网...

【技术保护点】
1.一种基于深度学习分割的水果表面缺陷检测方法，其特征在于，该方法包括如下步骤：1)获取水果RGB彩色图像，将水果RGB彩色图像去背景后转换成灰度图像；2)将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，并构建训练数据用于训练卷积神经分割网络，所述训练数据为阳性样本图像和其对应的二值化图像样本及阴性样本图像和其对应的二值化图像样本；3)设计用于水果表面缺陷检测的卷积神经分割网络结构，使用步骤2)的训练数据进行训练，完成训练后获取网络连接权重矩阵T；4)将待检测的水果RGB彩色图像转化成灰度图像后输入步骤3)获取的卷积神经分割网络，完成图像分割后获得水果表面缺陷图像。

【技术特征摘要】
1.一种基于深度学习分割的水果表面缺陷检测方法，其特征在于，该方法包括如下步骤：1)获取水果RGB彩色图像，将水果RGB彩色图像去背景后转换成灰度图像；2)将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，并构建训练数据用于训练卷积神经分割网络，所述训练数据为阳性样本图像和其对应的二值化图像样本及阴性样本图像和其对应的二值化图像样本；3)设计用于水果表面缺陷检测的卷积神经分割网络结构，使用步骤2)的训练数据进行训练，完成训练后获取网络连接权重矩阵T；4)将待检测的水果RGB彩色图像转化成灰度图像后输入步骤3)获取的卷积神经分割网络，完成图像分割后获得水果表面缺陷图像。2.根据权利要求1所述的一种基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤1)中的灰度图像尺寸需统一调整为512×512。3.根据权利要求1所述的基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤2的具体步骤如下：2.1)根据水果是否有缺陷将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，所述阳性样本图像为有缺陷水果的灰度图像，阴性样本图像为无缺陷水果的灰度图像；2.2)构建阳性样本图像和其对应的缺陷区域像素值标记为255而非缺陷区域像素值标记为0的二值化图像样本，并构建阴性样本图像和其对应的像素值标记为0的二值化图像样本，从而组成包含缺陷水果和无缺陷水果的训练数据。4.根据权利要求1所述的基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤3)中设计用于水果表面缺陷检测的卷积神经分割网络结构的具体步骤如下：3.1)设计一个具有十三层卷积层、十二层批量归一化层、六层最大池化层、六层上采样层、十二层ReLU函数激活层...

【专利技术属性】
技术研发人员：容典，应义斌，饶秀勤，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33