基于迁移学习的苹果表皮缺陷检测系统技术方案

本发明专利技术涉及人工智能技术领域，具体涉及一种基于迁移学习的苹果表皮缺陷检测系统。该系统包括：检测网络构建模块，获得苹果的深度图、边缘密度图和褐色增强图，构建第一检测网络；迁移学习模块，根据第一、第二和第三差异分别选择对应通道中除预设卷积层之外的卷积层的参数进行初始化，获得第二检测网络；检测模块，获得各种类苹果对应的检测网络，输入各种类苹果对应的深度图、边缘密度图和褐色增强图，输出苹果表皮的缺陷类别。本实施例利用多通道分别提取苹果的表皮特征，使得检测的结果更加准确；同时利用迁移学习的方法加快了各个种类的苹果对应的检测网络的收敛速度，使得每个种类的苹果的表皮缺陷都能够准确的检测出来。的苹果的表皮缺陷都能够准确的检测出来。的苹果的表皮缺陷都能够准确的检测出来。

【技术实现步骤摘要】
基于迁移学习的苹果表皮缺陷检测系统


[0001]本专利技术涉及人工智能
，具体涉及一种基于迁移学习的苹果表皮缺陷检测系统。

技术介绍

[0002]近些年来，随着人们生活水平的提高，人们对于水果的需求量也是越来越大的，而随着产种类植技术的不断提高，苹果的产量不断提高，因此需要根据苹果表皮缺陷对苹果的品质进行评估，这是对苹果品质进行评估的时候一种常用且重要的手段，因为在消费者手上最直观的体现也是苹果的表皮的光滑性、色泽度和完整性，而且通过苹果表皮的缺陷也可以在一定程度上反映果实内部的腐烂和病变情况。
[0003]现在大多数对于苹果表皮缺陷的检测还主要依靠于人工进行检测，这样检测的效率不仅低而且主观性较强，不可控因素有很多。随着人工智能技术的高度发展，利用人工智能和图像处理技术来智能的检测苹果表皮的缺陷已经成为了一种趋势，例如基于改进粒子群算法来检测表皮缺陷，利用高光谱荧光成像技术来识别水果的腐烂。但是苹果的种类有很多，在基于图像处理利用神经网络对苹果表皮缺陷进行检测时，一个训练好的神经网络只能识别一个种类的苹果，如果获得大量的多个种类的苹果的图像集对网络进行训练，花费时间较长且成本过高，且有些种类的苹果图像集较少这就会使网络的训练结果变差，导致检测的效果变差。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的在于提供一种基于迁移学习的苹果表皮缺陷检测系统，所采用的技术方案具体如下：本专利技术的实施例提供了一种基于迁移学习的苹果表皮缺陷检测系统。系统包括：检测网络构建模块，用于对苹果表面图像进行处理，获得只包含一个苹果的深度图、边缘密度图和褐色增强图；构建第一种类苹果对应的第一检测网络，网络包括三个通道，分别为深度通道、边缘通道和颜色通道；三个通道用来提取苹果的深度图、边缘密度图和褐色增强图的特征；对提取的特征进行处理，通过Softmax分类器输出检测结果；迁移学习模块，利用主成分分析算法分别对第一种类苹果预设数量的深度图、边缘密度图和褐色增强图进行分析获得深度平均图、纹理平均图和颜色平均图；将第一检测网络对应的深度、边缘和颜色通道迁移到新种类苹果对应的检测网络，选择三个通道中的预设卷积层进行参数共享；利用新种类苹果和第一种类苹果的深度、纹理和颜色平均图分别获得第一差异、第二差异和第三差异；根据获得的第一、第二和第三差异分别选择对应通道中除预设卷积层之外的卷积层的参数进行初始化，获得第二检测网络；检测模块，用于获得各种类苹果对应的检测网络，通过各种类苹果对应的检测网络检测各种类苹果表皮的缺陷类型。
[0005]优选地，所述获得只包含一个苹果的深度图、边缘密度图和褐色增强图包括：对苹
果表面图像进行分割获得只包含苹果的图像，获得该图像的深度图；对只包含苹果的图像灰度化并获得苹果的边缘；利用预设尺寸的窗口计算边缘像素点的边缘密度，将边缘像素点的灰度值转换为边缘像素点的边缘密度获得边缘密度图，所述边缘密度为窗口内边缘像素点的数量和窗口内像素点的总数量的比值；将只包含苹果的图像转换到HSV空间获得HSV图像，将HSV图像中为近褐色的像素点标注第一预设值，其他颜色的像素点标注第二预设值，根据像素点的H、S、V值和标注的第一、第二预设值获得褐色增强图像。
[0006]优选地，所述深度通道、边缘通道和颜色通道包括：三个通道的网络结构为预训练过的VGG16网络架构；深度通道的预训练过的VGG16网络架构为利用KITTI数据集中的深度图像预训练的VGG16网络架构；边缘通道的预训练过的VGG16网络架构为利用Brodatz纹理图像库预训练的VGG16网络架构；颜色通道的预训练过的VGG16网络架构为利用Fruits
‑
360水果图像数据集预训练的VGG16网络架构。
[0007]优选地，所述获得深度平均图、纹理平均图和颜色平均图包括：利用主成分分析算法获得深度图、边缘密度图和褐色增强图的平均长相图，平均长相图分别为深度图、边缘密度图和褐色增强图对应的深度平均图、纹理平均图和颜色平均图。
[0008]优选地，所述第一差异包括；获得第一种类苹果对应的深度平均图的中心点，同时获得过中心点的水平直线上的像素点的二阶梯度的平均值和过中心点竖直直线上像素点的二阶梯度的平均值，分别记为水平二阶梯度值和竖直二阶梯度值；获得新种类苹果的深度平均图对应的水平二阶梯度值和竖直二阶梯度值；根据第一种类苹果和新种类苹果的深度平均图对应的水平二阶梯度值的比值，竖直二阶梯度值的比值获得第一差异。
[0009]优选地，所述第二差异包括：获得第一种类苹果和新种类苹果的纹理平均图的灰度共生矩阵，根据灰度共生矩阵分别获得第一种类苹果和新种类苹果的纹理平均图对应的能量、对比度和熵；对第一预设值与第一种类苹果和新种类苹果的纹理平均图对应的能量、对比度和熵的比值进行加权求和获得第二差异。
[0010]优选地，所述第三差异为：其中，表示第三差异；c表示第c种颜色，n表示颜色平均图中颜色的种类数量；表示第一种类苹果的颜色平均图中第c种颜色的像素点出现的次数，表示新种类苹果的颜色平均图中第c种颜色的像素点出现的次数。
[0011]优选地，所述根据获得的第一、第二和第三差异分别选择对应通道中除预设卷积层之外的卷积层的参数进行初始化包括：将第一检测网络中的深度、边缘和颜色通道的VGG16网络架构中的预设卷积层的参数与第二检测网络中相同层次的卷积层共享；获得第一、第二和第三差异进行扩大并向下取整后与第三预设值的比值，同时比值向下取整的结果为参数初始化的卷积层数；依据取整的结果从最高层次的卷积层依次进行参数初始化直到初始化的卷积层的层数为比值取整的结果时停止；若第一、第二和第三差异进行扩大并向下取整后为偶数，则从最高层卷积层依次往下参数初始化完成后，对剩余的除预设卷积层之外的卷积层共享第一检测网络中对应通道的对应卷积层的参数；若第一、第二和第三
差异进行扩大并向下取整后为奇数，则从最高层卷积层依次往下参数初始化完成后，对参数初始化后的最低层卷积层的下一层卷积层中一半的神经元的进行初始化，对剩余的除预设卷积层之外的卷积层共享第一检测网络中对应通道的对应卷积层的参数。
[0012]优选地，所述检测模块还包括：利用各种类苹果对应的深度图、边缘密度图和褐色增强图卷积层参数初始化后的检测网络进行训练获得各种类苹果对应的检测网络。
[0013]本专利技术实施例至少具有如下有益效果：本专利技术构建检测网络，通过三个通道的卷积神经网络分别提取苹果表皮的深度图、边缘密度图和褐色增强图的特征，然后根据融合后的特征对其缺陷类别进行识别，能够提高检测的准确性；同时利用迁移学习的方法将预训练好的VGG16网络架构迁移到第一检测网络中，同时将第一检测网络的VGG网络架构迁移到其他种类苹果对应的检测网络中，能够加快其他种类的苹果对应的检测网络收敛更快，使得能够检测各种苹果的表皮缺陷，并且每个种类的苹果对应的检测网络更加适用对应的苹果，能够提高检测的准确性；同时，检测出表皮有缺陷的苹果不仅仅可以保证苹果的质量，防止坏苹果的霉菌感染本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的苹果表皮缺陷检测系统，其特征在于，该系统包括：检测网络构建模块，用于对苹果表面图像进行处理，获得只包含一个苹果的深度图、边缘密度图和褐色增强图；构建第一种类苹果对应的第一检测网络，网络包括三个通道，分别为深度通道、边缘通道和颜色通道；三个通道用来提取苹果的深度图、边缘密度图和褐色增强图的特征；对提取的特征进行处理，通过Softmax分类器输出检测结果；迁移学习模块，利用主成分分析算法分别对第一种类苹果预设数量的深度图、边缘密度图和褐色增强图进行分析获得深度平均图、纹理平均图和颜色平均图；将第一检测网络对应的深度、边缘和颜色通道迁移到新种类苹果对应的检测网络，选择三个通道中的预设卷积层进行参数共享；利用新种类苹果和第一种类苹果的深度、纹理和颜色平均图分别获得第一差异、第二差异和第三差异；根据获得的第一、第二和第三差异分别选择对应通道中除预设卷积层之外的卷积层的参数进行初始化，获得第二检测网络；检测模块，用于获得各种类苹果对应的检测网络，通过各种类苹果对应的检测网络检测各种类苹果表皮的缺陷类型。2.根据权利要求1所述的一种基于迁移学习的苹果表皮缺陷检测系统，其特征在于，所述获得只包含一个苹果的深度图、边缘密度图和褐色增强图包括：对苹果表面图像进行分割获得只包含苹果的图像，获得该图像的深度图；对只包含苹果的图像灰度化并获得苹果的边缘；利用预设尺寸的窗口计算边缘像素点的边缘密度，将边缘像素点的灰度值转换为边缘像素点的边缘密度获得边缘密度图，所述边缘密度为窗口内边缘像素点的数量和窗口内像素点的总数量的比值；将只包含苹果的图像转换到HSV空间获得HSV图像，将HSV图像中为近褐色的像素点标注第一预设值，其他颜色的像素点标注第二预设值，根据像素点的H、S、V值和标注的第一、第二预设值获得褐色增强图像。3.根据权利要求1所述的一种基于迁移学习的苹果表皮缺陷检测系统，其特征在于，所述深度通道、边缘通道和颜色通道包括：三个通道的网络结构为预训练过的VGG16网络架构；深度通道的预训练过的VGG16网络架构为利用KITTI数据集中的深度图像预训练的VGG16网络架构；边缘通道的预训练过的VGG16网络架构为利用Brodatz纹理图像库预训练的VGG16网络架构；颜色通道的预训练过的VGG16网络架构为利用Fruits
‑
360水果图像数据集预训练的VGG16网络架构。4.根据权利要求1所述的一种基于迁移学习的苹果表皮缺陷检测系统，其特征在于，所述获得深度平均图、纹理平均图和颜色平均图包括：利用主成分分析算法获得深度图、边缘密度图和褐色增强图的平均长相图，平均长相图分别为深度图、边缘密度图和褐色...

【专利技术属性】
技术研发人员：张素红，赖欣欣，
申请(专利权)人：南通海扬食品有限公司，
类型：发明
国别省市：