一种基于深度学习的工件表面缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的工件表面缺陷检测方法，具体为：采集不同背景及光照条件下的工件图像；对采集的工件图像进行预处理；构建深度卷积神经网络模型获得6个不同层的特征图；采用特征金字塔特征图进行多尺度特征融合预测，使用K‑means聚类算法得到产生4个anchor box预测目标边界框，使用交叉熵损失函数预测类别；通过非极大值抑制算法去除冗余的预测边界框；输出工件表面缺陷的位置信息以及类别。本发明专利技术解决人工检测以及物理检测法检测效率低、精度差的问题，克服传统机器视觉缺陷检测适应性差的问题，提高工件表面缺陷的检测效率和准确率，降低人力成本，而且可以快速适应新型产品的表面缺陷检测，缩短开发周期，提高灵活性。

【技术实现步骤摘要】
一种基于深度学习的工件表面缺陷检测方法
本专利技术涉及图像处理
，具体涉及一种基于深度学习的工件表面缺陷检测方法。
技术介绍
工件是精密仪器的组成部分，其表面质量、形状结构对仪器的性能有很大的影响。在工件的加工、运输、装配过程中，刀具行程的变化及磨损、工件自身材料特质、工件之间摩擦碰撞等因素，都会导致工件表面产生刮痕、凸粉、碰凹和裂纹等缺陷，不仅影响工件的美观，还影响其使用性能，甚至会给仪器带来重大的安全隐患。因此，亟需发展一种快速准确的工件表面缺陷检测方法，这对产品质量检测技术的推广具有重要的实际应用价值。目前，针对工件质量检测方法主要有人工检测法、基于仪器的物理检测法和机器视觉检测法。人工检测法即通过人工目视观察工件表面是否存在缺陷，利用经验知识判断缺陷所属的类别，人工检测法主观意识强，耗时费力且检测精度难以保证。基于仪器的物理检测法包括超声波检测、磁粉检测法、涡流检测法、X射线检测法等，物理检测法可满足一般工件的表面缺陷检测，但是仪器设备体积较大、价格昂贵、维护复杂、检测效率较低且准确性较差。由于机器视觉检测法具有无损、准确、快速、可靠等优点，依靠机器视觉技术进行工件表面缺陷无损检测，不仅可以排除人的主观差异和视觉疲劳，降低人力成本，而且提高了检测效率和精度，减小了检测分级误差。而与传统的机器视觉方法相比，深度学习方法可以直接从底层数据中学习特征，具有更高的复杂结构表达能力，从而用自动学习过程完全取代了对特征的人工设计，可以适用于不同产品，缩短开发周期，提高灵活性，快速适应新型产品的表面缺陷检测。综上所述，现有技术具有如下缺点：(1)人工检测法主观意识强，耗时费力且检测精度难以保证。(2)基于仪器的物理检测法仪器设备体积较大、价格昂贵、维护复杂、检测效率较低且准确性较差。(3)传统的机器视觉检测法需要手工提取特征，产品适应性较差。
技术实现思路
有鉴于此，为了解决现有技术中的上述问题，本专利技术提出一种基于深度学习的工件表面缺陷检测方法，提高工件表面缺陷的检测效率和准确率，降低人力成本，而且可以快速适应新型产品的表面缺陷检测，缩短开发周期，提高灵活性。本专利技术通过以下技术手段解决上述问题：一种基于深度学习的工件表面缺陷检测方法，包括如下步骤：采集不同背景及光照条件下的工件图像；对采集的工件图像进行预处理；构建深度卷积神经网络模型获得6个不同层的特征图；采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchorbox预测目标边界框，使用交叉熵损失函数预测类别；通过非极大值抑制算法去除冗余的预测边界框；输出工件表面缺陷的位置信息以及类别。进一步地，采集不同背景及光照条件下的工件图像具体为：利用CCD相机拍摄在不同背景及光照条件下的工件图像，包括单一背景、复杂背景、阴暗、光亮、柔光、遮挡和重叠的复杂环境。进一步地，对采集的工件图像进行预处理具体为：首先，对获得的工件图像进行数据增强，数据增强包括光学变换和几何变换；其中，光学变换包括亮度随机调整、对比度随机调整、通道随机调整，几何变换包括旋转、拉伸、平移、水平翻转、垂直翻转、随机裁剪图片、随机缩放；然后，对扩充后的图像数据集用标注工具生成对应的标注信息；标注信息包括样本中工件表面缺陷的位置信息以及类别，类别为正常、刮痕、凸粉、碰凹、裂纹；最后，将数据集分为训练集与测试集；其中，训练集为总样本量的70％，测试集为30％。进一步地，构建深度卷积神经网络模型获得6个不同层的特征图具体为：构建深度卷积神经网络，包括构建基础网络结构和深度卷积层，提取图像的高语义特征；并且在深度卷积神经网络模块中，每个卷积层均通过ReLu函数和归一化BatchNormalization操作；(1)基础网络结构：采用VGG16作为基础特征提取模块；首先，经过VGG16的前13个卷积层，并加以修改，使用denseconv+strideconv代替VGG16网络结构中的denseconv+maxpooling，其中denseconv的卷积核大小为3×3，步长为1；strideconv的卷积核大小为3×3，步长为2；然后，使用两个卷积Conv6和Conv7代替VGG16的全连接层FC6和FC7进一步提取特征，其中Conv6为空洞卷积，卷积核的大小为3×3，空洞数为6，步长为1；Conv7的卷积核大小为1×1，步长为1；(2)深度卷积层：在基础网络结构上增加4个深度卷积层，进一步提取更高的语义信息；深度卷积层分别为Conv8、Conv9、Conv10和Conv11，每个深度卷积层由2个卷积组成：大小为1×1，步长为1的卷积核以及大小为3×3，步长为2的卷积核。进一步地，采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchorbox预测目标边界框，使用交叉熵损失函数预测类别，具体为：利用深度卷积神经网络得到6个特征图，分别是63×63、32×32、16×16、8×8、4×4、1×1，采用特征金字塔方法对6个不同层的特征图进行多尺度特征融合预测；使用K-means算法聚类得到4个anchorbox预测目标边界框，并使用交叉熵损失函数预测类别；其中，FPN总体架构包括自上而下网络、自下而上网络、横向连接和卷积融合4个部分；自上而下网络：为深度卷积神经网络；自下而上网络：对深度卷积层中Conv11得到的特征图1×1进行大小为1×1卷积降低通道数，得到F6，然后依次进行2倍最邻近上采样操作；横向连接：对深度卷积神经网络中Conv9、Conv8、Conv7、Conv5、Conv4得到的底层特征图分别进行1×1卷积操作，使得其通道数固定为256，并与上采样后的高语义特征逐元素相加得到F5、F4、F3、F2、F1；卷积融合：利用大小为3×3的卷积对F5、F4、F3、F2、F1进行融合。进一步地，通过非极大值抑制算法去除冗余的预测边界框，具体为：使用非极大值抑制算法的改进算法Soft-NMS去除重复的预测边界框；Soft-NMS函数的具体表达如下：式中，si为每个边界框的得分，M为当前得分最高的边界框，bi为剩余的某个边界框，Nt为设定阈值0.5。与现有技术相比，本专利技术的有益效果至少包括：(1)使用denseconv+strideconv结构代替VGG16中的denseconv+maxpooling进行下采样，保留了更多的特征信息且速度更快，有效的提高了检测效率。(2)构建深度卷积神经网络提取特征，在以VGG16为基础网络结构上增加了4个深度卷积层，并采用FPN进行多尺度特征融合预测，提取更高的语义信息，提高检测准确率，增强模型的泛化能力，提高灵活性。(3)使用Soft-NMS算法去除重复的预测边界框，能够解决多个工件重叠时从而造成漏检的问题，提高检测的召回率本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工件表面缺陷检测方法，其特征在于，包括如下步骤：/n采集不同背景及光照条件下的工件图像；/n对采集的工件图像进行预处理；/n构建深度卷积神经网络模型获得6个不同层的特征图；/n采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchor box预测目标边界框，使用交叉熵损失函数预测类别；/n通过非极大值抑制算法去除冗余的预测边界框；/n输出工件表面缺陷的位置信息以及类别。/n

【技术特征摘要】
1.一种基于深度学习的工件表面缺陷检测方法，其特征在于，包括如下步骤：
采集不同背景及光照条件下的工件图像；
对采集的工件图像进行预处理；
构建深度卷积神经网络模型获得6个不同层的特征图；
采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchorbox预测目标边界框，使用交叉熵损失函数预测类别；
通过非极大值抑制算法去除冗余的预测边界框；
输出工件表面缺陷的位置信息以及类别。


2.根据权利要求1所述的基于深度学习的工件表面缺陷检测方法，其特征在于，采集不同背景及光照条件下的工件图像具体为：
利用CCD相机拍摄在不同背景及光照条件下的工件图像，包括单一背景、复杂背景、阴暗、光亮、柔光、遮挡和重叠的复杂环境。


3.根据权利要求1所述的基于深度学习的工件表面缺陷检测方法，其特征在于，对采集的工件图像进行预处理具体为：
首先，对获得的工件图像进行数据增强，数据增强包括光学变换和几何变换；其中，光学变换包括亮度随机调整、对比度随机调整、通道随机调整，几何变换包括旋转、拉伸、平移、水平翻转、垂直翻转、随机裁剪图片、随机缩放；
然后，对扩充后的图像数据集用标注工具生成对应的标注信息；标注信息包括样本中工件表面缺陷的位置信息以及类别，类别为正常、刮痕、凸粉、碰凹、裂纹；
最后，将数据集分为训练集与测试集；其中，训练集为总样本量的70％，测试集为30％。


4.根据权利要求1所述的基于深度学习的工件表面缺陷检测方法，其特征在于，构建深度卷积神经网络模型获得6个不同层的特征图具体为：
构建深度卷积神经网络，包括构建基础网络结构和深度卷积层，提取图像的高语义特征；并且在深度卷积神经网络模块中，每个卷积层均通过ReLu函数和归一化BatchNormalization操作；
(1)基础网络结构：采用VGG16作为基础特征提取模块；首先，经过VGG16的前13个卷积层，并加以修改，使用denseconv+strideconv代替VGG16网络结构中的denseconv+maxpooling，其中denseconv的卷积核大小为3×3，步长为1；strideconv的卷积核大小为3×3，...

【专利技术属性】
技术研发人员：雷渠江，李秀昊，徐杰，桂广超，梁波，刘纪，刘俊豪，潘艺芃，王卫军，韩彰秀，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：广东;44