产品表面裂缝快速检测方法及检测系统技术方案

本发明专利技术提出了一种产品表面裂缝快速检测方法，包括：步骤S1、对采集到的高分辨率图像进行分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集；步骤S2、采用具有良好特征提取效果的Mask R‑CNN网络进行计算处理；构建产品表面裂缝数据集，再构建数据集训练Mask R‑CNN模型，使该模型能识别产品表面裂缝；步骤S4、使用阈值化算法求解出产品表面裂缝图像全局分割阈值，准确地提取出裂缝面元中的裂缝特征；以及步骤S5、对裂缝中的像素点进行排列，分为左上角和右下角坐标并标记出两个坐标点确定的矩形区域作为包围盒，标记产品表面裂缝位置。本发明专利技术还提供了一种产品表面裂缝快速检测系统。

【技术实现步骤摘要】
产品表面裂缝快速检测方法及检测系统
本专利技术涉及检测方法及系统，特别涉及一种融合图像处理和深度卷积神经网络的产品表面裂缝快速检测方法及检测系统。
技术介绍
表面裂缝是影响产品外观、性能的重要缺陷，是产品质量检测的重要内容。采用合理的技术手段检测产品表面的裂缝缺陷，及早发现产品中存在的质量问题和安全隐患，是工业制造领域的热点问题。目前大部分产品的裂缝缺陷检测或是采用人工肉眼观察的方法，或是采用传统的数字图像处理技术实现，如根据图像像素灰度值信息采用阈值分割或边缘检测方法提取裂缝特征等方法，在产品裂缝检测中得到了较多使用。
技术实现思路
本专利技术提供了一种新的裂缝检测方法，采用数字图像处理算法提取检测区域，并基于深度学习技术强大的特征提取能力，对于处理产品表面裂缝图像的检测和分类任务具有独特优势。本专利技术所提供的一种产品表面裂缝快速检测方法，包括：步骤S1、对采集到的高分辨率图像进行分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集；步骤S2、采用具有良好特征提取效果的MaskR-CNN网络，其中所述MaskR-CNN网络包括共享卷积层Backbone、候选区生成网络RPN及NetworkHead，所述候选区生成网络RPN在共享卷积层输出的特征图上用3*3的卷积核进行卷积运算，每个卷积窗口有9个不同尺度的anchors，对于大小为m*n的特征图生成的anchor的数量为9*m*n，再把anchor输入到两个不同的分支，其中第一个分支是1*1的卷积层，用于识别anchor覆盖区域的类别是前景区还是背景区，第二个分支是1*1的卷积层，用于把覆盖在前景区的anchor的坐标进行修正，其中，该网络的损失函数采用以下公式：其中，K为常数，h、w分别为图像的高度和宽度，b为训练批大小，当Y(i，j)＝d时，1{Y(i，j)＝d}为1，否则为0；步骤S3、构建产品表面裂缝数据集，再构建数据集训练MaskR-CNN模型，使该模型能识别产品表面裂缝，其中网络的识别精度评价函数如下：其中，TP为truepositive，FP为falsepositive；步骤S4、使用阈值化算法求解出产品表面裂缝图像全局分割阈值，准确地提取出裂缝面元中的裂缝特征，所有基于裂缝面元提取出的裂缝特征最终组成整幅图像的裂缝图像：ω0(μ0-μt)2+ω1(μ1-μt)2＝ω0(t)ω1(t)(μ0(t)-μt(t))2，其中，ω0(t)和ω1(t)分别表示物体属于前景和背景区域的概率，μ为对应的数学期望；以及步骤S5、对裂缝中的像素点进行排列，分为左上角和右下角坐标并标记出两个坐标点确定的矩形区域作为包围盒，标记产品表面裂缝位置。其中，所述共享卷积层Backbone用于提取特征；所述候选区生成网络RPN用于从特征图中选出需要被识别的候选区；所述NetworkHead用于识别出候选区的包围盒坐标和对象掩模mask。本专利技术还提供了一种产品表面裂缝快速检测系统，包括原始图像处理单元、MaskR-CNN网络单元、产品表面裂缝识别单元、裂缝特征提取单元及裂缝位置标记单元；所述原始图像处理单元用于对采集到的高分辨率图像进行简单分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集；所述MaskR-CNN网络单元包含共享卷积层Backbone、候选区生成网络RPN及NetworkHead，其中，所述候选区生成网络RPN用于在共享卷积层输出的特征图上用3*3的卷积核进行卷积运算，每个卷积窗口有9个不同尺度的anchors，对于大小为m*n的特征图生成的anchor的数量为9*m*n，再把anchor输入到两个不同的分支，其中第一个分支是1*1的卷积层，用于识别anchor覆盖区域的类别是前景区还是背景区，第二个分支是1*1的卷积层，用于把覆盖在前景区的anchor的坐标进行修正；其中，该网络的损失函数采用以下公式：其中，K为常数，h、w分别为图像的高度和宽度，b为训练批大小，当Y(i，j)＝d时，1{Y(i，j)＝d}为1，否则为0；所述产品表面裂缝识别单元用于识别产品表面裂缝；所述裂缝特征提取单元用于使用阈值化算法求解出产品表面裂缝图像全局分割阈值，准确地提取出裂缝面元中的裂缝特征；所述裂缝位置标记单元用于对裂缝中的像素点进行排列，分为左上角和右下角坐标并标记出两个坐标点确定的矩形区域作为包围盒，标记产品表面裂缝位置。其中，所述共享卷积层Backbone用于提取特征；所述候选区生成网络RPN用于从特征图中选出需要被识别的候选区；所述NetworkHead用于识别出候选区的包围盒坐标和对象掩模mask。其中，所述产品表面裂缝识别单元用于首先构建产品表面裂缝数据集，再构建数据集训练MaskR-CNN模型，使该模型能识别产品表面裂缝，其中网络的识别精度评价函数如下：其中，TP为truepositive，FP为falsepositive。其中，所述裂缝特征提取单元提取裂缝面元中的裂缝特征时，所有基于裂缝面元提取出的裂缝特征最终组成整幅图像的裂缝图像：ω0(μ0-μt)2+ω1(μ1-μt)2＝ω0(t)ω1(t)(μ0(t)-μt(t))2，ω0(t)和ω1(t)分别表示物体属于前景和背景区域的概率，μ为对应的数学期望。本专利技术所述的一种产品表面裂缝快速检测方法及系统进行挑选后，经过图像处理算法(如水平翻转、垂直翻转、线性变化及空间滤波等)进行扩充，同时将其划分为含有障碍物(如污渍等)的图像、简单背景图像等几类，并使用上述算法进行数据集扩增。、使用基于语义分割的产品表面裂缝图像分割模型对高分辨率图像进行特征提取，使得该产品表面裂缝检测方法能够保持较高的识别成功率。附图说明图1为本专利技术产品表面裂缝快速检测方法的较佳实施方式的流程图。图2为步骤S2中所述的MaskR-CNN网络结构图。图3为步骤S5的示意图。图4为本专利技术产品表面裂缝快速检测系统的较佳实施方式的方框图。具体实施方式下面结合附图对本专利技术作进一步说明，但不以任何方式对本专利技术加以限制，基于本专利技术教导所作的任何变换，均落入本专利技术保护范围。请参考图1所示，本专利技术所述的一种产品表面裂缝快速检测方法的较佳实施方式的流程图。所述产品表面裂缝快速检测方法的较佳实施方式包括以下步骤：步骤S1、对采集到的高分辨率图像进行简单分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集。步骤S2、采用具有良好特征提取效果的MaskR-CNN网络，该网络包含3个部分：第一个部分是共享卷积层Backbone用于提取特征；第二个部分候选区生成网络RPN(Regionproposalnetwork)用于从特征图中选出需要被识别的候选区；第三个部分是NetworkHead，用于识别出候选区的包围盒坐标和对象掩模mask。其中网络结构图如图2所示。其中，RPN在共享卷积层输出的特征图上用3*3的卷积核进行本文档来自技高网...

【技术保护点】
1.一种产品表面裂缝快速检测方法，其特征在于：所述产品表面裂缝快速检测方法包括：/n步骤S1、对采集到的原始图像进行分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集；/n步骤S2、采用Mask R-CNN网络，其中所述Mask R-CNN网络包括共享卷积层Backbone、候选区生成网络RPN及Network Head，所述候选区生成网络RPN在共享卷积层输出的特征图上用3*3的卷积核进行卷积运算，每个卷积窗口有9个不同尺度的anchors，对于大小为m*n的特征图生成的anchor的数量为9*m*n，再把anchor输入到两个不同的分支，其中第一个分支是1*1的卷积层，用于识别anchor覆盖区域的类别是前景区还是背景区，第二个分支是1*1的卷积层，用于把覆盖在前景区的anchor的坐标进行修正，其中，该网络的损失函数采用以下公式：

【技术特征摘要】
1.一种产品表面裂缝快速检测方法，其特征在于：所述产品表面裂缝快速检测方法包括：
步骤S1、对采集到的原始图像进行分类，并对所采集到的原始图像进行裁剪处理后使用改进滑动窗口进行人工扩增数据集；
步骤S2、采用MaskR-CNN网络，其中所述MaskR-CNN网络包括共享卷积层Backbone、候选区生成网络RPN及NetworkHead，所述候选区生成网络RPN在共享卷积层输出的特征图上用3*3的卷积核进行卷积运算，每个卷积窗口有9个不同尺度的anchors，对于大小为m*n的特征图生成的anchor的数量为9*m*n，再把anchor输入到两个不同的分支，其中第一个分支是1*1的卷积层，用于识别anchor覆盖区域的类别是前景区还是背景区，第二个分支是1*1的卷积层，用于把覆盖在前景区的anchor的坐标进行修正，其中，该网络的损失函数采用以下公式：其中，K为常数，h、w分别为图像的高度和宽度，b为训练批大小，e为常数，Z为神经元函数，当Y(i，j)＝d时，1{Y(i，j)＝d}为1，否则为0；
步骤S3、构建产品表面裂缝数据集，再构建数据集训练MaskR-CNN模型，使该模型能识别产品表面裂缝，其中网络的识别精度评价函数如下：其中，TP为truepositive，FP为falsepositive，Nclasses、Nc为图像数量：
步骤S4、使用阈值化算法求解出产品表面裂缝图像全局分割阈值，准确地提取出裂缝面元中的裂缝特征，所有基于裂缝面元提取出的裂缝特征最终组成整幅图像的裂缝图像：ω0(μ0-μt)2+ω1(μ1-μt)2＝ω0(t)ω1(f)(μ0(t)-μt(t))2，其中，ω0(t)和ω1(t)分别表示物体属于前景和背景区域的概率，μ为对应的数学期望；以及
步骤S5、对裂缝中的像素点进行排列，分为左上角和右下角坐标并标记出两个坐标点确定的矩形区域作为包围盒，标记产品表面裂缝位置。


2.如权利要求1所述的产品表面裂缝快速检测方法，其特征在于：所述卷积层Backbone用于提取特征；所述候选区生成网络RPN用于从特征图中选出需要被识别的候选区；所述NetworkHead用于识别出候选区的包围盒坐标和对象掩模mask。


3.一种产品表面裂缝快速检测系统，其特征在于：所述产品表面裂缝快速检测系统包括原始图像处理单元、MaskR-CNN网络单元、产品表面裂缝...

【专利技术属性】
技术研发人员：皮历，魏祯奇，王潇，谢旭，周林，李胜豪，陈冬，
申请(专利权)人：重庆见芒信息技术咨询服务有限公司，
类型：发明
国别省市：重庆;50