一种基于深度神经网络的机械表面缺陷分割提取方法技术

本发明专利技术涉及机械表面缺陷提取的技术领域，公开了一种基于深度神经网络的机械表面缺陷分割提取方法，所述方法包括：将待检测机械的表面区域图像输入到机械表面缺陷识别模型中，将识别到缺陷的原始表面区域图像标记为待检测机械表面缺陷图像；构建不同类型机械的表面缺陷图像集合，利用特征提取网络对表面缺陷图像集合中的表面缺陷图像以及待检测机械表面缺陷图像进行特征提取，得到两者的缺陷相似度矩阵；对缺陷相似度矩阵进行扩散，遍历缺陷相似度扩散矩阵，检测缺陷提取结果。本发明专利技术通过融合不同类型特征有效提高融合特征对高层语义的表达能力，并对缺陷相似度矩阵进行扩散，实现图像之间数据流形结构相似度的度量，进而标记缺陷提取结果。标记缺陷提取结果。标记缺陷提取结果。

【技术实现步骤摘要】
一种基于深度神经网络的机械表面缺陷分割提取方法


[0001]本专利技术涉及机械表面缺陷分割的
，尤其涉及一种基于深度神经网络的机械表面缺陷分割提取方法。

技术介绍

[0002]工业金属机械零件表面缺陷检测是工件生产过程中的重要环节。在实际生产各种类型工件的过程中，主要是通过人工筛选的方式对工件表面的缺陷进行检测，但这种方式存在检测结果不准确以及检测效率偏低等问题。因此，为了保证工件产品表面质量，需要全面提升检测结果的准确性和检测速率。近几年，随着计算机技术的迅猛发展，基于深度学习的智能检测技术代替人工检测技术，在降低运营成本的过程中全面提升金属机械零件的质量，但是该种方法在进行缺陷检测过程中无法自动识别机械原结构与后期缺陷结构，导致存在较高的虚警率。针对该问题，本专利技术提出一种基于深度神经网络的机械表面缺陷分割提取算法，自动化区分机械表面原有缺陷设计与后期缺陷，提高机械表面缺陷识别精度。

技术实现思路

[0003]有鉴于此，本专利技术提供一种基于深度神经网络的机械表面缺陷分割提取算法，目的在于：1)采用自适应变化的滤波窗口对所采集待检测机械的表面区域图像进行滤波处理，实现针对性的选用不同规格的滤波窗口去除不同类型的图像噪声，并采用多类型特征向量融合的方式得到缺陷特征向量，通过融合颜色特征、纹理特征以及细节特征，从图像的全局和局部角度，通过融合低层和中层的特征来有效增强特征对高层语义的表达能力，得到更能表征机械缺陷高层语义信息的融合特征向量，有效识别机械表面后期缺陷；2)根据待检测机械表面缺陷图像的缺陷检测特征向量与同类型机械的缺陷特征向量的相似度，得到待检测机械的缺陷相似度矩阵，并对缺陷相似度矩阵进行扩散，实现图像之间数据流形结构相似度的度量，扩散过程即为根据图像上下文关系对不同图像之间的相似度权重进行迭代，遍历缺陷相似度扩散矩阵，计算缺陷相似度扩散矩阵中每一行的最大值，若存在最大值大于预设置的阈值，则将该行所对应的待检测机械表面缺陷图像标记为缺陷提取结果，实现机械表面的缺陷分割提取。
[0004]实现上述目的，本专利技术提供的一种基于深度神经网络的机械表面缺陷分割提取算法，包括以下步骤：
[0005]S1：采集待检测机械不同区域的表面区域图像，并对所采集表面区域图像进行预处理，得到预处理后的表面区域图像；
[0006]S2：构建机械表面缺陷识别模型，将预处理后的表面区域图像输入到机械表面缺陷识别模型中，并将识别到缺陷的原始表面区域图像标记为待检测机械表面缺陷图像，得到待检测机械表面缺陷图像集合；
[0007]S3：构建不同类型机械的表面缺陷图像集合，并利用特征提取网络对表面缺陷图像集合中的表面缺陷图像进行特征提取，得到不同类型机械的缺陷特征向量集合；
[0008]S4：利用特征提取网络提取待检测机械表面缺陷图像的缺陷检测特征向量，并计算缺陷检测特征向量与同类型机械的缺陷特征向量的相似度，得到待检测机械的缺陷相似度矩阵；
[0009]S5：对缺陷相似度矩阵进行扩散，得到缺陷相似度扩散矩阵，并遍历缺陷相似度扩散矩阵，计算缺陷相似度扩散矩阵中每一行的最大值，若存在最大值大于预设置的阈值，则将该行所对应的待检测机械表面缺陷图像标记为缺陷提取结果。
[0010]作为本专利技术的进一步改进算法：
[0011]可选地，所述S1步骤中采集待检测机械不同区域的表面区域图像，并对所采集表面区域图像进行预处理，包括：
[0012]利用摄像设备采集待检测机械不同区域的表面区域图像，相邻表面区域图像具有10％以内的图像重叠度，所采集表面区域图像为：
[0013]{I
i
|i∈[1,n]}
[0014]其中：
[0015]I
i
表示所采集的第i张表面区域图像，n表示所采集的表面区域图像总数；
[0016]对所采集表面区域图像进行预处理，得到预处理后的表面区域图像，其中表面区域图像I
i
的预处理流程为：
[0017]S11：对表面区域图像I
i
进行灰度化处理，其中灰度化处理公式为：
[0018][0019]其中：
[0020]R
i
(x,y),G
i
(x,y),B
i
(x,y)分别为图像I
i
中像素I
i
(x,y)在R,G,B颜色通道的颜色值，像素I
i
(x,y)表示图像I
i
中第x行第y列的像素，g
i
(x,y)表示像素I
i
(x,y)的灰度值；
[0021]S12：设定滤波窗口，其中滤波窗口的初始规格为3
×
3矩阵，最大规格为7
×
7矩阵；
[0022]S13：将滤波窗口在灰度化处理后的表面区域图像中移动，每次移动范围为3个像素；
[0023]S14：对滤波窗口内全部像素点按灰度值大小排序，记录滤波窗口内像素点的最大灰度值、灰度值中位数以及最小灰度值；
[0024]S15：若最大灰度值>灰度值中位数>最小灰度值，则更新滤波窗口内中心像素点的灰度值为滤波窗口内像素点的灰度值中位数，并移动滤波窗口；否则判断当前滤波窗口规格是否达到最大规格，若达到最大规格，则不更新滤波窗口内中心像素点的灰度值，直接对滤波窗口进行移动，若未达到最大规格，令滤波窗口的行和列均加2，扩大滤波窗口规格，并返回步骤S14；
[0025]S16：重复步骤S13
‑
S15，直到对灰度化处理后的表面区域图像完成滤波处理；
[0026]S17：遍历滤波处理后的表面区域图像，将表面区域图像像素的最大灰度值与最小灰度值的均值作为二值化阈值；
[0027]S18：基于二值化阈值将表面区域图像分割为前景和背景，并分别计算前景和背景部分的平均灰度值，其中大于二值化阈值的像素为背景像素，小于等于二值化阈值的像素为前景像素，前景像素构成前景，背景像素构成背景；
[0028]S19：若前景和背景部分的平均灰度值等于二值化阈值，则终止迭代，并利用二值
化阈值将滤波处理后表面区域图像分割为前景和背景，得到预处理后的表面区域图像I
i
′
，否则将前景和背景部分的平均灰度值作为迭代后的二值化阈值，返回步骤S18。
[0029]可选地，所述S2步骤中构建机械表面缺陷识别模型，包括：
[0030]构建机械表面缺陷识别模型，其中所构建机械表面缺陷识别模型包含输入层、识别层以及输出层，输入层用于接收预处理后的表面区域图像，识别层结构为多个残差单元，用于对预处理后的表面区域图像进行残差卷积处理，得到对应的特征图，输出层结构为全连接层，用于接收特征图并输出特征图的缺陷识别结果{0,1}，其中0表示预处理后的表面区域图像不存在缺陷，1表示预处理后的表面区域图像存在缺陷。
[0031]在本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的机械表面缺陷分割提取方法，其特征在于，所述算法包括：S1：采集待检测机械不同区域的表面区域图像，并对所采集表面区域图像进行预处理，得到预处理后的表面区域图像；S2：构建机械表面缺陷识别模型，将预处理后的表面区域图像输入到机械表面缺陷识别模型中，并将识别到缺陷的原始表面区域图像标记为待检测机械表面缺陷图像，得到待检测机械表面缺陷图像集合；S3：构建不同类型机械的表面缺陷图像集合，并利用特征提取网络对表面缺陷图像集合中的表面缺陷图像进行特征提取，得到不同类型机械的缺陷特征向量集合；S4：利用特征提取网络提取待检测机械表面缺陷图像的缺陷检测特征向量，并计算缺陷检测特征向量与同类型机械的缺陷特征向量的相似度，得到待检测机械的缺陷相似度矩阵；S5：对缺陷相似度矩阵进行扩散，得到缺陷相似度扩散矩阵，并遍历缺陷相似度扩散矩阵，计算缺陷相似度扩散矩阵中每一行的最大值，若存在最大值大于预设置的阈值，则将该行所对应的待检测机械表面缺陷图像标记为缺陷提取结果。2.如权利要求1所述的一种基于深度神经网络的机械表面缺陷分割提取方法，其特征在于，所述S1步骤中采集待检测机械不同区域的表面区域图像，并对所采集表面区域图像进行预处理，包括：利用摄像设备采集待检测机械不同区域的表面区域图像，相邻表面区域图像具有10％以内的图像重叠度，所采集表面区域图像为：{I
i
|i∈[1,n]}其中：I
i
表示所采集的第i张表面区域图像，n表示所采集的表面区域图像总数；对所采集表面区域图像进行预处理，得到预处理后的表面区域图像，其中表面区域图像I
i
的预处理流程为：S11：对表面区域图像I
i
进行灰度化处理，其中灰度化处理公式为：其中：R
i
(x,y),G
i
(x,y),B
i
(x,y)分别为图像I
i
中像素I
i
(x,y)在R,G,B颜色通道的颜色值，像素I
i
(x,y)表示图像I
i
中第x行第y列的像素，g
i
(x,y)表示像素I
i
(x,y)的灰度值；S12：设定滤波窗口，其中滤波窗口的初始规格为3
×
3矩阵，最大规格为7
×
7矩阵；S13：将滤波窗口在灰度化处理后的表面区域图像中移动，每次移动范围为3个像素；S14：对滤波窗口内全部像素点按灰度值大小排序，记录滤波窗口内像素点的最大灰度值、灰度值中位数以及最小灰度值；S15：若最大灰度值>灰度值中位数>最小灰度值，则更新滤波窗口内中心像素点的灰度值为滤波窗口内像素点的灰度值中位数，并移动滤波窗口；否则判断当前滤波窗口规格是否达到最大规格，若达到最大规格，则不更新滤波窗口内中心像素点的灰度值，直接对滤波窗口进行移动，若未达到最大规格，令滤波窗口的行和列均加2，扩大滤波窗口规格，并返回步骤S14；
S16：重复步骤S13
‑
S15，直到对灰度化处理后的表面区域图像完成滤波处理；S17：遍历滤波处理后的表面区域图像，将表面区域图像像素的最大灰度值与最小灰度值的均值作为二值化阈值；S18：基于二值化阈值将表面区域图像分割为前景和背景，并分别计算前景和背景部分的平均灰度值，其中大于二值化阈值的像素为背景像素，小于等于二值化阈值的像素为前景像素，前景像素构成前景，背景像素构成背景；S19：若前景和背景部分的平均灰度值等于二值化阈值，则终止迭代，并利用二值化阈值将滤波处理后表面区域图像分割为前景和背景，得到预处理后的表面区域图像I
i
′
，否则将前景和背景部分的平均灰度值作为迭代后的二值化阈值，返回步骤S18。3.如权利要求1所述的一种基于深度神经网络的机械表面缺陷分割提取方法，其特征在于，所述S2步骤中构建机械表面缺陷识别模型，包括：构建机械表面缺陷识别模型，其中所构建机械表面缺陷识别模型包含输入层、识别层以及输出层，输入层用于接收预处理后的表面区域图像，识别层结构为多个残差单元，用于对预处理后的表面区域图像进行残差卷积处理，得到对应的特征图，输出层结构为全连接层，用于接收特征图并输出特征图的缺陷识别结果{0,1}，其中0表示预处理后的表面区域图像不存在缺陷，1表示预处理后的表面区域图像存在缺陷。4.如权利要求3所述的一种基于深度神经网络的机械表面缺陷分割提取方法，其特征在于，所述S2步骤中将预处理后的表面区域图像输入到机械表面缺陷识别模型中，并将识别到缺陷的对应原始表面区域图像标记为待检测机械表面缺陷图像，包括：将预处理后的表面区域图像输入到机械表面缺陷识别模型中，机械表面缺陷识别模型输出图像的缺陷识别结果，并将识别到缺陷的对应原始表面区域图像标记为待检测机械表面缺陷图像，其中原始表面区域图像表示未经过预处理的表面区域图像，若识别得到预处理后表面区域图像存在缺陷，则将预处理后表面区域图像所对应的原始表面区域图像标记为待检测机械表面缺陷图像，得到待检测机械表面缺陷图像集合：{h
j
|j∈[1,m]}其中：h
j
表示待检测机械的第j张待检测机械表面缺陷图像，m表示待检测机械的待检测机械表面缺陷图像总数；基于机械表面缺陷识别模型对预处理后表面区域图像I
i
′
进行缺陷识别的流程为：S21：输入层接收预处理后表面区域图像I
i
′
，并将预处理后表面区域图像I
i
′
输入到识别层；S22：识别层基于L个级联的残差单元对预处理后表面区域图像I
i
′
进行残差卷积处理，得到对应的特征图，其中第z个残差单元输出结果q
z
的计算公式为：q
z
＝W1(q
z
‑1)+ReLU[W3(q
z
‑1)]其中：q
z
‑1表示第z
‑
1个残差单元的输出结果，q0表示预处理后表面区域图像I
i
′
；W1(
·
)表示利用1
×
1像素大小的卷积核对输入值进行卷积处理，W3(
·
)表示利用3
×
3像素大小的卷积核对输入值进行卷积处理；ReLU(
·
)表示激活函数；
将第L个残差单元的输出结果作为特征图q
L
，并将特征图输入到输出层中；S23：输出层利用全连接矩阵对特征图进行处理，得到预处理后表面区域图像I
i
′
存在缺陷的概率p(I
i
′
)：p(I
i
′
)＝W
T
q
L
其中：W表示全连接矩阵，T表示转置；若概率p(I
i
′
)大于预设置的阈...

【专利技术属性】
技术研发人员：王振宇，马季，沈绍佐，唐吉，
申请(专利权)人：无锡宇辉信息技术有限公司，
类型：发明
国别省市：