基于深度残差网络与多通道图像融合的表面缺陷分类方法技术

本发明专利技术涉及工业产品表面缺陷检测识别技术领域，具体地说，涉及一种基于深度残差网络与多通道图像融合的表面缺陷分类方法。其包括如下步骤：步骤S1、构建深度残差网络；步骤S2、对深度残差网络进行训练；步骤S3、构建待分类产品的多通道图像序列；步骤S4、采用预处理模块对多通道图像序列进行自归一化；步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。本发明专利技术能够较佳地适用于对不同产品和表面缺陷检测的快速移植。表面缺陷检测的快速移植。表面缺陷检测的快速移植。

【技术实现步骤摘要】
基于深度残差网络与多通道图像融合的表面缺陷分类方法


[0001]本专利技术涉及工业产品表面缺陷检测识别
，具体地说，涉及一种基于深度残差网络与多通道图像融合的表面缺陷分类方法。

技术介绍

[0002]工业产品的生产过程中，如点胶、封装、表面处理等工艺造成的微小缺陷不仅严重影响产品的表观质量，甚至会破坏其功能特性，故产品部件表面质量好坏是判定能否满足质量要求的重要依据之一。传统工业产线对产品部件表面缺陷的识别与监测主要通过人工抽检方式完成，人工检测方法耗费大量人力，存在效率低、精度低且识别不稳定等问题，无法满足高效、可靠且高精度实时检测需求。
[0003]随着基于人工特征的机器视觉检测技术在工业生产上的广泛应用，一定程度上实现了缺陷自动检测，降低了次品率，但该类方法仍存在以下不足：
[0004]1、利用人工特征的方法严重依赖专业人员对采集图像中的缺陷区域进行特征提取和分析，提取过程复杂且无法包含所有特征；在不确定或者较多变化检测环境下，依赖人工特征的视觉算法准确度变差；
[0005]2、不同产品和缺陷的特征差异大，单一方法的泛化能力差；当被检测对象发生变化后，算法和参数需要重新设计和开发，难以应对快速的产线升级和产品迭代。

技术实现思路

[0006]本专利技术提供了一种基于深度残差网络与多通道图像融合的表面缺陷分类方法，其能够克服现有技术的某种或某些缺陷。
[0007]根据本专利技术的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其包括如下步骤：
[0008]步骤S1、构建深度残差网络；
[0009]步骤S2、对深度残差网络进行训练；
[0010]步骤S3、构建待分类产品的多通道图像序列；
[0011]步骤S4、采用预处理模块对多通道图像序列进行自归一化；
[0012]步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。
[0013]通过上述步骤S1
‑
S5，能够较佳地用于工业产品的表面缺陷的快速识别分类，由于采用非人工特征的方法进行建模，故而能够较佳地保证对检测环境的适应性；由于以多通道图像序列作为输入，故能够较佳地适用于对不同产品和表面缺陷检测的快速移植。
[0014]作为优选，步骤S1中，所建立的深度残差网络为ResNet
‑
18的网络模型；
[0015]深度残差网络包括依次连接的首层卷积层、第一残差区块、第二残差区块、第三残差区块、第四残差区块和全连接层；
[0016]首层卷积层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活
函数为LeakyRelu函数；
[0017]第一残差区块具有2个卷积层，每个卷积层的卷积核数为64、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；
[0018]第二残差区块具有2个卷积层，每个卷积层的卷积核数为128、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；
[0019]第三残差区块具有2个卷积层，每个卷积层的卷积核数为256、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；
[0020]第四残差区块具有2个卷积层，每个卷积层的卷积核数为512、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；
[0021]全连接层具有720个卷积核。
[0022]本专利技术中，由于Resnet
‑
18网络模型的运用，使得能够搭建更深的网络层数，从而使得深度残差网络的稳定及性能能够更加优越。
[0023]作为优选，步骤S2包括如下步骤，
[0024]步骤S21、构建样本集；
[0025]步骤S22、将样本集分别为训练集和测试集；
[0026]步骤S23、采用训练集对深度残差网络进行训练，采用测试集对深度残差网络进行测试，直至深度残差网络收敛。
[0027]通过上述步骤S21
‑
S23，能够较佳地实现样本集的构建以及深度残差网络的训练。
[0028]作为优选，步骤S21包括如下步骤，
[0029]步骤S21a、保持拍摄角度不变，采集不同光照角度下的产品表面图像P，P＝{P
uv
|u∈N
+
，v∈N
+
}；P
uv
表示在第u个产品在第v种光照角度下的表面图像；
[0030]步骤S21b、对产品表面图像P进行切分，获取单颗产品在不同光照角度下的单颗产品表面图像I，I＝{I
uwv
|u∈N
+
，v∈N
+
，w∈N
+
}；I
uwv
表示第u个产品中的第w个单颗产品在第v种光照角度下的表面图像，进而构建单颗产品的多通道图像序列I
uw
，I
uw
＝{I
uwv
|v∈N
+
}；
[0031]步骤S21c、获取每个单颗产品的缺陷类型m
r
，之后构建初步样本集Q，Q＝{Q
uw
|u∈N
+
，w∈N
+
}；其中，Q
uw
＝(m
r
，I
uw
)，m
r
表示第r种缺陷类型，r∈N；且r＝0时，m0＝0，表示缺陷类型为无缺陷；
[0032]步骤S21d、采用预处理模块对初步初步样本集Q进行自归一化处理，获取样本集Q
*
。
[0033]通过上述步骤S21a
‑
S21d，能够较佳地实现最终样本集的构建。尤其是通过步骤S21d，能够较佳地实现对不同光照角度的图片的自归一化处理，由于不同角度下的表面图像是作为单独一个通道(维度)输入给深度残差网络进行处理，故通过自归一化，能够较佳地降低图像明暗差异对表面缺陷特征提取的影响。
[0034]作为优选，步骤S21d中，
[0035][0036][0037][0038][0039]其中，表示经自归一化处理后的表面图像I
uwv
的第i行、第j列的像素值，I
uwv
(i，j)表示表面图像I
uwv
的第i行、第j列的像素值，μ
v
表示表面图像I
uwv
的像素值的均值，σ
v
表示表面图像I
uwv
的像素值的标准差，k
v
表示表面图像I
uwv
的特征显著性系数。
[0040]通过上述，能够较佳地实现对原始表面图像的自归一化处理。
[0041]作为优选，其中，I
dv
表示表面图像I...

【技术保护点】

【技术特征摘要】
1.基于深度残差网络与多通道图像融合的表面缺陷分类方法，其包括如下步骤：步骤S1、构建深度残差网络；步骤S2、对深度残差网络进行训练；步骤S3、构建待分类产品的多通道图像序列；步骤S4、采用预处理模块对多通道图像序列进行自归一化；步骤S5、通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进行处理，获取表面缺陷类别。2.根据权利要求1所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S1中，所建立的深度残差网络为ResNet
‑
18的网络模型；深度残差网络包括依次连接的首层卷积层、第一残差区块、第二残差区块、第三残差区块、第四残差区块和全连接层；首层卷积层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活函数为LeakyRelu函数；第一残差区块具有2个卷积层，每个卷积层的卷积核数为64、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；第二残差区块具有2个卷积层，每个卷积层的卷积核数为128、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；第三残差区块具有2个卷积层，每个卷积层的卷积核数为256、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；第四残差区块具有2个卷积层，每个卷积层的卷积核数为512、卷积核宽为3、卷积核高为3、步长为2、填充为1，激活函数为LeakyRelu函数；全连接层具有720个卷积核。3.根据权利要求2所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S2包括如下步骤，步骤S21、构建样本集；步骤S22、将样本集分别为训练集和测试集；步骤S23、采用训练集对深度残差网络进行训练，采用测试集对深度残差网络进行测试，直至深度残差网络收敛。4.根据权利要求3所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法，其特征在于：步骤S21包括如下步骤，步骤S21a、保持拍摄角度不变，采集不同光照角度下的产品表面图像P，P＝{P
uv
|u∈N
+
，v∈N
+
}；P
uv
表示在第u个产品在第v种光照角度下的表面图像；步骤S21b、对产品表面图像P进行切分，获取单颗产品在不同光照角度下的单颗产品表面图像I，I＝{I
uwv
|u∈N
+
，v∈N
+
，w∈N
+
}；I
uwv
表示第u个产品中的第w...

【专利技术属性】
技术研发人员：王孟哲，梁正南，赖勉力，李恩全，
申请(专利权)人：宁波九纵智能科技有限公司，
类型：发明
国别省市：