一种基于数字孪生体的工件缺陷样本扩增方法及存储介质技术

本发明专利技术公开了一种基于数字孪生体的工件缺陷样本扩增方法，所述基于数字孪生体的工件缺陷样本扩增方法包括：采集产品数据并制作工件数字孪生体，所述产品数字孪生体包括建模

【技术实现步骤摘要】
一种基于数字孪生体的工件缺陷样本扩增方法及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种基于数字孪生体的工件缺陷样本扩增方法及存储介质
。

技术介绍

[0002]工业产品缺陷检测方法中，基于深度学习的缺陷视觉检测方法由于效果好，适用性强，应用日益广泛，然而很多企业由于过去依赖人工质检，缺乏数据积累，在新技术应用时面临检测样本数据不足的问题
。
本文提出一种基于数字孪生体的缺陷样本扩增方法，解决工业上视觉检测算法由于训练样本不足，导致缺陷检测效果欠佳的问题
。
[0003]针对缺陷样本不足的问题，通常采取以下两种解决方案
[0004]1.
对现有缺陷采用图像变换的方式扩增，常用的有基于几何变换的扩增方法，对缺陷图像进行翻转，缩放，裁剪，平移，仿射变换等，主要可以减少位置差异，尺度差异，视角差异等带来的影响；基于像素点操作的扩增，对缺陷图像进行噪声加入，模糊，锐化等图像预处理方法，减少成像异常等特殊情况带来的影响
。
[0005]2.
利用无监督的深度学习方法进行数据扩充，其一般做法是使用图像生成模型生成虚拟数据样本对原始数据样本进行扩充
。
如使用现有缺陷对
GAN
网络进行训练，训练完成后输入随机噪声，即可生成全新的缺陷样本
。
[0006]上述方法在缺陷样本扩增方面取得一定效果，但都存在一定不足
[0007]1.
基于图像变换的扩增方式只能让检测算法更好的识别已有缺陷的不同状态，对未有缺陷的识别能力提升很小
。
而实际缺陷多种多样，在样本不足的情况下，此种方法对检测算法性能提升不算大
。
[0008]2.
基于生成网络的扩增方式能提升检测网络对未知缺陷的识别能力，但生成网络由于其网络构成的特殊性，其训练往往需要大量的数据支撑，虽然现在已有很多的改进方法降低生成网络的训练要求，但在工业产品缺陷种类多，单种缺陷图片数量少的特殊情况下，还是难以取得较好效果
。

技术实现思路

[0009]为了解决上述技术问题，本专利技术第一方面公开了一种基于数字孪生体的工件缺陷样本扩增方法，所述方法包括：
[0010]所述基于数字孪生体的工件缺陷样本扩增方法包括：
[0011]制作工件数字孪生体，所述产品数字孪生体包括建模
、
材质以及纹理；
[0012]通过
CA
注意力机制改进
ConSinGAN
网络，使用所述
ConSinGAN
网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；
[0013]通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；
[0014]通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪
生体进行模拟，以获取虚拟缺陷样本
。
[0015]其中一实施方式中，所述采集产品数据并制作工件数字孪生体中，还包括：
[0016]测量实际工件产品数据，使用三维建模软件构建工件的三维模型；
[0017]制作与所述工件相同的贴图材质
。
[0018]其中一实施方式中，在通过
CA
注意力机制改进所述
ConSinGAN
网络时，还使用
SmoothL1
损失以及多尺度结构相似度损失
L
MS
‑
SSIM
对损失函数进行改进，以获得模型损失函数：
L
total
＝
L
adv
+
λ1L
rec
+
λ2L
MS
‑
SSIM
，其中
L
adv
是对抗损失，
L
rec
是重构损失，
L
MS
‑
SSIM
是多尺度结构相似度损失，
λ1和
λ2是平衡后两个损失函数的超参数
。
[0019]其中一实施方式中，所述
SmoothL1
损失的函数公式如下：
[0020][0021]其中，
y
表示真实的图像，表示生成的图像，
n
表示图像中像素的数量
。z
i
是一个平滑函数，用于计算每个像素点的损失值
。
当小于1时，使用平方误差作为损失函数
。
当大于等于1时，使用绝对误差作为损失函数
。
[0022]其中一实施方式中，所述多尺度结构相似度损失
L
MS
‑
SSIM
的函数公式如下：
[0023]L
MS
‑
SSIM
＝1‑
MS
‑
SSIM(G
，
F)
[0024][0025]其中，
G
，
F
分别表示生成器产生的图片和同尺寸缩小的原图，
M
：表示不同尺度，
μ
G
，
μ
F
：分别表示为
G
，
F
的平均值，
σ
2G
，
σ
2F
为
G
，
F
的方差，
σ
GF
是协方差，
c1＝
(k1L)2，
c1＝
(k2L)2是维持稳定的常数，
L
是图像的动态范围，
k1＝
0.01
，
k2＝
0.03
，
β
m
,
γ
m
表示两项之间的相对重要性
。
[0026]其中一实施方式中，在通过图像融合将扩增缺陷样本贴合至工件数字孪生体，所述图像融合为泊松融合算法，包括以下步骤：
[0027]根据实际缺陷位置计算其所在工业缺陷图片上的
UV
位置，将
UV
位置转换为像素坐标作为扩增缺陷样本融合中心位置；
[0028]对扩增缺陷样本进行图形变换得到最终缺陷样式，所述图形变换包括缩放
、
旋转；
[0029]使用泊松融合算法将扩增缺陷样本与工件图片进行融合，得到带缺陷的工件数字孪生体
。
[0030]其中一实施方式中，通过引擎搭建工件缺陷成像仿真环境时，所述配置成像参数包括设置光源参数
、
设置相机和镜头参数
、
设置产线
、
设置工件和材质
、
选择生成缺陷
。
[0031]其中一实施方式中，所述<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述基于数字孪生体的工件缺陷样本扩增方法包括：制作工件数字孪生体，所述产品数字孪生体包括建模
、
材质以及纹理；通过
CA
注意力机制改进
ConSinGAN
网络，使用所述
ConSinGAN
网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本
。2.
根据权利要求1所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述采集产品数据并制作工件数字孪生体中，还包括：测量实际工件产品数据，使用三维建模软件构建工件的三维模型；制作与所述工件相同的贴图材质
。3.
根据权利要求1所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，在通过
CA
注意力机制改进所述
ConSinGAN
网络时，还使用
SmoothL1
损失以及多尺度结构相似度损失
L
MS
‑
SSIM
对损失函数进行改进，以获得模型损失函数：
L
total
＝
L
adv
+
λ1L
rec
+
λ2L
MS
‑
SSIM
，其中
L
adv
是对抗损失，
L
rec
是重构损失，
L
MS
‑
SSIM
是多尺度结构相似度损失，
λ1和
λ2是平衡后两个损失函数的超参数
。4.
根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述
SmoothL1
损失的函数公式如下：损失的函数公式如下：
5.
根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述多尺度结构相似度损失
L
MS
‑
SSIM
的函数公式如下：
L
MS
‑
SSIM
＝1‑
MS
‑
SSIM(G
，
F)
...

【专利技术属性】
技术研发人员：李晋芳，肖立宝，郑泽胜，李博，何明桐，
申请(专利权)人：广州易道智慧信息科技有限公司，
类型：发明
国别省市：