工业检测中的缺陷样本合成方法技术

本发明专利技术涉及工业检测技术领域，提供一种工业检测中的缺陷样本合成方法

【技术实现步骤摘要】
工业检测中的缺陷样本合成方法、缺陷样本合成装置


[0001]本专利技术涉及工业检测
，具体涉及一种工业检测中的缺陷样本合成方法
、
缺陷样本合成装置
。

技术介绍

[0002]在工业质检领域中，常出现的场景是缺陷数据量少
、
不够丰富，这与模型训练所需的大数据量的要求相矛盾，因此需要对缺陷样本进行增广
。
[0003]在工业质检领域中，工业缺陷数据获取在项目不同阶段均面临挑战：一方面，缺陷数据在项目部署初期的往往收集量不足，造成初期对部分缺陷的识别精度达不到交付要求
。
另一方面，尽管在项目中后期模型对于已知缺陷种类有了较好的识别度，可限制于生产线的工艺问题，新形态的缺陷总是会产生，由于模型缺乏对这些新形态缺陷的训练，导致对其无法有效分类识别
。
因此需要对缺陷样本进行增广
。
[0004]相关技术中，一般采用自动化合成缺陷进行缺陷样本的增广，然而针对缺陷的合成是离散随机的，而工业缺陷数据往往是机器加工过程中产生的磕碰或者模具本身的缺陷，针对不同的缺陷类型缺陷会出现在一些特定的区域
。
目前自动化合成缺陷的方法，针对缺陷的合成是离散随机的，没有针对性也无法结合实际情况对缺陷样本进行更新，这样合成的数据进行模型训练反而会导致这类缺陷的训练效果下降
。

技术实现思路

[0005]为解决上述技术问题，本专利技术的第一个目的在于提出一种工业检测中的缺陷样本合成方法
。<br/>[0006]本专利技术的第二个目的在于提出一种工业检测中的缺陷样本合成装置
。
[0007]本专利技术采用的技术方案如下：
[0008]本专利技术第一方面的实施例提出了一种工业检测中的缺陷样本合成方法，包括以下步骤：获取训练数据集，采用所述训练数据集训练生成对抗网络，其中，所述训练数据集包括：颜色贴图
、
法线贴图
、
语义标签图；获取良品图像，将所述良品图像输入图像交互注释工具中，以使用户对所述良品图像进行语义标注，生成带语义标签的良品图像；将所述带语义标签的良品图像输入训练后的生成对抗网络，以使所述生成对抗网络输出颜色贴图和法线贴图；将所述带语义标签的良品图像
、
颜色贴图和法线贴图输入
PBR(Physically Based Rendering
，基于物理的渲染
)
合成模块中，以使
PBR
合成模块合成缺陷样本
。
[0009]本专利技术上述提出的工业检测中的缺陷样本合成方法还可以具有如下附加技术特征：
[0010]根据本专利技术的一个实施例，所述
PBR
合成模块具体采用以下步骤输出缺陷样本
|
：在渲染器中创建一个与所述良品图像比例一致的虚拟平面；在着色器编辑器中添加两个图像纹理节点电池；将所述带语义标签的良品图像和法线贴图分别导入两个图像纹理节点电池；将导入所述良品图像的图像纹理节点电池颜色节点连接平面基础色节点，导入所述法
线贴图的图像纹理颜色节点连接到控制缺陷深度的组合变量节点，组合变量节点连接凹凸节点电池，凹凸节点电池连接平面的法线节点；调节摄像机和光照强度及光照角度；渲染输出具有
3D(
三维
)
特征效果缺陷图像；在合成器编辑器中添加一个渲染层节点电池和一个图像节点电池，将所述颜色贴图载入图像节点电池，将所述具有
3D
特征效果缺陷图像载入渲染层节点电池；基于以上步骤在渲染器中制作渲染工作室；根据所述渲染工作室编辑
paython(
一种计算机编程语言
)
脚本代码，以实现缺陷样本的合成
。
[0011]根据本专利技术的一个实施例，所述渲染器为
blender(
一种开源三维图形图像软件
)。
[0012]根据本专利技术的一个实施例，所述生成对抗网络为
pix2pixHD
网络
。
[0013]本专利技术第二方面的实施例提出了一种工业检测中的缺陷样本合成装置，包括：训练模块，所述训练模块用于获取训练数据集，采用所述训练数据集训练生成对抗网络，其中，所述训练数据集包括：颜色贴图
、
法线贴图
、
语义标签图；注释模块，所述注释模块用于获取良品图像，将所述良品图像输入图像交互注释工具中，以使用户对所述良品图像进行语义标注，生成带语义标签的良品图像；生成模块，所述生成模块用于将所述带语义标签的良品图像输入训练后的生成对抗网络，以使所述生成对抗网络输出颜色贴图和法线贴图；合成模块，所述合成模块用于根据所述带语义标签的良品图像
、
颜色贴图和法线贴图合成缺陷样本
。
[0014]本专利技术上述提出的工业检测中的缺陷样本合成装置还可以具有如下附加技术特征：
[0015]根据本专利技术的一个实施例，所述合成模块具体用于：在渲染器中创建一个与所述良品图像比例一致的虚拟平面；在着色器编辑器中添加两个图像纹理节点电池；将所述带语义标签的良品图像和法线贴图分别导入两个图像纹理节点电池；将导入所述良品图像的图像纹理节点电池颜色节点连接平面基础色节点，导入所述法线贴图的图像纹理颜色节点连接到控制缺陷深度的组合变量节点，组合变量节点连接凹凸节点电池，凹凸节点电池连接平面的法线节点；调节摄像机和光照强度及光照角度；渲染输出具有
3D
特征效果缺陷图像；在合成器编辑器中添加一个渲染层节点电池和一个图像节点电池，将所述颜色贴图载入图像节点电池，将所述具有
3D
特征效果缺陷图像载入渲染层节点电池；基于以上步骤在渲染器中制作渲染工作室；根据所述渲染工作室编辑
paython
脚本代码，以实现缺陷样本的合成
。
[0016]根据本专利技术的一个实施例，所述渲染器为
blender。
[0017]根据本专利技术的一个实施例，所述生成对抗网络为
pix2pixHD
网络
。
[0018]本专利技术的有益效果：
[0019]本专利技术利用图像交互注释工具进行人工标注，从而可以控制样本中缺陷的形态
、
位置
、
大小，有针对性地进行缺陷合成，进而可以大大提升缺陷样本参与的模型的训练效果
。
附图说明
[0020]图1是根据本专利技术一个实施例的工业检测中的缺陷样本合成方法的流程图；
[0021]图2是根据本专利技术另一个实施例的工业检测中的缺陷样本合成方法的流程图；
[0022]图3是根据本专利技术一个实施例的工业检测中的缺陷样本合成装置的方框示意图
。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种工业检测中的缺陷样本合成方法，其特征在于，包括以下步骤：获取训练数据集，采用所述训练数据集训练生成对抗网络，其中，所述训练数据集包括：颜色贴图
、
法线贴图
、
语义标签图；获取良品图像，将所述良品图像输入图像交互注释工具中，以使用户对所述良品图像进行语义标注，生成带语义标签的良品图像；将所述带语义标签的良品图像输入训练后的生成对抗网络，以使所述生成对抗网络输出颜色贴图和法线贴图；将所述带语义标签的良品图像
、
颜色贴图和法线贴图输入
PBR
合成模块中，以使
PBR
合成模块合成缺陷样本
。2.
根据权利要求1所述的工业检测中的缺陷样本合成方法，其特征在于，所述
PBR
合成模块具体采用以下步骤输出缺陷样本
|
：在渲染器中创建一个与所述良品图像比例一致的虚拟平面；在着色器编辑器中添加两个图像纹理节点电池；将所述带语义标签的良品图像和法线贴图分别导入两个图像纹理节点电池；将导入所述良品图像的图像纹理节点电池颜色节点连接平面基础色节点，导入所述法线贴图的图像纹理颜色节点连接到控制缺陷深度的组合变量节点，组合变量节点连接凹凸节点电池，凹凸节点电池连接平面的法线节点；调节摄像机和光照强度及光照角度；渲染输出具有
3D
特征效果缺陷图像；在合成器编辑器中添加一个渲染层节点电池和一个图像节点电池，将所述颜色贴图载入图像节点电池，将所述具有
3D
特征效果缺陷图像载入渲染层节点电池；基于以上步骤在渲染器中制作渲染工作室；根据所述渲染工作室编辑
paython
脚本代码；运行
paython
脚本代码以实现缺陷样本的合成，以实现缺陷样本的合成
。3.
根据权利要求2所述的工业检测中的缺陷样本合成方法，其特征在于，所述渲染器为
blender。4.
根据权利要求1所述的工业检测中的缺陷样本合成方法，其特征在于，所述生成对抗网络为
pix2pixHD

【专利技术属性】
技术研发人员：赵何，潘正颐，侯大为，杨秉恩，
申请(专利权)人：常州微亿智造科技有限公司，
类型：发明
国别省市：