基于样本集的单一背景下的目标仿真技术制造技术

本发明专利技术属于工业产品视觉检测算法应用类发明专利技术，使用的核心技术涉及深度学习图像处理领域的数据集仿真制作和增强。在无缺陷的工业品图像上用缺陷部分图像加上具体缺陷的分割掩码作为图像模板，与原图像相关位置作用得到工业缺陷数据集，并用其它函数模板处理实现数据增强。该技术成功用于两类工业产品缺陷检测模型数据集生成方法实例。型数据集生成方法实例。型数据集生成方法实例。

【技术实现步骤摘要】
基于样本集的单一背景下的目标仿真技术


[0001]本专利技术属于工业产品视觉检测算法应用类专利技术，使用的核心技术涉及深度学习图像处理领域的数据集仿真制作和增强。

技术介绍

[0002]近几年来伴随着人工智能的兴起，深度学习技术取得了飞速的发展。不论是在图像领域，自然语言处理领域等，不但在理论研究还是项目落地方面都取得了广泛的应用。深度学习以有监督学习为主，往往需要大量的数据集作为支持。如果数据量比较少，或者多样性比较少，会导致深度学习不能得到良好的效果。
[0003]在传统的工业检测领域，对于工业品来说，缺陷品一般都不多，但可能出现的缺陷种类很多，这就导致了单一缺陷的数量更少。而且缺陷往往不具备特别明显的，易于用传统算法解决的特征，用传统图像算法和传统机器学习算法很难达到理想的效果。传统算法一般还往往伴随着计算量大和推理慢的问题。最近几年深度学习在图像侦测识别和分割领域取得了巨大的发展，达到了非常好的效果，被广泛应用于图像领域，在工业品检测中的应用也越来越多。深度学习效果好，性能优越，但是也需要相对多的有差异性的数据集才可以达到良好的效果。而在深度学习数据集中，目前比较成熟的技术都是采用有监督学习，这就要求标签要非常准确，而有些工业缺陷品，往往各种缺陷交织在一起，不利于深度学习训练。因此，采用在无缺陷的图上造缺陷就成为一种新的选择。这种制作方法，首先不能简单的图像区域置换，这样会显得非常生硬，而且有明显的方形的边界感。一种方法是通过缺陷部分的掩码进行置换，这种方法会自然一些，但往往边界感也很强。同时，在数据集的制作和收集中，打光的方案往往会发生改变，这就造成了之前拍的图片往往不能有效地应用于深度学习训练，造成资源的浪费，也更加导致了数据不足的问题。而原始的缺陷图还往往存在缺陷多而复制，甚至出现弥漫性的特点，给深度学习数据标注带来了极大的困难。综上，在工业检测领域，缺陷数据样本量少，缺陷种类多而复杂，打光方案可能会变，标注难度大。因此，开发一种新的工业检测数据集制作方案就显得特别重要。

技术实现思路

[0004]我们开发的利用缺陷部分作图像模板，配合图像缺陷掩码作用于无缺陷图像，可以生成质量非常高的仿真缺陷图像，用于深度学习图像追踪和图像分割，都取得了非常理想的效果。我们的设计主要是通过用图像分割软件将可用的缺陷区域进行收集分割并得到掩码，这样可以通过掩码解决制作数据集时出现方形边界的问题。将缺陷图像经除以非缺陷部分均值的方法形成函数模板，并与无缺陷的roi区域作哈达玛积，实现在无缺陷的ok图上生成特定的缺陷，方便深度学习神经网络计算。本技术适用于背景相对单一（如工业密度板板、纺织物）的非背景目标区域的模拟生成。我们将此技术应用在多种工业品类的检测上，取得良好效果。
附图说明
[0005]图1 光学胶片的凹坑缺陷生成示意图。
[0006]图2 光学胶片的气泡缺陷生成示意图。
[0007]图3 刨花板的粉尘斑缺陷生成示意图。
[0008]图4 刨花板的大刨花缺陷生成示意图。
[0009]图5 刨花板的油污缺陷生成示意图。
具体实施方式
[0010]步骤1：将含有目标的图像区域取ROI，要求目标位于ROI区域的中心，并用像素级标注方法制作缺陷目标区域的掩码；步骤2：对每一个含有目标区域的ROI样本图执行以下操作：步骤2.1：计算目标区域掩码之外的灰度均值或中值；步骤2.2：将ROI样本的每个像素点灰度值除以步骤2.1中的灰度均值获得灰度变换权重矩阵；步骤3：取一幅纯背景图，执行以下操作：步骤3.1：设定需要生成目标的个数，和生成位置，保证生成位置不重复；步骤3.2：从ROI样本权重矩阵集中随机取步骤3.1中指定数目的权重矩阵；步骤3.3：对每一个选中的ROI样本权重矩阵，在背景途中随机选取与该ROI样本尺寸相同的ROI区域；步骤3.4：将步骤3.3中选中ROI区域与相对应的ROI样本权重矩阵模板作哈达玛积；步骤3.5：重复步骤3.3至3.4，直到生成指定数目的目标，将背景图转换为图像格式。
[0011] 实例1 光学胶片横向压痕检测数据仿真：光学胶片缺陷的特点是往往弥漫性特别强，如果用缺陷数据来标往往会比较困难，一是标注工作复杂，二是容易形成漏标，对深度学习训练产生较为严重的不利影响。而对于每一类缺陷来说，压痕和凹坑特征相对单一，模板性强，而气泡则是特征性强，易于检测和分割，这都非常有利用按照我们设计的图像模板的方法进行数据集仿真制作和增强。具体的步骤具体参见技术实现。
[0012]我们以比较有代表性的气泡和凹坑缺陷来举例说明。如图1(附图1)所示，图(a)展示了凹坑缺陷的掩码，代表了真实凹坑缺陷所在的位置。图(b)则是我们用来生成模板的凹坑缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是光学胶片OK图用来生成凹坑缺陷的ROI部分区域。图(d)是生成的凹坑结果效果展示。原缺陷图和待生成的光学胶片OK图在亮度上有明显差异，按照我们的方法可以明显适应亮度的变化。由于原缺陷的分布有一定的随机性，增强了新生成的缺陷的多样性。
[0013]气泡缺陷如图2(附图2)，图(a)展示了气泡缺陷的掩码，代表了真实气泡缺陷所在的位置。图(b)则是我们用来生成模板的气泡缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是光学胶片OK图用来生成气泡缺陷的ROI部分区域。图(d)是生成的气泡结果效果展示。在亮度和多样性上同样表现出了与凹坑类似的优良效果。在融合方面的仿真效
果上边界略显生硬，但不影响神经网络训练。
[0014]实例2 工业刨花板表面缺陷仿真：工业刨花板缺陷种类多且复杂，大小不一。由于木材的尺寸相对较大，导致在打光明显呈现出中间亮两边暗的特点。而在亮处的一类粉尘斑的缺陷与暗处的特征非常类似。这就导致了如果采用原区域简单置换的方案，如果将原来在亮处的缺陷生成在暗处，往往效果不理想。而采用图像模板技术，模板只代表缺陷的特征，而亮度信息包含在原图像中，这样就可以生成非常自然的粉尘斑的缺陷。对其它的缺陷也可以比较好的仿真生成。具体的步骤具体参见技术实现。
[0015]我们以工业刨花板中粉尘斑，刨花和油污三类缺陷来举例说明：粉尘斑缺陷如图3(附图3)所示，图(a)展示了粉尘斑缺陷的掩码，代表了真实缺陷所在的位置。图(b)则是我们用来生成粉尘斑模板的缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是工业刨花板OK图用来生成粉尘斑缺陷的ROI部分区域。图(d)是生成的粉尘斑缺陷结果效果展示。在亮度和多样性上同样表现出了优良效果。此类缺陷一般较小，边界略显生硬是由于放大显示的原因，神经网络训练取得了良好的效果。
[0016]刨花缺陷如图4(附图4)所示，图(a)展示了刨花缺陷的掩码，代表了真实缺陷所在的位置。图(b)则是我们用来生成刨花模板的缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是工业刨花板OK图用来生成刨花缺陷的ROI部分区域。图(d)是生成的刨花缺陷结果效果展示。在亮度和多样性上同样表现出了优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于样本集的单一背景下的目标仿真技术的创新点有两方面，具体为：创新点1：将工业缺陷部分用作图像模板直接在无缺陷图上作用仿真生成工业缺陷数据集；由于每个无缺陷区域的数据分布并非完全相同，等同于在置换过程中加入了部分噪声，增大的缺陷分布的多样性，有利于深度学习神经网络的训练；创新点2：基于创新点1的两个工业产品缺陷检测模型数据集生成方法实例，分别是光学胶横向压痕检测模型和工业刨花板表面点状缺陷检测模型；该创新点要求对两个...

【专利技术属性】
技术研发人员：ꢀ五一IntClG零六T七零零，
申请(专利权)人：北京平恒智能科技有限公司，
类型：发明
国别省市：