一种基于全局抠图的训练数据增强方法技术

本发明专利技术公开了一种基于全局抠图的训练数据增强方法,算法读入待增强图片及其对应的三分图，并把抠图问题建模为前景背景像素组合优化问题，使用基于采样的抠图算法，为每个未知像素在前景背景像素采样子集中选择出最优的前景背景像素对，并通过最优像素对计算出该未知像素的透明度遮罩值。最优像素对的选择是通过计算每个像素对的评估函数值，并从中选出最优的解来实现的，其中评估函数值的计算涉及颜色、坐标等多个判据。本发明专利技术通过抠图的方式，对训练数据进行图像增强；同时通过采样的方式，实现对抠图问题的高效率求解。本发明专利技术使用简单，计算量少，对输入的训练图片没有特殊要求，可以快速有效的对训练图片进行数据增强。可以快速有效的对训练图片进行数据增强。可以快速有效的对训练图片进行数据增强。

【技术实现步骤摘要】
一种基于全局抠图的训练数据增强方法


[0001]本专利技术涉及涉及图像训练数据增强领域，具体涉及一种基于全局抠图的训练数据增强方法。

技术介绍

[0002]大数据时代下的每一张图像数据都来之不易，丰富而多样的数据越来越成为一种无形的财富。红外线与可见光相比具有较强的适应性和抗干扰性，因此红外成像技术在许多领域有广泛的应用。但复杂环境下的红外辐射传输特性使得红外图像存在信噪比低、弱细节模糊和对比度不强等问题。图像抠图是一种从数字图像中将用户感兴趣的部分(即前景部分)从图像其他部分中分离岀来的一种数字图像处理技术。数字图像的合成公式描述为：C＝αF+(1
‑
α)B，C,F和B分别表示合成图像、前景图像和背景图像。目前的抠图算法主要分为三类：基于采样的方法，基于传播的方法以及基于深度学习的方法。
[0003]以往在解决红外图像在复杂背景下目标物体不突出的问题时，通常是采用更深的神经网络来处理，而与此同时也带来的更高的计算量。而对杂乱背景进行抑制会提高网络性能，但是这方面的工作在之前很少被重视。

技术实现思路

[0004]本专利技术的目的在于克服现有红外图像中目标物体不突出，神经网络难以学习的问题，提供一种基于全局抠图的训练数据增强方法。本专利技术通过抠图的方式对原图中感兴趣的部分进行增强操作，从而降低神经网络提取到有效特征的难度，实现对训练数据的增强。实现该方案需要两个部分，一是通过采样抠图方法，根据指定三分图对原图进行抠图处理，二是对抠图得到的透明度遮罩进行导向滤波。
[0005]本专利技术通过下述技术方案实现：
[0006]一种基于全局抠图的训练数据增强方法，包括以下步骤：
[0007](a)算法以图片为输入，对输入图片进行等比例缩放，将图片缩放至长边长度为64像素。
[0008](b)依据输入的三分图，对图像中前景和背景区域的像素进行边缘采样；
[0009](c)依据输入的三分图，遍历图像中每个未知像素，其中对每个未知像素，计算其与所有采样后的像素对的评估函数值，选择评估函数值最优的像素对；
[0010](d)每个未知像素根据最优像素对计算透明度遮罩值；
[0011](e)利用原图对得到的透明度遮罩图进行导向滤波。
[0012](f)输出增强后的图像。
[0013]上述基于全局抠图的训练数据增强方法的步骤(b)中，主要分为两步：
[0014](b
‑
1)逐个遍历前景像素，若该像素的四邻域内存在未知像素，则将其加入到前景采样子集中；
[0015](b
‑
2)逐个遍历背景像素，若该像素的四邻域内存在未知像素，则将其加入到背景
采样子集中。
[0016]上述基于全局抠图的训练数据增强方法的步骤(c)中，主要分为两步：
[0017](c
‑
1)若原图为彩色图像，则计算的评估函数包括颜色判据、空间临近判据，具体计算公式为：其中：
[0018][0019][0020][0021]k为第k个未知像素，i、j为其对应的第i、j个前背景像素，C
j(B)
分别第k个未知像素、及其对应的第i个前景像素和第j个背景像素的颜色，S
j(B)
分别是第k个未知像素、第i个前景像素的坐标及其对应的第j个背景像素的坐标，σ
c
、σ
s
分别是颜色判据和空间临近判据的惩罚因子；
[0022](c
‑
2)若原图为灰度图像，则计算的评估函数只包括空间临近判据，具体计算公式为：为：的定义见公式(2)、(3)
[0023]上述基于全局抠图的训练数据增强方法的步骤(c
‑
1)中，1)中，中的惩罚因子σ
c
＝0.5、σ
s
＝0.5。即颜色判据和空间判据在评估函数中所占比例为1：1。
[0024]上述基于全局抠图的训练数据增强方法的步骤(d)中，每个未知像素根据最优像素对计算透明度遮罩值的公式为其中α
z
为该未知像素的透明度值，I
z
是该未知像素的颜色，F
z
是该未知像素对应的最优像素对中前景像素的颜色，B
z
是该未知像素对应的最优像素对中背景像素的颜色。
[0025]上述基于全局抠图的训练数据增强方法的步骤(e)中，将原图作为引导图，将透明度遮罩值作为滤波输入，使用导向滤波器输出滤波后的图像。导向滤波是指，对于一个输入的图像p，通过引导图像I，经过滤波后得到输出图像q，其中p和I都是算法的输入。导向滤波定义了一个线性滤波过程，对于i位置的像素点，得到的滤波输出是一个加权平均值：q
i
＝∑
j
W
ij
(I)p
j
,其中i和j分别表示像素下标，W
ij
是只和引导图像I相关的滤波核。
[0026]本专利技术提供的基于全局抠图的训练数据增强方法，首先使用采样抠图算法对输入图像按照给定三分图进行抠图增强操作，得到原图的透明度遮罩图，然后对透明度遮罩图以原图为引导图像，使用导向滤波进行滤波操作，得到最终的增强训练数据。增强后的训练图片拥有比原图更加显著的特征，可以突出目标物体的细节同时过滤掉无关的背景，从而使神经网络等深度学习方法无需复杂的网络结构即可学到物体的特征，有利于降低模型的复杂度和计算时间。
[0027]与直接使用原始数据进行训练的神经网络相比，本专利技术具有如下优点和技术效果：
[0028]本专利技术使用基于采样的抠图方法，一定程度上避免了因三分图质量过差导致无法抠图的问题，对于复杂环境下的红外图像抠图问题具备一定的鲁棒性；通过对彩色图像和灰度图像使用不同的评估函数，即保证了在彩色图像下抠图的准确性，也保证了当图像为灰度(单通道)图像时算法速度可以得到提升；通过在抠图后使用导向滤波器对抠图结果进行滤波操作，可以使抠图结果在保证边缘的情况下更加平滑。
附图说明
[0029]图1为本专利技术基于全局抠图的训练数据增强方法的流程图。
具体实施方式
[0030]下面结合具体实施例对本专利技术作进一步具体详细描述。
[0031]如图1所示，本专利技术公开了一种基于全局抠图的训练数据增强方法；主要流程包括以下步骤：
[0032]第一步，读入训练图片，对图片进行预处理。具体来说是对图片按将图片缩放至长边64的比例等比例缩放，判断图片类型是彩色图像还是灰度图像，并将图像类型转化为ubyte8。为后面的操作做准备。
[0033]算法读入训练图片，在对图片进行缩放操作，目的是将图片缩放至统一规格，有利于后续算法进行处理，可以保证算法速度的稳定性。
[0034]第二步，对前景像素和背景像素进行采样。这一步目的是减少搜索空间。
[0035]分别对前景像素和背景像素进行边缘采样：对前景像素，逐个遍历每个前景像素，若该像素的四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局抠图的训练数据增强方法，其特征在于，包括以下步骤：(a)算法读入待训练数据，首先按将图片长边缩放至64的比例，对图像进行等比例缩放；(b)依据输入的三分图，对图像中前景和背景区域的像素进行边缘采样；(c)依据输入的三分图，遍历图像中每个未知像素，其中对每个未知像素，计算其与所有采样后的像素对的评估函数值，选择评估函数值最优的像素对；(d)每个未知像素根据最优像素对计算透明度遮罩值；(e)利用原图对得到的透明度遮罩图进行导向滤波。(f)输出增强后的图像。2.根据权利要求1所述基于全局抠图的训练数据增强方法，其特征在于，步骤(b)包括如下子步骤：(b
‑
1)逐个遍历前景像素，若该像素的四邻域内存在未知像素，则将其加入到前景采样子集中；(b
‑
2)逐个遍历背景像素，若该像素的四邻域内存在未知像素，则将其加入到背景采样子集中。3.根据权利要求2所述基于全局抠图的训练数据增强方法，其特征在于，步骤(c)包括如下子步骤：(c
‑
1)若原图为彩色图像，则计算的评估函数包括颜色判据、空间临近判据，具体计算公式为：公式为：公式为：公式为：k为第k个未知像素，i、j为其对应的第i、j个前背景像素，k为第k个未知像素，i、j为其对应的第i、j...

【专利技术属性】
技术研发人员：黄翰，刘泽洋，梁椅辉，赵煜新，林墨馨，康力，阮子琦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：