一种基于生成对抗网络的样本数据增强方法技术

本发明专利技术公开了一种基于生成对抗网络的样本数据增强方法。该方法包括：制作不含背景信息的真实目标图像数据集R

【技术实现步骤摘要】
一种基于生成对抗网络的样本数据增强方法


[0001]本专利技术涉及计算机图像处理
，具体涉及在面对小样本目标检测的情况下，利用生成对抗网络学习已有数据集的特征，生成高质量的图像来实现有效的图像数据增强。

技术介绍

[0002]数据增强是目前扩充数据集规模的重要方法，能够丰富数据集的同时也能够提高相应分类检测模型的性能。数据增强如果根据处理数据集的时间可以划分为离线增强和在线增强。离线增强是在网络模型加载训练数据之前对数据集进行相应的处理，适用于图片数量较少的数据集；在线增强是网络模型加载训练数据之后，网络利用本身自带的增强算法对数据集进行实时增强，这种方法适用于较大型的数据集。目前主流的深度学习框架均有自己的在线增强策略。
[0003]如果按照数据增强的方式来划分，可分为有监督数据增强和无监督数据增强。有监督数据增强也可以细分为单样本增强和多样本增强。有监督数据增强常见于传统的数据增强，对单样本而言主要增强方式包括几何变换(旋转、翻转、裁剪、缩放变形和仿射等)和颜色变换(噪声、颜色变换、模糊、随机擦除和超像素法等)，这些方法都是围绕样本本身进行的操作，过多地使用这类方法会导致数据集缺乏多样性，产生大量无使用价值的数据样本，反而更容易使网络模型出现过拟合。

技术实现思路

[0004]有鉴于此，本专利技术提出一种基于生成对抗网络的样本数据增强方法，该方法运用生成对抗网络，实现对小样本目标识别的图像增强方法。
[0005]为了实现上述目的，本专利技术采用的技术方案为：
[0006]一种基于生成对抗网络的样本数据增强方法，包括以下步骤：
[0007](1)根据DOTA数据集的标注信息，裁剪数据集图像中包含的目标，制作不含背景信息的真实目标图像数据集R
‑
Dataset1，目标分为飞机、船舶、小型交通工具三类；
[0008](2)使用最小二乘损失函数替换深度卷积生成对抗网络DCGAN中的原始损失函数，得到最小二乘深度卷积神经网络L
‑
DCGAN，用R
‑
Dataset1训练L
‑
DCGAN，用训练好的L
‑
DCGAN网络生成不含背景信息的生成样本数据集G
‑
Dataset1；
[0009](3)采用余弦感知哈希相似度匹配方法进行相似度匹配，对于G
‑
Dataset1中的每张图片，在R
‑
Dataset1中寻找与之匹配度最高的图片，此时R
‑
Dataset1中的部分图像可能未被作为G
‑
Dataset1中任何图像的匹配度最高的图像，也有部分图像可能被作为G
‑
Dataset1中多张图像的匹配度最高的图像；
[0010](4)根据步骤(3)获得的匹配结果，在DOTA数据集的原始大图上，用G
‑
Dataset1中的生成的目标图像直接同尺寸覆盖掉与它相似度最高的真实样本，并记录下覆盖位置信息；此时，部分原始大图上的同一个目标可能被覆盖多次，这种情况下，第k幅原始大图将被
复制n
k
份，n
k
表示第k幅原始大图中，所有目标需要被覆盖的次数中最多的次数，单个目标的覆盖次数小于n
k
的，随机选择多出数量的原始大图，不进行覆盖，n
k
个原始大图中，不同的目标之间没有对应关系，均独立进行随机覆盖；
[0011](5)根据步骤(4)的覆盖位置信息，将不含背景信息的图片覆盖的范围随机扩大3至5倍，并用扩大后的覆盖范围作为裁剪范围，对原始大图进行裁剪，记录裁剪下的图片内的目标标签信息，用裁剪下的图片制作含背景信息的生成样本数据集G
‑
Dataset2；然后在原始的DOTA数据集上，裁剪相同范围的未覆盖目标的图片，用裁剪下的图片制作含背景信息的真实样本数据集R
‑
Dataset2；
[0012](6)将含背景信息的生成样本数据集G
‑
Dataset2与含背景信息的真实样本数据集R
‑
Dataset2输入到循环生成对抗网络CycleGAN中进行训练，然后用训练好的模型对G
‑
Dataset2中的数据进行风格转换，得到最终的含背景信息的生成样本数据集。
[0013]进一步地，步骤(3)中，余弦感知哈希相似度匹配方法的具体方式为：
[0014]根据下式计算相似度：
[0015]ξ＝αξ
cosin
+βξ
pHash
+γ(1
‑
ξ
Barcol
)
[0016]其中：
[0017][0018][0019]式中，ξ表示余弦感知哈希相似度匹配方法计算的相似度，ξ
cosin
表示余弦相似度，ξ
Barcol
表示通过巴塔恰里雅系数计算的相似度，ξ
pHash
表示通过感知哈希算法计算的相似度，α、β、γ为归一化的权重系数，表示两个n维向量，其中p、p
′
分别代表两张待匹配图像的三通道颜色直方图数据，p
i
、p
’
i
表示直方图中的一个数据点，即具有某个像素值的像素数，m表示可能的像素值个数。
[0020]本专利技术的有益效果在于：
[0021]1、本专利技术可以生成背景丰富且物体本身清晰的图像。同时，本专利技术通过改进的余弦感知哈希相似度匹配方法解决了GAN算法生成数据过程中无标签的问题，从而使本专利技术生成的图片数据集更适于目标检测训练。
[0022]2、本专利技术使用了最小二乘深度卷积生成对抗网络(L
‑
DCGAN)和循环生成对抗网络(CycleGAN)两种生成对抗网络，前者用于图像生成，后者用于风格转换。相比于其它手段，生成对抗网络只需要输入随机噪声即可生成与原始图像一样逼真的虚假图像，可以高效地增加数据集的多样性。
[0023]3、本专利技术提出了一种基于感知哈希的图像相似度匹配方法，匹配效果良好。
[0024]总之，虽然现有技术中的深度卷积生成对抗网络(DCGAN)生成的样本质量已经足
够优秀，但是缺乏场景信息。最小二乘深度卷积神经网络(L
‑
DCGAN)生成的样本只有单一的物体本身，缺乏背景数据，如图1所示。为了适应目标检测网络需要足够多的场景信息来提升检测性能的需求，本专利技术采用了一种基于生成对抗网络的样本数据增强方法，该方法可以生成背景丰富且物体本身清晰的图像，为小样本目标检测提供足够量级的人工数据集。
附图说明
[0025]图1为L
‑
DCGAN生成样本的效果图。
[0026]图2为本专利技术样本数据增强方法的流程图。
[0027]图3为相似度匹配结果，其中(a)为真实样本，(b)为生成样本。
...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的样本数据增强方法，其特征在于，包括以下步骤：(1)根据DOTA数据集的标注信息，裁剪数据集图像中包含的目标，制作不含背景信息的真实目标图像数据集R
‑
Dataset1，目标分为飞机、船舶、小型交通工具三类；(2)使用最小二乘损失函数替换深度卷积生成对抗网络DCGAN中的原始损失函数，得到最小二乘深度卷积神经网络L
‑
DCGAN，用R
‑
Dataset1训练L
‑
DCGAN，用训练好的L
‑
DCGAN网络生成不含背景信息的生成样本数据集G
‑
Dataset1；(3)采用余弦感知哈希相似度匹配方法进行相似度匹配，对于G
‑
Dataset1中的每张图片，在R
‑
Dataset1中寻找与之匹配度最高的图片，此时R
‑
Dataset1中的部分图像可能未被作为G
‑
Dataset1中任何图像的匹配度最高的图像，也有部分图像可能被作为G
‑
Dataset1中多张图像的匹配度最高的图像；(4)根据步骤(3)获得的匹配结果，在DOTA数据集的原始大图上，用G
‑
Dataset1中的生成的目标图像直接同尺寸覆盖掉与它相似度最高的真实样本，并记录下覆盖位置信息；此时，部分原始大图上的同一个目标可能被覆盖多次，这种情况下，第k幅原始大图将被复制n
k
份，n
k
表示第k幅原始大图中，所有目标需要被覆盖的次数中最多的次数，单个目标的覆盖次数小于n
k
的，随机选择多出数量的原始大图，不进行覆盖，n
k
个原始大图中，不同的目标之间没有对应关系，均独立进...

【专利技术属性】
技术研发人员：张俊凯，耿虎军，张玉鹏，杜明，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：