一种自适应图像融合数据增强的目标检测方法技术

本发明专利技术公开了一种自适应图像融合数据增强的目标检测方法，涉及图像检测技术领域。对原始训练集进行图像提取，获得第一目标图像；对第一目标图像进行尺寸调整，获得第二目标图像；多尺度梯度生成对抗网络经过第二目标图像训练后生成第三目标图像；提取第三目标图像和第一背景图像，利用颜色直方图自适应地根据相似度阈值对第三目标图像和第一背景图像进行判断，得到满足阈值要求的第四目标图像和第二背景图像；使用泊松融合算法对第四目标图像和第二背景图像进行融合得到新图像；将新图像加入到原始训练集得到增强训练集，目标检测模型调取增强训练集的图像以检测图像中的目标。达到丰富训练数据、提高目标图像与背景图像融合度的目的。度的目的。度的目的。

【技术实现步骤摘要】
一种自适应图像融合数据增强的目标检测方法


[0001]本专利技术涉及图像检测
，更具体的说是涉及一种自适应图像融合数据增强的目标检测方法。

技术介绍

[0002]高原鼠兔目标检测是对其进行种群数量统计及研究种群动态变化的基础。自然场景下的高原鼠兔图像目标尺寸小、特征不显著、背景复杂、且毛色呈现保护色，目标颜色与背景颜色相近，使得传统目标检测算法难以对其准确检测。基于深度卷积神经网络DCNN(Deep Convolutional Neutral Network,DCNN)的目标检测模型能够提取目标深层次的特征，深层次特征的提取对目标检测有利，而基于DCNN的目标检测模型需要大量的训练数据，训练数据缺乏会导致模型的检测性能下降，甚至出现过拟合的现象。自然场景下的高原鼠兔多分布于高原山地，图像采集困难，从而使得基于DCNN的高原鼠兔目标检测模型训练数据缺乏。
[0003]数据增强是解决训练数据缺乏的有效方法。图像数据增强通常使用图像变换、重采样等方法扩大训练数据集规模，使模型全面地学习数据特征，从而降低模型过拟合。图像变换是一种常用的数据增强方法，通常采用图像的仿射、扭曲和随机剪切等变换来扩大数据集。在目标检测领域，Cutout、Random Erasing、RICAP(Random Image Cropping and Patching)及Mosaic是常用图像变换数据增强方法。Cutout不仅使模型学习样本的局部特征，而且还能学习样本的全局特征，但Cutout直接用0像素填充剪切区域，使图像中的有用信息丢失。Random Erasing随机选择图像中的矩形区域，用[0，255]之间的随机值替换选中的矩形区域像素值，生成不同遮挡等级的训练数据，从而扩大训练数据集。RICAP随机选择4张图像，并从4张图像中分别剪切部分区域拼合成1张新图像，借助鲁棒性较好的低级特征(线、边缘等)扩大数据集，能够有效解决模型训练时偏向于学习局部特征而引起的过拟合。Mosaic随机选择4张图像，对其分别做翻转、缩放和色域变换，将变换后的图像按上下左右的位置拼合成新图像，从而丰富了图像背景。虽然上述基于图像变换的数据增强方法能够扩大数据集规模、实现也较为简单，但容易造成目标信息的丢失，尤其对小目标信息的丢失更为严重。同时，上述基于图像变换的数据增强方法生成的新图像与原始图像数据信息相同，对数据集泛化能力提升有限，因而对模型检测性能的提升有限。
[0004]基于深度学习的数据增强方法通常使用生成模式生成新图像，用于扩大训练数据集规模。由于生成对抗网络GAN(Generative Adversarial Networks,GAN)能够很好地学习训练数据集的分布模式，生成与训练数据集同分布的新图像，因此在植物识别、建筑器械识别及公路损坏识别等领域得到了广泛的应用。Zhu等人在花卉活力等级识别中使用改进的DCGAN(Deep Convolutional Generative Adversarial Network,DCGAN)生成不同活力等级的花卉图像，并将生成的图像添加到原始训练集中训练花卉活力等级识别模型，与未使用数据增强方法训练的识别模型相比，使用数据增强方法训练的识别模型的F1(F1
‑
score)值提升了23.43％。Madsen等人在植物幼苗识别中，使用GAN生成植物幼苗图像，用于扩大训
练数据集规模，对植物幼苗识别的准确率达到了68.1％。Seongdeok等人在工地设备目标检测中，首先将图像中的目标提取出来并进行图像变换，其次对提取目标后的背景使用GAN补全，最后将变换后的目标与补全的背景使用逐像素相加的方法融合得到新图像，用于扩大训练集规模，与未使用数据增强训练的检测模型相比，使用GAN数据增强方法训练的检测模型的F1值提高了18.41％。Ze等人在少样本的松果检测中，首先将松果从原始图像中剪切出来，其次使用剪切的松果图像训练BEGAN(Boundary Equilibrium Generative Adversarial Network)，之后使用BEGAN生成的松果图像直接替换原始图像中的松果目标，最后将生成的新图像添加到训练集中得到增强数据集训练目标检测模型，与未使用数据增强方法增强的数据集训练的检测模型相比，使用数据增强方法增强的数据集训练的检测模型AP(Average Precision,AP)值提高了0.9％。虽然现有技术中所提出的基于GAN的数据增强方法在一定程度上提高了数据集的多样性和泛化能力，但GAN生成的目标图像和背景图像融合生成新图像时采用逐像素相加或直接像素替换的融合方法会造成新图像目标边界突出，对检测模型具有较大的迷惑性，导致检测模型在训练过程中学习到的是新图像的目标边缘特征，而不是新图像的目标整体特征，导致模型查准率下降。同时，当被融合的前景目标图像和背景图像颜色差异较大时，这种数据融合方法会产生颜色与实际场景不符的目标。
[0005]为了有效解决基于GAN的数据增强方法中得到的新图像目标边界突出、目标颜色与实际场景不符的问题，本专利技术提出了一种基于多尺度梯度生成对抗网络MSG
‑
GAN(Multi
‑
Scale Gradients for Generative Adversarial Networks,MSG
‑
GAN)的自适应图像融合数据增强方法，以解决基于DCNN的目标检测模型训练数据缺乏的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种自适应图像融合数据增强的目标检测方法，以达到丰富训练数据、提高目标图像与背景图像融合度的目的。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种自适应图像融合数据增强的目标检测方法，具体步骤包括：
[0009]对原始训练集进行图像提取，获得第一目标图像；
[0010]对所述第一目标图像进行尺寸调整，获得第二目标图像；
[0011]多尺度梯度生成对抗网络将所述第二目标图像生成为第三目标图像；
[0012]提取所述第三目标图像和所述原始训练集中的第一背景图像，利用颜色直方图自适应地根据相似度阈值对所述第三目标图像和所述第一背景图像进行判断，得到满足阈值要求的第四目标图像和第二背景图像；
[0013]使用泊松融合算法对所述第四目标图像和所述第二背景图像进行融合得到新图像；
[0014]将所述新图像加入到所述原始训练集得到增强训练集；
[0015]目标检测模型调取所述增强训练集的图像以检测图像中的目标。
[0016]所述图像提取的具体内容为：
[0017]通过剪切在大小为M
×
N的图像中提取出大小为P
×
Q的所述第一目标图像。
[0018]所述尺寸调整的具体内容为：
Gradients for Generative Adversarial Networks,MSG
‑
GAN)的自适应图像融合数据增强方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应图像融合数据增强的目标检测方法，其特征在于，具体步骤包括：对原始训练集进行图像提取，获得第一目标图像；对所述第一目标图像进行尺寸调整，获得第二目标图像；多尺度梯度生成对抗网络将所述第二目标图像生成为第三目标图像；提取所述第三目标图像和所述原始训练集中的第一背景图像，利用颜色直方图自适应地根据相似度阈值对所述第三目标图像和所述第一背景图像进行判断，得到满足阈值要求的第四目标图像和第二背景图像；使用泊松融合算法对所述第四目标图像和所述第二背景图像进行融合得到新图像；将所述新图像加入到所述原始训练集得到增强训练集；目标检测模型调取所述增强训练集的图像以检测图像中的目标。2.根据权利要求1所述一种自适应图像融合数据增强的目标检测方法，其特征在于，所述图像提取的具体内容为：通过剪切在大小为M
×
N的图像中提取出大小为P
×
Q的所述第一目标图像。3.根据权利要求2所述一种自适应图像融合数据增强的目标检测方法，其特征在于，所述尺寸调整的具体内容为：将所述第一目标图像的尺寸从P
×
Q调整为目标尺寸。4.根据权利要求1所述一种自适应图像融合数据增强的目标检测方法，其特征在于，所述多尺度梯度生成对抗网络由基于StyleGAN的生成网络和判别网络组成；所述初始多尺度梯度生成对抗网络将所述第二目标图像生成为第三目标图像的具体内容为：使用所述第二目标图像对所述判别网络进行训练；使用所述生成网络将所述第二目标图像生成为所述第三目标图像，将所述第三目标图像输入所述判别网络进行真假识别，并将结果反馈至所述生成网络，所述生成网络根据反馈的信息进行更新。5.根据权利要求1所述一种自适应图像融合数据增强的目标检测方法，其特征在于，获取第四目标图像和第二背景图像的具体内容为：所述第一背景图像和...

【专利技术属性】
技术研发人员：陈海燕，甄霞军，赵涛涛，张墨逸，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：