一种基于数据增强的高速移动目标识别方法技术

本发明专利技术公开了一种基于数据增强的高速移动目标识别方法，属于目标识别领域。本发明专利技术引入高速移动目标背景数据集，将经过可微生成对抗网络生成的伪目标经过分类网络得到伪目标的置信度，将置信度大于设定阈值的目标和初始数据集中的目标实例分割对象一同增强到高速移动目标背景数据集中，解决了样本不足的问题和高速移动目标训练背景和工作环境不一致的问题。在对可微生成对抗网络生成的伪目标进行训练时，将伪目标的置信度与正样本边界框和真实框的CIoU值进行加权求和，形成新的YOLOv7目标检测算法中的置信度损失函数，改进的损失函数能够更加准确的衡量目标的真实性。本方法能够在小样本下，实现对特定类型的高速移动目标的准确识别。的准确识别。的准确识别。

【技术实现步骤摘要】
一种基于数据增强的高速移动目标识别方法


[0001]本专利技术属于图片数据增强、目标检测和深度学习领域，具体涉及高速移动目标的数据增强和目标识别领域，具体提供一种高速移动目标识别方法。

技术介绍

[0002]2012年以前，由于算力低、深度学习理论不成熟等问题，目标检测主要以传统算法为主。随着算力的提升、相关理论的发展、各种开源数据集的丰富，2012年后，大量的深度学习模型开始涌现。最开始的模型主要是以R
‑
CNN为首的两阶段目标检测模型。由于对目标检测实时性要求的提高，2016年之后，目标检测模型开始转向以YOLO系列为首的one
‑
stage模型。2017年底，谷歌推出了Transformers模型，随后开始应用于视觉领域，在2020年时Facebook AI团队基于Transformers提出了一种端到端的目标检测模型，开启了目标检测新的研究浪潮。
[0003]目前，基于深度学习的目标识别算法大体分为两类：一类是基于区域建议的两阶段目标检测算法，包括R
‑
CNN、SPP
‑
NET、Fast R
‑
CNN、Faster R
‑
CNN、R
‑
FCN、Mask R
‑
CNN等，这些算法有一个共同的缺点为网络实时性较差；另一类是基于回归分析的单阶段目标检测算法，包括YOLO系列各种识别算法、SSD、FPN、RetinaNet等。基于回归的目标识别算法不仅在识别的实时性方面优于基于候选区域的识别算法，而且在识别准确度方面也优于基于候选区域的识别算法。
[0004]目前，将现有的目标识别技术直接用于高速移动目标的识别存在以下四点困难：(1)拍摄到的高速移动目标图像通常存在不同程度的运动模糊，这极大的影响了识别的准确度。(2)训练样本较少，目前大多数的目标识别方法都是基于公开的大型数据集，比如，COCO数据集等，但由于收集到的高速移动目标的训练样本较少，所以需要对样本进行扩充和增强。(3)收集到的高速移动目标图片多来自一些展览活动等，这存在训练时所用数据集的背景和实际工作背景不一致的问题，导致在实际工作时对高速移动目标的识别准确率降低。上述问题是目前亟待解决的核心问题。

技术实现思路

[0005]针对上述问题，本专利技术提出了一种新的方法用于产生多级运动模糊核，获得更加贴近高速移动目标实际运动模糊情况的运动模糊图像，用于数据增强；同时引入高速移动目标背景数据集，将经过可微生成对抗网络生成的伪目标经过分类网络得到伪目标的置信度，将置信度大于设定阈值的目标和初始数据集中的目标的实例分割对象一同增强到高速移动目标背景数据集中。在对可微生成对抗网络生成的伪目标进行训练时，将伪目标的置信度与正样本边界框和真实框的CIoU值进行加权求和，形成新的YOLOv7目标检测算法中的置信度损失函数，改进的损失函数能够更加准确的衡量目标的真实性。本方法能够在少量训练图片的条件下，仍然能够准确的对高速移动目标进行识别。
[0006]本专利技术的技术方案为一种基于数据增强的高速移动目标识别方法，该方法包括：
[0007]步骤1：利用特定类型的高速移动目标和与目标类型相似的其余对象一同构建初始数据集，对初始数据集中的图像进行标注，得到带有标注文件的初始数据集；
[0008]步骤2：收集特定类型的高速移动目标的工作环境图片，构成高速移动目标的背景数据集；
[0009]步骤3：根据初始数据集的标注文件裁剪出初始数据集中每一张图像目标的实例分割对象，形成初始crop数据集；
[0010]步骤4：使用可微生成对抗网络对步骤3得到的初始crop数据集进行训练，得到增强crop数据集，所述可微生成对抗网络包括可微鉴别器网络D和可微生成器网络G，具体步骤如下：
[0011]步骤4.1：构建可微鉴别器网络D；
[0012]步骤4.2：构建可微生成器网络G，G的输入来自隐空间的随机变量z，生成特定目标类型的高速移动目标；
[0013]步骤4.3：随机噪声经过可微生成器网络G不断生成目标类型的伪样本，组成增强crop数据集，达到扩充数据集的目的；
[0014]步骤4.4：对可微鉴别器网络D的损失L
D
和可微生成器网络G的损失L
G
进行交替循环优化；L
G
和L
D
公式分别如下所示：
[0015][0016]其中，表示数学期望，x代表真实图像，z表示随机变量，p
data
(x)代表真实样本分布，p
z
(z)代表生成的样本分布，G(z)是随机变量z经过生成器G之后生成的高速移动目标伪图像，D(
·
)是图像经过可微鉴别器网络G得到的概率，它是一个0～1范围的实数，T(
·
)代表一种可微的数据增强手段，f
D
，f
G
分别为可微鉴别器D和可微生成器G对应使用的损失函数；
[0017]步骤5：基于LeNet，训练一个分类网络，筛选经过步骤4得到的增强crop数据集；具体步骤如下：
[0018]步骤5.1：将步骤3得到的初始crop数据集按8:2分为训练集和验证集；
[0019]步骤5.2：将训练集输入到分类网络进行训练，共训练100轮，使用验证集得到的准确率作为评价指标，保存准确率最高的模型；
[0020]步骤5.3：使用保存的分类网络模型对增强crop数据集中的伪图片进行测试，保存置信度大于或等于设定阈值conf的图片，置信度作为可微生成对抗网络产生的伪图片和真实图片之间的相似度衡量的标准，存储该图片对应的置信度，小于阈值conf的图片从增强crop数据集中移除；
[0021]步骤6：将步骤3得到的初始crop数据集和步骤5得到的增强crop数据集中的图片增强到背景数据集中，获得工作数据集；
[0022]步骤7：对步骤1获得的初始数据集中的每一张图像以概率p做如下的数据增强技术：图像旋转、图像缩放、随机裁剪、色彩变换、仿射变换、运动模糊，获得初始增强数据集；
[0023]步骤8：整合步骤1得到的初始数据集、步骤6得到的工作数据集和步骤7得到的初
始增强数据集形成用于目标识别的高速移动目标数据集；
[0024]步骤9：将高速移动目标数据集按8:1:1分为训练集、验证集和测试集；
[0025]步骤10：构建YOLOv7网络模型；
[0026]步骤11：设置置信度损失函数L
conf
，分类损失函数L
class
，位置损失函数L
loc
，总损失函数Loss，计算方法分别如下所示：
[0027]置信度损失函数L
conf
计算方法如下：
[0028][0029]其中，表示第i个网格的第j个边界框内是否存在目标,如果存在，则为1，否则为0；表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据增强的高速移动目标识别方法，该方法包括：步骤1：利用特定类型的高速移动目标和与目标类型相似的其余对象一同构建初始数据集，对初始数据集中的图像进行标注，得到带有标注文件的初始数据集；步骤2：收集特定类型的高速移动目标的工作环境图片，构成高速移动目标的背景数据集；步骤3：根据初始数据集的标注文件裁剪出初始数据集中每一张图像目标的实例分割对象，形成初始crop数据集；步骤4：使用可微生成对抗网络对步骤3得到的初始crop数据集进行训练，得到增强crop数据集，所述可微生成对抗网络包括可微鉴别器网络D和可微生成器网络G，具体步骤如下：步骤4.1：构建可微鉴别器网络D；步骤4.2：构建可微生成器网络G，G的输入来自隐空间的随机变量z，生成特定目标类型的高速移动目标；步骤4.3：随机噪声经过可微生成器网络G不断生成目标类型的伪样本，组成增强crop数据集，达到扩充数据集的目的；步骤4.4：对可微鉴别器网络D的损失L
D
和可微生成器网络G的损失L
G
进行交替循环优化；L
G
和L
D
公式分别如下所示：其中，表示数学期望，x代表真实图像，z表示随机变量，p
data
(x)代表真实样本分布，p
z
(z)代表生成的样本分布，G(z)是随机变量z经过生成器G之后生成的高速移动目标伪图像，D(
·
)是图像经过可微鉴别器网络G得到的概率，它是一个0～1范围的实数，T(
·
)代表一种可微的数据增强手段，f
D
，f
G
分别为可微鉴别器D和可微生成器G对应使用的损失函数；步骤5：基于LeNet，训练一个分类网络，筛选经过步骤4得到的增强crop数据集；具体步骤如下：步骤5.1：将步骤3得到的初始crop数据集按8:2分为训练集和验证集；步骤5.2：将训练集输入到分类网络进行训练，共训练100轮，使用验证集得到的准确率作为评价指标，保存准确率最高的模型；步骤5.3：使用保存的分类网络模型对增强crop数据集中的伪图片进行测试，保存置信度大于或等于设定阈值conf的图片，置信度作为可微生成对抗网络产生的伪图片和真实图片之间的相似度衡量的标准，存储该图片对应的置信度，小于阈值conf的图片从增强crop数据集中移除；步骤6：将步骤3得到的初始crop数据集和步骤5得到的增强crop数据集中的图片增强到背景数据集中，获得工作数据集；步骤7：对步骤1获得的初始数据集中的每一张图像以概率p做如下的数据增强技术：图像旋转、图像缩放、随机裁剪、色彩变换、仿射变换、运动模糊，获得初始增强数据集；步骤8：整合步骤1得到的初始数据集、步骤6得到的工作数据集和步骤7得到的初始增
强数据集形成用于目标识别的高速移动目标数据集；步骤9：将高速移动目标数据集按8:1:1分为训练集、验证集和测试集；步骤10：构建YOLOv7网络模型；步骤11：设置置信度损失函数L
conf
，分类损失函数L
class
，位置损失函数L
loc
，总损失函数Loss，计算方法分别如下所示：置信度损失函数L
conf
计算方法如下：其中，表示第i个网格的第j个边界框内是否存在目标,如果存在，则为1，否则为0；表示第i个网格的第j个边界框内的目标是否来自步骤5得到的增强crop数...

【专利技术属性】
技术研发人员：唐樟春，潘阳红，夏艳君，李子谦，谷正阳，詹贤达，周雄峰，廖龙伟，
申请(专利权)人：成都电科智讯科技发展有限公司，
类型：发明
国别省市：