一种基于运动前景的场景自适应目标检测方法技术

随着深度学习技术的日益发展，真实环境下对模型泛化性能的要求日益提升，光照、背景等等差异对模型泛化性能的影响已经引起了广泛关注。本发明专利技术公开了一种基于运动前景的场景自适应目标检测方法。该方法通过利用运动前景与全局目标数据分布一致性的先验，有效利用了运动前景目标框，同时通过解码器进行实例特征相似度计算，极大程度了提升了模型在目标域的效果。实验结果表明，本发明专利技术所提供的方法在真实环境下目标检测效果得到大幅度提升。环境下目标检测效果得到大幅度提升。环境下目标检测效果得到大幅度提升。

【技术实现步骤摘要】
一种基于运动前景的场景自适应目标检测方法


[0001]本专利技术涉及一种基于运动前景的场景自适应目标检测方法。

技术介绍

[0002]在计算机视觉领域，目标检测是一个重要课题，他的任务是找到图像视频中的感兴趣区域，并确定其类别与位置。目前，众多基于深度学习的方法能够在基准数据集上取得良好效果，然而由于域差异的存在，即目标大小、摄像机角度、光照、背景环境发生改变时，该模型的效果均有不同程度的下降。在相同域上训练模型时解决此问题最简单有效的办法，即数据驱动式训练，然而一方面，人工标注数据集花费大量的人力物力，另一方面，很多实际领域并不能人工标注。由此，为了解决由于数据分布不同导致的模型泛化性能下降，基于域自适应的目标检测方法应运而生。
[0003]目前，基于域自适应的目标检测方法包括基于特征的、基于模型的等方法。其中最为经典的方法(DA
‑
FasterRcnn)为，通过嵌套对抗训练模块，最小化特征图的领域差异，使得分类器无法区分候选框特征，后续相关算法都是基于此算法进行改进。另外还有一类算法通过对抗生成，实现像素级别的域对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动前景的场景自适应目标检测方法，其基于源域数据和目标域的前景数据对模型进行训练，使得模型在目标域(T)上也拥有良好的检测效果，其特征在于包括如下步骤：A)把源域连续帧样本集合和目标域连续帧样本集合输入运动目标检测算法,输出源域连续帧样本的运动前景目标框和目标域连续帧样本的运动前景目标框，与源域标注标签共同构成源域数据集与目标域数据集；B)将源域数据集与目标域数据集输入特征提取模块获取源域特征和目标域特征；C)将源域特征、目标域特征和运动前景目标框分别输入第一候选框前景框聚合模块(PFA1)，得到源域实例特征和目标域实例特征；D)将源域特征与源域运动前景目标框输入第二候选框前景框聚合模块(PFA2)，得到源域分类回归特征；E)把源域分类回归特征输入分类回归模块，与源域目标框真值标签计算损失，从而在源域上获取优化的检测效果；F)把源域实例特征和目标域实例特征输入生成式相似性计量模块(GSM)，使得源域实例特征和目标域实例特征尽可能相似并提升泛化性能，减少过拟合；G)把源域特征和目标域特征输入全局特征对齐模块(GFA).，使图像特征对齐,从而使得源域特征和目标域特征的所属域无法被分辨出,所述第一候选框前景框聚合模块(PFA1)包括分别进行如下操作的子模块：步骤S201：把源域连续帧样本和目标域连续帧样本输入RPN网络，生成源域正负候选框集合和目标域正负候选框集合；步骤S211：选取步骤S201中生成的源域正负候选框集合和目标域正负候选框集合中置信度大于预设的阈值TH的源域正负候选框和目标域正负候选框；步骤S202：通过运动目标检测算法获取源域运动前景目标框和目标域运动前景目标框；步骤S212：合并步骤S211得到的置信度大于预设的阈值TH的源域正负候选框和目标域正负候选框与步骤S202获取的源域运动前景目标框和目标域运动前景目标框，获取源域合并目标框与目标域合并目标框；步骤S213：通过样本均衡过滤器，获取第一候选框前景框聚合模块(PFA1)的源域候选框和目标域候选框；样本均衡过滤器通过复制或删除步骤S212中生成的源域合并目标框与目标域合并目标框，从而使源域(S)中的第i个样本包括的源域合并目标框与目标域(T)的第i个样本中包括的目标域合并目标框的数量保持一致，从而有效利用运动前景先验并消除样本不均衡。所述第二候选框前景框聚合模块(PFA2)包括分别进行如下操作的子模块：步骤S301：使源域连续帧样本通过RPN网络，生成源域正负候选框集合；步骤S302：利用运动目标检测算法获取源域运动前景目标框；步骤S311：叠加源域正负候选框集合与源域运动前景目标框，生成第二候选框前景框聚合模块(PFA2)的源域候选框集合，通过在源域正负候选框集合中加入源域运动前景目标框，解决源域与目标域的目标尺寸差异过大时模型无法生成好的候选目标框的问题；生成式相似性计量模块(GSM)包括分别进行如下操作的子模块：
步骤S401：使用步骤S213中生成的第一候选框前景框聚合模块(PFA1)的源域候选框，截取源域特征中的源域实例特征；使用步骤S213中生成的第一候选框前景框聚合模块(PFA1)的目标域候选框，截取目标域特征中的目标域实例特征；步骤S402：将源域实例特征和目标域实例特征输入自适应平均池化层，将源域实例特征和目标域实例特征的尺寸改变为8*8，通道数等于源域实例特征的通道数，输出源域池化层特征和目标域池化层特征；步骤S403：将S402中获得的源域池化层特征和目标域池化层特征输入第一1*1卷积层，该第一1*1卷积层是一个1*1卷积层，输出源域第一卷积层特征和目标域第一卷积层特征；步骤S404：将S403中获得的源域第一卷积层特征和目标域第一卷积层特征输入第一上采样模块，该第一上采样模块执行插值上采样、卷积和/或批标准化层操作，输出源域第一上采样层特征和目标域第一上采样层特征；步骤S405，将步骤S404中第一上采样模块的输出输入第二上采样模块，该第二上采样模块执行插值上采样、卷积和/或批标准化...

【专利技术属性】
技术研发人员：胡海苗，李明竹，张译丹，姜宏旭，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：