一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法技术

本发明专利技术提供了一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，包括如下步骤：

【技术实现步骤摘要】
一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法


[0001]本专利技术属于目标检测识别
，具体涉及一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法
。

技术介绍

[0002]近年来，随着汽车工业的不断发展，全国汽车保有量大大增加
。
但是，汽车制造业的进一步发展在为各个领域带来便利的同时，也产生了道路拥挤
、
交通事故频发等现象，为道路安防监控提出了新的挑战
。
现有道路安防监控方式主要包括定点摄像头监控
、
交警路面巡逻等，存在视角狭隘
、
图像不清晰
、
难以获取第一手现场图像资料等问题，无法满足日益复杂的交通环境需求
。
在此基础上利用无人机地面交通监控系统成本低
、
机动性强
、
灵活性强
、
成像清晰
、
覆盖域广等优点，可有效进行道路车辆检测，实现对交通的智能化控制和管理
。
[0003]在实际应用中，由于道路车辆目标种类繁多且类内差异大，有轿车
、
卡车和公交车等多个种类，且同种类别内存在形状
、
颜色和大小等差异，导致算法鲁棒性与泛化能力不足；同时无人机航拍地面图像视角多变
、
场景多样
、
背景复杂
、
目标繁多
、
尺度差异大
、
小尺度目标可用特征点少，导致其检测精度不高，尤其是对小目标的检测较为困难
。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术公开提出一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，以全面完善地面车辆目标样本同时平衡目标尺度特征映射从而进一步提升检测性能
。
[0005]为此，本专利技术提供了一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，包括如下步骤：
[0006]S1
：使用待生成目标图像样本数据建立待生成目标样本的掩码
‑
关键点图像配对集；
[0007]S2
：将待生成目标样本的掩码
‑
关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集；
[0008]S3
：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征；
[0009]S4
：对网络模型提取的特征进行处理，利用特征关键点解耦头得到最终的检测结果
。
[0010]进一步的，
S1
：使用待生成目标图像样本数据建立待生成目标样本的掩码
‑
关键点图像配对集的具体过程是：首先通过网格线将源图像划分为9个区域，使用边界框保留待生成目标所在的区域，随机选择其中一个区域并从源图像中剪切出来，覆盖从中心到总面积的特定比例，生成掩码图像；同时在掩码图像的基础上增加关键点图像输入，与掩码图像配
对产生掩码
‑
关键点图像配对集
。
[0011]进一步的，
S2
：将待生成目标样本的掩码
‑
关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集包括如下步骤：
[0012]S301、
为了加快推理速度在潜在扩散模型中引入随机采样策略，从时间
[1
，
T]中随机采样
K
个时间步长
{t1，
…
，
t
K
}
，然后可利用预测值得到下一个样本在此基础上可得到图像保真度损失，如下式所示：
[0013][0014]其中，是根据随机采样进行预测的，通过最小化图像保真度损失，在潜在扩散模型中加入了全局约束，对抗扩散模型的局部拟合，可进一步提升数据逼近质量；
[0015]S302、
以潜在扩散模型为生成器，图像预训练模型作为鉴别器；将所述的掩码
‑
关键点图像配对集输入潜在扩散模型，根据关键点提示，潜在扩散模型在掩码区域生成目标图像，然后将填充好的区域图像发送到鉴别器，以确定它是否与输入关键点提示匹配，若匹配潜在扩散模型将生成新的显著特征目标图像；
[0016]潜在扩散模型在第一阶段，自动编码模型学习图像空间通过编码器
ε
将给定图像
x∈R
H
×
W
×3编码为潜在表示
z∈R
H
×
W
×
C
，使
z
＝
ε
(x)
，然后通过解码器
D
从潜在表示中重建预测的图像使得和在第二阶段，训练扩散模型预测其基于随机高斯噪声输入
z
t
，在训练期间从编码器中有效地获得
z
t
，解码器将其解码到图像空间，如下式所示：
[0017][0018]进一步的，所
S3
：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征包括如下步骤：
[0019]S401、
通过自顶向下的路径融合主干的输出得到
(P3
，
P4
，
P5)
，定义为
P
l
(l
＝3，4，
5)
表示各级尺度各层次特征图，将
P3
和
P5
调整为与
P4
相同的大小并进行聚合和平均获得均衡的语义特征；
[0020]S402、
通过全局上下文模块提取上下文信息；
[0021]S403、
将特征缩放到与原始多层特征图相同的大小，并通过残差连接在像素级进行融合，增强特征的表征性；在全局上下文模块中，利用1×1卷积的两个分支在通道域中提取上下文信息，在空间域中保持高分辨率减少特征降维导致的信息丢失；然后对两个分支的输出特征进行矩阵点乘融合，得到全局上下文信息；最后，利用非线性函数拟合细粒度的输出分布，充分获取背景与目标之间的长期依赖关系；整个尺度建模过程如下式所示：
[0022][0023]其中，
Global
代表全局上下文模块，如下式所示：
[0024][0025]其中，
A
G
(X)∈R1×
H
×
W
，
X
表示输入特征张量，
W(
·
)
和
Z(
·
)
为标准1×1卷积操作，
f(
·
)
表示全局池化算子，表示矩阵点乘运算，
θ1、
θ2和...

【技术保护点】

【技术特征摘要】
1.
一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，其特征在于，包括如下步骤：
S1
：使用待生成目标图像样本数据建立待生成目标样本的掩码
‑
关键点图像配对集；
S2
：将待生成目标样本的掩码
‑
关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集；
S3
：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征；
S4
：对网络模型提取的特征进行处理，利用特征关键点解耦头得到最终的检测结果
。2.
如权利要求1所述的基于随机采样扩散策略联合关键点尺度建模的目标检测方法，其特征在于：所
S1
：使用待生成目标图像样本数据建立待生成目标样本的掩码
‑
关键点图像配对集的具体过程是：首先通过网格线将源图像划分为9个区域，使用边界框保留待生成目标所在的区域，随机选择其中一个区域并从源图像中剪切出来，覆盖从中心到总面积的特定比例，生成掩码图像；同时在掩码图像的基础上增加关键点图像输入，与掩码图像配对产生掩码
‑
关键点图像配对集
。3.
如权利要求1所述的基于随机采样扩散策略联合关键点尺度建模的目标检测方法，其特征在于：
S2
：将待生成目标样本的掩码
‑
关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集包括如下步骤：
S301、
为了加快推理速度在潜在扩散模型中引入随机采样策略，从时间
[1
，
T]
中随机采样
K
个时间步长
{t1，
…
，
t
K
}
，然后可利用预测值得到下一个样本在此基础上可得到图像保真度损失，如下式所示：其中，是根据随机采样进行预测的，通过最小化图像保真度损失，在潜在扩散模型中加入了全局约束，对抗扩散模型的局部拟合，可进一步提升数据逼近质量；
S302、
以潜在扩散模型为生成器，图像预训练模型作为鉴别器；将所述的掩码
‑
关键点图像配对集输入潜在扩散模型，根据关键点提示，潜在扩散模型在掩码区域生成目标图像，然后将填充好的区域图像发送到鉴别器，以确定它是否与输入关键点提示匹配，若匹配潜在扩散模型将生成新的显著特征目标图像；潜在扩散模型在第一阶段，自动编码模型学习图像空间通过编码器
ε
将给定图像
x∈R
H
×
W
×3编码为潜在表示
z∈R
H
×
W
×
C
，使
z
＝
ε
(x)
，然后通过解码器
D
从潜在表示中重建预测的图像使得和在第二阶段，训练扩散模型预测其基于随机高斯噪声输入
z
t
，在训练期间从编码器中有效地获得
z
t
，解码器将其解码到图像空间，如下式所示：
4.
如权利要求1所述的基于随机采样扩散策略联合关键点尺度建模的目标检测方法，其特征在于：
S3
：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征包括如下步骤：
S401、
通过自顶向下的路径融合主干的输出得到
(P3
，
P4
，
P5)
，定义为
P
l
(l
＝3，4，
5)
表示
各级尺度各层次特征图，将
P3
和
P5
调整为与
P4
相同的大小并进行聚合和平均获得均衡的语义特征；
S402、
通过全局上下文模块提取上下文信息；
S403、
将特征缩放到与原始多层特征图相同的大小，并通过残差连接在像素级进行融合，增强特征的表征性；在全局上下文模块中，利用1×1卷积的两个分支在通道域中提取上下文信息，在空间域中保持高分辨率减少特征降维导致的信息丢失；然后对两个分支的输出特征进行矩阵点乘...

【专利技术属性】
技术研发人员：陈继铭，刘伟，段程鹏，
申请(专利权)人：西安中科立德红外科技有限公司，
类型：发明
国别省市：