一种基于时-空-极性域解耦合的事件相机分类检测方法技术

本发明专利技术公开了一种基于时

【技术实现步骤摘要】
一种基于时
‑
空
‑
极性域解耦合的事件相机分类检测方法


[0001]本专利技术属于计算机视觉
，具体的说是一种基于时
‑
空
‑
极性域解耦合的事件相机分类检测方法
。

技术介绍

[0002]基于深度学习的特征提取在计算机视觉领域扮演着关键角色，为从视觉相机捕获的帧图像中提取有用信息，并在诸如目标识别
、
检测等下游任务中发挥作用
。
虽然目前已有多种精确高效的特征提取方法，其在高质量帧图像上表现出色
。
然而，在现实世界的应用场景中，仍然存在一些极端挑战，这些挑战对传统相机技术构成了严峻考验
。
例如，画面可能因剧烈光照变化而产生过曝，在昏暗环境中可能导致细节丧失，拍摄高速运动目标时可能出现动态模糊等问题，这些都可能导致目标识别失败或检测丢失
。
[0003]为了应对这些挑战，引入了一种受生物视觉启发的新型传感器，即动态视觉传感器
(DVS)
，又称为事件相机
...

【技术保护点】

【技术特征摘要】
1.
一种基于时
‑
空
‑
极性域解耦合的事件相机分类检测方法，其特征在于，包括如下步骤：步骤一
、
基于事件相机的数据收集和预处理：利用事件相机采集异步的事件流和
RGB
图像，并将所述事件流按照时间戳划分为单个事件流样本，从而得到
M
个事件流样本，其中第
i
个事件流样本记为
E
i
，且，且其中，
x
i,j
,y
i,j
,y
i,j
,p
i,j
分别表示第
i
个事件流样本
E
i
中第
j
个事件的横坐标
、
纵坐标
、
记录的时间戳和极性，
N
i
表示第
i
个事件流样本
E
i
中包含的事件总数，令单个事件流样本的空间范围为
H
×
W
，
H
和
W
分别为高度和宽度的最大值；根据第
i
个事件流样本
E
i
中第1个事件的时间戳
t0找到时间最相邻的
RGB
图片，并标注
RGB
图片中物体的信息并形成规范化标签
l
i
，从而形成事件相机训练数据集步骤二
、
构建事件嵌入模块，用于将异步事件流转换成事件表征：步骤
2.1、
将第
i
个事件流样本
E
i
中的时间戳离散化，使其成为在
[0,K
‑
1]
范围内的整数序列其中，为向下取整操作，
K
为离散化后的时间区间数，
t
end
为第
N
i
个事件的时间戳；步骤
2.2、
根据第
i
个事件流样本
E
i
中的横坐标纵坐标得到第
i
个事件流样本
E
i
的词符块位置以及第
i
个事件流样本
E
i
的词符块内各像素的位置其中，
mod
为取余数操作，
P
为词符块的边长；步骤
2.3、
利用式
(1)
得到第
i
个事件流样本
E
i
的一维数组
a
i
：式
(1)
中，
p
i
表示第
i
个事件流样本
E
i
的极性；步骤
2.4、
对
a
i
进行频数统计后，再进行矩阵拼接和矩阵重塑操作，得到第
i
个事件表征个事件表征步骤
2.5、
使用分组卷积层和
MLP
层从第
i
个事件表征
R
i
中提取特征，得到第
i
个含有
G
组时
‑
空
‑
极性特征的事件词符其中，
token
i,k
表示
T
i
中维度为
G
·
G
的第
k
个词符，
G
为依照时间和极性不同而划分的组数，
C
为每组的通道数，即每组的特征维度；步骤
2.6、
从所述事件相机训练数据集
X
中批量选取
B
个事件流样本并按照步骤
2.1
‑
步骤
2.5
的过程将
XE
转换为事件词符步骤三
、
构建层级式分组特征提取网络，并用于对事件词符
XT
进行基于时
‑
空
‑
极性域解耦合的分组特征提取，得到输出其中，
f
l,b
表示第
l
个层级的第
b
个输出；步骤四
、
构建分类模块和检测模块：
步骤
4.1、
所述分类模块对所述层级式分组特征提取网络中第
L
个层级的输出进行全局平均池化操作后，再输入全连接层中进行处理，从而得到一批事件流样本
XE
的规范化预测标签其中，
p
b,c
表示批量选取的
B
个事件流样本
XE
中第
b
个事件流样本
E
b
所对应预测标签为第
c
种类别的概率，
Cls
为类别总数；步骤
4.2、
所述检测模块将输出
F
out
送入
YOLOX
检测层中进行处理，并输出目标检测结果其中，
P'
b
表示第
b
个事件流样本
F
b
的目标检测结果，
P'
b
∈R
N
×
(Cls+5)
，
N
为目标检测结果中的检测框的数量，且每个检测框包含
Cls+5
个预测值，分别为检测框内的目标是各种类别的率，检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度以及置信度；通过置信度筛选和非极大值抑制对检测结果进行过滤，得到最终的检测结果其中，
pd
b
表示第
b
个事件流样本
E
b
的预测结果；
N
‑
为筛选后剩余检测框的数量；步骤五
、
网络训练：步骤
5.1、
对于分类任务，利用式
(2)
构建交叉熵损失
L
CE
：式
(2)
中，
p
b
为第
b
个事件流样本
E
b
所对应预测标签被正确分类的概率；步骤
5.2、
对于检测任务，利用式
(3)
构建总损失函数
L
：
L
＝
a
·
L
Conf
+b
·
L
Cls
+c
·
L
Reg
ꢀꢀꢀꢀꢀ
(3)
式
(3)
中，
L
Reg
表示回归损失，并由式
(4)
得到，
L
Conf
表示置信度损失，并通过
p
b
取
pd
b
中的置信度来计算，
L
Cls
表示类别损失，并通过
p
b
取
pd
b
中检测框内目标被正确分类的概率来计算，
a、b、c
为三种损失的权重；
L
Reg
＝
‑
log(IoU(PD
box
,GT))
ꢀꢀꢀꢀꢀ
(4)
式
(3)
中，
PD
box
为检测结果
PD
中的检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度；
GT
为规范化标签中对应检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度；
IoU(
·
)
指计算两组框的交并比；步骤
5.3、
使用梯度下降法对所述事件嵌入模块
、
层级式分组特征提取网络
、
分类模块和检测模块进行训练，并计算损失函数以更新网络参数，直到损失达到收敛为止，从而得到训练好的分类检测模型，用于对事件流样本进行分类检测
。2.
根据权利要求1所述的一种基于时
‑
空
‑
极性域解耦合的事件相机分类检测方法，其特征在于，所述步骤三的层级式分组特征提取网络中的第1个层级包含一个双残差事件自注意力模块，其余每个层级均包含一个分组特征聚合模块和一个双残差事件自注意力模块；所述双残差事件自注意力模块依次由分窗操作层
、
空间自注意力层
、
分组自注意力层

【专利技术属性】
技术研发人员：张越一，彭岩松，孙晓艳，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：