一种基于融合采样策略和图网络的制造技术

本发明专利技术涉及一种基于融合采样策略和图网络的

【技术实现步骤摘要】
一种基于融合采样策略和图网络的3D目标检测方法


[0001]本专利技术涉及一种
3D
目标检测技术，特别涉及一种基于融合采样策略和图网络的
3D
目标检测方法
。

技术介绍

[0002]近年来提出了很多
3D
目标检测的方法，比如基于点的方法
、
基于体素的方法和基于点和体素相混合的方法等的蓬勃发展和研究
。
同时，图机器学习的算法研究也日渐成熟
。
用于点云检测的图神经网络模型
(Point
‑
GNN)
首次将图卷积神经网络应用于
3D
目标检测，并且在自动驾驶数据集
KITTI
数据集上取得了优异的效果，证明了使用图神经网络建模
3D
点云数据的可行性
。
但是由于该方法对小目标在中等难度和复杂场景下的检测效果不佳
。
相较于较大的汽车类别，行人和骑行者类别的尺度范围较小；同时，行人类别和骑行者类别出现的场景相较于汽车类别更为复杂
。
在实际自动驾驶场景中，由于目标尺度差异大，导致小目标的检测精度仍然存在较大的提升空间
。

技术实现思路

[0003]针对
3D
目标检测场景中，使用图神经网络建模
3D
点云数据，对小目标在中等难度和复杂场景下的检测效果不佳的问题，提出了一种基于融合采样策略和图网络的
3D
目标检测方法
。
为了充分发挥图网络在非欧几里德数据处理方面具有的丰富的拓扑信息和空间感知能力的，首先，引入融合采样策略对原始点云进行采样；接着，对采样后的点云利用最近邻算法进行图构造；最后，通过对构造的图采用特征交互机制，提高网络特征提取的能力，以达到提高目标检测效果的目的
。
[0004]本专利技术的技术方案为：
[0005]一种基于融合采样策略和图网络的
3D
目标检测方法，包括以下步骤：
[0006]步骤
S1
：获取多种道路场景的
3D
点云数据集，对数据集中的图像进行标注并作为原始点云；
[0007]步骤
S2
：构建用于点云检测的图神经网络模型
Point
‑
GNN
；
[0008]在采样层中对距离最远点采样和特征最远点采样两种方法进行融合操作，以构造点云的融合采样策略；
[0009]步骤
S3
：通过采样之后的点云集合构建点云图；
[0010]步骤
S4
：将点云图中的节点与其邻居节点进行特征的融合，并进行节点与其邻居节点的特征交互；
[0011]步骤
S5
：对点云图的节点的全局和局部特征进行融合；
[0012]步骤
S6
：对于步骤
S5
中得到的融合后的每个节点的特征进行目标分类和目标定位处理；
[0013]步骤
S7
：输出每个节点所属的对象的类别和边界框
。
[0014]步骤
S2
具体为：
[0015]设计融合采样策略，在采样层中同时使用特征最远点采样和距离最远点采样的方式对原始点云进行采样处理；对原始点云在采样层中使用距离最远点采样和特征最远点采样两种采样方法进行采样，接着对采样后的点云进行融合操作；通过构造点云的融合采样策略，去除无用点的同时保留更多有益点；融合操作如公式
(1)
所示：
[0016]C(A
，
B)
＝
λ
L
d
(A
，
B)+L
f
(A
，
B)
ꢀꢀꢀ
(1)
[0017]公式
(1)
中，
L
d
(A
，
B)
表示点之间的位置距离，
L
f
(A
，
B)
表示点之间的特征距离，
λ
是平衡因子，
C(A
，
B)
表示综合距离
。
[0018]步骤
S3
具体为：
[0019]构建点云图
G
＝
(P
，
E)
：其中，
P
表示采样之后的点云集合，
E
是边的集合；
P
和
E
的关系如下公式
(2)
所示：
[0020]E
＝
{(p
i
，
p
j
)|p
j
∈K(p
i
)}
ꢀꢀꢀꢀ
(2)
[0021]其中，
p
i
、p
j
∈P
，
p
i
、p
j
分别表示点云集合
P
内不同的两个不同的点；针对每个点
p
i
，通过计算该点与其他点在点云集合
P
中的欧几里得距离，选取最近的
K
个点作为其邻居集合
K(p
i
)
；这样，建立一个点云图
G
＝
(P
，
E)
，其中边的集合
E
由满足条件的点对
(p
i
，
p
j
)
组成，其中
p
j
是
p
i
的邻居
。
[0022]步骤
S4
具体为：
[0023]点云图中的节点与其邻居节点进行特征的融合，并以循环的方式更新它们的状态；在每个更新的过程中，每个节点首先聚合来自该节点的邻居节点转换后的状态信息，再通过
GRU
模块更新，利用时间序列中每个时间步中节点的状态；
GRU
模块结合了当前时间步中聚合的节点信息以及上一个时间步中节点的信息，以得到一个更全面的节点状态更新；该过程为节点的特征交互，点云图中节点的状态向量如公式
(3)
所示：
[0024][0025]公式
(3)
中，
H
t
表示点云图中在
t
时间步上各节点状态集合，分别表示节点1，2，3…
m
在
t
时间步上节点的状态向量
。
[0026]步骤
S6
中的目标分类具体为：
[0027]步骤
6.1
：计算每个节点的多类别概率分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于融合采样策略和图网络的
3D
目标检测方法，其特征在于，包括以下步骤：步骤
S1
：获取多种道路场景的
3D
点云数据集，对数据集中的图像进行标注并作为原始点云；步骤
S2
：构建用于点云检测的图神经网络模型
Point
‑
GNN
；在采样层中对距离最远点采样和特征最远点采样两种方法进行融合操作，以构造点云的融合采样策略；步骤
S3
：通过采样之后的点云集合构建点云图；步骤
S4
：将点云图中的节点与其邻居节点进行特征的融合，并进行节点与其邻居节点的特征交互；步骤
S5
：对点云图的节点的全局和局部特征进行融合；步骤
S6
：对于步骤
S5
中得到的融合后的每个节点的特征进行目标分类和目标定位处理；步骤
S7
：输出每个节点所属的对象的类别和边界框
。2.
根据权利要求1所述的基于融合采样策略和图网络的
3D
目标检测方法，其特征在于，步骤
S2
具体为：设计融合采样策略，在采样层中同时使用特征最远点采样和距离最远点采样的方式对原始点云进行采样处理；对原始点云在采样层中使用距离最远点采样和特征最远点采样两种采样方法进行采样，接着对采样后的点云进行融合操作；通过构造点云的融合采样策略，去除无用点的同时保留更多有益点；融合操作如公式
(1)
所示：
C(A,B)
＝
λ
L
d
(A,B)+L
f
(A,B)
ꢀꢀꢀꢀ
(1)
公式
(1)
中，
L
d
(A,B)
表示点之间的位置距离，
L
f
(A,B)
表示点之间的特征距离，
λ
是平衡因子，
C(A,B)
表示综合距离
。3.
根据权利要求1所述的基于融合采样策略和图网络的
3D
目标检测方法，其特征在于，步骤
S3
具体为：构建点云图
G
＝
(P,E)
：其中，
P
表示采样之后的点云集合，
E
是边的集合；
P
和
E
的关系如下公式
(2)
所示：
E
＝
{(p
i
,p
j
)||p
j
∈K(p
i
)}
ꢀꢀꢀꢀ
(2)
其中，
p
i
、p
j
∈P
，
p
i
、p
j
分别表示点云集合
P
内不同的两个不同的点；针对每个点
p
i
，通过计算该点与其他点在点云集合
P
中的欧几里得距离，选取最近的
K
个点作为其邻居集合
K(p
i
)
；这样，建立一个点云图
G
＝
(P,E)
，其中边的集合
E
由满足条件的点对
(p
i
,p
j
)
组成，其中
p
j
是
p
i
的邻居
。4.
根据权利要求1所述的基于融合采样策略和图网络的
3D
目标检测方法，其特征在于，步骤
S4
具体为：点云图中的节点与其邻居节点进行特征的融合，并以循环的方式更新它们的状态；在每个更新的过程中，每个节点首先聚合来自该节点的邻居节点转换后的状态信息，再通过
GRU
模块更新，利用时间序列中每个时间步中节点的状态；
GRU
模块结合了当前时间步中聚合的节点信息以及上一个时间步中节点的信息，以得到一个更全面的节点状态更新；该过程为节点的特征交互，点云图中节点的状态向量如公式
(3)
所示：
公式
(3)
中，
H
t
表示点云图中在
t
时间步上各节点状态集合，分别表示节点1，2，3…
m
在
t
时间步上节点的状态向量
。5.
根据权利要求1所述的基于融合采样策略和图网络的
3D
目标检测方法，其特征在于，步骤
S6
中的目标分类具体为：步骤
6.1
：计算每个节点的多类别概率分布，每个节点的类别概率分布集合为
{p
c1
,...,...

【专利技术属性】
技术研发人员：陈志霖，李文举，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：