基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
基于ShapeInversion++网络的4D毫米波点云补全方法


[0001]本专利技术涉及深度学习领域，提供一种基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，是一种基于无监督学习的点云补全神经网络模型，针对
4D
毫米波雷达点云的内在特性，提出的模型优化和算法
。

技术介绍

[0002]近年来，毫米波雷达在高级驾驶辅助系统
(ADAS)
中得到广泛应用，成为零部件供应商关注的焦点
。ADAS
系统需要多种传感器协同工作，以提升行车安全和交通质量
。
毫米波雷达由于其全天候工作
、
体积小
、
重量轻
、
价格低廉等优势，能够弥补激光雷达不能探测远处目标
、
性能易受恶劣天气影响
、
成本高昂等缺点，以及摄像头
、
超声波雷达等其他传感器在
ADAS
辅助驾驶时环境监测方面的不足，已经成为
ADAS
不可或缺的核心分传感器，也是自动驾驶和无人驾驶的关键传感器
。
[0003]过去
3D
毫米波雷达只能获取目标的距离
、
速度和方位角信息，无法将道路交通信息反映在真实的三维空间中，而
4D
毫米波雷达能额外获取目标的高度信息，具备在未来车载环境监测系统中替代激光雷达的潜能，降低硬件成本，具有广阔的应用前景
。
点云作为目标表面的海量点集合，真实世界中通常使用激光雷达
、
立体相机等设备捕获
。
而相比于激光雷达，
4D
毫米波雷达的点云密度稀疏，为了更好的单独依靠
4D
雷达对环境进行感知，需要准确的加强
4D
毫米波雷达的点云分布密度
。
[0004]近年来深度学习技术的突破促进了点云补全方法的发展，其中
ShapeInversion
网络首次将
GAN
逆映射应用在
3D
点云补全
。
然而，
4D
雷达点云的稀疏性
、
不规则性和密度不均匀性使得特征提取更加困难，如果直接将点云输入到补全网络中，则由于点云的坐标值差异较大，使得对同一类的点云目标补全效果不佳
。
因此需要探索适用于
4D
毫米波雷达点云补全的方法
。

技术实现思路

[0005]本专利技术的目的在于针对现有技术存在的问题和不足，提供一种基于
ShapeInversion++
网络的
4D
毫米波点云补全算法，通过对经过预处理的稀疏
4D
毫米波雷达点云数据进行补全，得到和真实点云相近的密集点云
。
[0006]实现本专利技术目的的技术解决方案为：一方面，提供了一种基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，所述方法包括以下步骤：
[0007]S1
，建立
GAN
架构，基于
ShapeInversion
网络生成
ShapeInversion++
网络，包括生成器
G
与鉴别器
D
；
[0008]S2
，预训练好的生成器
G
使用一个潜在向量
z
生成一个完整的
3D
点云目标形状
x
c
；
[0009]S3
，对
3D
点云目标形状
x
c
进行坐标校正，得到校正后的
3D
点云目标形状
x
c
'
；
[0010]S4
，基于
3D
点云目标形状
x
c
'
和待补全的输入残缺
3D
点云形状
x
in
，通过退化函数
M
将
3D
点云目标形状
x
c
'
转化为对应残缺的
3D
点云目标
x
p
，并根据
x
in
和
x
p
更新退化函数
M
的损
失函数
M
‑
Loss
；
[0011]S5
，依据
M
‑
Loss
通过梯度下降方法寻找最佳潜在向量
z
，并调节生成器
G
的参数，基于最佳潜在向量
z
和生成器
G
补全残缺
3D
点云形状
x
in
。
[0012]进一步地，
S1
中
ShapeInversion++
网络中的生成器
G
为一个基于树状结构图卷积的点云生成网络
Tree
‑
GAN
，包括7个树层，每一个树层均执行一次点扩增模块即
Branching
模块和类图卷积模块即
GraphConv
模块；
[0013]其中，
GraphConv
模块的表达式为：
[0014][0015]式中，
σ
(.)
是激活单元，分别表示第
l
树层
、
第
l+1
树层的第
i
个节点，即三维点云的坐标，是包含
K
个节点的完全连接层，表示的所有祖先，线性映射关系整合
q
j
所有祖先的信息，
b
l
是第
l
树层的外加偏置项，
l
取1至6；
[0016]其中，
Branching
模块的表达式为：
[0017]forj
＝
1,
…
,d
l
[0018]式中，是转换矩阵，
[*]j
表示矩阵
*
的第
j
列，
d
l
代表第
l
树层的扩增点数；
[0019]所述
Tree
‑
GAN
采用统一损失
PatchVariance
作为损失函数
G
‑
Loss
，定义为
[0020][0021]式中，
[D(G(z))]表示生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，其特征在于，所述方法包括以下步骤：
S1
，建立
GAN
架构，基于
ShapeInversion
网络生成
ShapeInversion++
网络，包括生成器
G
与鉴别器
D
；
S2
，预训练好的生成器
G
使用一个潜在向量
z
生成一个完整的
3D
点云目标形状
x
c
；
S3
，对
3D
点云目标形状
x
c
进行坐标校正，得到校正后的
3D
点云目标形状
x
c
'
；
S4
，基于
3D
点云目标形状
x
c
'
和待补全的输入残缺
3D
点云形状
x
in
，通过退化函数
M
将
3D
点云目标形状
x
c
'
转化为对应残缺的
3D
点云目标
x
p
，并根据
x
in
和
x
p
更新退化函数
M
的损失函数
M
‑
Loss
；
S5
，依据
M
‑
Loss
通过梯度下降方法寻找最佳潜在向量
z
，并调节生成器
G
的参数，基于最佳潜在向量
z
和生成器
G
补全残缺
3D
点云形状
x
in
。2.
根据权利要求1所述的基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，其特征在于，
S1
中
ShapeInversion++
网络中的生成器
G
为一个基于树状结构图卷积的点云生成网络
Tree
‑
GAN
，包括7个树层，每一个树层均执行一次点扩增模块即
Branching
模块和类图卷积模块即
GraphConv
模块；其中，
GraphConv
模块的表达式为：式中，
σ
(.)
是激活单元，分别表示第
l
树层
、
第
l+1
树层的第
i
个节点，即三维点云的坐标，是包含
K
个节点的完全连接层，表示的所有祖先，线性映射关系整合
q
j
所有祖先的信息，
b
l
是第
l
树层的外加偏置项，
l
取1至6；其中，
Branching
模块的表达式为：式中，是转换矩阵，
[*]
j
表示矩阵
*
的第
j
列，
d
l
代表第
l
树层的扩增点数；所述
Tree
‑
GAN
采用统一损失
PatchVariance
作为损失函数
G
‑
Loss
，定义为，定义为式中，
[D(G(z))]
表示生成器
G
生成的虚假点云输入到鉴别器
D
的结果值，
λ
patch
为加权参数，范围在
[0,1]
之间，
n
表示目标表面的
n
个种子，
ρ
j
表示每个种子
j
与其
k
个最近邻居之间的平均距离
。3.
根据权利要求2所述的基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，其特征在于，步骤1中鉴别器
D
为基于
r
‑
GAN
结构构建的点云真假鉴别网络，包括卷积层部分和线性层部分，所述卷积层部分包括五层卷积，每层卷积后经过
LeakyReLU
函数，五层卷积的卷积数分别为
{3,64,128,256,256,512}
；所述线性层部分为一个全连接层，通过三个
FC
‑
ReLU
的结构，对卷积结果进行分类；线性层部分之后连接
Sigmoid
函数；所述鉴别器的损失函数
D
‑
Loss
定义为
式中，表示真实点云分布，表示生成器生成的虚假点云输入到鉴别器结果的期望值，表示真实点云输入到鉴别器结果的期望值，表示从真假点云之间采样，表示采样点输入鉴别器的结果的梯度变为0的
Wasserstein
距离，是的均方差，
λ
gp
是一个加权参数，范围在
[0,1]
之间
。4.
根据权利要求3所述的基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，其特征在于，
S2
所述预训练好的生成器
G
使用一个潜在向量
z
生成一个完整的
3D
点云目标形状
x
c
，具体包括：
S2
‑1，同时采集相同车辆的
4D
毫米波雷达点云和激光雷达点云；
S2
‑2，对所述
4D
毫米波雷达点云进行裁切
、
滤波
、
聚类
、
坐标转换，作为待补全的输入残缺
3D
点云；
S2
‑3，基于
S2
‑1的激光雷达点云，利用预训练好的生成器
G
使用一个潜在向量
z
生成一个完整的
3D
点云目标形状
x
c
。5.
根据权利要求4所述的基于
ShapeInversion++
网络的
4D
毫米波点云补全方法，其特征在于，
S3
所述对
3D
点云目标形状
x
c
进行坐标校正，得到校正后的
3D
点云目标形状
x
c
'
，具体包括：
S3
‑1，在雷达坐标系中，对于每个
3D
点云目标形状，分别计算出沿
x、y、z
方向上的边界值，得到

【专利技术属性】
技术研发人员：阮鑫宇，吴礼，潘树毅，邹智薪，潘泓杨，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：