一种基于解耦动态卷积核的雷达全景分割方法技术

本发明专利技术涉及3D视觉技术领域，提出了一种基于解耦动态卷积核的雷达全景分割方法，主要包括构建点云特征提取器、构建动态卷积核生成模块、构建动态卷积核解码模块、模型训练和模型推断五个阶段的步骤实现，本发明专利技术提出一种新型的Panoptic DKNet网络模型，以在具有解耦动态卷积核的统一工作流中实现雷达点云全景分割，Panoptic DKNet将实例目标和背景类别的动态核进行解耦，以促进各自的学习过程，同时对分类和分割实现解耦策略，以避免不同类别之间的相互竞争。本发明专利技术所设计的算法在SemanticKITTI基准数据集上表现出较好的全景分割性能，且对环境中紧邻的小目标点云、分散的大目标点云具有很好的分割鲁棒性。的大目标点云具有很好的分割鲁棒性。的大目标点云具有很好的分割鲁棒性。

【技术实现步骤摘要】
一种基于解耦动态卷积核的雷达全景分割方法


[0001]本专利技术涉及3D视觉
，具体是涉及一种基于解耦动态卷积核的雷达全景分割方法。

技术介绍

[0002]近年来，随着自动驾驶的快速发展，激光雷达感知技术得到了广泛的研究。激光雷达分割可以实现对整个场景的点级预测，在雷达感知任务中是基础和关键的。激光雷达全景分割不仅可以预测背景类别(如道路和植被)的逐点语义标签，还可以预测前景类别(如汽车和人)的语义标签和实例ID。由于它能够在一个网络架构中同时实现的语义和实例分割，全景分割在激光雷达感知中发挥着重要作用，具有广泛的应用前景。
[0003]根据实例分割的实现方式，现有的雷达全景分割方法可以分为自上而下和自底向上两类算法。自上而下的方法采用检测
‑
分割的范式，基于语义预测提取边界框中的前景点来实现实例分割。而自底向上的方法遵循回归
‑
聚类的范式，首先预测所有点的语义标签，然后基于点便宜或者特征嵌入，进行启发式聚类来聚合前经典。然而，这两类方法都显式地分离了两个分割任务，并利用两个独立的分支来实现全景分割。

技术实现思路

[0004]针对上述问题，本专利技术提出了统一的雷达全景分割网络模型Panoptic DKNet，主要包括一个动态核生成器和一个动态核解码器，它们分别负责生成带有语义类别的动态核、解码预测分割掩码。动态核生成器从鸟瞰图(Bird
’
s Eye View,BEV)的视角下预测实例目标的中心点位置和背景类别的区域，然后提取相应位置的BEV特征，以生成实例和背景类的动态核权重。动态核解码器包括一个位置解码器，用于捕获实例对象的空间位置信息并输出位置感知的实例动态核；以及一个掩码解码器，用于建立动态核之间的相关性并聚合全局上下文特征。最后，通过将动态核的权重与每个点的特征嵌入进行卷积操作，生成每个动态核相对应的分割掩码。本专利技术提出的实例/背景动态卷积核在统一的流程中实现了雷达点云全景分割。
[0005]为了实现上述目的，本专利技术提供一种基于解耦动态卷积核的雷达全景分割方法，包括以下步骤：
[0006]S1、构建点云特征提取器，基于体素化表示和3D稀疏卷积提取输入点云的体素特征和点级特征嵌入；
[0007]S2、构建动态卷积核生成模块，基于鸟瞰热力图，根据BEV视角下预测的实例/背景类点云位置，生成动态卷积核初始权重；
[0008]S3、构建动态卷积核解码模块，利用实例动态核预测实例目标的3D边界框，采用kNN
‑
Transformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式预测掩码，输出场景点云全景分割结果；
[0009]S4、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于
解耦动态卷积核的雷达全景分割方法；
[0010]S5、利用所述基于解耦动态卷积核的雷达全景分割方法对新的点云进行全景分割预测。
[0011]优选的，所述步骤S1具体包括以下步骤：
[0012]S11、对输入的稀疏点云利用体素化操作将点云转换为体素，然后提取每个体素的初始化特征；
[0013]S12、构建3D稀疏特征编码器和多尺度全局注意力模块，提取稀疏的体素特征表达同时获得点级的特征嵌入
[0014]优选的，所述体素化操作具体过程为：首先设定体素分辨率s，然后对于给定点云P中一点p
i
＝(x
i
,y
i
,z
i
)，它所属体素的索引为)，它所属体素的索引为为向下取整操作；每个体素的初始化特征提取方式为：将一个体素内所有点的坐标送入多层感知机MLP提取点的特征，然后利用Max
‑
Pooling函数将多个点的特征进行融合，得到一个体素的特征表达f
v
；
[0015]所述稀疏的体素特征表达与点级的特征嵌入的提取过程为：首先采用具有Bottleneck结构的3D稀疏卷积来提取体素的局部信息，然后利用的跨尺度全局注意力模块构建长距离依赖关系，建立体素之间的关联性，构建四层的3D稀疏特征编码器，并使用最后一个编码器的特征作为稀疏的体素特征表达F
v
，其稠密的L
×
H
×
W，空间分辨率为Lx H x W，点级的特征嵌入为：
[0016]fe＝Concat(f
v,1
,f
v,2
,f
v,3
,f
v,4
,MLP(f
p
))
[0017]其中f
v,i
是点所在的体素的第i层编码特征，f
p
是点的空间坐标，每个点的特征嵌入包含全局编码信息及其唯一表示。
[0018]优选的，所述步骤S2具体包括以下步骤：
[0019]S21、将所述稀疏的体素特征F
v
在Z轴上进行Max
‑
Pooling，得到BEV特征然后基于BEV特征预测实例中心点热力图和背景区域图
[0020]S22、基于实例中心点热力图M
th
、背景区域图M
st
，和BEV特征F
bev
，在热力图高响应的相应位置提取BEV特征，得到初始的实例动态核和背景类动态核
[0021]优选的，步骤S21中的所述基于BEV特征预测实例中心点热力图的具体方式为：在F
bev
上采用多层2D卷积预测中心点热力图，其中N
ins
是实例的语义类别的数量，每个通道表示一个类别的分数；
[0022]步骤S21中的所述基于BEV特征预测背景区域图的具体方式为：在F
bev
上采用小型的U
‑
Net结构预测BEV视角下的2D背景区域分割结果，其中N
st
是背景类的语义类别数；
[0023]步骤S22中的基于实例中心点热力图M
th
和BEV特征F
bev
生成实例动态核的具体方式为：选择M
th
上得分最高的N
th
个位置，这些位置指示了潜在的实例对象；然后提取F
bev
上对应位置的特征来生成每个实例对象的动态核；
[0024]步骤S22中的基于背景区域图M
st
和BEV特征F
bev
生成背景类动态核的具体方式为：将背景区域图与BEV特征相乘，得到背景的BEV特征然后在空间维度上采用自适应平均池化操作，得到每个背景类别的动态核。
[0025]优选的，所述步骤S3具体包括以下步骤：
[0026]S31、基于所述实例动态核K
th
，利用Transformer模块和多层感知机，预测每个动态核对应实例目标的3D边界框和重叠度交并比IoU；然后采用非极大值抑制方法消除冗余的边本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，包括以下步骤：S1、构建点云特征提取器，基于体素化表示和3D稀疏卷积提取输入点云的体素特征和点级特征嵌入；S2、构建动态卷积核生成模块，基于鸟瞰热力图，根据BEV视角下预测的实例/背景类点云位置，生成动态卷积核初始权重；S3、构建动态卷积核解码模块，利用实例动态核预测实例目标的3D边界框，采用kNN
‑
Transformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式预测掩码，输出场景点云全景分割结果；S4、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于解耦动态卷积核的雷达全景分割方法；S5、利用所述基于解耦动态卷积核的雷达全景分割方法对新的点云进行全景分割预测。2.根据权利要求1所述的一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，所述步骤S1具体包括以下步骤：S11、对输入的稀疏点云利用体素化操作将点云转换为体素，然后提取每个体素的初始化特征；S12、构建3D稀疏特征编码器和多尺度全局注意力模块，提取稀疏的体素特征表达同时获得点级的特征嵌入3.根据权利要求2所述的一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，所述体素化操作具体过程为：首先设定体素分辨率s，然后对于给定点云P中一点p
i
＝(x
i
,y
i
,z
i
)，它所属体素的索引为)，它所属体素的索引为为向下取整操作；每个体素的初始化特征提取方式为：将一个体素内所有点的坐标送入多层感知机MLP提取点的特征，然后利用Max
‑
Pooling函数将多个点的特征进行融合，得到一个体素的特征表达f
v
；所述稀疏的体素特征表达与点级的特征嵌入的提取过程为：首先采用具有Bottleneck结构的3D稀疏卷积来提取体素的局部信息，然后利用的跨尺度全局注意力模块构建长距离依赖关系，建立体素之间的关联性，构建四层的3D稀疏特征编码器，并使用最后一个编码器的特征作为稀疏的体素特征表达F
v
，其稠密的L
×
H
×
W，空间分辨率为Lx H x W，点级的特征嵌入为：fe＝Concat(f
v,1
,f
v,2
,f
v,3
,f
v,4
,MLP(f
p
))其中f
v,i
是点所在的体素的第i层编码特征，f
p
是点的空间坐标，每个点的特征嵌入包含全局编码信息及其唯一表示。4.根据权利要求3所述的一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，所述步骤S2具体包括以下步骤：S21、将所述稀疏的体素特征F
v
在Z轴上进行Max
‑
Pooling，得到BEV特征然后基于BEV特征预测实例中心点热力图和背景区域图S22、基于实例中心点热力图M
th
、背景区域图M
st
，和BEV特征F
bev
，在热力图高响应的相应位置提取BEV特征，得到初始的实例动态核和背景类动态核
5.根据权利要求4所述的一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，步骤S21中的所述基于BEV特征预测实例中心点热力图的具体方式为：在F
bev
上采用多层2D卷积预测中心点热力图，其中N
ins
是实例的语义类别的数量，每个通道表示一个类别的分数；步骤S21中的所述基于BEV特征预测背景区域图的具体方式为：在F
bev
上采用小型的U
‑
Net结构预测BEV视角下的2D背景区域分割结果，其中N
st
是背景类的语义类别数；步骤S22中的基于实例中心点热力图M
th
和BEV特征F
bev
生成实例动态核的具体方式为：选择M
th
上得分最高的N
th
个位置，这些位置指示了潜在的实例对象；然后提取F
bev
上对应位置的特征来生成每个实例对象的动态核；步骤S22中的基于背景区域图M
st
和BEV特征F
bev
生成背景类动态核的具体方式为：将背景区域图与BEV特征相乘，得到背景的BEV特征然后在空间维度上采用自适应平均池化操作，得到每个背景类别的动态核。6.根据权利要求5所述的一种基于解耦动态卷积核的雷达全景分割方法，其特征在于，所述步骤S3具体包括以下步骤：S31、基于所述实例动态核K
th
，利用Transformer模块和多层感知机，预测每个动态核对应实例目标的3D边界框和重叠度交并比IoU；然后采用非极大值抑制方法消除冗余的边界框，得到一个精简的边界...

【专利技术属性】
技术研发人员：刘勇，杨煜，梅剑标，
申请(专利权)人：浙江大学，
类型：发明
国别省市：