融合时序特征的在线密集点云语义分割系统及方法技术方案

一种融合时序特征的在线密集点云语义分割系统及方法，包括：自适应帧调度器、静态分割模块、时序特征聚合网络和部分特征更新网络，自适应帧调度器对来自部分特征更新网络的信息，以更新部分与未更新部分的比率决定下一帧被视为关键帧还是非关键帧；静态分割模块通过其骨干网络对关键帧原始点云通过静态点云分割实现特征提取，得到单帧的语义分割结果；时序特征聚合网络利用相邻两帧的时序相关性，通过聚合关键帧上的特征对语义分割结果进行精确优化；部分特征更新网络根据相邻两帧中非关键帧的局部重要关键点，通过选择性地更新继承特征，对语义分割结果进行快速更新。本发明专利技术在同时考虑了特征一致性和计算成本的基础上，利用连续点云帧之间的时间相关性聚合特征，聚合后每一帧的特征得到增强，使分割更准确且帧间的特征一致，消除处理点云系列时的闪烁。消除处理点云系列时的闪烁。消除处理点云系列时的闪烁。

【技术实现步骤摘要】
融合时序特征的在线密集点云语义分割系统及方法


[0001]本专利技术涉及的是一种信息处理领域的技术，具体是一种融合时序特征的在线密集点云语义分割系统及方法。

技术介绍

[0002]为了更好地感知驾驶环境，大多数自动车辆都配备了激光雷达传感器，以持续获取点云数据，而点云语义分割算法的性能是自动车辆实时做出正确决策的关键。由于点云数据具有离散性和不规则分布的特点，与图像的语义分割相比，点云语义分割是一项比较困难的任务。实用的点云语义分割方法应满足以下两个要求。第一，分割结果要准确，以便自动车辆能够根据分割结果做出正确的驾驶决策。第二，该方法应能实时处理点云的时间序列。

技术实现思路

[0003]本专利技术针对现有点云语义分割技术主要集中在一个单一的、静态的点云上，在处理连续帧的点云时容易产生不一致的分割结果以及计算成本较高的问题，提出一种融合时序特征的在线密集点云语义分割系统及方法，在同时考虑了特征一致性和计算成本的基础上，利用连续点云帧之间的时间相关性聚合特征，聚合后每一帧的特征得到增强，使分割更准确且帧间的特征一致，消除处理点云系列时的闪烁。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种融合时序特征的在线密集点云语义分割系统，包括：自适应帧调度器、静态分割模块、时序特征聚合网络和部分特征更新网络，其中：自适应帧调度器对来自部分特征更新网络的信息，以更新部分与未更新部分的比率决定下一帧被视为关键帧还是非关键帧；静态分割模块通过其骨干网络对关键帧原始点云通过静态点云分割实现特征提取，得到单帧的语义分割结果；时序特征聚合网络利用相邻两帧的时序相关性，通过聚合关键帧上的特征对语义分割结果进行精确优化；部分特征更新网络根据相邻两帧中非关键帧的局部重要关键点，通过选择性地更新继承特征，对语义分割结果进行快速更新。
[0006]本专利技术涉及一种基于上述系统的融合时序特征的在线密集点云语义分割方法，通过对关键帧进行完整的特征提取和聚合，并将聚合后的增强特征传播到非关键帧，当轻量级差异评估检测到该非关键帧包含不可忽略的信息，则进一步对非关键帧进行部分更新。技术效果
[0007]本专利技术整体解决了现有技术语义分割结果的准确度无法达到自动驾驶决策的要求以及无法实时处理点云的时间序列的不足。
[0008]与现有技术相比，本专利技术通过在线点云语义分割框架(TempNet)以及时序特征聚合网络，实现轻量级且易部署的同时利用时序帧之间的运动信息来增强点云特征，提高语义分割的精度，进一步通过多帧的运动连续性信息减少计算，提高语义分割的速度。
附图说明
[0009]图1为本专利技术系统示意图；
[0010]图2为实施例中静态点云分割示意图；
[0011]图中：(a)为对关键帧进行全特征提取和聚合，(b)为对非关键帧进行部分特征更新和聚合；
[0012]图3为实施例中时序特征聚合网络示意图；
[0013]图中：以两个连续帧i和帧j的关键点作为输入。对于帧j的每个关键点，其位置被用来寻找前一帧i空间中的相邻关键点，图注意卷积网络用于对收集到的运动信息进行编码，并计算特征聚合的残差；
[0014]图4为实施例中部分特征更新网络示意图；
[0015]图中：将当前非关键帧j的所有点P
j
和前一帧i的关键点作为输入，权重共享卷积网络用于对收集到的空间信息进行编码并计算一致性估计器；
[0016]图5和图6为实施例效果示意图。
具体实施方式
[0017]如图1所示，为本实施例涉及一种融合时序特征的在线密集点云语义分割系统，包括：自适应帧调度器AFS、静态分割模块、时序特征聚合网络TFA和部分特征更新网络PFU，其中：自适应帧调度器对来自部分特征更新网络的信息，以更新部分与未更新部分的比率决定下一帧被视为关键帧还是非关键帧；静态分割模块通过其骨干网络对关键帧原始点云通过静态点云分割实现特征提取，得到单帧的语义分割结果；时序特征聚合网络利用相邻两帧的时序相关性，通过聚合关键帧上的特征对语义分割结果进行精确优化；部分特征更新网络根据相邻两帧中非关键帧的局部重要关键点，通过选择性地更新继承特征，对语义分割结果进行快速更新。
[0018]所述的自适应帧调度器以等时间间隔确定关键帧和非关键帧，并根据最近观察到的非关键帧的差异程度，动态调整关键帧的数量。
[0019]所述的自适应帧调度器，计算部分更新网络中更新的部分与未更新部分的比率：当比率较大，说明大部分点已被更新，下一帧与当前帧差异性较大，应被视为关键帧，否则为非关键帧。
[0020]本实施例采用点云语义分割方法RandLA
‑
Net作为静态分割模块。
[0021]所述的静态分割模块采用但不限于SqueezeSegV2点云语义分割模型实现，该模型以原始点云数据为输入，提取点与点之间的邻近关系，将局部的空间几何结构进行编码，经神经网络处理最终得到每个点所属的语义标签。
[0022]如图2所示，所述的静态点云分割，包括步骤(a)通过预训练骨干网络进行特征提取以及步骤(b)由多个输出分支组成的检测网络进行语义分割。图中箭头表示特征聚合流，图2(a)中均为关键帧特征，图2(b)中依次为关键帧特征、部分更新的非关键帧特征和遗传特征。
[0023]所述的聚合是指：首先测量由运动引起的两个连续帧之间的位置和特征差异，然后用来计算注意力得分。这样的注意力得分被用作从两个特征中采样的关键点的汇总权
重，从而使那些运动一致的关键点在汇总中贡献更大，具体为：对于两个连续的帧i和j，帧j的预测关键帧特征其中：
⊙
为元素乘法；为时序特征聚合网络；W
i
→
j
和W
j
→
j
为正则化权重，预测关键帧特征将历史特征与当前特征递归聚合，H为点云特征向量空间(矩阵)，W为加权系数。
[0024]如图3所示，所述的时序特征聚合，具体包括：
[0025]①
通过差分位置矩阵对两帧之间的位置差进行编码，差分位置矩阵M
pos
(p
j
)＝mlp(concat(p
i,l
,p
j
))，其中：为通过KNN算法收集关键点p
j
的点云P
i
中的关键点邻居，i、j为两个连续帧，mlp是指：多层感知器。
[0026]所述的KNN搜索半径为1.6，最大采样点为64。
[0027]②
通过微分特征矩阵对两帧之间的特征差进行编码，微分特征矩阵M
fea
(p
j
)＝concat(concat(h
i,l
,h
j
))，其中：对于中的每个相邻关键点，将编码后的相对点位置与其对应的点信息连接，得到一个增强的特征向量。
[0028]③
将上述两个矩阵连接得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时序特征的在线密集点云语义分割系统，其特征在于，包括：自适应帧调度器、静态分割模块、时序特征聚合网络和部分特征更新网络，其中：自适应帧调度器对来自部分特征更新网络的信息，以更新部分与未更新部分的比率决定下一帧被视为关键帧还是非关键帧；静态分割模块通过其骨干网络对关键帧原始点云通过静态点云分割实现特征提取，得到单帧的语义分割结果；时序特征聚合网络利用相邻两帧的时序相关性，通过聚合关键帧上的特征对语义分割结果进行精确优化；部分特征更新网络根据相邻两帧中非关键帧的局部重要关键点，通过选择性地更新继承特征，对语义分割结果进行快速更新；所述的自适应帧调度器以等时间间隔确定关键帧和非关键帧，并根据最近观察到的非关键帧的差异程度，动态调整关键帧的数量。2.根据权利要求1所述的融合时序特征的在线密集点云语义分割系统，其特征是，所述的静态点云分割，包括步骤(a)通过预训练骨干网络进行特征提取以及步骤(b)由多个输出分支组成的检测网络进行语义分割。3.根据权利要求1所述的融合时序特征的在线密集点云语义分割系统，其特征是，所述的聚合是指：首先测量由运动引起的两个连续帧之间的位置和特征差异，然后用来计算注意力得分；这样的注意力得分被用作从两个特征中采样的关键点的汇总权重，从而使那些运动一致的关键点在汇总中贡献更大，具体为：对于两个连续的帧i和j，帧j的预测关键帧特征特征其中：
⊙
为元素乘法；为时序特征聚合网络；W
i
→
j
和W
j
→
j
为正则化权重，预测关键帧特征将历史特征与当前特征递归聚合，H为点云特征向量空间(矩阵)，W为加权系数。4.根据权利要求1所述的融合时序特征的在线密集点云语义分割系统，其特征是，所述的时序特征聚合，具体包括：
①
通过差分位置矩阵对两帧之间的位置差进行编码，差分位置矩阵M
pos
(p
j
)＝mlp(concat(p
i，l
，p
j
))，其中：p
j
∈P
j
，p
i，l
∈P
i
，，为通过KNN算法收集关键点p
j
的点云P
i
中的关键点邻居，i、j为两个连续帧，mlp是指：多层感知器；
②
通过微分特征矩阵对两帧之间的特征差进行编码，微分特征矩阵M
fea
(p
j
)＝concat(concat(h
i，l
，h
j
))，其中：h∈H
j
，h
i，l
∈H
i
，对于中的每个相邻关键点，将编码后的相对点位置与其对应的点信息连接，得到一个增强的特征向量；
③
将上述两个矩阵连接得到运动差分矩阵M
diff
(p
j
)＝concat(M
pos
(p
j
)，M
fea
(p
j
))，其中：concat()为矩阵拼接函数，该运动差分矩阵M
diff
(p)实现关键点的特征增强。5.根据权利要求1所述的融合时序特征的在线密集点云语义分割系统，其特征是，采用注意力机制进一步判断运动差分矩阵中哪些相邻点对当前关键点的影响更大，具体步骤为：1)计算注意力分数：根据运动差分矩阵通过计算共享函数g(
·
)学习每个邻点的唯一注意力分数，该共享函数其中：H、M、P为向量的集合，h、m、p、s为对应集合中的单个向量；2)对注意力分数进行加权求和：关键点更新后的表示向量关键点更新后的表示向量
6.根据权利要求1所述的融合时序特征...

【专利技术属性】
技术研发人员：朱弘恣，周云松，李淳钦，崔天凯，过敏意，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：