一种基于点云补全合并的实例分割方法技术

本发明专利技术涉及数据处理技术领域，具体涉及一种基于点云补全合并的实例分割方法，包括将带有位置信息和颜色信息的点云信息输入特征提取主干网络进行点级别的特征提取，得到点云特征，并将点云特征分别传入偏移预测分支和语义预测分支；利用语义预测分支对点云特征进行语义预测，得到点云语义分数；利用偏移预测分支对点云特征进行中心偏移预测，得到点云与其所属实例中心点的中心偏移向量；基于语义分数和中心偏移向量进行点聚类，得到初步实例分割结果；结合点云特征并利用点云补全对初步实例分割结果进行再合并，得到修正后实例预测结果；通过优化网络对修正后实例预测结果进行调整，得到最终实例分割结果，解决了现有的点云实例分割准确度低的问题。分割准确度低的问题。分割准确度低的问题。

【技术实现步骤摘要】
一种基于点云补全合并的实例分割方法


[0001]本专利技术涉及数据处理
，尤其涉及一种基于点云补全合并的实例分割方法。

技术介绍

[0002]在室内点云实例分割任务中，考虑到实际落地，对室内场景中的点云进行采集时一般采用低成本的配备有激光雷达的便携采集设备，如ipadpro。然而，在当前的点云采集技术限制下，低成本的点云采集设备所采集到的点云不可避免地存在点云缺失，导致的点云实例分割准确度低。

技术实现思路

[0003]本专利技术的目的在于提供一种基于点云补全合并的实例分割方法，旨在解决现有的点云实例分割准确度低的问题。
[0004]为实现上述目的，本专利技术提供了一种基于点云补全合并的实例分割方法，包括以下步骤：
[0005]将带有位置信息和颜色信息的点云信息输入特征提取主干网络进行点级别的特征提取，得到点云特征，并将所述点云特征分别传入偏移预测分支和语义预测分支；
[0006]利用所述语义预测分支对所述点云特征进行语义预测，得到点云语义分数；
[0007]利用所述偏移预测分支对所述点云特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云补全合并的实例分割方法，其特征在于，包括以下步骤：将带有位置信息和颜色信息的点云信息输入特征提取主干网络进行点级别的特征提取，得到点云特征，并将所述点云特征分别传入偏移预测分支和语义预测分支；利用所述语义预测分支对所述点云特征进行语义预测，得到点云语义分数；利用所述偏移预测分支对所述点云特征进行中心偏移预测，得到点云与其所属实例中心点的中心偏移向量；基于所述语义分数和所述中心偏移向量进行点聚类，得到初步实例分割结果；结合所述点云特征并利用点云补全对所述初步实例分割结果进行再合并，得到修正后实例预测结果；通过优化网络对所述修正后实例预测结果进行调整，得到最终实例分割结果。2.如权利要求1所述的基于点云补全合并的实例分割方法，其特征在于，所述主干网络包括体素化模块和U
‑
Net型特征提取网络。3.如权利要求2所述的基于点云补全合并的实例分割方法，其特征在于，所述将带有位置信息和颜色信息的点云信息输入特征提取主干网络进行点级别的特征提取，得到点云特征，包括：体素化模块将输入的点云信息的点云体素化为多个体素，并提取每个体素的体素特征，得到输出特征图；将所述输出特征图输入所述U
‑
Net型特征提取网络，输出所述体素特征的处理结果，并将所述处理结果反向映射到点云，得到点云特征。4.如权利要求3所述的基于点云补全合并的实例分割方法，其特征在于，所述基于所述语义分数和所述中心偏移向量进行点聚类，得到初步实例分割结果，包括：将点云坐标与所述中心偏移向量相加，从而将原始空间中的点云拉向实例中心点；基于所述语义分数对偏移空间中所有满足距离小于聚类半径且语义分数大于语义分数阈值的所述点云进行聚类，得到初步实例分割结果。5.如权利要求1所述的基于点云补全合并的实例分割方法，其特征在于，所述结合所述点云特征并利用点云补全对所述初步实例分割结果进行再合并，得到修正后实例预测结果，包括：将大小为N
×
K的所述点云特征按聚类集合分别进行体素化，得到大小为M
×
K的初步体素特征；将所述初步体素特征输入所述U
‑
Net型特征提取网络，得到包含全局特征与局部特征的M
×
K的最终体素特征；通过全局平均池化将所述最终体素特征转化为N
ins
×
K的聚类集合级别语义特征；基于所述聚类集合级别语义特征通过MLP预测出大小为N
ins
×
N
class
的每个聚类集合所对应的语义分数，取最大值，得到聚类集合语义标签；将大小为N
i
×
K的经过主干网络提取得到的点云特征与N
i
×
3的点云坐标拼接，得到大小为N
i
×
(K+3)的聚类集合特征，其中N
i
为聚类集合i中的点云数量，并将所述聚类集合特征输入补全合并模块的编码器中，得到聚类集合点云特征；将所述中心偏移向量转化为实例偏移向量，并将所述实例偏移向量和所述聚类集合点云特征输入补全合并模块的解码器中，得到完整实例的稀疏点云；利用所述完整实例的稀疏点云计算稀疏点云间的推土机距离，将所述推土机距离作为
稀疏点云间的相似度分数；结合所述聚类集合语义标签对语义标签相同且补全后的稀疏点云间相似度分数小于合并阈值的原始聚类集合进行合并，得到修正后实例预测结果。6.如权利要求5所述的基于点云补全合并的实例分割方法，其特征在于，所述将所述聚类集合特征输入补全合并模块的编码器中，得到聚类集合点云特征，包括：所述编码器将大小为N
i
×
(K+3)的所述聚类集合特征通过一个两层的MLP转换为N
i
×
256的特征；将N
i
×
256的特征输入一个两层的MLP得到Ni
×
512的特征；利用两层MLP将N
i
×
512的特征转化为N
i
×
(N
com
×3×
3)的特征，其中N
com
为超参数，表示每个聚类集合进行点云补全生成的稀疏点云数量；将N
i
×
(N
com
×3×
3)的特征通过Norm层和ReLU层进行归一化和激活，得到编码完毕的大小为N
i
×
(N
com
×3×
3)的聚类集合点云特征。7.如权利要求6所述的基于点云补全合并的实例分割方法，其特征在于，所述将所述实例偏移向量和所述聚类集合点云特征输入补全合并模块的解码器中，得到完整实例的稀疏点云，包括：所述解码器将大小为Ni
×
(N
com
×3×
3)的聚类集合特征通过最大池化转化为大小为1
×
(N
com
×3×
3)的特征；对大小为1

【专利技术属性】
技术研发人员：饶云波，邹自若，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：