一种基于特征表示分解和鸟瞰图融合的语义场景补全方法技术

一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，包括以下步骤：步骤S1：获取待补全目标点云数据；步骤S2：使用预训练好的语义分支提取待补全目标点云数据的语义特征；步骤S3：使用预训练好的补全分支提取待补全目标点云数据的几何特征；步骤S4：语义特征和几何特征分别映射到鸟瞰图视角后输入预训练好的语义补全分支进行特征融合得到语义场景补全结果；本发明专利技术方法计算速度快，能够实时对输入的点云进行语义场景补全。的点云进行语义场景补全。的点云进行语义场景补全。

【技术实现步骤摘要】
一种基于特征表示分解和鸟瞰图融合的语义场景补全方法


[0001]本专利技术涉及3D视觉
，具体涉及一种基于特征表示分解和鸟瞰图融合的点云语义场景补全方法。

技术介绍

[0002]近年来，3D场景理解作为自动驾驶中感知系统最重要的功能之一，引起了广泛的研究并取得了快速的进展。在处理大规模室外场景理解时，语义场景补全(SSC，Semantic Scene Completion)旨在从稀疏LiDAR扫描中预测整个3D场景的每个体素的语义占用，包括某些区域的补全。由于能够恢复几何结构，SSC可以促进3D目标检测等进一步的应用，这些应用通常会受到LiDAR点云的稀疏性和不完整性的影响。然而，由于各种形状/大小和遮挡等复杂的户外场景，从部分观察中精确估计整个3D现实世界场景的语义和几何形状具有挑战性。
[0003]继开创性工作SSCNet之后，一些现有的户外SSC方法利用单个U
‑
Net网络，例如稠密的3D卷积网络来联合预测语义和几何形状。然而，稠密的3D CNN通常涉及不必要的计算并带来额外的内存和计算开销，特别是当输入体素分辨率很大时，因为3D场景中存在大量空体素。另一方面，一些方法通过将语义完成网络与分割网络相结合，利用分割中的语义信息来辅助室外SSC，这种方法场景补全不够准确。因此现有技术中的SSC方法存在计算量大，识别精确度不高的问题。
[0004]为了较好的实现语义场景补全，语义场景补全方法需要满足语义场景细节恢复状况好，补全后场景更符合实际等条件，而且算法要简单、高效。/>
技术实现思路

[0005]针对上述问题，本专利技术提出了一种基于特征表示分解和鸟瞰图融合的点云语义场景补全方法，为语义/几何特征表示设计单独的分支，还设计了一个BEV融合网络即语义补全分支来融合来自两个分支的两种类型的特征，具有强大的特征表达能力，计算速度快，能够实时对输入的点云进行语义场景补全。
[0006]为了实现上述目的，本专利技术提供一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，包括以下步骤：
[0007]步骤S1：获取待补全目标点云数据，构建语义分支、补全分支和语义补全分支；
[0008]步骤S2：使用预训练好的语义分支提取待补全目标点云数据的语义特征；
[0009]步骤S3：使用预训练好的补全分支提取待补全目标点云数据的几何特征；
[0010]步骤S4：语义特征和几何特征分别映射到鸟瞰图视角后输入预训练好的语义补全分支进行特征融合得到语义场景补全结果。
[0011]优选的，步骤S4中语义补全分支包括自适应特征融合模块，自适应特征融合模块用于融合鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征。
[0012]优选的，步骤S2中语义分支包括N个语义特征提取模块；
[0013]步骤S3中补全分支包括N个几何特征提取模块；N个几何特征提取模块分别与N个语义特征提取模块相对应；
[0014]步骤S4中语义补全分支包括N个自适应特征融合模块；N个自适应特征融合模块分别与N个语义特征提取模块相对应；N个自适应特征融合模块分别与N个几何特征提取模块相对应；语义特征提取模块和与其对应的几何特征提取模块提取出的语义特征和几何特征分别映射到鸟瞰图视角后输入对应的自适应特征融合模块进行特征融合；
[0015]N个自适应特征融合模块之间以串联方式连接，每个自适应特征融合模块输出一个阶段融合特征，第一个自适应特征融合模块输出第一个阶段融合特征，然后将第一个阶段融合特征传递至与其串联的下一个自适应特征融合模块，并与下一个自适应特征融合模块中输入的鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征进行特征融合后输出下一个阶段融合特征，逐个传递直至最后一个自适应特征融合模块进行最后的特征融合。
[0016]优选的，步骤S2中语义分支还包括体素化层，N个语义特征提取模块包括第一稀疏编码块、第二稀疏编码块和第三稀疏编码块；具体的，语义特征提取模块为3个，每个语义特征提取模块包括1个稀疏编码块，具体为第一稀疏编码块、第二稀疏编码块和第三稀疏编码块；优选的，体素化层为1个；
[0017]步骤S2包括以下步骤：
[0018]步骤S21：将待补全目标点云数据输入体素化层进行体素化得到体素特征；
[0019]步骤S22：将体素特征先输入第一稀疏编码块后输出第一语义特征和第一体素特征，第一体素特征再输入第二稀疏编码块后输出第二语义特征和第二体素特征，第二体素特征最后输入第三稀疏编码块后输出第三语义特征；优选的，每个稀疏编码块由一个稀疏卷积残差块和一个稀疏几何特征提取模块组成，稀疏卷积残差块将输入的体素特征分辨率减半，稀疏几何特征提取模块利用不同尺度稀疏映射和注意力挑选机制来增强体素特征的几何特性；
[0020]步骤S3中补全分支还包括输入层，N个几何特征提取模块包括第一稠密残差块、第二稠密残差块和第三稠密残差块；具体的，几何特征提取模块为3个，每个几何特征提取模块包括1个稠密残差块，具体为第一稠密残差块、第二稠密残差块和第三稠密残差块；
[0021]步骤S3包括以下步骤：
[0022]步骤S31：计算待补全目标点云数据的占用体素；占用体素为0/1二进制值，由点云生成，若一个体素包含点则为1，否则为0；
[0023]步骤S32：将占用体素输入输入层，通过输入层处理增大感受野后再输入第一稠密残差块输出第一几何特征和第一占用体素，第一占用体素再输入第二稠密残差块后输出第二几何特征和第二占用体素，第二占用体素最后输入第三稠密残差块后输出第三几何特征。输入层为7
×7×
7的3D稠密卷积，每个稠密残差块都由3
×3×
3的3D稠密卷积组成。
[0024]步骤S4中语义补全分支包括第一自适应特征融合模块、第二自适应特征融合模块和第三自适应特征融合模块；
[0025]步骤S4包括以下步骤：
[0026]步骤S41：将待补全目标点云数据映射到鸟瞰图视角后得到待补全目标鸟瞰图特征；
[0027]步骤S42：第一语义特征和第一几何特征分别映射到鸟瞰图视角后与待补全目标
鸟瞰图特征一起输入第一自适应特征融合模块进行特征融合得到第一阶段融合特征，第二语义特征和第二几何特征分别映射到鸟瞰图视角后与第一阶段融合特征一起输入第二自适应特征融合模块进行特征融合得到第二阶段融合特征，第三语义特征和第三几何特征分别映射到鸟瞰图视角后与第二阶段融合特征一起输入第三自适应特征融合模块进行特征融合得到第三阶段融合特征；三个阶段的融合特征经过解码器后得到语义场景补全结果。
[0028]优选的，体素化具体步骤为：
[0029]用P表示待补全目标点云数据，p
i
＝(x
i
,y
i
,z
i
)表示给待补全目标点云数据中的一点，它的体素索引其中s为体素化的分辨率，为向下取整操作；
[0030][0031]表示体素索引为V本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，包括以下步骤：步骤S1：获取待补全目标点云数据；步骤S2：使用预训练好的语义分支提取所述待补全目标点云数据的语义特征；步骤S3：使用预训练好的补全分支提取所述待补全目标点云数据的几何特征；步骤S4：所述语义特征和几何特征分别映射到鸟瞰图视角后输入预训练好的语义补全分支进行特征融合得到语义场景补全结果。2.根据权利要求1所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，其特征在于：步骤S4中所述语义补全分支包括自适应特征融合模块，所述自适应特征融合模块用于融合鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征。3.根据权利要求2所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，其特征在于：步骤S2中所述语义分支包括N个语义特征提取模块；步骤S3中所述补全分支包括N个几何特征提取模块；所述N个几何特征提取模块分别与N个语义特征提取模块相对应；步骤S4中所述语义补全分支包括N个自适应特征融合模块；所述N个自适应特征融合模块分别与N个语义特征提取模块相对应；所述N个自适应特征融合模块分别与N个几何特征提取模块相对应；所述语义特征提取模块和与其对应的几何特征提取模块提取出的语义特征和几何特征分别映射到鸟瞰图视角后输入对应的自适应特征融合模块进行特征融合；所述N个自适应特征融合模块之间以串联方式连接，每个自适应特征融合模块输出一个阶段融合特征，第一个自适应特征融合模块输出第一个阶段融合特征，然后将第一个阶段融合特征传递至与其串联的下一个自适应特征融合模块，并与下一个自适应特征融合模块中输入的鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征进行特征融合后输出下一个阶段融合特征，逐个传递直至最后一个自适应特征融合模块进行最后的特征融合。4.根据权利要求3所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，其特征在于：步骤S2中所述语义分支包括体素化层，所述N个语义特征提取模块包括第一稀疏编码块、第二稀疏编码块和第三稀疏编码块；所述步骤S2包括以下步骤：步骤S21：将所述待补全目标点云数据输入体素化层进行体素化得到体素特征；步骤S22：将所述体素特征先输入第一稀疏编码块后输出第一语义特征和第一体素特征，第一体素特征再输入第二稀疏编码块后输出第二语义特征和第二体素特征，第二体素特征最后输入第三稀疏编码块后输出第三语义特征；步骤S3中所述补全分支包括输入层，所述N个几何特征提取模块包括第一稠密残差块、第二稠密残差块和第三稠密残差块；所述步骤S3包括以下步骤：步骤S31：计算所述待补全目标点云数据的占用体素；步骤S32：将所述占用体素输入输入层，通过输入层处理增大感受野后再输入第一稠密残差块输出第一几何特征和第一占用体素，第一占用体素再输入第二稠密残差块后输出第二几何特征和第二占用体素，第二占用体素最后输入第三稠密残差块后输出第三几何特
征。步骤S4中所述所述语义补全分支包括第一自适应特征融合模块、第二自适应特征融合模块和第三自适应特征融合模块；步骤S4包括以下步骤：步骤S41：将所述待补全目标点云数据映射到鸟瞰图视角后得到待补全目标鸟瞰图特征；步骤S42：所述第一语义特征和第一几何特征分别映射到鸟瞰图视角后与待补全目标鸟瞰图特征一起输入第一自适应特征融合模块进行特征融合得到第一阶段融合特征，所述第二语义特征和第二几何特征分别映射到鸟瞰图视角后与第一阶段融合特征一起输入第二自适应特征融合模块进行特征融合得到第二阶段融合特征，所述第三语义特征和第三几何特征分别映射到鸟瞰图视角后与第二阶段融合特征一起输入第三自适应特征融合模块进行特征融合得到第三阶段融合特征；三个阶段的融合特征经过解码器后得到语义场景补全结果。5.根据权利要求4所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，其特征在于，所述体素化具体步骤为：用P表示待补全目标点云数据，p
i
＝(x
i
,y
i
,z
i
)表示给待补全目标点云数据中的一点，它的体素索引其中s为体素化的分辨率，为向下取整操作；为向下取整操作；表示体素索引为V
m
的第m个非空体素的体素特征；R
f
表示全连接层；MLP表示多层感知机；A
f
是一个聚合函数；f
p
表示点特征，V
p
表示点p所在的体素索引。6.根据权利要求2所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，其特征在于：所述步骤S4包括以下步骤：步骤S4a：计算所述语义特征对应的稀疏体素索引，通过所述稀疏体素索引计算生成鸟瞰图索引，使用聚合函数将语义特征映射到稀疏鸟瞰图特征...

【专利技术属性】
技术研发人员：刘勇，梅剑标，王蒙蒙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：