【技术实现步骤摘要】
本专利技术属于计算机处理领域，具体涉及一种基于多模态掩码策略的点云重建方法及装置。
技术介绍
1、随着自动驾驶技术的普及，有效感知三维环境已成为当务之急。虽然基于激光雷达的方法已经取得了重大进展，但通过雷达获取的室外点云数据仍然缺乏几个关键的细粒度几何属性。此外，与像素数据不同的是，不同数据帧内的点数是不固定的，这就导致了离散点云之间的相关度因空间排列的时间变化而不匹配。这反过来又会降低模型的泛化能力，进而降低验证集的准确性。因此，目前的点云算法还有很大的改进空间。
2、现有技术中，大多研究者都在使用多模态的数据来弥补这一缺陷，但是仅仅是在特征融合阶段进行一加一的叠加，虽然有所提升，能够通过像素来匹配点云空间排列，但这样的提升是有限的，同时占用了大量的算力。点云的掩码和自动编码器重建技术是一种能够有效降低算力，同时能够促进编码器学习到更多的特征的有效方法，但对多模态数据下的点云进行掩码重建的研究目前较少，并且目前掩码后的多模态数据在自动编码器中的表现仍有所欠缺。
技术实现思路
1、为解决现有技术的不足，使点云在目标检测、实例分割过程中，实现编码器处理点云速度提升和精度提升的目的，本专利技术采用如下的技术方案：
2、一种基于多模态掩码策略的点云重建方法，包括如下步骤：
3、步骤1：对采集到的图片和点云通过相机的内参和外参来进行对准，使得在同一时间序列下的图片和点云数据相匹配；
4、步骤2：对于点云数据，通过掩码来遮挡部分点云，将掩码后的
5、步骤3：获取多视角图片特征及其匹配的点云深度，对不同视角下的特征进行聚合，再将得到的图像三维特征映射到鸟瞰特征图，得到多视角图片的图片-鸟瞰图特征；
6、步骤4：对图片-鸟瞰图特征进行掩码，将点云掩码后送入所述编码器在池化到z轴时，获取此时的雷达-鸟瞰图特征，及其对应的图片-鸟瞰图特征；
7、步骤5：将图片-鸟瞰图特征与雷达-鸟瞰图特征进行特征对齐；
8、步骤6：将对齐后的雷达-鸟瞰图特征和图片-鸟瞰图特征传输进解码器，完成点云的重建。
9、进一步地，所述步骤1中，设定局部坐标系下，给定时序下任意点云中任意一点(x，y，z)，通过位姿矩阵r,t变换到全局坐标系下，表示为：
10、
11、其中，是将点从局部坐标系转换到全局坐标系的齐次变换矩阵，(x1，y1，z1)表示变换后的坐标。
12、进一步地，所述步骤2中，掩码后的点云进入编码器获取特征的过程，包括如下步骤：
13、步骤2.1：特征提取，使用稀疏transformer编码器作为掩码后的点云特征的编码器，提取不同纬度的特征，从输入一帧数量为m的点云p，再从经掩码后的点云中提取三维特征f3d；
14、步骤2.2：池化操作，将重建出来的点云三维特征进行池化操作，从三维映射到鸟瞰特征图。
15、进一步地，所述步骤3包括如下步骤：
16、步骤3.1：特征检测，使用图片编码器进行提取特征，从n个视角的输入图i中，提取二维特征f2d；
17、步骤3.2：初步深度估计，由于已经对点云序列与图片序列做了匹配，因此只需直接将点云的深度作为图片合成点云的初步深度设计；
18、步骤3.3：图像增强，受到图像特征可以增强稠密像素匹配的启发，本专利技术利于多尺度的三层金字塔结构，从输入图像帧中提取出特征金字塔；每一层金字塔由2d卷积构成，同时下采样步长为2，针对所有输入图像共享同一个特征金字塔，针对每一个视角的输入图像ii，经过三层特征金字塔后的特征为：
19、
20、步骤3.4：特征聚合，针对不同尺度的金字塔，相机参数可以通过缩放变换来应用于对应尺度的特征图，本专利技术中基于方差的损失度量(可以理解为不同视角下特征的差异)将任意视角下的特征进行聚合：
21、
22、其中，n表示n个不同视角下的特征方差指标，j表示特征金字塔所在层数；
23、步骤3.5：池化操作，将重建出来的图片三维特征进行池化操作，从三维特征映射到鸟瞰特征图，得到多视角图片的图片-鸟瞰图特征。
24、进一步地，所述步骤5中，由于图片-鸟瞰图特征与雷达-鸟瞰图特征均由相同尺度的池化层输出到z轴特征，都映射到了鸟瞰层面，二者即可通过x，y坐标进行对齐。
25、进一步地，所述步骤6包括如下步骤：
26、步骤6.1：采用集对集预测法重建掩蔽点云的局部结构；捕捉三维掩码点的每个网格gm设置一个固定数量的点云pi＝{pl|l∈{1，…，l}，原始点云表示为在每个网格gm中，n随网格的不同有所变化，只存在点的数量有所不同，即l<＝n；未掩码的雷达-鸟瞰图特征表示为pu＝{pk|k∈{1，…，n-l}，提供辅助的图片-鸟瞰图特征表示为
27、步骤6.2：根据预测值与实际值之间的倒角距离，构建重建损失：
28、
29、
30、步骤6.3：将所有掩码网格的平均损失作为最终的重建损失：
31、
32、其中，nm表示掩码网格的数量；
33、步骤6.4：通过损失迭代进行训练，最终完成点云的重建。
34、一种基于多模态掩码策略的点云重建装置，包括匹配模块、雷达-鸟瞰图特征生成模块、图片-鸟瞰图特征生成模块、图片-鸟瞰图特征掩码对应模块、特征对齐模块和点云重建模块；
35、所述匹配模块，对采集到的图片和点云通过相机的内参和外参来进行对准，使得在同一时间序列下的图片和点云数据相匹配；
36、所述雷达-鸟瞰图特征生成模块，通过掩码来遮挡部分点云，将掩码后的点云传输至编码器，对生成的掩码后的雷达特征进行展开，得到雷达-鸟瞰图特征；
37、所述图片-鸟瞰图特征生成模块，获取多视角图片特征及其匹配的点云深度，对不同视角下的特征进行聚合，再将得到的图像三维特征映射到鸟瞰特征图，得到多视角图片的图片-鸟瞰图特征；
38、所述图片-鸟瞰图特征掩码对应模块，对图片-鸟瞰图特征进行掩码，将点云掩码后送入所述编码器在池化到z轴时，获取此时的雷达-鸟瞰图特征，及其对应的图片-鸟瞰图特征；
39、所述特征对齐模块，将图片-鸟瞰图特征与雷达-鸟瞰图特征进行特征对齐；
40、所述点云重建模块，将对齐后的雷达-鸟瞰图特征和图片-鸟瞰图特征传输进解码器，完成点云的重建。
41、进一步地，所述雷达-鸟瞰图特征生成模块包括特征提取单元和池化操作单元；
42、所述特征提取单元，使用稀疏transformer编码器作为掩码后的点云特征的编码器，提取不同纬度的特征，从输入一帧数量为m的点云p，再从经掩码后的点云中提取三维特征f3d；
43、所述池化操作单元，将重建出来的点云三维特征进本文档来自技高网...
【技术保护点】
1.一种基于多模态掩码策略的点云重建方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤1中，设定局部坐标系下，给定时序下任意点云中任意一点(x，y，z)，通过位姿矩阵R,t变换到全局坐标系下，表示为：
3.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤2中，掩码后的点云进入编码器获取特征的过程，包括如下步骤：
4.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤3包括如下步骤：
5.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤5中，由于图片-鸟瞰图特征与雷达-鸟瞰图特征均由相同尺度的池化层输出到Z轴特征，都映射到了鸟瞰层面，二者即可通过x，y坐标进行对齐。
6.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤6包括如下步骤：
7.一种基于多模态掩码策略的点云重建装置，包括匹配模块、雷达-鸟瞰图特征生成模块、图片-鸟瞰图特征
8.根据权利要求7所述的一种基于多模态掩码策略的点云重建装置，其特征在于：所述雷达-鸟瞰图特征生成模块包括特征提取单元和池化操作单元；
9.根据权利要求7所述的一种基于多模态掩码策略的点云重建装置，其特征在于：所述图片-鸟瞰图特征生成模块包括特征检测单元、初步深度估计单元、图像增强单元、特征聚合单元和池化操作单元；
10.根据权利要求7所述的一种基于多模态掩码策略的点云重建装置，其特征在于：所述点云重建模块包括重建掩蔽点云单元、重建损失构建单元、最终重建损失生成单元；
...【技术特征摘要】
1.一种基于多模态掩码策略的点云重建方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤1中，设定局部坐标系下，给定时序下任意点云中任意一点(x，y，z)，通过位姿矩阵r,t变换到全局坐标系下，表示为：
3.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤2中，掩码后的点云进入编码器获取特征的过程，包括如下步骤：
4.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤3包括如下步骤：
5.根据权利要求1所述的一种基于多模态掩码策略的点云重建方法，其特征在于：所述步骤5中，由于图片-鸟瞰图特征与雷达-鸟瞰图特征均由相同尺度的池化层输出到z轴特征，都映射到了鸟瞰层面，二者即可通过x，y坐标进行对齐。
6.根据...
【专利技术属性】
技术研发人员：张建明，彭昊龙，胡林翼，朱科，
申请(专利权)人：余姚市机器人研究中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。