一种基于视觉图像和点云的融合感知模型训练、稠密三维点云获取、建模方法及装置制造方法及图纸

本发明专利技术公开了一种基于视觉图像和点云的融合感知模型训练方法及装置，包括如下步骤：搭建Transformer模型，所述Transformer模型包括依次串联的编码器、解码器和上采样层，编码器包括一定数量的特征提取层，特征提取层包含串联的多头自注意力模块和多层感知机模块，多头自注意力模块和多层感知机模块均前置连接LayerNorm层，后置连接残差连接；解码器包括一定数量的解码层，解码层包括串联的二维卷积模块和上采样模块；解码器的输出经过双线性插值的上采样层恢复为原来图像的大小，得到最终的稠密三维点云。本发明专利技术所公开的方法及装置，通过将视觉图像以及点云图像分别转换为对应的一维序列，根据一维序列生成样本，相对于现有技术中需要人工标记样本，避免了样本标记的工作量，进而可以更加高效率的生成训练样本，提高模型的训练效率。高模型的训练效率。高模型的训练效率。

【技术实现步骤摘要】
一种基于视觉图像和点云的融合感知模型训练、稠密三维点云获取、建模方法及装置


[0001]本专利技术属于图像处理
，特别涉及该领域中的一种基于视觉图像和点云的融合感知模型训练、稠密三维点云获取、建模方法及装置。

技术介绍

[0002]激光雷达和摄像机是计算机视觉领域最常用的传感器。激光雷达能够快速、精确地获取环境三维信息，但其获得的三维点云比较稀疏，并且只包含深度信息。而摄像机能够获得致密、丰富的信息，但很难获取视野中物体的深度信息。将二者进行数据融合，可得到较理想的三维重建结果，该过程即为传感器融合技术。利用多种具有互补特性的传感器来增强感知能力，降低成本，已成为一个新兴的研究课题。相机和激光雷达具有互补的特性，这使得融合模型比其他传感器融合配置更有效、更受欢迎。
[0003]现有技术中申请号为CN202010058810.8的专利技术专利申请公开了一种学习方法及学习装置以及利用其的测试方法及测试装置，在将借助于照相机而生成的图像、与之对应的借助于雷达或激光雷达而生成的点云图，按神经网络的各自卷积步骤进行统合，包括：(a)步骤，计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉图像和点云的融合感知模型训练方法，其特征在于，包括如下步骤：搭建Transformer模型，所述Transformer模型包括依次串联的编码器、解码器和上采样层，编码器包括一定数量的特征提取层，特征提取层包含串联的多头自注意力模块和多层感知机模块，多头自注意力模块和多层感知机模块均前置连接LayerNorm层，后置连接残差连接；解码器包括一定数量的解码层，解码层包括串联的二维卷积模块和上采样模块；解码器的输出经过双线性插值的上采样层恢复为原来图像的大小，得到最终的稠密三维点云；将视觉图像以及点云图像分别转换为对应的一维序列，根据一维序列生成样本，利用样本组成的样本集训练所搭建的Transformer模型，直至模型收敛，得到融合感知模型。2.根据权利要求1所述基于视觉图像和点云的融合感知模型训练方法，其特征在于，所述多层感知机模块由两个带有GELU的非线性层串联组成。3.根据权利要求1所述基于视觉图像和点云的融合感知模型训练方法，其特征在于，在二维卷积模块和上采样模块之间设有BatchNorm层。4.根据权利要求1所述基于视觉图像和点云的融合感知模型训练方法，其特征在于，所述视觉图像和点云图像为拍摄参数相同的数据，所述拍摄参数包括：拍摄方向和拍摄坐标。5.根据权利要求1所述基于视觉图像和点云的融合感知模型训练方法，其特征在于，所述根据一维序列生成样本，包括：将一维序列拼接，得到二维拼接结果，再将二维拼接结果裁剪为块，最后将每一个块映射到一维空间中；将映射到一维空间后的块映射为D维的块嵌入信息，并为每一个块嵌入信息添加位置编码，得到样本。6.一种基于视觉图像和点云的稠密三维点云获取方法，其特征在于：获取待融合的视觉图像和点云图像后，将之转换为待处理数据并输入到上述权利要求1至5任一项所得的融合感知模型中，得到待融合的视觉图像中各像素点的深度信息， 根据各个像素点的深度信息，将各个像素点映射到点云空间中，得到稠...

【专利技术属性】
技术研发人员：左伟庆，程尧，张富彬，夏国臻，赵军，冯阳，郭琛，
申请(专利权)人：中国电波传播研究所中国电子科技集团公司第二十二研究所，
类型：发明
国别省市：