模型生成方法、图像透视图确定方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种模型生成方法、图像透视图确定方法、装置、设备及介质。该模型生成方法包括：基于预设采集系统采集点云数据和图像透视图，得到点云数据的坐标数据，以及各图像透视图的图像采集时间点；确定与各图像采集时间点分别对应的位姿矩阵，根据位姿矩阵和坐标数据生成各图像采集时间点下的点云透视图；将每个图像采集时间点下的点云透视图和图像透视图作为一组训练样本，基于多组训练样本对原始神经网络模型进行训练，生成用于将点云透视图转换为图像透视图的图像转换模型。本发明专利技术实施例的技术方案，可以基于点云数据投影出的点云透视图引导合成图像透视图，解决了图像透视图的获取过程较为耗时耗力的问题。透视图的获取过程较为耗时耗力的问题。透视图的获取过程较为耗时耗力的问题。

【技术实现步骤摘要】
模型生成方法、图像透视图确定方法、装置、设备及介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种模型生成方法、图像透视图确定方法、装置、设备及介质。

技术介绍

[0002]随着虚拟仿真、高精地图制作、机器人、自动驾驶等行业的推进和发展，点云建图的应用越来越广泛。点云建图是基于激光雷达设备采集每个时刻的待建图场景下的点云数据，并基于测绘方式或者同时定位和地图构建(simultaneous localization and mapping，SLAM)方式获取每个时刻的点云数据的三维坐标，进而根据该三维坐标将各点云数据进行投影和拼合。
[0003]单纯的点云建图仅能获取到各点云数据的三维坐标，信息比较单一。为解决这一问题，在点云建图过程中通过搭建摄像头可以同步采集数据以生成相应时刻的图像透视图，从而利用多数据源融合开展更多应用。例如，在仿真重建中通过对激光雷达设备和摄像头进行时空标定以获取彩色点云数据，在制图过程中利用图像透视图辅助观看真实场景，在智能感知中借助图像透视图来提高车道、行人等动态物体的识别。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成方法，其特征在于，包括：基于预设采集系统采集点云数据和图像透视图，得到所述点云数据的坐标数据，以及各所述图像透视图的图像采集时间点；确定与各所述图像采集时间点分别对应的位姿矩阵，根据所述位姿矩阵和所述坐标数据生成各所述图像采集时间点下的点云透视图；将每个所述图像采集时间点下的所述点云透视图和所述图像透视图作为一组训练样本，基于多组所述训练样本对原始神经网络模型进行训练，生成用于将所述点云透视图转换为所述图像透视图的图像转换模型。2.根据权利要求1所述的方法，其特征在于，所述确定与各所述图像采集时间点分别对应的位姿矩阵，包括：根据所述点云数据得到所述预设采集系统的位姿轨迹；基于各所述图像采集时间点对所述位姿轨迹进行采样，得到与各所述图像采集时间点分别对应的位姿矩阵。3.根据权利要求1所述的方法，其特征在于，所述根据所述位姿矩阵和所述坐标数据生成各所述图像采集时间点下的点云透视图，包括：若所述图像透视图是基于所述预设采集系统中的预设相机采集得到，所述预设相机包括透视相机或是广角相机，则根据如下公式将所述点云数据在世界坐标系下的三维坐标数据P
W_3d
投影到在所述图像采集时间点t
C
采集到的预设相机坐标系下的二维坐标数据P
C_2d
(t
C
)，并根据各P
C_2d
(t
C
)生成t
C
下的点云透视图：P
C_2d
(t
C
)＝K
c
M
W
→
L
(t
C
)P
W_3d
其中，M
W
→
L
(t
C
)是所述预设采集系统中的点云采集设备在t
C
时的所述世界坐标系下的所述位姿矩阵，K
c
是所述预设相机的内参矩阵；若所述图像透视图是基于所述预设采集系统中的球面全景相机，则根据如下公式将所述点云数据的P
W_3d
投影到在t
C
采集到的球面全景相机坐标系下的P
C_2d
(t
C
)，并根据各P
C_2d
(t
C
)生成t
C
下的点云透视图：P
3d
＝M
W
→
L
(t
C
)P
W_3d
，P
3d
＝[x
3d
,y
3d
,z
3d
]其中，R是所述球面全景相机的球体半径。4.根据权利要求1所述的方法，其特征在于，还包括：获取所述点云透视图中与所述点云数据对应的像素点，将所述点云数据的属性信息赋值给所述像素点。5.根据权利要求1所述的方法，其特征在于，所述将每个所述图像采集时间点下的所述点云透视图和所述图像透视图作为一组训练样本，包括：将各所述图...

【专利技术属性】
技术研发人员：李艳丽，刘冬冬，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：