一种训练数据的生成方法技术

本申请实施例提供一种训练数据的生成方法

【技术实现步骤摘要】
一种训练数据的生成方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种训练数据的生成方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着网络技术不断发展，神经网络也应用在各个领域，对神经网络的训练需要大量高质量的样本数据，目前，是采用激光雷达来获取三维点云数据即原始图像，然后通过对激光雷达和相机进行标定来获取深度图，在具体的实现过程中，原始图像和该深度图无法对齐，深度存在错位，如何解决深度图和原始图像之间存在错位的问题，是目前急需解决的问题
。

技术实现思路

[0003]本申请的目的在于提供一种训练数据的生成方法
、
装置
、
电子设备及存储介质，通过本申请的实施例的技术方案，通过获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据，本申请代替了激光雷达作为场景数据来源，采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题
。
[0004]第一方面，本申请提供了一种训练数据的生成方法，包括：获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据
。
[0005]本申请通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题
。
[0006]可选地，所述对多个所述初始图像数据进行三维重建，得到与所述初始图像数据
对应的三维模型，包括：采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型
。
由于通常情况下采集数据时受到尺寸
、
重量
、
使用场景的限制，以及为了避免联合标定造成的误差，本申请通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量
、
高成本的设备，做到了灵活
、
快速的数据采集
。
[0007]可选地，所述对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；采用三角化算法，将所述优化后的三维点云数据转换三维网格；将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格
。
[0008]可选地，所述采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息
。
[0009]本申请采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿
。
可选地，所述根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图，包括：将所述优化后的三维模型和优化后的相机姿态信息，输入到所述预设渲染软件，生成与所述初始图像数据对应的深度图，其中，所述预设渲染软件至少包括
UE
或
unity
中的任一种
。
[0010]本申请使用
UE、unity
等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题
。
[0011]第二方面，本申请提供了一种训练数据的生成装置，包括：获取模块，用于获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；构建模块，用于对多个所述初始图像数据进行三维重建，得到与所述初始图像数
据对应的三维模型；优化模块，用于对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；生成模块，用于根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；确定模块，用于将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据
。
[0012]本申请通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题
。
[0013]可选地，所述构建模块用于：采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型
。
通过由于通常情况下采集数据时受到尺寸
、
重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种训练数据的生成方法，其特征在于，所述方法包括：获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据
。2.
根据权利要求1所述的训练数据的生成方法，其特征在于，所述对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型，包括：采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型
。3.
根据权利要求2所述的训练数据的生成方法，其特征在于，所述对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；采用三角化算法，将所述优化后的三维点云数据转换三维网格；将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格
。4.
根据权利要求3所述的训练数据的生成方法，其特征在于，所述采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息
。5.
根据权利要求1所述的训练数据的生成方法，其特征在于，所述根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图，包括：将所述优化后的三维模型和优化后的相机...

【专利技术属性】
技术研发人员：陈方平，杨瑞鹏，陆煜衡，周游，
申请(专利权)人：天津云圣智能科技有限责任公司，
类型：发明
国别省市：