基于三维重建的模型训练方法、三维重建方法及装置制造方法及图纸

本公开提供了一种基于三维重建的模型训练方法、三维重建方法、装置、电子设备、计算机可读存储介质，涉及深度学习技术领域。该方法包括：获取至少一初始图像，以及每个初始图像对应的位姿与稀疏点云；获取预先构建的初始网络模型，由初始网络模型基于稀疏点云，确定至少一初始图像对应的实际深度值；基于实际深度值与位姿，确定初始图像的稠密深度图；基于实际深度值与稠密深度图的深度值，确定初始网络模型对应的目标损失函数；基于目标损失函数对初始网络模型进行模型训练，得到三维重建模型。本公开可以无需基于图像的深度真值训练三维重建网络，解决了获取训练数据深度真值成本过高的问题，大大降低了三维真值数据获取的成本。本。本。

【技术实现步骤摘要】
基于三维重建的模型训练方法、三维重建方法及装置


[0001]本公开涉及深度学习
，尤其涉及一种基于三维重建的模型训练方法、三维重建方法、基于三维重建的模型训练装置、三维重建装置、电子设备与计算机可读存储介质。

技术介绍

[0002]三维重建是指对三维物体建立适合计算机表示和处理的数学模型。三维重建技术可用于场景的三维重建、各类增强现实技术(Augmented Reality，AR)/虚拟现实技术(Virtual Reality，VR)应用、房屋户型重建与展示、物品(Three Dimensions，3D)展示、自动驾驶、无人机和环境感知等领域。
[0003]在当前的稠密重建技术中，基于深度学习的重建方法效果较好。但深度学习是一种数据驱动的方法，需要大量带3D真值的训练数据进行训练，才能得到较好的重建效果。然而，3D真值数据的获取是一件难度很大的事，其采集、标注成本远远高于2D图像任务的真值。另外，采集室外场景的稠密3D真值几乎是不可能的，即使使用激光雷达，也只能得到稀疏的3D真值，不满足三维重建网络的训练要求。以上技术问题限制了该项技术的训练门槛，且由于所见的数据集太少，使网络的泛化性较差。

技术实现思路

[0004]本公开提供一种基于三维重建的模型训练方法、装置、电子设备与计算机可读存储介质，以至少解决相关技术中三维重建网络需要使用大量带3D真值的训练数据进行训练，然而3D真值采集和标注成本较高导致数据集太少，使网络的泛化性较差的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种基于三维重建的模型训练方法，包括：获取至少一初始图像，以及每个所述初始图像对应的位姿与稀疏点云；获取预先构建的初始网络模型，由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值；由所述初始网络模型基于所述实际深度值与所述初始图像的位姿，确定所述初始图像的稠密深度图；基于所述实际深度值与所述稠密深度图的深度值，确定所述初始网络模型对应的目标损失函数；基于所述目标损失函数对所述初始网络模型进行模型训练，得到三维重建模型。
[0006]在本公开的一种示例性实施例中，所述由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值，包括：通过所述初始网络模型将所述稀疏点云投影至所述初始图像上，得到所述初始图像对应的稀疏深度图；基于所述稀疏深度图，确定所述初始图像对应的最大深度值与最小深度值；基于所述最大深度值与所述最小深度值生成深度区间；获取深度划分数量，基于所述深度划分数量对所述深度区间进行划分处理，得到所述初始图像对应的多个实际深度值。
[0007]在本公开的一种示例性实施例中，所述由所述初始网络模型基于所述实际深度值
与所述初始图像的位姿，确定所述初始图像的稠密深度图，包括：由所述初始网络模型对至少一所述初始图像进行第一特征提取，得到各所述初始图像对应的特征向量；针对各所述实际深度值，基于至少一所述初始图像的位姿，分别对所述特征向量进行投影处理，得到三维投影特征；基于所述三维投影特征生成所述初始图像对应的代价体；基于所述代价体生成所述初始图像的稠密深度图。
[0008]在本公开的一种示例性实施例中，所述初始网络模型包括三维卷积网络与二维卷积网络，所述稠密深度图包括初始稠密深度图与目标稠密深度图；所述基于所述代价体生成所述初始图像的稠密深度图，包括：获取所述三维卷积网络对应的三维卷积核；基于所述三维卷积核对所述代价体进行三维卷积处理，得到所述初始图像对应的初始稠密深度图；获取所述二维卷积网络对应的二维卷积核；对所述初始稠密深度图进行二维卷积处理，得到所述目标稠密深度图。
[0009]在本公开的一种示例性实施例中，所述初始图像包括同一场景下多个不同视角的图像；所述基于所述实际深度值与所述稠密深度图的深度值，确定所述初始网络模型对应的目标损失函数，包括：构建所述稠密深度图的深度值与所述实际深度值之间的深度损失函数；生成所述初始图像对应的合成视角图像，确定所述合成视角图像与所述初始图像之间的光度误差函数，所述合成视角图像包括所述初始图像在不同视角下合成的图像；确定所述初始图像与所述合成视角图像之间的结构相似函数；确定所述初始图像在不同视角下的几何一致性误差函数，并确定所述稠密深度图的深度值对应的平滑性约束函数；基于所述深度损失函数、所述光度误差函数、所述结构相似函数、所述几何一致性误差函数以及所述平滑性约束函数中任意一种或多种的组合，构建所述目标损失函数。
[0010]在本公开的一种示例性实施例中，所述构建所述稠密深度图的深度值与所述实际深度值之间的深度损失函数，包括：获取所述初始图像对应的稀疏深度图，确定所述稀疏深度图对应的图像分割尺寸，所述实际深度值基于所述稀疏深度图确定；基于所述图像分割尺寸对所述稀疏深度图进行分割处理，得到至少一区域深度图；将各所述区域深度图中稀疏点对应的稀疏深度值，作为区域实际深度值；基于所述稠密深度图的深度值，确定各所述区域深度图中稀疏点对应的区域预测深度值；基于所述区域预测深度值与所述区域实际深度值之间的深度误差，构建所述深度损失函数。
[0011]在本公开的一种示例性实施例中，所述生成所述初始图像对应的合成视角图像，确定所述合成视角图像与所述初始图像之间的光度误差函数，包括：获取所述初始图像对应的目标稠密深度图，所述目标稠密深度图包括所述初始图像的稠密深度值；基于所述初始图像的位姿与所述初始图像的稠密深度值，对所述初始图像进行视角转换处理，生成所述初始图像对应的合成视角图像；基于所述合成视角图像与所述初始图像之间的差异，确定所述光度误差函数。
[0012]在本公开的一种示例性实施例中，所述确定所述初始图像与所述合成视角图像之间的结构相似函数，包括：对所述合成视角图像进行分块处理，得到至少一合成图像分块；确定各所述合成图像分块，在所述初始图像中对应的实际图像分块；确定各所述合成图像分块与对应的所述实际图像分块的像素平均值、像素标准差与像素协方差；基于所述像素平均值、所述像素标准差与所述像素协方差，确定所述合成图像分块与对应的所述实际图像分块之间的结构相似函数。
[0013]在本公开的一种示例性实施例中，所述确定所述初始图像在不同视角下的几何一致性误差函数，包括：基于所述初始图像确定目标视角图像与对比视角图像，所述目标视角图像是所述初始图像在特定视角下的图像，所述对比视角图像是至少一所述初始图像中除所述目标视角图像之外的图像；获取至少一所述初始图像各自对应的目标深度图，所述目标深度图包括预测深度图与对比深度图，所述预测深度图是所述初始网络模型输出的所述目标视角图像的深度图，所述对比深度图是所述对比视角图像对应的深度图；分别对每个所述对比深度图进行投影处理，得到至少一所述对比深度图各自对应的深度投影图，所述深度投影图包含投影深度值；获取所述初始图像的稠密深度图的深度值，基于所述稠密深度图的深度值与所述投影深度值，确定所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建的模型训练方法，其特征在于，包括：获取至少一初始图像，以及每个所述初始图像对应的位姿与稀疏点云；获取预先构建的初始网络模型，由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值；由所述初始网络模型基于所述实际深度值与所述初始图像的位姿，确定所述初始图像的稠密深度图；基于所述实际深度值与所述稠密深度图的深度值，确定所述初始网络模型对应的目标损失函数；基于所述目标损失函数对所述初始网络模型进行模型训练，得到三维重建模型。2.根据权利要求1所述的方法，其特征在于，所述由所述初始网络模型基于所述初始图像与所述初始图像的稀疏点云，确定所述初始图像的稀疏点云对应的至少一实际深度值，包括：通过所述初始网络模型将所述稀疏点云投影至所述初始图像上，得到所述初始图像对应的稀疏深度图；基于所述稀疏深度图，确定所述初始图像对应的最大深度值与最小深度值；基于所述最大深度值与所述最小深度值生成深度区间；获取深度划分数量，基于所述深度划分数量对所述深度区间进行划分处理，得到所述初始图像对应的多个实际深度值。3.根据权利要求1所述的方法，其特征在于，所述由所述初始网络模型基于所述实际深度值与所述初始图像的位姿，确定所述初始图像的稠密深度图，包括：由所述初始网络模型对至少一所述初始图像进行第一特征提取，得到各所述初始图像对应的特征向量；针对各所述实际深度值，基于至少一所述初始图像的位姿，分别对所述特征向量进行投影处理，得到三维投影特征；基于所述三维投影特征生成所述初始图像对应的代价体；基于所述代价体生成所述初始图像的稠密深度图。4.根据权利要求3所述的方法，其特征在于，所述初始网络模型包括三维卷积网络与二维卷积网络，所述稠密深度图包括初始稠密深度图与目标稠密深度图；所述基于所述代价体生成所述初始图像的稠密深度图，包括：获取所述三维卷积网络对应的三维卷积核；基于所述三维卷积核对所述代价体进行三维卷积处理，得到所述初始图像对应的初始稠密深度图；获取所述二维卷积网络对应的二维卷积核；对所述初始稠密深度图进行二维卷积处理，得到所述目标稠密深度图。5.根据权利要求1所述的方法，其特征在于，所述初始图像包括同一场景下多个不同视角的图像；所述基于所述实际深度值与所述稠密深度图的深度值，确定所述初始网络模型对应的目标损失函数，包括：构建所述稠密深度图的深度值与所述实际深度值之间的深度损失函数；生成所述初始图像对应的合成视角图像，确定所述合成视角图像与所述初始图像之间
的光度误差函数，所述合成视角图像包括所述初始图像在不同视角下合成的图像；确定所述初始图像与所述合成视角图像之间的结构相似函数；确定所述初始图像在不同视角下的几何一致性误差函数，并确定所述稠密深度图的深度值对应的平滑性约束函数；基于所述深度损失函数、所述光度误差函数、所述结构相似函数、所述几何一致性误差函数以及所述平滑性约束函数中任意一种或多种的组合，构建所述目标损失函数。6.根据权利要求5所述的方法，其特征在于，所述构建所述稠密深度图的深度值与所述实际深度值之间的深度损失函数，包括：获取所述初始图像对应的稀疏深度图，确定所述稀疏深度图对应的图像分割尺寸，所述实际深度值基于所述稀疏深度图确定；基于所述图像分割尺寸对所述稀疏深度图进行分割处理，得到至少一区域深度图；将各所述区域深度图中稀疏点对应的稀疏深度值，作为区域实际深度值；基于所述稠密深度图的深度值，确定各所述区域深度图中稀疏点对应的区域预测深度值；基于所述区域预测深度值与所述区域实际深度值之间的深度误差，构建所述深度损失函数。7.根据权利要求5所述的方法，其特征在于，所述生成所述初始图像对应的合成视角图像，确定所述合成视角图像与所述初始图像之间的光度误差函数，包括：获取所述初始图像对应的目标稠密深度图，所述目标稠密深度图包括所述初始图像的稠密深度值；基于所述初始图像的位姿与所述初始图像的稠密深度值，对所述初始图像进行视角转换处理，生成所述初始图像对应的合成视角图像；基于所述合成视角图像与所述初始图像之间的差异，确定所述光度误差函数。8.根据权利要求5所述的方法，其特征在于，所述确定所述初始图像与所述合成视角图像之间的结构相似函数，包括：对所述合成视角图像进行分块处理，得到至少一合成图像分块；确定各所述合成图像分块，在所述初始图像中对应的实际图像分块；确定各所述合成图像分块与对应的所述实际图像分块的像素平均值、像素标准差与像素协方差；基于所述像素平均值、所述像素标准差与所述像素协方差，确定所述合成图像分块与对应的所述实际图像分块之间的结构相似函数。9.根据权利要求5所述的方法，其特征在于，所述确定所述初始图像在不同视角下的几何一致性误差函数，包括：基于所述初始图像确定目标视角图像与对比视角图像，所述目标视角图像是所述初始图像在特定视角下的图像，所述对比视角图像是至少一所述初始图像中除所述目标视角图像之外的图像；获取至少一所述初始图像各自对应的目标深度图，所述目标深度图包括预测深...

【专利技术属性】
技术研发人员：李顺恺，张维一，郭小燕，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：