三维重建方法及装置制造方法及图纸

本公开涉及三维重建方法及装置。上述三维重建方法包括获取待重建对象的待处理图像和参考图像，待处理图像和参考图像为单目图像采集装置对待重建对象进行图像采集得到的连续图像帧；将待处理图像和参考图像输入到预设深度网络模型进行深度估计，得到待处理图像对应的第一深度图和参考图像对应的第二深度图；基于第一深度图、第二深度图、待处理图像和参考图像进行深度校正处理，得到绝对尺度深度图和待处理图像对应的绝对里程计数据；基于绝对尺度深度图和绝对里程计数据进行待处理图像对应的三维增量重建，得到目标三维模型；本公开减少了三维重建数据集的构建成本，解决了单目图像三维重建的尺度缺失问题，实现简单、高效且准确的三维重建方法。且准确的三维重建方法。且准确的三维重建方法。

【技术实现步骤摘要】
三维重建方法及装置


[0001]本公开涉及机器视觉测量
，尤其涉及三维重建方法、装置、存储介质和电子设备。

技术介绍

[0002]现有技术中，通常利用深度传感器获取待重建对象的深度信息，结合待重建对象的图像实现三维重建，然而，深度传感器成本高，适应性差且测量具有局限性。因此，利用单目图像采集装置实现三维重建具有较大的应用前景。
[0003]目前，利用单目图像进行三维重建的方法，对单目图像采集装置的性能要求较高，且仅能进行有限空间的三维重建。

技术实现思路

[0004]为了解决上述提出的至少一个技术问题，本公开提出了三维重建方法、装置、存储介质和电子设备。
[0005]根据本公开的一方面，提供了一种三维重建方法，其包括：
[0006]获取待重建对象的待处理图像和参考图像，所述待处理图像和所述参考图像为单目图像采集装置对所述待重建对象进行图像采集得到的连续图像帧；
[0007]将所述待处理图像和所述参考图像输入到预设深度网络模型进行深度估计，得到所述待处理图像对应的第一深度图和所述参考图像对应的第二深度图；
[0008]基于所述第一深度图、所述第二深度图、所述待处理图像和所述参考图像进行深度校正处理，得到绝对尺度深度图和所述待处理图像对应的绝对里程计数据；
[0009]基于所述绝对尺度深度图和所述绝对里程计数据进行所述待处理图像对应的三维增量重建，得到目标三维模型；
[0010]所述预设深度网络模型为基于连续帧的训练样本图像对初始深度网络和初始位姿网络进行优化训练时，结合初始位姿估计网络输出的位姿估计结果，对初始深度估计网络输出的深度图进行投影处理，以进行所述连续帧的训练样本图像的噪声去除、所述连续帧的尺度一致性估计和所述训练样本图像的深度估计的约束训练得到的模型。
[0011]在一些可能的实施方式中，所述方法还包括：
[0012]将第一样本训练图像输入所述初始深度网络和所述初始位姿网络，分别得到第一样本深度图和第一相机位姿信息；
[0013]将第二样本训练图像输入所述初始深度估计网络和所述初始位姿估计网络，分别得到第二样本深度图和第二相机位姿信息；所述第一样本训练图像与所述第二样本训练图像为所述训练样本图像中的连续帧图像；
[0014]基于所述第一样本深度图、所述第一相机位姿信息、所述第二样本深度图、所述第二相机位姿信息、所述第一样本训练图像和所述第二样本训练图像确定模型损失；
[0015]基于所述模型损失联合训练所述初始深度网络和所述初始位姿网络，得到所述预
设深度网络模型。
[0016]在一些可能的实施方式中，所述基于所述第一样本深度图、所述第一相机位姿信息、所述第二样本深度图、所述第二相机位姿信息、所述第一样本训练图像和所述第二样本训练图像确定模型损失，包括：
[0017]基于所述第一相机位姿信息和所述第二相机位姿信息，将所述第二样本训练图像和所述第二样本深度图投影到第一样本训练图像对应的相机坐标系中，得到样本映射图和深度映射图；
[0018]基于所述第一样本训练图像和所述第一样本深度图确定边缘感知平滑损失；
[0019]基于所述第一样本训练图像和所述样本映射图确定光度损失；
[0020]基于所述第一样本训练图像、所述样本映射图和所述深度映射图确定几何一致性损失；
[0021]基于所述边缘感知平滑损失、所述光度损失和所述几何一致性损失确定模型损失。
[0022]在一些可能的实施方式中，所述基于所述第一深度图、所述第二深度图、所述待处理图像和所述参考图像进行深度校正处理，得到绝对尺度深度图和所述待处理图像对应的绝对里程计数据，包括：
[0023]对所述第一深度图和所述待处理图像进行特征处理，得到第一位姿信息；
[0024]对所述第二深度图和所述参考图像进行特征处理，得到第二位姿信息；
[0025]获取所述待处理图像和所述参考图像之间的加速度计数据和陀螺仪数据；
[0026]基于所述加速度计数据和所述陀螺仪数据进行预积分处理，得到第三位姿信息；
[0027]基于所述第一位姿信息、所述第二位姿信息和所述第三位姿信息进行相似变换处理，得到尺度因子；
[0028]基于所述尺度因子、所述第一位姿信息、所述第二位姿信息、所述第一深度图和所述第二深度图进行所述待处理图像的深度校正处理，得到绝对尺度深度图。
[0029]在一些可能的实施方式中，所述基于所述尺度因子、所述第一位姿信息、所述第二位姿信息、所述第一深度图和所述第二深度图进行所述待处理图像的深度校正处理，得到绝对尺度深度图，包括：
[0030]基于所述第一位姿信息、所述第二位姿信息将所述第一深度图投影至所述参考图像对应的相机坐标系中，得到目标深度图；
[0031]基于所述目标深度图进行噪点过滤，得到去噪深度图；
[0032]基于所述去噪深度图和所述尺度因子进行所述待处理图像的深度校正处理，得到所述绝对尺度深度图。
[0033]在一些可能的实施方式中，所述基于所述绝对尺度深度图和所述绝对里程计数据进行所述待处理图像对应的三维增量重建，得到目标三维模型，包括：
[0034]确定所述绝对尺度深度图对应的点云数据；
[0035]确定所述点云数据和所述绝对里程计数据在预设增量式三维存储模型中对应的目标子图；
[0036]基于所述点云数据和所述绝对里程计数据对所述目标子图的体素点进行更新，得到目标体素点；
[0037]基于所述目标体素点进行三维重建，得到所述目标三维模型。
[0038]在一些可能的实施方式中，所述基于所述点云数据和所述绝对里程计数据对所述目标子图的体素点进行更新，得到目标体素点，包括：
[0039]基于所述目标子图对应的原点坐标确定所述绝对里程计数据相对于所述目标子图的变换矩阵；
[0040]基于所述变换矩阵确定所述点云数据在所述目标子图中的坐标信息；
[0041]在所述目标子图中不存在所述坐标信息对应的目标空间块的情况下，基于所述坐标信息在所述目标子图中创建所述目标空间块；
[0042]基于所述坐标信息在所述目标空间块中查找到对应的空体素点；
[0043]基于所述坐标信息将所述点云数据映射至所述空体素点，得到初始体素点数据；
[0044]基于初始体素点数据的带符号距离和所述初始体素点数据的权值分别更新所述空体素点的带符号距离和所述空体素点的权值，得到所述目标体素点。
[0045]在一些可能的实施方式中，所述方法，还包括：
[0046]在所述目标子图中存在所述坐标信息对应的目标空间块的情况下，查找所述目标空间块中所述坐标信息对应的历史体素点；
[0047]基于所述点云数据和所示坐标信息更新所述目标空间块中所述历史体素点的带符号距离和所述历史体素点的权值，得到所述目标体素点。
[0048]在一些可能的实施方式中，所述基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取待重建对象的待处理图像和参考图像，所述待处理图像和所述参考图像为单目图像采集装置对所述待重建对象进行图像采集得到的连续图像帧；将所述待处理图像和所述参考图像输入到预设深度网络模型进行深度估计，得到所述待处理图像对应的第一深度图和所述参考图像对应的第二深度图；基于所述第一深度图、所述第二深度图、所述待处理图像和所述参考图像进行深度校正处理，得到绝对尺度深度图和所述待处理图像对应的绝对里程计数据；基于所述绝对尺度深度图和所述绝对里程计数据进行所述待处理图像对应的三维增量重建，得到目标三维模型；所述预设深度网络模型为基于连续帧的训练样本图像对初始深度网络和初始位姿网络进行优化训练时，结合初始位姿估计网络输出的位姿估计结果，对初始深度估计网络输出的深度图进行投影处理，以进行所述连续帧的训练样本图像的噪声去除、所述连续帧的尺度一致性估计和所述训练样本图像的深度估计的约束训练得到的模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将第一样本训练图像输入所述初始深度网络和所述初始位姿网络，分别得到第一样本深度图和第一相机位姿信息；将第二样本训练图像输入所述初始深度估计网络和所述初始位姿估计网络，分别得到第二样本深度图和第二相机位姿信息；所述第一样本训练图像与所述第二样本训练图像为所述训练样本图像中的连续帧图像；基于所述第一样本深度图、所述第一相机位姿信息、所述第二样本深度图、所述第二相机位姿信息、所述第一样本训练图像和所述第二样本训练图像确定模型损失；基于所述模型损失联合训练所述初始深度网络和所述初始位姿网络，得到所述预设深度网络模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一样本深度图、所述第一相机位姿信息、所述第二样本深度图、所述第二相机位姿信息、所述第一样本训练图像和所述第二样本训练图像确定模型损失，包括：基于所述第一相机位姿信息和所述第二相机位姿信息，将所述第二样本训练图像和所述第二样本深度图投影到第一样本训练图像对应的相机坐标系中，得到样本映射图和深度映射图；基于所述第一样本训练图像和所述第一样本深度图确定边缘感知平滑损失；基于所述第一样本训练图像和所述样本映射图确定光度损失；基于所述第一样本训练图像、所述样本映射图和所述深度映射图确定几何一致性损失；基于所述边缘感知平滑损失、所述光度损失和所述几何一致性损失确定模型损失。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述基于所述第一深度图、所述第二深度图、所述待处理图像和所述参考图像进行深度校正处理，得到绝对尺度深度图和所述待处理图像对应的绝对里程计数据，包括：对所述第一深度图和所述待处理图像进行特征处理，得到第一位姿信息；对所述第二深度图和所述参考图像进行特征处理，得到第二位姿信息；
获取所述待处理图像和所述参考图像之间的加速度计数据和陀螺仪数据；基于所述加速度计数据和所述陀螺仪数据进行预积分处理，得到第三位姿信息；基于所述第一位姿信息、所述第二位姿信息和所述第三位姿信息进行相似变换处理，得到尺度因子；基于所述尺度因子、所述第一位姿信息、所述第二位姿信息、所述第一深度图和所述第二深度图进行所述待处理图像的深度校正处理，得到绝对尺度深度图。5.根据权利要求4所述的方法，其特征在于，所述基于所述尺度因子、所述第一位姿信息、所述第二位姿信息、所述第一深度图和所述第二深度图进行所述待处理图像的深度校正处理...

【专利技术属性】
技术研发人员：叶晶晶，林君，林兴萍，金瑞，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：