【技术实现步骤摘要】
基于RGB
‑
D序列的三维动态重建方法、训练装置及电子设备
[0001]本专利技术涉及三维动态重建领域，具体涉及一种基于RGB
‑
D序列的三维动态重建方法、训练装置、电子设备以及存储介质。
技术介绍
[0002]作为计算机视觉的经典问题，从一段视频中重建出动态目标物体的三维模型在元宇宙、增强现实、虚拟现实等领域有着广阔的前景。特别是在单目设定下，由于彩色相机采集的RGB序列存在深度歧义性、弱纹理处特征变化不显著等问题，目前还没有算法能针对无模板先验的动态物体，重建其高质量的三维模型。另一方面，随着深度相机成本的下降，许多针对深度图的动态融合算法应运而生，但由于它们没有充分结合彩色信息和深度信息，得到的模型保真度也不高，且存在诸多问题。
技术实现思路
[0003]鉴于上述问题，本专利技术提供了一种基于RGB
‑
D序列的三维动态重建方法、训练装置、电子设备以及存储介质，以期能够解决上述问题之一。
[0004]根据本专利技术的第一个方面，提供了一种基于R
【技术保护点】
【技术特征摘要】
1.一种基于RGB
‑
D序列的三维动态重建方法，包括：将待重建对象输入到参数优化后的三维动态重建模型中，得到所述待重建对象的几何重建模型和颜色重建模型，其中，所述参数优化后的三维动态重建模型通过下述方法训练得到：随机初始化三维动态重建模型，其中，所述三维动态重建模型包括双射映射网络、拓扑感知网络和隐式基准空间；获取深度相机的视线方向以及目标训练对象上采样点的法向量，并通过所述深度相机获取训练对象的RGB信息和深度信息；将通过所述深度相机采集得到的RGB
‑
D序列信息进行预处理，得到所述训练对象的掩码信息；将所述掩码信息与所述三维动态重建模型的形变编码进行张量运算，得到张量运算结果；利用所述双射映射网络和所述拓扑感知网络将所述张量运算结果映射到所述隐式基准空间中，得到映射结果；利用所述隐式基准空间处理所述映射结果，并利用符号距离函数渲染处理结果，得到所述训练对象的预测的掩码信息和所述训练对象的预测的深度信息；将所述视线方向、所述三维动态重建模型的外观编码和所述映射结果进行复合运算，并利用神经辐射场对复合运算的结果进行渲染，得到所述训练对象的预测的RGB信息；将所述视线方向、所述法向量、所述掩码信息、所述RGB信息、所述深度信息、所述预测的掩码信息、所述预测的RGB信息以及所述预测的深度信息输入到损失函数中，得到损失值，并根据损失值优化所述三维动态重建模型的参数；迭代进行获取操作、预处理操作、张量运算操作、映射操作、渲染操作以及优化操作，直到所述损失值满足预设条件，得到参数优化后的三维动态重建模型。2.根据权利要求1所述的方法，其中，所述利用所述双射映射网络和所述拓扑感知网络将所述张量运算结果映射到所述隐式基准空间中，得到映射结果包括：利用所述双射映射网络的坐标变换模块对所述张量运算结果进行坐标变换，得到变换结果，其中，所述双射映射网络的坐标变换模块的数量与所述张量运算结果的维度相同，每个所述双射映射网络的坐标变换模块用于对所述张量运算结果进行一次坐标变换；利用所述拓扑感知网络将所述变换结果映射到隐式基准空间中，得到映射结果。3.根据权利要求2所述的方法，其中，所述利用所述双射映射网络的坐标变换模块对所述张量运算结果进行坐标变换，得到变换结果包括：随机选择所述张量运算结果中的一个坐标轴作为变换基准轴，并利用所述坐标变换模块对所述变换基准轴上的张量值进行平移，得到平移结果；根据所述平移结果，利用所述坐标变换模块对所述张量运算结果中的其他坐标轴进行平移和进行绕所述变换基准轴旋转，得到一次变换结果；迭代进行平移操作和旋转操作，直到所有所述坐标变换模块完成对所述张量运算结果的坐标变换，得到变换结果。4.根据权利要求2
‑
3任一所述的方法，其中，每个所述变换结果连续可微且周期相同。5.根据权利要求1所述的方法，其中，所述损失函数包括自由空间损失函数和表面上的
损失函数。6.根据权利要求5所述的方法，其中，所述自由空间损失函数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。