【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种模型训练方法、装置、计算机设备及存储介质。
技术介绍
1、在相关技术中，基于robust-dynerf、mli等框架并且以单目视频流为输入，训练得到的重建模型在进行视觉重建时所生成的连续视频帧，存在视野补全较差以及连续性不足的问题。
技术实现思路
1、本申请提出了一种模型训练方法、装置、计算机设备及存储介质，以解决重建得到的连续图像存在视野补全差以及连续性不足的问题。
2、第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：获取多个样本图像，所述多个样本图像是针对目标场景进行不同角度的连续图像采集得到的；将每个所述样本图像以及每个所述样本图像的位姿参数输入至初始重建模型中，得到每个所述样本图像对应的多个重建图像，所述样本图像的位姿参数为拍摄所述样本图像时的相机位姿，所述多个重建图像为连续的图像帧；基于每个所述样本图像的位姿参数与其对应的多个重建图像的重建位姿之间的位姿差异程度，确定针对每个所述样本图像的位姿预测差异值，所述重建图像的重建位姿是所述初始重建模型基于所述样本图像预测得到的；从所述多个样本图像中，确定最小的所述位姿预测差异值对应的样本图像，作为参考图像；基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型。
3、第二方面，本申请实施例提供了一种模型训练装置，所述装置包括：样本图像
4、第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
5、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
6、本申请提供的方案中，每个样本图像与其对应的多个重建图像之间的图像差异程度，可以看作为从局部优化(即针对每个样本图像)的角度获取到的图像差异程度。并且，从多个样本图像中确定最小的位姿预测差异值对应的样本图像，作为参考图像，可以通俗地理解为从多个样本图像中，筛选出重建图像与其对应的样本图像最为接近的最优样本图像作为参考图像。进而，再获取每个重建图像的重建位姿与参考图像的位姿参数之间的位姿差异程度，可以看作为从全局优化(即针对所有的重建图像)的角度获取到的位姿差异程度。也就是说，既从局部层面对初始重建模型进行了迭代优化，又从全局层面对初始重建模型进行了迭代优化，从而更好地实现了对初始重建模型的迭代优化，得到重建能力更优秀的图像重建模型，最终可以使得图像重建模型在实际推理应用中，能够重建得到视野更加齐全且视角连续性更好的多个的重建图像。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始重建模型至少包括编码模块、位姿预测模块、像素映射模块以及渲染模块；
3.根据权利要求2所述的方法，其特征在于，所述基于每个所述样本图像的位姿参数与其对应的多个重建图像的重建位姿之间的位姿差异程度，确定针对每个所述样本图像的位姿预测差异值，包括：
4.根据权利要求2所述的方法，其特征在于，在获取多个样本图像之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型之后，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，每个所述场景图像携带有时间戳信息，所述时间戳信息包含有拍摄所述场景图像的拍摄时间，在所述接收电子设备发送的多个场景图像之后，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述若所述时间差值小于目标时长，则执行所述基于预设稀疏重建算法，获取每个所述场景图像对应的点云数据以及拍摄每个所述场景图像时单目相机的相机位姿的步骤，包括：
9.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型之后，所述方法还包括：
10.一种模型训练装置，其特征在于，所述装置包括：
11.一种计算机设备，其特征在于，包括：
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始重建模型至少包括编码模块、位姿预测模块、像素映射模块以及渲染模块；
3.根据权利要求2所述的方法，其特征在于，所述基于每个所述样本图像的位姿参数与其对应的多个重建图像的重建位姿之间的位姿差异程度，确定针对每个所述样本图像的位姿预测差异值，包括：
4.根据权利要求2所述的方法，其特征在于，在获取多个样本图像之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于每个所述样本图像与其对应的多个重建图像之间的图像差异程度，以及每个所述重建图像的重建位姿与所述参考图像的位姿参数之间的位姿差异程度，对所述初始重建模型进行迭代优化，得到图像重建模型之后，所...
【专利技术属性】
技术研发人员：吴若溪，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。