图像重渲染方法技术

本申请实施例提供一种图像重渲染方法

【技术实现步骤摘要】
图像重渲染方法、装置、电子设备、存储介质及程序产品


[0001]本申请实施例涉及互联网领域，涉及但不限于一种图像重渲染方法
、
装置
、
电子设备
、
存储介质及程序产品
。

技术介绍

[0002]移动设备上的混合现实等许多游戏中，很多
3D
对象渲染生成时，面临渲染效果失败或者不够逼真的问题
。
[0003]相关技术中，对于一个不完美的重建
3D
模型，大多数方法都集中在几何
、
纹理或相机角度的细化上，而这些方法均无法处理相机漂移
、
网格失真
、
纹理重影和模糊等伪影问题
。
通常对于质量差的
3D
纹理，渲染卡顿，会严重影响用户体验
。

技术实现思路

[0004]本申请实施例提供一种图像重渲染方法
、
装置
、
电子设备
、
存储介质及程序产品，至少能够应用于云
和图像渲染领域中，通过从不同的相机视点绘制重构
3D
模型，将相机角度
、
几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率
。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种图像重渲染方法，包括：获取目标对象的原始视图
、
所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像
。
[0007]本申请实施例提供一种图像重渲染装置，包括：获取模块，用于获取目标对象的原始视图
、
所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；特征提取模块，用于基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；确定模块，用于基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；模型构建模块，用于基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；重渲染模块，用于在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像
。
[0008]在一些实施例中，所述特征提取模块还用于：基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征
。
[0009]在一些实施例中，所述装置还包括：光照射线采样模块，用于对所述原始视图进行光照射线采样，得到所述原始视图的光照射线；聚合处理模块，用于通过对极几何特征变换器，将所述目标对象在所述视图空间中的预设分辨率特征与所述原始视图的光照射线进行聚合处理，得到生成所述原始视图的相机引擎的光照射线颜色；所述光照射线颜色用于提取所述目标对象的真实参考数据实况像素值
。
[0010]在一些实施例中，所述特征提取模块还用于：基于预设的重建损失函数，对所述对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支；以所述训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线
。
[0011]在一些实施例中，所述原始视图的相机引擎包括卷积编码器；所述特征提取模块还用于：采用补丁投影层替换所述卷积编码器，并将所述相机引擎的最后一层修改为卷积处理层，得到与所述对极几何特征变换器对应的相机引擎；通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征
。
[0012]在一些实施例中，所述多个预设相机视点下的参考纹理图像为稀疏视图；所述稀疏视图是指视图数量小于数量阈值的多个图像；所述特征提取模块还用于：确定所述稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；基于所述基线确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线；通过所述相机引擎中的所述卷积编码器，对所述目标对象在所述对极线上的特征进行卷积编码处理，得到卷积编码向量；通过所述卷积处理层基于所述卷积编码向量进行向量卷积处理，得到在所述原始视图所在的视图空间中所述对极线上的像素点的预测颜色值和预测特征向量；所述预测颜色值和预测特征向量构成所述预设分辨率特征
。
[0013]在一些实施例中，所述视图空间中的预设分辨率特征构成一特征网格；所述确定模块还用于：对所述原始视图和所述参考纹理图像中的纹理特征进行提取，得到所述目标对象的真实神经纹理特征；基于所述特征网格中的预设分辨率特征中的预测特征向量，确定所述目标对象的预测神经纹理特征；基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型；采用所述视图条件扩散模型近似计算所述目标对象在不同相机视点下的视图概率
。
[0014]在一些实施例中，所述确定模块还用于：确定所述真实神经纹理特征和所述预测神经纹理特征之间的特征差值；对所述特征差值进行范数计算，得到特征差值范数；在所述视图空间和预设条件下，计算所述特征差值范数符合正态分布的期望值；将所述符合正态分布的期望值，确定为所述视图条件扩散模型
。
[0015]在一些实施例中，在所述目标对象的几何模型中，在任意相机视点下的视图图像的视觉表达满足以下条件：从任意相机视点下对所述视觉表达参数进行图像渲染后的视图
图像，在所述视图条件扩散模型下的视图概率的条件分布满足以下条件分布公式：
[0016][0017]其中，
f
θ
表示视图图像的视觉表达，
f
θ
(
π
)
表示在任意相机视点下的视图图像
π
的视觉表达；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像重渲染方法，其特征在于，所述方法包括：获取目标对象的原始视图
、
所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征
。3.
根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述原始视图进行光照射线采样，得到所述原始视图的光照射线；通过对极几何特征变换器，将所述目标对象在所述视图空间中的预设分辨率特征与所述原始视图的光照射线进行聚合处理，得到生成所述原始视图的相机引擎的光照射线颜色；所述光照射线颜色用于提取所述目标对象的真实参考数据实况像素值
。4.
根据权利要求3所述的方法，其特征在于，所述确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线，包括：基于预设的重建损失函数，对所述对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支；以所述训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线
。5.
根据权利要求3所述的方法，其特征在于，所述原始视图的相机引擎包括卷积编码器；所述沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：采用补丁投影层替换所述卷积编码器，并将所述相机引擎的最后一层修改为卷积处理层，得到与所述对极几何特征变换器对应的相机引擎；通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征
。6.
根据权利要求5所述的方法，其特征在于，所述多个预设相机视点下的参考纹理图像为稀疏视图；所述稀疏视图是指视图数量小于数量阈值的多个图像；
所述通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：确定所述稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；基于所述基线确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线；通过所述相机引擎中的所述卷积编码器，对所述目标对象在所述对极线上的特征进行卷积编码处理，得到卷积编码向量；通过所述卷积处理层基于所述卷积编码向量进行向量卷积处理，得到在所述原始视图所在的视图空间中所述对极线上的像素点的预测颜色值和预测特征向量；所述预测颜色值和所述预测特征向量构成所述预设分辨率特征
。7.
根据权利要求6所述的方法，其特征在于，所述视图空间中的预设分辨率特征构成一特征网格；所述基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率，包括：对所述原始视图和所述参考纹理图像中的纹理特征进行提取，得到所述目标对象的真实神经纹理特征；基于所述特征网格中的预设分辨率特征中的预测特征向量，确定所述目标对象的预测神经纹理特征；基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型；采用所述视图条件扩散模型近似计算所述目标对象在不同相机视点下的视图概率
。8.

【专利技术属性】
技术研发人员：徐东，
申请(专利权)人：腾讯数码天津有限公司，
类型：发明
国别省市：