生成图像渲染模型的方法及装置和图像渲染方法及装置制造方法及图纸

本申请公开了一种生成图像渲染模型的方法及装置和图像渲染方法及装置，通过优化图像渲染模型中三维网格模型的每个顶点的多维特征向量，提高了渲染性能，使得渲染效果真实；而且，图像渲染模型中解码网络的模型结构小、渲染像素不需要采样，提升了渲染速度快，实现了实时渲染新的视图。实时渲染新的视图。实时渲染新的视图。

【技术实现步骤摘要】
生成图像渲染模型的方法及装置和图像渲染方法及装置


[0001]本申请涉及但不限于图像处理技术，尤指一种生成图像渲染模型的方法及装置和图像渲染方法及装置。

技术介绍

[0002]新视角合成技术是计算机视觉及计算机图像学的一个重要研究课题，广泛应用于数字和娱乐行业，从电影制作到游戏，再到蓬勃发展的虚拟现实和增强现实应用。新视角合成是指：给定一系列相机或者单个可移动的相机拍摄出的一个三维场景的一组图片，由这些图片来合成新视点下的这个三维场景的图片。图像渲染技术是新视角合成的重要技术手段，用于新视角合成的图像渲染技术主要分为两类：传统的基于图像的渲染技术，及基于神经辐射场(NeRF，Neural Radiance Fields)的渲染技术。
[0003]相关技术中的三维重建和纹理渲染方法，要么计算开销较大，实现速度慢，不能实时渲染新的视图；要么虽然能通过光栅化实时渲染任意视角的图像但渲染管线渲染每个像素点需要插值纹理贴图中的颜色，缺少不同视角下的颜色变化，不能模拟场景中真实存在的高光和阴影，造成渲染效果不真实。

技术实现思路

[0004]本申请提供一种生成图像渲染模型的方法及装置和图像渲染方法及装置，能够实时渲染新的视图，同时渲染效果真实。
[0005]本专利技术实施例提供了一种生成图像渲染模型的方法，包括：
[0006]分别确定多个视角下的样本图像对应的各图像获取装置的位姿和所述多个视角下的样本图像对应的三维网格模型，其中，所述三维网格模型的每个顶点包含多维特征向量；
[0007]根据各所述图像获取装置的位姿和所述三维网格模型确定各所述样本图像的神经纹理特征；
[0008]基于解码网络对所述各视角下样本图像的神经纹理特征及图像获取装置视角进行解码，获取各视角下样本图像对应的渲染样本图像；
[0009]基于重建损失对图像渲染模型的参数进行训练以得到训练后的图像渲染模型，其中，所述图像渲染模型的参数包括所述解码网络的参数和所述多维特征向量中的至少一个。
[0010]在一种示例性实例中，所述确定所述多个视角下的样本图像对应的三维网格模型，包括：
[0011]根据所述多个视角下的样本图像获取所述三维网格模型；
[0012]初始化所述三维网格模型中每个顶点的多维特征向量，其中，所述多维特征向量的维度数为至少三个。
[0013]在一种示例性实例中，所述初始化所述三维网格模型中每个顶点的多维特征向量
包括：
[0014]使用预设的特征属性初始化所述多维特征向量中的前k维，所述多维特征向量的剩余(m
‑
k)维随机初始化；其中，m表示所述多维特征向量的维度数，k不大于m。
[0015]在一种示例性实例中，所述根据各所述图像获取装置的位姿和所述三维网格模型确定各所述样本图像的神经纹理特征，包括：
[0016]根据各所述图像获取装置位姿和所述三维网格模型，通过光栅化和纹理插值确定各所述样本图像的神经纹理特征。
[0017]在一种示例性实例中，所述通过光栅化和纹理插值确定各所述样本图像的神经纹理特征，包括：
[0018]对每一帧所述样本图像，做以下处理：
[0019]结合所述样本图像对应的图像获取装置位姿，确定所述样本图像中像素在所述三维网格模型中的投影点、以及所述投影点所在的三角形面片；
[0020]根据所述投影点和所述三角形面片，从所述三维网格模型顶点中恢复出像素对应的所述神经纹理特征；
[0021]将所有像素对应的神经纹理特征组合构成所述样本图像的神经纹理特征。
[0022]在一种示例性实例中，所述结合所述样本图像对应的图像获取装置位姿，确定所述样本图像中像素在所述三维网格模型中的投影点、以及所述投影点所在的三角形面片，包括：
[0023]通过所述图像获取装置位姿，确定所述图像获取装置的光心到所述样本图像像素的光线；
[0024]确定所述光线落到所述三维网格模型的投影点，以及所述投影点所在三角形面片。
[0025]在一种示例性实例中，根据所述投影点和所述三角形面片，从所述三维网格模型顶点中恢复出像素对应的神经纹理特征，包括：
[0026]根据所述投影点到所述三角形面片中三个顶点的距离，加权组合所述三个顶点的多维特征向量，得到所述投影点对应像素的神经纹理特征。
[0027]在一种示例性实例中，所述重建损失通过所述各视角下样本图像与对应的所述渲染样本图像对比后建立；
[0028]所述训练的结束条件包括：所述重建损失达到最小化，或训练次数达到预设步数。
[0029]本申请实施例还提供一种生成图像渲染模型的装置，包括：确定模块、神经纹理生成模型、渲染模块和训练模块；其中，
[0030]确定模块,用于分别确定多个视角下的样本图像对应的各图像获取装置位姿和所述多个视角下的样本图像对应的三维网格模型；
[0031]生成模块，用于根据各所述图像获取装置位姿和所述三维网格模型确定各所述样本图像的神经纹理特征，其中，所述三维网格模型每个顶点包含多维特征向量；
[0032]渲染模块，用于利用解码网络基于所述各视角下样本图像的神经纹理特征及相机视角进行解码，获取各视角下样本图像对应的渲染样本图像；
[0033]训练模块，用于基于重建损失对图像渲染模型的参数进行训练以得到训练后的图像渲染模型，其中，所述图像渲染模型的参数包括所述解码网络的参数和所述多维特征向
量中的至少一个。
[0034]在一种示例性实例中，所述确定模块中的确定所述多个视角下的样本图像对应的三维网格模型，包括：
[0035]根据所述多视角样本图像获取所述三维网格模型，并初始化所述三维网格模型的每个顶点的多维特征向量，其中，所述多维特征向量的维度数为至少三个。
[0036]本申请实施例再提供一种图像渲染方法，包括：
[0037]根据给定视角，通过图像渲染模型中的三维网格模型，使用光栅化和纹理插值获取给定视角的神经纹理特征图；其中，所述三维网格模型的逐顶点特征包括可训练的预设维度的特征向量；
[0038]根据获得的神经纹理特征图与所述给定视角，通过图像渲染模型中的解码网络解码获得给定视角下的渲染图像，其中，所述三维网格模型和所述解码网络基于上述任一项所述的生成图像渲染模型的方法训练得到。
[0039]本申请实施例又提供一种图像渲染装置，包括：神经纹理处理模块、解码网络；其中，
[0040]神经纹理处理模块，用于根据给定视角，通过图像渲染模型中的三维网格模型，使用光栅化和纹理插值获取给定视角的神经纹理特征图；其中，所述三维网格模型的逐顶点特征包括可训练的预设维度的特征向量；
[0041]解码网络，用于根据获得的神经纹理特征图与所述给定视角，通过所述图像渲染模型中的解码网络解码获得给定视角下的渲染图像。
[0042]本申请实施例再提供一种计算机可读存储介质，存储有计算机可执行指令，所述计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成图像渲染模型的方法，其特征在于，包括：分别确定多个视角下的样本图像对应的各图像获取装置的位姿和所述多个视角下的样本图像对应的三维网格模型，其中，所述三维网格模型的每个顶点包含多维特征向量；根据各所述图像获取装置的位姿和所述三维网格模型确定各所述样本图像的神经纹理特征；基于解码网络对所述各视角下样本图像的神经纹理特征及图像获取装置视角进行解码，获取各视角下样本图像对应的渲染样本图像；基于重建损失对图像渲染模型的参数进行训练以得到训练后的图像渲染模型，其中，所述图像渲染模型的参数包括所述解码网络的参数和所述多维特征向量中的至少一个。2.根据权利要求1所述的方法，其特征在于，所述确定所述多个视角下的样本图像对应的三维网格模型，包括：根据所述多个视角下的样本图像获取所述三维网格模型；初始化所述三维网格模型中每个顶点的多维特征向量，其中，所述多维特征向量的维度数为至少三个。3.根据权利要求2所述的方法，其特征在于，所述初始化所述三维网格模型中每个顶点的多维特征向量包括：使用预设的特征属性初始化所述多维特征向量中的前k维，所述多维特征向量的剩余(m
‑
k)维随机初始化；其中，m表示所述多维特征向量的维度数，k不大于m。4.根据权利要求1所述的方法，其特征在于，所述根据各所述图像获取装置的位姿和所述三维网格模型确定各所述样本图像的神经纹理特征，包括：根据各所述图像获取装置位姿和所述三维网格模型，通过光栅化和纹理插值确定各所述样本图像的神经纹理特征。5.根据权利要求4所述的方法，其特征在于，所述通过光栅化和纹理插值确定各所述样本图像的神经纹理特征，包括：对每一帧所述样本图像，做以下处理：结合所述样本图像对应的图像获取装置位姿，确定所述样本图像中像素在所述三维网格模型中的投影点、以及所述投影点所在的三角形面片；根据所述投影点和所述三角形面片，从所述三维网格模型顶点中恢复出像素对应的所述神经纹理特征；将所有像素对应的神经纹理特征组合构成所述样本图像的神经纹理特征。6.根据权利要求5所述的方法，其特征在于，所述结合所述样本图像对应的图像获取装置位姿，确定所述样本图像中像素在所述三维网格模型中的投影点、以及所述投影点所在的三角形面片，包括：通过所述图像获取装置位姿，确定所述图像获取装置的光心到所述样本图像像素的光线；确定所述光线落到所述三维网格模型的投影点，以及所述投影点所在三角形面片。7.根据权利要求5所述的方法，其特征在于，根据所述投影点和所述三角形面片，从所述三维网格模型顶点中恢复出像素对应的神经纹理特征，包括：根据所述投影点到所述三角形面片中三个顶点的距离，加权组合所述三个顶点的多维
特征向量，得到所述投影点...

【专利技术属性】
技术研发人员：汪均轶，张龙，周维，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：