一种形象生成方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种形象生成方法、装置、存储介质及电子设备，其中，方法包括：基于目标对象的至少一个参考角度的目标二维图像生成第一虚拟三维形象，基于获取的参考虚拟三维形象和第一虚拟三维形象对第一虚拟三维形象进行形象质量评测处理，得到第一虚拟三维形象的形象评测信息，然后基于形象评测信息和第一虚拟三维形象，可以确定目标对象对应的目标虚拟三维形象。三维形象。三维形象。

【技术实现步骤摘要】
一种形象生成方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种形象生成方法、装置、存储介质及电子设备。

技术介绍

[0002]随着计算机技术的快速的发展，诸如元宇宙、虚拟现实等虚拟场景在近年来的应用越来越广泛，目前，元宇宙等相关虚拟场景应用处于在快速发展阶段，大部分的研究和应用集中在“三维虚拟形象”的形象生成。

技术实现思路

[0003]本说明书提供了一种形象生成方法、装置、存储介质及电子设备，所述技术方案如下：
[0004]第一方面，本说明书提供了一种形象生成方法，所述方法包括：
[0005]基于目标对象的至少一个参考角度的目标二维图像，生成所述目标对象对应的第一虚拟三维形象；
[0006]获取参考虚拟三维形象，基于所述参考虚拟三维形象和所述第一虚拟三维形象对所述第一虚拟三维形象进行形象质量评测处理，得到所述第一虚拟三维形象的形象评测信息；
[0007]基于所述形象评测信息和所述第一虚拟三维形象，确定所述目标对象对应的目标虚拟三维形象。/>[0008]第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种形象生成方法，所述方法包括：基于目标对象的至少一个参考角度的目标二维图像，生成所述目标对象对应的第一虚拟三维形象；获取参考虚拟三维形象，基于所述参考虚拟三维形象和所述第一虚拟三维形象对所述第一虚拟三维形象进行形象质量评测处理，得到所述第一虚拟三维形象的形象评测信息；基于所述形象评测信息和所述第一虚拟三维形象，确定所述目标对象对应的目标虚拟三维形象。2.根据权利要求1所述的方法，所述形象评测信息包括图像局部质量图谱以及图像形象评测参数，所述基于所述参考虚拟三维形象和所述第一虚拟三维形象对所述第一虚拟三维形象进行形象质量评测处理，得到所述第一虚拟三维形象的形象评测参数，包括：对所述参考虚拟三维形象和所述第一虚拟三维形象进行形象差异对比处理，得到图像局部质量图谱以及图像形象评测参数。3.根据权利要求2所述的方法，所述对所述参考虚拟三维形象和所述第一虚拟三维形象进行形象差异对比处理，得到图像局部质量图谱以及图像形象评测参数，包括：将所述参考虚拟三维形象和所述第一虚拟三维形象作为三维虚拟形象对，将所述三维虚拟形象对输入至组合质量评估模型；通过所述组合质量评估模型分别提取所述参考虚拟三维形象的第一虚拟形象特征以及所述第一虚拟三维形象的第二虚拟形象特征，并基于所述第一虚拟形象特征和所述第二虚拟形象特征进行形象差异对比处理，输出图像局部质量图谱以及图像形象评测参数。4.根据权利要求3所述的方法，所述方法还包括：获取针对初始组合质量评估模型的至少一组三维虚拟形象样本对，所述三维虚拟形象样本对包括第一虚拟三维样本形象和参考虚拟三维样本形象，所述参考虚拟三维样本形象对应局部质量图谱标签以及形象评测参数标签，所述初始组合质量评估模型至少包括形象特征编码网络以及特征融合网络；将所述三维虚拟形象样本对输入初始组合质量评估模型进行模型训练，在模型训练过程中，通过所述形象特征编码网络分别提取所述参考虚拟三维样本形象的第一虚拟形象样本特征以及所述第一虚拟三维形象的第二虚拟形象样本特征，并基于所述第一虚拟形象样本特征和所述第二虚拟形象样本特征采用所述特征融合网络得到样本图像局部质量图谱以及样本图像形象评测参数；基于所述样本图像局部质量图谱、所述样本图像形象评测参数、所述局部质量图谱标签以及形象评测参数标签确定第一模型损失，采用第一模型损失对所述初始组合质量评估模型进行模型参数调整，得到组合质量评估模型。5.根据权利要求4所述的方法，所述基于所述样本图像局部质量图谱、所述样本图像形象评测参数、所述局部质量图谱标签以及形象评测参数标签确定第一模型损失，包括：基于所述样本图像形象评测参数以及所述形象评测参数标签采用第一损失计算式得到整体质量回归损失，基于所述样本图像局部质量图谱和所述局部质量图谱标签采用第二损失计算式得到局部质量回归损失；基于所述整体质量回归损失以及所述局部质量回归损失得到第一模型损失；其中，所述第一损失计算式满足以下公式：
所述L1为整体质量回归损失，所述q为所述样本图像形象评测参数，所述q
GT
为所述形象评测参数标签；其中，所述第二损失计算式满足以下公式：所述L2为局部质量回归损失，所述M为所述样本图像形象评测参数，所述M
GT
为所述局部质量图谱标签。6.根据权利要求1所述的方法，所述基于目标对象的至少一个参考角度的目标二维图像，生成所述目标对象对应的第一虚拟三维形象，包括：将目标对象的至少一个参考角度的目标二维图像输入至虚拟形象生成模型中，输出所述目标对象对应的第一虚拟三维形象；其中，所述虚拟形象生成模型基于图像重建监督信号、图像边缘监督信号以及高频信息监督信号对初始虚拟形象生成模型训练生成。7.根据权利要求6所述的方法，所述方法还包括：获取样本对象的至少一个参考样本角度的样本二维图像；采用所述样本二维图像对所述初始虚拟形象生成模型进行模型训练，在模型训练过程中，通过所述初始虚拟形象生成模型对各所述样本二维图像进行三维虚拟形象生成得到第一虚拟三维样本形象；确定所述第一虚拟三维样本形象在所述参考样本角度处的第一投影样本图像，获取所述第一投影样本图像的第一图像边缘信息以及所述样本二维图像的样本图像边缘信息，获取所述第一投影样本图像的第一图像高频信息以及所述样本二维图像的样本图像高频信息；基于所述第一投影样本图像以及所述样本二维图像确定所述图像重建监督信号、所述图像边缘监督信号以及高频信息监督信号，基于所述图像重建监督信号、图像边缘监督信号以及高频信息监督信号对初始虚拟形象生成模型进行模型参数调整，得到虚拟形象生成模型。8.根据权利要求7所述的方法，所述基于所述第一投影样本图像以及所述样本二维图像确定所述图像重建监督信号、所述图像边缘监督信号以及高频信息监督信号，包括：基于所述第一投影样本图像以及所述样本二维图像采用第三损失计算式确定图像重建损失并将所述图像重建损失作为图像重建监督信号，基于所述第一图像边缘信息以及所述样本图像边缘信息采用第四损失计算式确定图像边缘损失并将所述图像边缘损失作为图像边缘监督信号，基于所述第一图像高频信息以及所述样本图像高频信息采用第五损失计算式确定图像高频损失并将所述图像高频损失作为图像高频监督信号；其中，所述第三损失计算式满足以下公式：所述Loss3为所述图像重建损失，所述NERF(x)为所述第一虚拟三维样本形象，所述Proj
...

【专利技术属性】
技术研发人员：曹佳炯，丁菁汀，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：