【技术实现步骤摘要】
一种形象生成方法、装置、存储介质及电子设备
[0001]本说明书涉及计算机
，尤其涉及一种形象生成方法、装置、存储介质及电子设备。
技术介绍
[0002]随着计算机技术的快速的发展，诸如元宇宙、虚拟现实等虚拟场景在近年来的应用越来越广泛，目前，元宇宙等相关虚拟场景应用处于在快速发展阶段，大部分的研究和应用集中在“虚拟对象形象”的形象生成，生成逼真且质量高的“虚拟对象形象”显得尤为关键。
技术实现思路
[0003]本说明书提供了一种形象生成方法、装置、存储介质及电子设备，所述技术方案如下：
[0004]第一方面，本说明书提供了一种形象生成方法，应用于服务平台，所述方法包括：
[0005]获取源域中针对对象面部重建模型的第一基函数向量；
[0006]将所述第一基函数向量发送至少一个终端设备，以使所述终端设备在目标域中获取至少一个目标域二维图像，并基于所述第一基函数向量和所述目标域二维图像得到第二基函数向量，以及控制所述对象面部重建模型基于所述第二基函数向量进行虚拟对象形象驱动得到虚拟...
【技术保护点】
【技术特征摘要】
1.一种形象生成方法，应用于服务平台，所述方法包括：获取源域中针对对象面部重建模型的第一基函数向量；将所述第一基函数向量发送至少一个终端设备，以使所述终端设备在目标域中获取至少一个目标域二维图像，并基于所述第一基函数向量和所述目标域二维图像得到第二基函数向量，以及控制所述对象面部重建模型基于所述第二基函数向量进行虚拟对象形象驱动得到虚拟对象三维形象，以及基于所述虚拟对象三维形象进行图像质量增强处理得到目标虚拟对象形象。2.根据权利要求1所述的方法，所述获取源域中针对对象面部重建模型的第一基函数向量，包括：获取源域中的源域二维图像，以及获取基于所述源域二维图像确定的对象面部重建模型对应的参考基函数向量；确定所述源域二维图像对应的姿态角度，基于所述姿态角度对所述参考基函数向量进行基向量调整，得到针对对象面部重建模型的第一基函数向量。3.根据权利要求2所述的方法，所述确定所述源域二维图像对应的姿态角度，基于所述姿态角度对所述参考基函数向量进行基向量调整，得到针对对象面部重建模型的第一基函数向量，包括：将所述源域二维图像和所述参考基函数向量输入至源域基函数生成模型，通过所述源域基函数生成模型确定所述源域二维图像对应的姿态角度并基于所述姿态角度对所述源域二维图像进行姿态校正处理得到源域二维校正图像，以提取所述源域二维校正图像的源域对象面部特征，和，基于所述源域对象面部特征和所述参考基函数向量进行基向量调整得到第一基函数向量，并输出所述第一基函数向量。4.根据权利要求3所述的方法，所述方法还包括：获取所述源域下的源域二维样本图像和获取基于所述源域二维样本图像确定的对象面部重建模型对应的参考基函数样本向量，采用所述源域二维样本图像和所述参考基函数样本向量对初始源域基函数生成模型进行模型训练，所述初始源域基函数生成模型至少包括对象姿态估计网络、第一对象特征提取网络以及基函数生成网络；在模型训练过程中，基于所述源域二维样本图像采用对象姿态估计网络得到样本姿态角度并基于所述样本姿态角度对所述源域二维样本图像进行姿态校正处理得到源域样本校正图像，基于所述源域样本校正图像采用所述第一对象特征提取网络提取源域对象样本特征，基于所述源域对象样本特征和所述参考基函数样本向量采用所述基函数生成网络进行基向量调整得到第一基函数样本向量；基于所述第一基函数样本向量、所述源域二维样本图像、源域虚拟三维形象标签以及所述参考基函数样本向量计算第一模型损失，采用第一模型损失对所述对所述初始源域基函数生成模型中的基函数生成网络进行模型参数调整，得到源域基函数生成模型。5.根据权利要求4所述的方法，所述基于所述第一基函数样本向量、所述源域二维样本图像、源域虚拟三维形象标签以及所述参考基函数样本向量计算第二模型损失，包括：将所述源域样本校正图像输入对象面部重建模型，并控制所述对象面部重建模型基于所述第一基函数样本向量进行虚拟对象形象驱动，得到源域虚拟对象三维形象；获取所述源域二维样本图像对应的源域虚拟三维形象标签；
基于所述源域样本校正图像以及所述源域虚拟三维形象标签采用第一损失计算式得到校正重建损失，基于所述第一基函数样本向量和所述参考基函数样本向量采用第二损失计算式得到基函数表达损失，基于所述校正重建损失和所述基函数表达损失确定第一模型损失；所述第一损失计算式满足以下公式：其中，所述Loss
recons
为所述校正重建损失，所述V
3DMM
为所述源域虚拟对象三维形象，所述V
GT
为所述源域虚拟三维形象标签；所述第二损失计算式满足以下公式：其中，所述Loss
pre
为所述基函数表达损失，所述Base
3DMM
为所述第一基函数样本向量，所述Base
3DMM
‑
OLD
为所述参考基函数样本向量，所述X为所述第一基函数样本向量与所述参考基函数样本向量的转换矩阵。6.根据权利要求1所述的方法，所述获取源域中针对对象面部重建模型的第一基函数向量之后，还包括：向至少一个终端设备获取目标域中的至少一个目标域二维图像；基于所述第一基函数向量和所述目标域二维图像对所述第一基函数向量进行自适应跨域调整处理得到第二基函数向量；将所述第二基函数向量发送至所述终端设备，以使所述终端设备控制所述对象面部重建模型基于所述第二基函数向量进行虚拟对象形象驱动，得到虚拟对象三维形象，并基于所述虚拟对象三维形象进行图像质量增强处理得到目标虚拟对象形象。7.一种形象生成方法，应用于终端设备，所述方法包括：向服务平台获取第一基函数向量，所述第一基函数向量为所述服务平台从源域中获取的对象面部重建模型的基函数向量；在目标域中获取至少一个目标域二维图像，并基于所述第一基函数向量和所述目标域二维图像对所述第一基函数向量进行自适应跨域调整处理得到第二基函数向量；控制所述对象面部重建模型基于所述第二基函数向量进行虚拟对象形象驱动得到虚拟对象三维形象，以及基于所述虚拟对象三维形象进行图像质量增强处理得到目标虚拟对象形象。8.根据权利要求7所述的方法，所述基于所述第一基函数向量和所述目标域二维图像对所述第一基函数向量进行自适应跨域调整处理，得到第二基函数向量，包括：将所述第一基函数向量和所述目标域二维图像输入至基函数跨域调整模型，通过所述基函数跨域调整模型提取所述目标域二维图像的对象面部特征，以基于所述对象面部特征以及第一基函数向量进行自适应跨域调整得到第二基函数向量，并输出所述第二基函数向量。9.根据权利要求8所述的方法，所述基函数跨域调整模型至少包括第二对象特征提取网络、基函数自适应网络以及跨域对抗分类网络，所述通过所述基函数跨域调整模型提取所述目标域二维图像的对象面部特征，以基于所述对象面部特征以及第一基函数向量进行自适应跨域调整得到第二基函数向量，包括：
采用所述第二对象特征提取网络对目标域二维图像进行特征提取得到对象面部...
【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。