虚拟形象模型训练方法及装置制造方法及图纸

本说明书实施例提供了虚拟形象模型训练方法及装置，其中，一种虚拟形象模型训练方法包括：根据在物理世界针对用户进行多视角图像采集获得的多视角图像，构建样本图像；基于所述样本图像对待训练模型进行模型训练，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成；其中，所述模型训练，包括：将所述样本图像输入所述待训练模型进行图像重建，获得第一重建形象；根据所述第一重建形象和对应的预设形象，所述样本图像进行图像重建获得的第二重建形象，以及所述第二重建形象进行关键视角检测获得的关键视角，对所述待训练模型进行参数更新。对所述待训练模型进行参数更新。对所述待训练模型进行参数更新。

【技术实现步骤摘要】
虚拟形象模型训练方法及装置


[0001]本文件涉及虚拟化
，尤其涉及一种虚拟形象模型训练方法及装置。

技术介绍

[0002]虚拟世界提供了对真实世界的模拟，甚至能够提供在真实世界难以实现的场景，因此虚拟世界越来越多地应用在各种场景。在虚拟世界场景中，用户通过特定的身份ID登录三维虚拟世界，通过虚拟世界中虚拟的用户角色进行活动，在虚拟世界中从事与物理世界类似的各种行为活动，甚至在虚拟世界中从事在物理世界中无法进行的行为活动，通常，在虚拟世界中存在不同的用户角色，这些用户角色各自进行不同的活动。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种虚拟形象模型训练方法，包括：根据在物理世界针对用户进行多视角图像采集获得的多视角图像，构建样本图像。基于所述样本图像对待训练模型进行模型训练，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。其中，所述模型训练，包括：将所述样本图像输入所述待训练模型进行图像重建，获得第一重建形象；根据所述第一重建形象和对应的预设形象，所述样本图像进行图像重建获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象模型训练方法，包括：根据在物理世界针对用户进行多视角图像采集获得的多视角图像，构建样本图像；基于所述样本图像对待训练模型进行模型训练，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成；其中，所述模型训练，包括：将所述样本图像输入所述待训练模型进行图像重建，获得第一重建形象；根据所述第一重建形象和对应的预设形象，所述样本图像进行图像重建获得的第二重建形象，以及所述第二重建形象进行关键视角检测获得的关键视角，对所述待训练模型进行参数更新。2.根据权利要求1所述的虚拟形象模型训练方法，所述关键视角，基于视角检测模型对所述第二重建形象进行关键视角检测获得；其中，所述视角检测模型，采用如下方式训练：将样本虚拟形象输入编码器进行关键视角检测，获得第一预设数目的目标关键视角；根据所述样本虚拟形象和所述目标关键视角对所述编码器进行参数更新。3.根据权利要求2所述的虚拟形象模型训练方法，所述根据所述样本虚拟形象和所述目标关键视角对所述编码器进行参数更新，包括：根据分解图像和所述样本虚拟形象在预设视角的第一视角图像，计算训练损失；所述分解图像基于所述目标关键视角和所述样本虚拟形象获得；基于所述训练损失对所述编码器进行参数更新。4.根据权利要求3所述的虚拟形象模型训练方法，所述分解图像，通过如下方式获得：确定所述样本虚拟形象在所述目标关键视角的第二视角图像；基于所述第二视角图像进行图像分解处理，获得第二预设数目的所述分解图像；所述第一预设数目小于所述第二预设数目。5.根据权利要求1所述的虚拟形象模型训练方法，所述第二重建形象，基于图像重建模型对所述样本图像进行图像重建获得；其中，所述图像重建模型，采用如下方式训练：将所述样本图像输入第二待训练模型进行图像重建，获得第三重建形象；根据所述第三重建形象和所述样本图像对所述第二待训练模型进行参数更新。6.根据权利要求5所述的虚拟形象模型训练方法，所述根据所述第三重建形象和所述样本图像对所述第二待训练模型进行参数更新，包括：计算所述第三重建形象在目标视角的目标视角图像和所述样本图像中所述目标视角对应的目标图像的第一损失，以及计算所述目标视角图像的第一特征分布数据和所述目标图像的第二特征分布数据的第二损失；基于所述第一损失和所述第二损失对所述第二待训练模型进行参数更新。7.根据权利要求6所述的虚拟形象模型训练方法，所述第一特征分布数据和所述第二特征分布数据，采用如下方式获得：将所述目标视角图像和所述目标图像输入特征分布构建模型进行特征分布构建，获得所述第一特征分布数据和所述第二特征分布数据。8.根据权利要求1所述的虚拟形象模型训练方法，所述根据所述第一重建形象和对应的预设形象，所述样本图像进行图像重建获得的第二重建形象，以及所述第二重建形象进
行关键视角检测获得的关键视角，对所述待训练模型进行参数更新，包括：根据所述第一重建形象在所述关键视角的第三视角图像和所述第二重建形象在所述关键视角的第四视角图像，计算图像损失，以及根据所述第一重建形象和所述预设形象计算形象损失；基于所述图像损失和所述形象损失进行所述参数更新。9.根据权利要求8所述的虚拟形象模型训练方法，所述根据所述第一重建形象在所述关键视角的第三视角图像和所述第二重建形象在所述关键视角的第四视角图像，计算图像损失，包括：根据所述第三视角图像的第一特征点和所述第四视角图像的第二特征点，计算特征点损失，以及计算所述第三视角图像的第一图像特征和所述第四视角图像的第二图像特征的特征损失；基于所述特征点损失和所述特征损失计算所述图像损失。10.根据权利要求9所述的虚拟形象模型训练方法，所述计算所述第三视角图像的第一图像特征和所述第四视角图像的第二图像特征的特征损失，包括：对所述第一图像特征和所述第二图像特征进行相似度计算，获得相似度指标；根据所述相似度指标计算所述特征损失。11.根据权利要求1所述的虚拟形象模型训练方法，所述虚拟形象生成，包括：根据访问用户针对所述虚拟世界的虚拟形象的申请请求，采集所述访问用户的多视角图像；将所述多视角图像输入通过所述接入设备部署的虚拟形象模型进行图像重建，获得所述访问用户在所述虚拟世界的虚拟形象。12.一种虚拟形象处理方法，包括：根据访问用户针对虚拟世界的虚拟形象的申请请求，采集所述访问用户的多视角图像；将所述多视角图像输入通过所述虚拟世界的接入设备部署的虚拟形象模型进行图像重建，获得所述访问用户在所述虚拟世界的虚拟形象；其中，所述虚拟形象模型，采用如下方式训练：将样本图像输入待训练模型进行图像重建，获得第一重建形象；根据所述第一重建形象和对应的预设形象，所述样本图像进行图像重建获得的第二重建形象，以及所述第二重建形象进行关键视角检测获得的关键视角，对所述待训练模型进行参数更新。13.根据权利要求1所述的虚拟形象处理方法，所述关键视角，基于视角检测模型对所述第二重建形象进...

【专利技术属性】
技术研发人员：曹佳炯，丁菁汀，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：