【技术实现步骤摘要】
虚拟形象处理方法及装置
[0001]本文件涉及数据处理
，尤其涉及一种虚拟形象处理方法及装置。
技术介绍
[0002]虚拟世界提供了对真实世界的模拟，甚至能够提供在真实世界难以实现的场景，因此虚拟世界越来越多地应用在各种场景。在虚拟世界场景中，目标对象通过特定的身份ID登录三维虚拟世界，通过虚拟世界中虚拟的目标对象角色进行活动，通常，在根据目标对象的指令操控虚拟世界中的虚拟形象时，会产生延时，这降低了目标对象体验。
技术实现思路
[0003]本说明书一个或多个实施例提供了一种虚拟形象处理方法。所述虚拟形象处理方法，包括：将目标对象的图像帧序列输入像素特征预测模型进行像素特征预测，获得第一像素特征。将所述图像帧序列输入关键特征提取器进行关键特征提取，获得关键特征。将所述第一像素特征、所述关键特征以及虚拟形象更新的延时时间输入偏移特征预测模块进行偏移特征预测，获得偏移特征。将所述关键特征和所述偏移特征输入特征融合模块进行特征融合处理，获得融合特征。基于所述融合特征对所述目标对象在虚拟世界的虚拟形象进行更新。...
【技术保护点】
【技术特征摘要】
1.一种虚拟形象处理方法，包括：将目标对象的图像帧序列输入像素特征预测模型进行像素特征预测，获得第一像素特征；将所述图像帧序列输入关键特征提取器进行关键特征提取，获得关键特征；将所述第一像素特征、所述关键特征以及虚拟形象更新的延时时间输入偏移特征预测模块进行偏移特征预测，获得偏移特征；将所述关键特征和所述偏移特征输入特征融合模块进行特征融合处理，获得融合特征；基于所述融合特征对所述目标对象在虚拟世界的虚拟形象进行更新。2.根据权利要求1所述的虚拟形象处理方法，所述像素特征预测，包括：将所述图像帧序列输入特征图谱提取子模型进行特征图谱提取，获得特征图谱；将所述特征图谱输入相关性计算模块进行相关性计算，获得所述第一像素特征。3.根据权利要求2所述的虚拟形象处理方法，所述特征图谱提取，包括：将所述图像帧序列输入所述特征图谱提取子模型包含的学生网络进行像素特征提取，获得第二像素特征；基于所述第二像素特征对所述图像帧序列进行特征图谱提取，获得所述特征图谱。4.根据权利要求2所述的虚拟形象处理方法，所述特征图谱提取子模型，采用如下方式训练获得：将样本第一像素特征输入待训练像素融合模块进行像素特征融合，获得样本融合像素特征；将所述第一帧序列样本输入待训练学生网络进行像素特征提取，获得样本第二像素特征；根据所述样本第二像素特征和预设像素特征计算第一特征损失，以及，根据所述样本融合像素特征和所述样本第二像素特征计算第二特征损失；根据所述第一特征损失与所述第二特征损失对所述待训练像素融合模块以及所述待训练学生网络进行参数调整；其中，所述样本第一像素特征通过将第一帧序列样本输入教师网络进行像素特征提取获得。5.根据权利要求2所述的虚拟形象处理方法，所述将所述特征图谱输入相关性计算模块进行相关性计算，获得所述第一像素特征，包括：将所述特征图谱进行编码处理，获得特征向量；根据所述特征向量计算特征矩阵，以及，将所述特征矩阵输入相关性计算模块的卷积网络进行相关性计算，获得所述第一像素特征。6.根据权利要求1所述的虚拟形象处理方法，所述像素特征预测模型，采用如下方式训练获得：将样本特征图谱输入待训练相关性计算模块进行相关性计算，获得样本第三像素特征；根据所述样本第三像素特征和所述预设像素特征计算第三特征损失；根据所述第三特征损失对所述待训练相关性计算模块进行参数调整；
其中，样本特征图谱通过将第二帧序列样本输入所述特征图谱提取子模型进行特征图谱提取获得。7.根据权利要求1所述的虚拟形象处理方法，所述延时时间，采用如下方式获得：对采集的对象样本进行虚拟形象更新的延时时间进行归一化处理，获得所述延时时间。8.根据权利要求1所述的虚拟形象处理方法，所述偏移特征预测，包括：根据所述关键特征和所述第一像素特征计算初始偏移特征；基于所述延时时间对所述初始偏移特征进行修正，获得所述偏移特征。9.根据权利要求1所述的虚拟形象处理方法，所述关键特征提取器、所述偏移特征预测模块以及所述特征融合模块构成特征提取模型；所述特征提取模型的输入包括：所述图像帧序列、所述第一像素特征以及所述虚拟形象更新的延时时间；输出为所述融合特征。10.根据权利要求9所述的虚拟形象处理方法，所述特征提取模型，...
【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。