虚拟形象的更新方法及装置制造方法及图纸

本说明书实施例提供了虚拟形象的更新方法及装置，其中，一种虚拟形象的更新方法包括：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征；将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征；计算所述稠密特征与特征库中的候选稠密特征的特征相似度；若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。拟形象。拟形象。

【技术实现步骤摘要】
虚拟形象的更新方法及装置


[0001]本文件涉及虚拟化
，尤其涉及一种虚拟形象的更新方法及装置。

技术介绍

[0002]虚拟世界因提供了对真实世界的模拟而受到广泛关注，目前虚拟世界的技术难点在于如何精准重建虚拟形象以及如何精准驱动虚拟形象。在虚拟世界场景中，用户通过人工智能更新虚拟形象时，往往与真实用户的动作有很大差别；而用户通过高精度传感器更新虚拟形象时，驱动精度依赖于传感器的采集精度，更加耗费资源。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种虚拟形象的更新方法，包括：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征。将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征。计算所述稠密特征与特征库中的候选稠密特征的特征相似度。若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。
[0004]本说明书一个或多个实施例提供了一种虚拟形象的更新装置，包括：稀疏特征提取模块，被配置为将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征。稠密特征提取模块，被配置为将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征。相似度计算模块，被配置为计算所述稠密特征与特征库中的候选稠密特征的特征相似度。若所述特征相似度满足虚拟形象更新条件，运行形象更新模块，所述形象更新模块，被配置为基于所述用户图像更新虚拟世界中的用户虚拟形象。
[0005]本说明书一个或多个实施例提供了一种虚拟形象的更新设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征。将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征。计算所述稠密特征与特征库中的候选稠密特征的特征相似度。若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。
[0006]本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征。将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征。计算所述稠密特征与特征库中的候选稠密特征的特征相似度。若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。
附图说明
[0007]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0008]图1为本说明书一个或多个实施例提供的一种虚拟形象的更新方法处理流程图；
[0009]图2为本说明书一个或多个实施例提供的一种应用于虚拟世界场景的虚拟形象的更新方法处理流程图；
[0010]图3为本说明书一个或多个实施例提供的一种虚拟形象的更新装置示意图；
[0011]图4为本说明书一个或多个实施例提供的一种虚拟形象的更新设备的结构示意图。
具体实施方式
[0012]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0013]本说明书提供的一种虚拟形象的更新方法实施例：
[0014]本实施例提供的虚拟形象的更新方法，首先提取物理世界采集的用户图像的稀疏特征，并结合用户图像以及稀疏特征，输入稠密特征提取模型进行稠密特征提取获得稠密特征，以此从稀疏特征的角度出发提升稠密特征的提取效率和准确率，进一步计算稠密特征与特征库中候选稠密特征的特征相似度，以此判断特征相似度是否满足虚拟形象更新条件，若满足则基于用户图像更新虚拟世界中的用户虚拟形象，从而提升了驱动虚拟形象过程中更新虚拟形象的效率以及降低了虚拟形象的更新难度，同时结合稀疏特征与稠密特征，实现了对虚拟形象的精确驱动和更新，使虚拟形象的动作与用户在物理世界中动作的同步性更强。
[0015]参照图1，本实施例提供的虚拟形象的更新方法，所述方法具体包括步骤S102至步骤S108。
[0016]步骤S102，将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征。
[0017]实际中，很多场景下需要让物理世界中动作与虚拟世界中动作保持一致，比如，用户在玩游戏的过程中，基于物理世界中发生的动作对虚拟世界中的形象进行操控；或者在用户社交的过程中，需要基于物理世界中的语音或者动作对虚拟世界中的形象进行操控。在这种情况下，需要将物理世界中动作实时同步至虚拟世界，让虚拟世界中动作与物理世界中动作保持一致；具体在同步过程中，根据物理世界中的每一帧图像，将动作同步更新至虚拟世界中以控制虚拟形象做出相同的动作，将这个过程作为对虚拟形象的驱动。
[0018]本实施例中，虚拟世界是指基于去中心化协作实现并且具有开放经济系统的虚拟的拟真世界；具体的，真实世界中的用户可通过接入设备接入虚拟世界，比如用户通过接入
设备进行游戏交互的游戏虚拟世界，再比如用户通过接入设备进行在线会议的会议虚拟世界；所述虚拟世界的接入设备，可以是连接虚拟世界的VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备等，比如连接虚拟世界的头戴式VR设备。
[0019]本实施例所述用户图像，是指用户的RGB(red green blue)图像，比如从用户的运动视频中按帧截取的视频图像，或者对运动中的用户进行拍摄获得的照片图像。
[0020]所述稀疏特征，是指能够表征用户身体各个部位或器官的显著特征，也即是粗粒度关键点，比如将用户的手部定位为一个粗粒度关键点，将该粗粒度关键点作为能够代表手部的显著特征。
[0021]本实施例中，首先将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获取稀疏特征；所述稀疏特征提取模型的训练可以预先完成，比如可以在云服务器上进行稀疏特征提取模型的模型训练，也可以在线下进行稀疏特征提取模型的训练；模型训练过程中，为了提升稀疏特征提取模型的训练效率，同时也为了降低训练样本的收集难度、减少模型训练的工作量，本实施例提供的一种可选实施方式中，所述稀疏特征提取模型，采用如下方式训练获得：
[0022]将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象的更新方法，包括：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征；将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征；计算所述稠密特征与特征库中的候选稠密特征的特征相似度；若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。2.根据权利要求1所述的虚拟形象的更新方法，所述计算所述稠密特征与特征库中的候选稠密特征的特征相似度步骤执行之后，还包括：若所述特征相似度不满足所述虚拟形象更新条件，则确定所述稠密特征为无效特征，并对所述用户图像进行二次特征提取。3.根据权利要求2所述的虚拟形象的更新方法，所述对所述用户图像进行二次特征提取，包括：将所述用户图像输入所述稀疏特征提取模型进行二次稀疏特征提取，获得二次稀疏特征；将所述用户图像以及所述二次稀疏特征输入所述稠密特征提取模型进行二次稠密特征提取，获得二次稠密特征。4.根据权利要求1所述的虚拟形象的更新方法，所述特征库中的候选稠密特征，通过如下方式获得：通过动作传感器采集用户的动作数据；对所述动作数据进行特征提取获得所述候选稠密特征。5.根据权利要求1所述的虚拟形象的更新方法，所述稀疏特征提取模型，采用如下方式训练获得：将所述物理世界采集的第一图像样本输入第一待训练模型进行稀疏特征提取，获得第一样本稀疏特征；根据所述第一样本稀疏特征和第一参考特征计算第一补偿损失，以及，根据所述第一样本稀疏特征和第二参考特征计算第一回归损失；根据所述第一补偿损失与所述第一回归损失对所述第一待训练模型进行参数调整。6.根据权利要求1所述的虚拟形象的更新方法，所述稠密特征提取模型，采用如下方式训练获得：将所述物理世界采集的第二图像样本以及第二样本稀疏特征输入第二待训练模型进行稠密特征提取，获得样本稠密特征；根据所述样本稠密特征和第三参考特征计算第二补偿损失，以及，根据所述样本稠密特征和第四参考特征计算第二回归损失；根据所述第二补偿损失与所述第二回归损失对所述第二待训练模型进行参数调整。7.根据权利要求1所述的虚拟形象的更新方法，所述稠密特征提取模型，采用如下方式训练获得：根据样本稠密特征以及映射样本稠密特征计算映射损失；
根据所述映射损失对第二待训练模型进行参数调整；其中，所述映射样本稠密特征在将所述样本稠密特征输入神经网络进行特征提取后获得。8.根据权利要求6所述的虚拟形象的更新方法，所述第二样本稀疏特征，通过如下方式获得：将所述第二图像样本输入所述稀疏特征提取模型进行稀疏特征提取，获得所述第二样本稀疏特征。9.根据权利要求6所述的虚拟形象的更新方法，所述第二样本稀疏特征，通过如下方式获得：将所述稀疏特征提取模型训练过程中输出的第一样本稀疏特征作为所述第二样本稀疏特征...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：