一种对象处理方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种对象处理方法、装置、存储介质及电子设备，其中，方法包括：从实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，基于关键点的不确定性参数从多个关键点中确定多个基础关键点以及多个第一参考关键点，基于虚拟对象对应的虚拟对象图像和实体对象图像对多个第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。理。理。

【技术实现步骤摘要】
一种对象处理方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种对象处理方法、装置、存储介质及电子设备。

技术介绍

[0002]诸如元宇宙、数字孪生等虚拟场景在近年来得到了广泛的关注入，在元宇宙、数字孪生等场景下最为关键的进行虚拟对象的驱动，使得虚拟对象在诸如元宇宙等虚拟场景中可以如实体对象在真实物理世界中一样自然地运动和交流。

技术实现思路

[0003]本说明书提供了一种对象处理方法、装置、存储介质及电子设备，所述技术方案如下：
[0004]第一方面，本说明书提供了一种对象处理方法，所述方法包括：
[0005]获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；
[0006]基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；
[0007]获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；
[0008]基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。
[0009]第二方面，本说明书提供了一种对象处理装置，所述装置包括：
[0010]图像获取模块，用于获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；
[0011]关键点确定模块，用于基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数
[0012]搜索调整模块，用于获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；
[0013]驱动处理模块，用于基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。
[0014]第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
[0015]第四方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
[0016]本说明书一些实施例提供的技术方案带来的有益效果至少包括：
[0017]在本说明书一个或多个实施例中，电子设备通过从获取的实体对象图像中确定针对虚拟对象的多个关键点以及关键点的不确定性参数，以区分多个基础关键点以及多个第一参考关键点，然后基于虚拟对象对应的虚拟对象图像和实体对象图像对多个不确定性程度高的第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而就可以基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。整个对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。
附图说明
[0018]为了更清楚地说明本说明书或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本说明书提供的一种对象处理系统的场景示意图；
[0020]图2是本说明书提供的一种对象处理方法的流程示意图；
[0021]图3是本说明书提供的另一种对象处理方法的流程示意图；
[0022]图4是本说明书提供的一种用户关系图谱确定过程的流程示意图；
[0023]图5是本说明书提供的一种对象处理装置的结构示意图；
[0024]图6是本说明书提供的一种关键点确定模块的结构示意图；
[0025]图7是本说明书提供的一种电子设备的结构示意图；
[0026]图8是本说明书提供的操作系统和用户空间的结构示意图；
[0027]图9是图8中安卓操作系统的架构图；
[0028]图10是图8中IOS操作系统的架构图。
具体实施方式
[0029]下面将结合本说明书中的附图，对本说明书中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
[0030]在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本说明书的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了
一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义。此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0031]在相关技术中，虚拟对象驱动可以是通过高精度的传感监测器件(如高精度传感器)采集实体对象的关键点数据进行关键点驱动，需要成本较高的传感监测装置，虚拟对象的驱动精度依赖于传感器的采集精度(例如需要驱动面部动作时，就需要用相应的高精度设备进行稠密的关键点采集)，传感器的采集精度若精度不高就会造成虚拟对象驱动的动作连续性和自然性较差，与实体对象的动作有明显的不一致，且这种驱动方式手受限于器件限制，对象驱动不便捷。
[0032]下面结合具体的实施例对本说明书进行详细说明。
[0033]本说明书一个或多个实施例可提供的一种对象处理系统，所述对象处理系统至少可以包括客户端集群，在一些实施例中也可以包括客户端集群和服务平台100。
[0034]请参见图1，为本说明书提供的一种对象处理系统的场景示意图。如图1所示，所述对象处理系统至少可以包括客户端集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象处理方法，所述方法包括：获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。2.根据权利要求1所述的方法，所述从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，包括：将所述实体对象图像输入至关键点预测模型进行关键点预测处理，以输出针对虚拟对象的多个关键点以及所述关键点的不确定性参数。3.根据权利要求2所述的方法，所述方法还包括：获取第一样本实体图像，确定所述第一样本实体图像的关键点标签以及不确定性参数标签，所述不确定性参数标签为基于所述关键点标签对所述第一样本实体图像扰动后得到的不确定性参数；采用所述第一样本实体图像对初始关键点预测模型进行至少一轮模型训练；在每轮模型训练过程中，输出针对所述第一样本实体图像的样本关键点以及所述样本关键点的样本不确定性参数，基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，基于所述第一模型损失对所述初始关键点预测模型进行模型参数调整，直至所述初始关键点预测模型满足模型结束训练条件，得到关键点预测模型。4.根据权利要求3所述的方法，所述基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，包括：基于所述样本关键点与所述关键点标签采用第一损失计算式确定关键点回归损失，基于所述样本不确定性参数与所述不确定性参数标签采用第二损失计算式确定不确定性预测损失；基于所述关键点回归损失和所述不确定性预测损失得到第一模型损失；所述第一损失计算式满足以下公式：所述
Losslandmark
为所述关键点回归损失，所述
ldpred
为所述样本关键点，所述ld
gt
为所述关键点标签；所述第二损失计算式满足以下公式：所述
Lossuncertainty
为所述不确定性预测损失，所述
upred
为所述样本不确定性参数，所述
ugt
为所述不确定性参数标签。5.根据权利要求1所述的方法，所述基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，包括：获取关键点回归阈值；将所述不确定性参数大于所述关键点回归阈值的关键点作为第一参考关键点；将所述不确定性参数小于或等于所述关键点回归阈值的关键点作为基础关键点。6.根据权利要求1所述的方法，所述基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点，包括：将所述虚拟对象图像、所述实体对象图像以及所述多个第一参考关键点输入至强化学习搜索模型；通过所述强化学习搜索模型的搜索动作控制在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到所述虚拟对象图像中的目标关键点区域，并基于所述目标关键点区域的目标关键点对所述多个第一参考关键点进行关键点更新得到多个第二参考关键点，输出所述多个第二参考关键点。7.根据权利要求6所述的方法，所述通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理得到所述虚拟对象图像中的目标关键点区域，包括：通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到每轮区域匹配搜索处理后的所述实体对象图像中的第一局部区域以及所述虚拟对象图像中的第二局部区域，所述不确定性区域与所述多个第一参考关键点对应的区域相关联；基于所述第一局部区域以及所述第二局部区域确定区域相似度，并将所述区域相似度作为每轮区域匹配搜索处理后的搜索奖励参数；基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，基于当前的所述第一局部区域以及所述第二局部区域确定所述虚拟对象图像中的目标关键点区域。8.根据权利要求7所述的方法，所述基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，包括：采用相似度最大化奖励函数基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作。9.根据权利要求7所述的方法，所述基于所述第一局部区域以及所述第二局部区域确定区域相似度，包括：将所述第一局部区域以及所述第二局部区域输入跨域表观相似度模型，输出区域相似度。10.根据权利要求9所述的方法，所述方法还包括：获取多组样本...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：