虚拟形象处理方法及装置制造方法及图纸

本说明书实施例提供了虚拟形象处理方法及装置，其中，一种虚拟形象处理方法包括：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像；对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征；将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点；基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。拟形象。拟形象。

【技术实现步骤摘要】
虚拟形象处理方法及装置


[0001]本文件涉及虚拟化
，尤其涉及一种虚拟形象处理方法及装置。

技术介绍

[0002]虚拟世界提供了对真实世界的模拟，甚至能够提供在真实世界难以实现的场景，因此虚拟世界越来越多地应用在各种场景。在虚拟世界场景中，用户通过特定的身份ID登录三维虚拟世界，通过虚拟世界中虚拟的用户角色进行活动，通常，在虚拟世界中存在不同的用户角色，这些用户角色各自进行不同的活动。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种虚拟形象处理方法。所述虚拟形象处理方法，包括：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像。对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征。将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点。基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。
[0004]本说明书一个或多个实施例提供了一种虚拟形象处理装置，包括：用户图像获取模块，被配置为获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像。图像特征识别模块，被配置为对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征。关键点确定模块，被配置为将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点。坐标映射模块，被配置为基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。
[0005]本说明书一个或多个实施例提供了一种虚拟形象处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像。对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征。将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点。基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。
[0006]本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像。对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征。将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点。基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形
象。
附图说明
[0007]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0008]图1为本说明书一个或多个实施例提供的一种虚拟形象处理方法处理流程图；
[0009]图2为本说明书一个或多个实施例提供的一种应用于虚拟世界场景的虚拟形象处理方法处理流程图；
[0010]图3为本说明书一个或多个实施例提供的一种虚拟形象处理装置示意图；
[0011]图4为本说明书一个或多个实施例提供的一种虚拟形象处理设备的结构示意图。
具体实施方式
[0012]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0013]本说明书提供的一种虚拟形象处理方法实施例：
[0014]本实施例提供的虚拟形象处理方法，从采集到的用户图像在多个维度的图像特征出发，结合用户图像的稀疏关键点，也即是低精度关键点对用户图像进行关键点的调整，得到用户图像的稠密关键点，也即是高精度关键点，基于高精度关键点对用户进行虚拟形象的生成，使生成的虚拟形象与物理世界中的用户形象更加接近；
[0015]具体的，对虚拟世界的接入设备配置的各摄像头采集的用户图像进行图像特征识别，获得各用户图像在多个维度的图像特征，基于各用户图像的图像特征和稀疏关键点确定各用户图像的稠密关键点，根据各用户图像的稠密关键点进行坐标映射，获得用户在虚拟世界中的虚拟形象；以此，结合图像特征和稀疏关键点，使确定的稠密关键点更加准确更加有效，进一步提升获得的虚拟形象的有效性。
[0016]参照图1，本实施例提供的虚拟形象处理方法，具体包括步骤S102至步骤S108。
[0017]步骤S102，获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像。
[0018]本实施例所述虚拟世界，是指基于去中心化协作实现并且具有开放经济系统的虚拟的拟真世界；具体的，物理世界，也即是真实世界中的用户可通过接入设备接入虚拟世界，以在虚拟世界中进行相关行为，比如用户通过接入设备进行游戏交互的游戏虚拟世界，再比如用户通过接入设备进行在线会议的会议虚拟世界；
[0019]进一步，还可建立虚拟世界中虚拟形象与真实世界中的用户的身份映射，基于建立的身份映射在虚拟世界中进行相关活动。所述虚拟世界的接入设备，可以是连接虚拟世界的VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备等，比
如连接虚拟世界的头戴式VR设备。本实施例提供的虚拟形象处理方法，可应用于服务端，所述服务端，是指为接入虚拟世界的接入设备提供相应服务的服务器或者服务平台，或者，维护虚拟世界运行的服务器或者服务平台。
[0020]为了提升用户对虚拟世界中的虚拟形象的感知程度，在虚拟世界中生成的虚拟形象，可按照物理世界中用户的动作使虚拟世界中的虚拟形象展示相同的动作，以提升用户对于虚拟世界的感知程度；基于此，为了实现将物理世界中用户的动作虚拟化，使在虚拟世界中展示与真实世界中动作相同的虚拟形象，在虚拟世界的接入设备配置摄像头阵列；所述摄像头集合，是指由配置在虚拟世界的接入设备的摄像头阵列中的摄像头组成的集合；可选的，所述摄像头集合包括摄像头阵列。所述摄像头集合由多个摄像头组成，所述摄像头集合中的摄像头用户采集所述接入设备的佩戴用户的身体部位的用户图像；所述摄像头集合中各摄像头采集包含至少一个身体部位的用户图像。
[0021]所述用户图像，是指摄像头采集的真实世界中包含接入设备的佩戴用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象处理方法，包括：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像；对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征；将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点；基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。2.根据权利要求1所述的虚拟形象处理方法，所述对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征步骤执行之后，还包括：对所述图像特征和对应用户图像进行融合处理，获得携带特征标记的标记图像；基于各标记图像调节对应摄像头的摄像头参数。3.根据权利要求2所述的虚拟形象处理方法，所述对所述图像特征和对应用户图像进行融合处理，获得携带特征标记的标记图像，包括：将所述图像特征和对应用户图像输入特征融合模型进行特征融合，获得横向标记图像和纵向标记图像；对所述横向标记图像和所述纵向标记图像进行特征合并，获得所述标记图像。4.根据权利要求2所述的虚拟形象处理方法，所述基于各标记图像调节对应摄像头的摄像头参数，包括：基于各标记图像中的光流标记，确定各标记图像中身体部位的移动距离和移动方向；按照所述移动距离和所述移动方向调节对应摄像头的摄像头参数。5.根据权利要求1所述的虚拟形象处理方法，所述稀疏关键点，基于所述对应用户图像进行关键点识别处理获得；所述基于所述对应用户图像进行关键点识别处理，包括：将所述对应用户图像输入关键点识别模型进行关键点识别处理，获得所述稀疏关键点。6.根据权利要求1所述的虚拟形象处理方法，所述摄像头集合由多个摄像头组成，所述摄像头集合中的摄像头用户采集所述接入设备的佩戴用户的身体部位的用户图像；所述摄像头集合中各摄像头采集包含至少一个身体部位的用户图像。7.根据权利要求1所述的虚拟形象处理方法，所述基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象，包括：基于所述各摄像头的标定关系，将所述各摄像头对应的稠密关键点映射至空间坐标系，获得所述用户各身体部位的空间坐标信息；根据所述空间坐标信息渲染所述虚拟形象。8.根据权利要求7所述的虚拟形象处理方法，若至少两个摄像头对应的稠密关键点包含同一身体部位的重合关键点，所述同一身体部位的空间坐标信息，采用如下方式确定：基于所述至少两个摄像头对应的稠密关键点包含的所述同一身体部位的至少两个重合关键点，计算所述同一身体部位的目标关键点；将所述目标关键点映射至所述预设坐标系，获得所述同一身体部位的空间坐标信息。
9.根据权利要求1所述的虚拟形象处理方法，所述获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像步骤执行之前，还包括：基于所述各摄像头采集的初始用户图像，对所述各摄像头进行摄像头参数调节，以使所述各摄像头采集的用户的关键部位位于所述各摄像头的采集区域的中心位置。10.根据权利要求3所述的虚...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：