头像控制系统技术方案

本文中的系统及方法涉及头像控制系统。在一个实施例中，说明交互式全息头像控制。在另一个实施例中，说明远程动力学头像控制。在又一个实施例中，说明用于头像控制的基于深度的用户跟踪。在另一个实施例中，说明增强式头像动力学运动插值。在又一个实施例中，说明用于头像控制的动态关节映射。在另一个实施例中，说明用于头像控制的动态动画填充(population)。

Head image control system

The system and methods in this paper involve the head image control system. In one embodiment, the interactive holographic head image control is described. In another embodiment, a remote dynamic head image control is described. In another example, the depth - based user tracking for head image control is described. In another example, the interpolation of the dynamic motion of the enhanced head image is illustrated. In another example, the dynamic joint mapping for head image control is described. In another embodiment, the dynamic animation filling (population) for head image control is described.

【技术实现步骤摘要】
【国外来华专利技术】头像控制系统相关申请本申请要求以下美国临时申请的优先权，各申请的内容通过参考包含于此：-由Borke等人于2015年3月9日提交的名称为“INTERACTIVEHOLOGRAPHICAVATARCONTROL”、序列号为62/129,992的美国临时申请；-由Borke等人于2015年3月9日提交的名称为“REMOTEKINETICAVATARCONTROL”、序列号为62/129,994的美国临时申请；-由Borke等人于2015年3月9日提交的名称为“DEPTH-BASEDUSERTRACKINGFORAVATARCONTROL”、序列号为62/129,995的美国临时申请；-由Borke等人于2015年3月9日提交的名称为“ENHANCEDAVATARKINETICMOVEMENTINTERPOLATION”、序列号为62/129,998的美国临时申请；-由Borke等人于2015年3月9日提交的名称为“DYNAMICJOINTMAPPINGFORAVATARCONTROL”、序列号为62/130,001的美国临时申请；以及-由Borke等人于2015年3月9日提交的名称为“DYNAMICANIMATIONPOPULATIONFORAVATARCONTROL”、序列号为62/130,003的美国临时申请。
本揭露通常涉及电脑生成的图形，尤其涉及例如用于头像控制系统的电脑动画的对象。
技术介绍
计算应用例如电脑游戏及多媒体应用已从使用控制器、遥控器、键盘、鼠标或类似物发展为允许使用者操控游戏角色或应用的其他方面。尤其，电脑游戏及多媒体应用已开始采用相机及软件手势识别引擎来提供自然用户界面(“NUI”)。通过自然用户界面，检测、解释并使用原始的关节数据及用户手势来控制角色或应用的其他方面。例如，除光标控制及/或基于用户的选择以外，自然用户界面还可经配置以控制数字头像的运动，该数字头像是用户(或者该用户的另一个自我或其他性格)的图形表示。值得注意的是，在NUI系统领域已取得了很大的进展，例如用以检测在图像传感器的视野中的人，并正确识别在视野内的他或她的身体部分的位置(例如，通过使用身体跟踪或骨骼跟踪技术)。不过，NUI技术是一个新兴领域，尤其就头像控制而言，且目前在其适用性上有所限制。例如，电脑动画通常是一项很花时间的活动，需要电脑图形学(computergraphics；CG)的专门知识并使用专业软件工具及大量的计算能力。首先，会以3D网格的形式生成对象的模型。接着，CG动画师会在正被动画化的该对象的3D网格内部生成并嵌入骨骼并在各顶点上绘制单独的骨头权重。在运行时，运动撷取数据或逆动力学引擎驱动该角色的骨头，从而转换该网格。依据用户的经验水平及正被动画化的该对象的复杂性，此过程可能花费数小时或数天。
技术实现思路
依据本文中的一个或多个实施例，显示并说明交互式全息头像控制。尤其，说明各种实施例，其允许全息图(全息头像)的头像控制，使个人能够站在角色(例如，怪物、名人、拟人化对象等)的全息投影旁边并与其交互。依据本文中的一个或多个额外实施例，显示并说明远程动力学头像控制。尤其，说明各种实施例，其允许流式传输本地撷取的(例如，实时的或预录制的)头像控制运动的动力学数据，以远程控制该头像(例如，二维或三维显示的或全息的头像)。这样做降低例如为执行远程呈现(telepresence)将数据流式传输至远程地点所需的带宽。例如，舞台表演者(例如，音乐家、喜剧演员、演说家等)可创建他自己或她自己的头像模型，在此情况下，在一个地点(例如，洛杉矶)的现场表演可用以控制该头像模型的全息投影，从而以(例如，在洛杉矶的)精确的运动在远程第二地点(例如，纽约)进行同样的表演。依据本文中的一个或多个额外实施例，显示并说明用于头像控制的基于深度的用户跟踪。尤其，说明各种实施例，其允许自位于离传感器/相机一定距离内的给定位置选择特定的用户来控制头像(例如，二维或三维显示的或全息的头像)。例如，当许多人聚集在传感器周围或简单地从其旁边走过时，可能难以选择一个用户来控制该头像，且难以保持聚焦于此一个用户。相应地，说明各种技术(例如，深度键控)以设置“主动的”深度空间/范围。在一个额外实施例中，用户一经选择，该用户即保持为控制该头像的被选用户，同时仍可在背景中跟踪其他用户(例如，在该主动深度空间内)，直至不再跟踪该被选用户(例如，走出该传感器的视野)。此时，可选择下一用户来控制该头像。依据本文中的一个或多个额外实施例，显示并说明增强式头像动力学运动插值。尤其，说明各种实施例，其允许动力学数据的外推，以推导用户的身体部分的方向，从而使头像基于用户的物理运动更准确地运动。例如，定义预编程计算(例如，针对所使用的任意头像模型)以执行线性插值(lerping)及/或球形插值(slerping)，从而允许关节的平稳运动/动画，以增加人-头像镜像的精确性及逼真度。依据本文中的一个或多个额外实施例，显示并说明用于头像控制的动态关节映射。尤其，说明各种实施例，其允许将包含关节层级的任意蒙皮数字头像模型(例如，尤其三维模型)映射至输入控制算法。例如，本文中的技术首先找到中心/主关节并自此处向外移动，也就是说，在此情况下，该关节层级将各关节(“A”)定义为可运动该关节(“A”)的最接近的连接关节(“B”)的直接子(例如，肘关节(ElbowJoint)是肩关节(ShoulderJoint)的子；左肩关节(ShoulderLeftJoint)、右肩关节(ShoulderRightJoint)及颈关节(NeckJoint)都是脊柱顶部关节(SpineTopJoint)的直接子等)。值得注意的是，在一个实施例中，如果不提供头像模型，可使用默认模型。依据本文中的一个或多个额外实施例，显示并说明用于头像控制的动态动画填充(population)。尤其，说明各种实施例，其允许针对不具有预配置动画或具有有限的一组预配置动画的任意导入头像(例如，二维或三维显示的或全息的头像)提供动画。例如，在该头像创建的模型映射过程期间，手势触发及/或动作触发的动画可在该头像模型的导入期间自动应用于该头像模型。如此，假定该跨模型动画中所使用的相关关节存在并定义于该导入头像模型中，执行任意关联手势或动作触发将依据所提供的跨模型动画控制该导入头像。下面还说明其他特定实施例、延伸或实施细节。附图说明结合附图参照下面的说明可更好地理解本文中的实施例，该些附图中类似的附图标记表示相同或功能类似的元件，其中：图1显示依据本文中的一个或多个实施例的示例头像控制系统；图2显示依据本文中的一个或多个实施例可用于该头像控制系统内的示例视频处理系统；图3显示依据本文中的一个或多个实施例可用于该头像控制系统内的示例头像映射系统；图4A至4B显示依据本文中的一个或多个实施例自视频处理系统获得的跟踪数据点的例子；图5A至5B显示依据本文中的一个或多个实施例用于该头像映射系统的输入数据点的例子；图6显示依据本文中的一个或多个实施例的示例头像映射；图7显示依据本文中的一个或多个实施例的人形头像映射的一个例子；图8显示依据本文中的一个或多个实施例的非人形头像映射的一个例子；图9显示依据本文中所述的一个或多个实施本文档来自技高网...

【技术保护点】
一种方法，包括：生成用以显示为全息投影的头像；接收基于所检测的用户的运动的该头像的用户控制；以及将受控的该头像显示为全息投影。

【技术特征摘要】
【国外来华专利技术】2015.03.09 US 62/130,003;2015.03.09 US 62/129,994;1.一种方法，包括：生成用以显示为全息投影的头像；接收基于所检测的用户的运动的该头像的用户控制；以及将受控的该头像显示为全息投影。2.一种方法，包括：在视频处理系统本地接收用户运动的原始视频数据；将该原始视频数据处理为跟踪数据；将该跟踪数据传送至远程头像映射系统；以及在该远程头像映射系统完成视觉头像生成过程，以产生动画头像。3.一种方法，包括：定义允许检测用户的视频装置的深度范围；在该深度范围内跟踪该用户；以及忽略在该深度范围之外的用户。4.一种方法，包括：将头像模型的关节变换以该头像模型自己的阵列储存，以及储存各关节的初始位置及旋转；配置用以基于该头像模型显示动画头像的默认设置；开启视频输入装置；检测位于该视频输入装置前面的用户；处理并转换该用户的运动；将该用户的该运动映射至该头像模型；以及基于映射至该头像模型的该运动显示动画头像。5.如权利要求4所述的方法，还包括：自该用户的该运动计算该用户的各关节的方向；计算可围绕其自己的方向的轴旋...

【专利技术属性】
技术研发人员：M·J·博尔克，阿什利·克劳德，本杰明·康韦，
申请(专利权)人：文塔纳三D有限责任公司，
类型：发明
国别省市：美国,US