用于空间计算的逼真角色配置制造技术

公开了用于显示混合现实环境中的虚拟角色的系统和方法。在一些实施例中，虚拟角色的视图基于包括主关节和辅助关节的动画绑定。动画绑定可能处于由主关节和辅助关节之间的空间关系所定义的姿势中。虚拟角色可能在混合现实环境中移动。在一些实例中，虚拟角色可能基于与混合现实环境中的元素相关联的兴趣值的比较而移动。与移动相关联的空间关系变换可以由移动信息指示。在一些实施例中，从神经网络接收移动信息。接收移动信息。接收移动信息。

【技术实现步骤摘要】
【国外来华专利技术】用于空间计算的逼真角色配置
[0001]相关申请的交叉引用
[0002]本申请要求美国临时专利申请号62/858,251的权益，其整体内容通过引用并入本文。


[0003]本公开大体涉及与混合现实环境中的对象相关联的描绘和交互有关的系统、方法和配置。

技术介绍

[0004]存在屏幕、电影和游戏中的虚拟角色技术的改进。虚拟角色开发的下一步可能是改进虚拟角色动作和交互，以给予它们对观看者更可信的属性，并为观看者提供更沉浸式的体验。在虚拟、增强现实或混合现实环境中，更了解并可以更直接地与用户交互的虚拟角色可以为用户提供更引人入胜的体验。
[0005]然而，以更逼真的方式呈现虚拟角色可能需要更多处理。优化更逼真的虚拟角色的呈现对于混合现实系统可能尤其重要，因为它可能具有硬件限制，诸如有限的电池容量和有限的处理资源，以保持系统的便携性。混合现实环境中的虚拟角色呈现的优化包括满足创建令人信服的虚拟角色的高标准——渲染、动画、变形、服装、头发和行为可能需要满足一定的无形质量水平以使角色可信，同时也适合混合现实系统硬件的性能范围。

技术实现思路

[0006]公开了用于在混合现实环境中显示虚拟角色的系统和方法。在一些实施例中，虚拟角色的视图基于包括主关节和辅助关节的动画绑定。动画绑定可能处于由主关节与辅助关节之间的空间关系定义的姿势中。辅助关节的位置可由辅助关节放置标准确定。虚拟角色可能在混合现实环境中移动。在一些实例中，虚拟角色可能基于与混合现实环境中的元素相关联的兴趣值的比较而移动。与移动相关联的空间关系变换可以由移动信息指示。在一些实施例中，从神经网络接收移动信息。在一些实施例中，使用回归分析确定移动信息。
附图说明
[0007]图1A至图1C示出了根据本公开的一个或多个实施例的示例性环境。
[0008]图2A至图2D示出了根据本公开的实施例的示例性混合现实系统的组件。
[0009]图3A示出了根据本公开的实施例的示例性混合现实手持式控制器。
[0010]图3B示出了根据本公开的实施例的示例性辅助单元。
[0011]图4示出了根据本公开的实施例的示例性混合现实系统的示例性功能框图。
[0012]图5示出了根据本公开的实施例的混合现实环境中的示例性角色。
[0013]图6示出了根据本公开的实施例的混合现实系统中的示例性动画绑定。
[0014]图7A至图7B示出了根据本公开的实施例的示例性混合现实环境的各个方面。
[0015]图8示出了根据本公开的实施例的混合现实系统的示例性方法。
[0016]图9示出了根据本公开的实施例的混合现实系统的示例性方法。
具体实施方式
[0017]在示例的以下描述中，对形成附图的一部分并且在其中通过图示的方式示出可以实践的示例的附图进行参考。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。
[0018]像所有人一样，混合现实系统的用户存在于真实环境中——即，“真实世界”的三维部分和所有其内容可由用户感知。例如，用户使用气普通人类感觉来感知真实环境——视觉、声音、接触、味道、气味——并且通过在真实环境中移动其自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，矢量可描述具有坐标空间中的方向和大小的数量(quantity)。
[0019]计算设备可例如在与设备相关联的存储器中维持虚拟环境的表示。如本文所使用的，虚拟环境是三维空间的计算表示。虚拟环境可包括任何对象、动作、信号、参数、坐标、矢量、或与该空间相关联的其他特性的表示。在一些示例中，计算设备的电路(例如，处理器)可以维持和更新虚拟环境的状态；即，处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入来确定第二时间t1处的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0处位于第一坐标处，并且具有某个编程的物理参数(例如，质量、摩擦系数)；以及从用户接收的输入指示力应当以方向矢量施加到该对象；处理器可应用运动学定律以使用基础力学确定对象在时间t1处的位置。处理器可以使用关于虚拟环境已知的任何适合的信息和/或任何适合的输入来确定时间t1处的虚拟环境的状态。在维持和更新虚拟环境的状态时，处理器可执行任何适合的软件，包括与虚拟环境中的虚拟对象的创建和删除有关的软件；用于定义虚拟环境中的虚拟对象或角色的行为的软件(例如，脚本)；用于定义虚拟环境中的信号(例如，音频信号)的行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于生成虚拟环境中的音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如，随时间移动虚拟对象的动画数据)的软件；或许多其他可能性。
[0020]输出设备(诸如显示器或者扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可包括可以呈现给用户的虚拟对象(其可包括无生命对象；人；动物；光等的表示)。处理器可以确定虚拟环境的视图(例如，对应于具有坐标原点、视图轴和视锥的“相机”)；以及向显示器渲染对应于该视图的虚拟环境的可视场景。出于该目的，可以使用任何适合的渲染技术。在一些示例中，可视场景可以包括虚拟环境中的一些虚拟对象，并且不包括某些其他虚拟对象。类似地，虚拟环境可包括可呈现给用户作为一个或多个音频信号的音频方面。例如，虚拟环境中的虚拟对象可生成起源于对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或者虚拟环境可以与可以或可以不与特定位置相关联的音乐线索或环境声音相关联。处理器可确定对应于“听众”坐标的音频信号——例如，对应于虚拟环境中的声音的复合的音频信号，并且被混合并处理以模拟将由听众坐标处的听众听到的音频信号——并且经由一个或多个扬声器将音频信号呈现给用户。
[0021]由于虚拟环境存在作为计算结构，所以用户可能不使用其普通感觉直接感知虚拟环境。相反，用户可以间接地感知如呈现给用户的虚拟环境，例如通过显示器、扬声器、触觉输出设备等。类似地，用户可以不直接接触、操控、或以其他方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给可使用设备或传感器数据来更新虚拟环境的处理器。例如，相机传感器可提供指示用户试图移动虚拟环境中的对象的光学数据，并且处理器可使用该数据使得对象因此在虚拟环境中作出响应。
[0022]混合现实系统可以向用户呈现组合真实环境和虚拟环境的各方面的混合现实环境(“MRE”)，例如使用透射式显示器和/或一个或多个扬声器(其可以例如并入可穿戴头部设备中)。在一些实施例中，一个或多个扬声器可以在可穿戴头部设备的外部。如本文所使用的，MRE是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实环境和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和对应的虚拟坐标空间通过变换矩阵(或其他适合的表示)彼此相关。因此，单个坐标(在一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在可穿戴头部设备的显示器上显示在混合现实环境中的角色的视图，其中：所述角色的视图是基于与所述角色相关联的动画绑定；所述动画绑定包括主关节和辅助关节，所述主关节与所述角色的骨骼关节相关联，所述辅助关节与所述动画绑定的位置相关联，以及在第一时间，所述动画绑定处于由所述主关节与所述辅助关节之间的第一空间关系所定义的第一姿势；在第二时间，确定所述动画绑定正从所述第一姿势移动到第二姿势，其中，所述第二姿势由所述主关节与所述辅助关节之间的第二空间关系定义；以及基于移动信息，在所述可穿戴头部设备的显示器上更新所述动画绑定从所述第一姿势到所述第二姿势的显示，其中，所述移动信息指示从所述第一空间关系到所述第二空间关系的转换。2.根据权利要求1所述的方法，还包括：向神经网络发送与所述动画绑定的移动相关联的信息；以及从所述神经网络接收所述移动信息，其中，所述移动信息是基于所发送的信息。3.根据权利要求2所述的方法，其中，所述神经网络使用ReLU激活函数来计算所述移动信息。4.根据权利要求2所述的方法，其中，所述移动信息是基于被呈现给所述神经网络的训练数据来计算的。5.根据权利要求1所述的方法，其中，所述辅助关节的位置由辅助关节放置标准来确定，所述辅助关节放置标准包括以下中的一个或多个：手动定义和最大移动标准。6.根据权利要求1所述的方法，其中，使用所述主关节与所述辅助关节之间的回归分析以计算所述第二空间关系来确定所述移动信息。7.根据权利要求1所述的方法，其中，确定所述动画绑定正从所述第一姿势移动到所述第二姿势包括：确定所述动画绑定处于所述第一姿势长于角色不适阈值时间。8.根据权利要求1所述的方法，其中，确定所述动画绑定正从所述第一姿势移动到所述第二姿势包括：确定与所述可穿戴头部设备相关联的视线已经改变。9.根据权利要求1所述的方法，其中，所述角色被显示为定位在所述混合现实环境的表面上，所述方法还包括：用所述可穿戴头部设备的传感器感测所述混合现实环境的表面；以及基于所感测到的表面，将所述动画绑定和所述表面对准，其中，基于所述动画绑定与所述表面的对准来确定所述第一姿势。10.根据权利要求1所述的方法，其中，当所述动画绑定从所述第一姿势移动到所述第二姿势时，从所述第一空间关系到所述第二空间关系的转换与所述角色的肌肉移动相关联。11.根据权利要求1所述的方法，其中：所述移动信息至少部分地用四元数表示，与所述移动信息相关联的损失函数包括：将四元分量值的均方误差损失和针对所述分
量值的惩罚相组合。12.根据权利要求1所述的方法，其中，显示在所述混合现实环境中的所述角色的视图包括：使用Forward+来渲染所述角色的视图。13.根据权利要求1所述的方法，其中，确定所述动画绑定正从所述第一姿势移动到所述第二姿势包括：确定与所述混合现实环境的第一元素相关联的兴趣值超过与所述混合现实环境的第二元素相关联的兴趣值。14.根据...

【专利技术属性】
技术研发人员：托马斯，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：