用于选择对象的方法和系统技术方案

本申请描述了用于在扩展现实(extended reality，XR)环境(20)或物理环境(40)中选择对象或位置的方法和系统。至少一个传感器(212)获得包括第一位置和第一方向的第一原点和包括第二位置和第二方向的第二原点。确定从所述第一原点投射的第一光线与从所述第二原点投射的第二光线的交点。根据确定的交点，标识选定对象(22)或选定位置。输出所述选定对象或所述选定位置的标识。述选定位置的标识。述选定位置的标识。

【技术实现步骤摘要】
【国外来华专利技术】用于选择对象的方法和系统
[0001]交叉引用
[0002]本申请要求2020年12月18日提交的专利技术名称为“用于选择对象的方法和系统(METHODS AND SYSTEMS FOR SELECTION OF OBJECTS)”的第17/127,022号美国非临时申请的权益，所述美国非临时申请通过引用结合在本申请中。


[0003]本专利技术涉及用于与电子设备进行人机交互，包括在扩展现实环境中选择远端对象的方法和系统。

技术介绍

[0004]扩展现实(extended reality，XR)是一个概括性术语，旨在涵盖向人类用户提供至少一些感官输入(例如，视觉显示、音频声音、触觉反馈等)的不同技术，这些输入是虚拟的(即由计算系统生成，不反映用户的真实物理环境)。XR涵盖了包括虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)和混合现实(mixed reality，MR)的技术。因此，XR涵盖了用户与完全计算机生成的环境(例如VR)交互的技术，以及用户与具有虚拟和真实世界组件的环境(例如AR或MR)交互的技术。虚拟环境可被称为场景。
[0005]与传统桌面或触摸屏系统相比，XR系统的一个挑战是，用于用户交互的对象(包括虚拟对象)的位置不局限于用户的紧邻区域也不局限于单个2D平面，而是在空间上位于用户周围的3D空间中。具体地，对象可以位于用户的到达距离(或运动空间)之外的距离处。此对象可被称为远端对象。与远端对象的交互通常开始于远端选择，且是在XR中进行交互的基础。
[0006]用于XR远端选择的当前技术包括光线投射。使用光线投射进行XR远端选择通常涉及从用户的角度将虚拟光线投影(也称为投射)到XR场景中。当投射的虚拟光线与场景中的远端对象相交时，所述对象可以被视为临时选择的，通过按下按钮、手势、将临时选择维持预定时间或通过其他技术确认选择对象。
[0007]用于对象选择的现有光线投射方法的缺点包括目标远端对象可能被更接近用户的其他虚拟对象部分或完全遮挡的挑战，这可能使得投射的虚拟光线难以或不可能到达目标远端对象。可能需要用户通过改变用户角度来改变光线投射的原点，或者可能需要用户首先选择遮挡对象以将遮挡对象移开，这两者对用户来说都可能是乏味的或令人沮丧的。一些现有的XR系统可能会试图通过使虚拟光线能够通过遮挡虚拟对象投射来解决遮挡对象的问题。然而，此种解决方案导致了以下问题：系统可能没有关于光线应投射到的深度(或距离)的信息，以选择期望目标对象。通常，需要额外的歧义消除步骤来精确选择光线的有限深度，例如用户在控制器上滚动以改变光线深度，直到光线到达期望目标对象。这对用户来说也可能是乏味的，并且对于在不同深度选择许多不同的对象来说可能是不实用的。
[0008]用于对象选择的现有光线投射方法的另一缺点是，当与用户成角度地投射光线时，原点处光线投射角度的微小改变可转化为远端位置处位置的较大改变。这在试图选择
reality，XR)环境中，且所述方法可包括：标识所述XR环境中与所述第一光线或所述第二光线中的至少一个相交的一个或多个相交虚拟对象；调整所述一个或多个相交虚拟对象的不透明度以将所述一个或多个相交虚拟对象呈现为半透明的。
[0016]在上述任何示例中，确定所述第一光线与所述第二光线的所述交点可包括计算所述第一光线与所述第二光线的实际交点。
[0017]在上述任何示例中，确定所述第一光线与所述第二光线的所述交点可包括计算所述第一光线与所述第二光线的投影交点，所述第一光线和所述第二光线偏斜。
[0018]在上述任何示例中，计算所述投影交点可包括：计算所述第一光线与所述第二光线之间的最短矢量；计算沿着所述最短矢量的点作为所述投影交点。
[0019]在上述任何示例中，所述方法可包括：在确定所述最短矢量的量值在预定义阈值内之后，计算沿着所述最短矢量的所述点。
[0020]在上述任何示例中，标识所述选定对象可包括：根据所述确定交点，标识一个或多个临时选定对象；接收从所述一个或多个临时选定对象当中确认一个选定对象。
[0021]在上述任何示例中，标识一个或多个临时选定对象可包括：从所述确定交点投影具有预定半径的球体；标识与投影球体重合的所述一个或多个临时选定对象。
[0022]在上述任何示例中，可由所述至少一个传感器根据用户的第一身体部位的跟踪的第一位置、定向或姿势来获得所述第一原点，且可由至少一个相同或不同的传感器根据所述用户的第二身体部位的跟踪的第二位置、定向或姿势来获得所述第二原点。
[0023]在上述任何示例中，所述第一身体部位和所述第二身体部位可各自选自以下中的一个：所述用户的头部、第一只手或第二只手，且所述第一身体部位和所述第二身体部位可为所述用户的不同身体部位。
[0024]在上述任何示例中，所述选定对象可为扩展现实(extended reality，XR)环境中呈现的虚拟对象，或可为所述XR环境中的真实世界对象。
[0025]在上述任何示例中，所述选定对象可为物理环境中的真实世界对象。
[0026]在上述任何示例中，所述至少一个传感器可包括以下中的至少一个：手持式设备的传感器；可穿戴设备的传感器；智能设备的传感器；或跟踪系统的传感器。
[0027]在一些示例中，本专利技术描述一种计算系统，包括：耦合到上面存储有机器可执行指令的存储器的处理设备。所述指令在由所述处理设备执行时使得所述计算系统进行上文所描述的任一种方法。
[0028]在上述任何示例中，所述计算系统可为头戴式显示器(head
‑
mounted display，HMD)设备、可穿戴设备、手持式设备、智能设备、跟踪系统或桌面设备。
[0029]在一些示例中，本专利技术描述一种上面存储有机器可执行指令的计算机可读介质。所述指令在由计算系统的处理设备执行时使得所述计算系统通过进行上文所描述的任一种方法来选择扩展现实(extended reality，XR)环境中的对象。
附图说明
[0030]现在将通过示例参考示出本申请示例性实施例的附图，其中：
[0031]图1A为示出用户与示例XR环境交互的框图；
[0032]图1B为示出非XR环境中的用户的框图；
[0033]图2为示出本专利技术示例的示例计算系统的一些组件的框图；
[0034]图3为本专利技术示例的示例远端选择子系统的框图；
[0035]图4为示出本专利技术示例的用于选择对象或位置的示例性方法的流程图；
[0036]图5为示出本专利技术示例的用于确定第一与第二光线的交点的示例性方法的流程图；
[0037]图6示出了图4的方法在XR环境中的示例性实现；且
[0038]图7A
‑
7C示出了图4的方法在物理环境中的其他示例性实现。
[0039]不同的附图中使用了相似的附图标记来表示相似的组件。
具体实施方式
[0040]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于选择对象或位置的方法，其特征在于，所述方法包括：至少一个传感器获得第一光线的包括第一位置和第一方向的第一原点以及第二光线的包括第二位置和第二方向的第二原点；获得在所述第一方向上的所述第一位置从所述第一原点投射的所述第一光线与在所述第二方向上的所述第二位置从所述第二原点投射的所述第二光线的交点；根据所述交点标识选定对象或选定位置；输出所述选定对象或所述选定位置的标识。2.根据权利要求1所述的方法，其特征在于，所述选定对象或所述选定位置处于3D扩展现实(extended reality，XR)环境中，所述方法还包括：标识所述3D XR环境中与所述第一光线或所述第二光线中的至少一个相交的一个或多个相交虚拟对象；调整所述一个或多个相交虚拟对象的不透明度，以将所述一个或多个相交虚拟对象呈现为半透明的。3.根据权利要求1或2所述的方法，其特征在于，获得所述第一光线与所述第二光线的所述交点包括计算所述第一光线与所述第二光线的实际交点。4.根据权利要求1至3中任一项所述的方法，其特征在于，获得所述第一光线与所述第二光线的所述交点包括计算所述第一光线与所述第二光线的投影交点，所述第一光线和所述第二光线偏斜。5.根据权利要求4所述的方法，其特征在于，计算所述投影交点包括：计算所述第一光线与所述第二光线之间的最短矢量；计算沿着所述最短矢量的点作为所述投影交点。6.根据权利要求5所述的方法，其特征在于，还包括：在确定所述最短矢量的量值在预定义阈值内之后，计算沿着所述最短矢量的所述点。7.根据权利要求6所述的方法，其特征在于，所述预定义阈值是相对于所述第一光线的所述第一原点或所述第二光线的所述第二原点中的至少一个与所述投影交点之间的距离。8.根据权利要求1至7中任一项所述的方法，其特征在于，标识所述选定对象或所述选定位置包括：根据所述交点标识一个或多个临时选定的对象或选定位置；从所述一个或多个临时选定的对象或选定位置当中接收对一个选定对象或选定位置的确认。9.根据权利要求8所述的方法，其特征在于，标识一个或多个临时选定的对象或选定位置包括：在所述交点处投影具有可调整预定半径的球体；标识与投影球体重合的所述一个或多个临时选定的对象或选定位置。10.根据权利要求1至9中任一项所述的方法，其特征在于，所述至少一个传感器根据用户的第一身体部位的跟踪的第一位置、定向或姿势获得所述第一光线的所述第一原点，其中至少一个相同或不同的传感器根据所述用户的第二身体部位的跟踪的第二位置、定向或姿势获得所述第二光线的所述第二原点。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述选定对象是在3D扩展
现实(extended reality，XR)环境中呈现的虚拟对象、是所述3D XR环境中的真实世界对象；或是物理环境中的真实世界对象。12.根据权利要求1至11中任一项所述的方法，其特征在于，所述至少一个传感器包括...

【专利技术属性】
技术研发人员：范思文，塔斯林，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：