用于扩展现实的私有控制接口制造技术

提供了用于生成用于扩展现实(XR)体验的私有控制接口的系统、方法和非暂时性介质。示例方法可以包括：确定XR设备在与XR设备相关联的物理环境的映射场景内的姿态；检测物理环境中的私有区域和私有区域相对于XR设备姿态的位置，该私有区域包括估计在XR设备用户的视野(FOV)内并且在物理环境中的人、物理环境中的记录设备和/或物理环境中的对象的FOV之外的区域；基于XR设备的姿态和私有区域的位置，将虚拟私有控制接口映射到私有区域；以及在私有区域内渲染虚拟私有控制接口。区域内渲染虚拟私有控制接口。区域内渲染虚拟私有控制接口。

【技术实现步骤摘要】
【国外来华专利技术】用于扩展现实的私有控制接口


[0001]本公开一般涉及在扩展现实和其他应用中生成和登记(register)私有控制接口。

技术介绍

[0002]扩展现实技术可用于向用户呈现虚拟内容，和/或可将来自物理世界的真实环境与虚拟环境相结合以为用户提供扩展现实体验。术语扩展现实可以包括虚拟现实、增强现实、混合现实等。扩展现实的这些形式中的每一种都允许用户体验身临其境的虚拟环境或内容或与之交互。例如，扩展现实体验可以允许用户与通过虚拟内容加强或增强的真实或物理环境交互。
[0003]可以实施扩展现实技术以加强广泛范围上下文内的用户体验，例如娱乐、保健、零售、教育、社交媒体等。然而，在许多设置中，可能不希望揭示某些扩展现实内容或与某些扩展现实接口的交互。在一个示例中，用户可能不想要以可能允许其他用户看到或推断与认证接口或关联的认证信息的特定用户交互的方式渲染诸如口令(password)提示之类的认证接口。

技术实现思路

[0004]公开了用于提供用于扩展现实体验的私有控制接口的系统、方法和计算机可读介质。根据至少一个示例，提供了一种用于生成用于扩展现实体验的私有控制接口的方法。该方法可以包括：确定扩展现实设备在与所述扩展现实设备相关联的物理环境的映射场景内的姿态；检测所述物理环境中的私有区域和所述私有区域相对于所述扩展现实设备姿态的位置，该私有区域包括区域，所述区域被估计在所述扩展现实设备的用户的视野(FOV)内且在物理环境中的人、物理环境中的记录设备和物理环境中的使得能够从所述物理环境的外部进行查看访问的对象中的至少一者的相应FOV之外；基于所述扩展现实设备的姿态和检测到的所述私有区域，将虚拟私有控制接口映射到所述私有区域，所述虚拟私有控制接口包括一个或多个输入接口元素；以及在所述映射场景的私有区域内渲染所述虚拟私有控制接口。
[0005]根据至少一个示例，提供了一种非暂时性计算机可读介质，用于提供用于扩展现实体验的私有控制接口。非暂时性计算机可读介质可以包括计算机可读指令，所述计算机可读指令当由一个或多个处理器执行时，使一个或多个处理器：确定扩展现实设备在与所述扩展现实设备相关联的物理环境的映射场景内的姿态；检测所述物理环境中的私有区域和所述私有区域相对于所述扩展现实设备姿态的位置，该私有区域包括区域，所述区域被估计在所述扩展现实设备的用户的FOV内且在物理环境中的人、物理环境中的记录设备和物理环境中的使得能够从所述物理环境的外部进行查看访问的对象中的至少一者的相应FOV之外；基于所述扩展现实设备的姿态和检测到的所述私有区域，将虚拟私有控制接口映射到所述私有区域，所述虚拟私有控制接口包括一个或多个输入接口元素；以及在所述映射场景中的私有区域内渲染所述虚拟私有控制接口。
[0006]根据至少一个示例，提供了一种用于提供用于扩展现实体验的私有控制接口的装置。该装置可以包括至少一个存储器和一个或多个处理器，所述处理器在电路中实现并配置为：确定装置在与该装置相关联的物理环境的映射场景内的姿态；检测物理环境中的私有区域和私有区域相对于装置姿态的位置，该私有区域包括区域，所述区域被估计在装置的用户的FOV内且在物理环境中的人、物理环境中的记录设备和/或物理环境中能够从物理环境外部进行查看访问的对象中的至少一者的相应FOV之外；基于装置的姿态和被检测的私有区域，将虚拟私有控制接口映射到私有区域，虚拟私有控制接口包括一个或多个输入接口元素；以及在映射场景中的私有区域内渲染虚拟私有控制接口。
[0007]根据至少一个示例，提供了另一种用于提供用于扩展现实体验的私有控制接口的装置。该装置可以包括：用于确定装置在与该装置相关联的物理环境的映射场景内的姿态的单元；用于检测物理环境中的私有区域和私有区域相对于装置的姿态的位置的单元，该私有区域包括区域，所述区域被估计在装置的用户的FOV内且在物理环境中的人、物理环境中的记录设备和/或物理环境中的使得能够从物理环境外部进行查看访问的对象中的至少一者的相应FOV之外；用于基于装置的姿态和私有区域的位置将虚拟私有控制接口映射到私有区域的单元，该虚拟私有控制接口包括一个或多个输入接口元素；以及用于在映射场景中的私有区域内渲染虚拟私有控制接口的单元。
[0008]在一些方面，上述方法、非暂时性计算机可读介质和装置可以包括通过以下方式确定所述区域在所述人、所述记录设备和/或所述对象中的至少一者的相应FOV之外：检测所述物理环境中的一个或多个对象；以及确定所述人、所述记录设备和所述对象中的至少一者的所述相应FOV被所述一个或多个对象遮挡。
[0009]在一些示例中，检测私有区域可以包括：计算与捕获所述映射场景的图像中检测到的第一面部相关联的人脸位置数据，其中所述第一面部对应于所述人；基于所述人脸位置数据，计算所述人的FOV；以及基于所述人的FOV和所述私有区域的位置，来确定所述私有区域被位于所述私有区域和所述人之间的一个或多个对象遮挡于所述人的视线外。
[0010]在一些示例中，检测私有区域还可以包括：计算与在捕获所述映射场景的图像中检测到的第二面部相关联的人脸位置数据，其中第二面部对应于所述用户；基于与所述第二面部关联的所述人脸位置数据，计算所述用户的FOV；以及基于所述私有区域的位置来确定所述私有区域在所述用户的FOV内。
[0011]在一些示例中，将所述虚拟私有控制接口映射到所述私有区域并在所述私有区域内渲染所述虚拟私有控制接口可以包括：确定所述私有区域的第一尺寸和/或所述私有区域的第一取向中的至少一者；基于所述私有区域的第一尺寸和/或所述私有区域的第一取向中的所述至少一者，来确定所述虚拟私有控制接口的第二尺寸和/或所述虚拟私有控制接口的第二取向中的至少一者，其中所述虚拟私有控制接口的第二尺寸匹配所述私有区域的第一尺寸或适于其内，并且其中所述虚拟私有控制接口的第二取向至少部分地与所述私有区域的第一取向对齐；根据所述第二尺寸和/或所述第二取向中的所述至少一者来生成所述虚拟私有控制接口；以及将所述虚拟私有控制接口与所述私有区域对齐。
[0012]在一些示例中，物理环境中使得能够从物理环境外部进行查看访问的对象可以包括窗户、玻璃门和/或敞开的门。
[0013]在一些示例中，所述私有区域可以包括与所述用户相关联的身体部位的表面，并
且其中，检测所述私有区域可以包括确定所述身体部位的表面正面对用户且背对物理环境中的人、物理环境中的记录设备和/或物理环境中的对象中的至少一者。在一些情况下，所述身体部位可以包括手，并且所述身体部位的表面可以包括所述手的手掌，并且检测所述私有区域可以包括：基于所述手的手掌的一个或多个图像来检测与所述手的手掌相关联的生物特征信息；将所述生物特征信息与先前登记的生物特征信息进行比较，所述先前登记的生物特征信息与关联于所述用户的先前登记的手掌相关联；以及确定所述生物特征信息与所述先前登记的生物特征信息匹配。
[0014]在一些方面，上述方法、非暂时性计算机可读介质和装置可以包括：识别用于渲染第二虚拟私有控制接口的手的手掌本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种能够在扩展现实设备上进行操作的方法，所述方法包括：确定所述扩展现实设备在与所述扩展现实设备相关联的物理环境的映射场景内的姿态；检测所述映射场景中的私有区域和所述私有区域相对于所述扩展现实设备的姿态的位置，所述私有区域包括估计在所述扩展现实设备的用户的视野(FOV)内且在以下各项中的至少一者的相应FOV之外的区域：所述物理环境中的人、所述物理环境中的记录设备和所述物理环境中的使得能够从所述物理环境外部进行查看访问的对象；基于所述扩展现实设备的姿态和检测到的所述私有区域，将虚拟私有控制接口映射到所述私有区域；以及在所述映射场景中的所述私有区域内渲染所述虚拟私有控制接口。2.如权利要求1所述的方法，还包括通过以下方式确定所述区域在所述物理环境中的所述人、所述记录设备和所述对象中的所述至少一者的相应FOV之外：检测所述物理环境中的一个或多个对象；以及确定所述人、所述记录设备和所述对象中的所述至少一者的相应FOV被所述一个或多个对象遮挡。3.如权利要求1所述的方法，其中，检测所述私有区域包括：计算与在捕获所述映射场景的图像中检测到的第一面部相关联的人脸位置数据，其中，所述第一面部对应于所述人；基于所述人脸位置数据，计算所述人的FOV；以及基于所述人的FOV和所述私有区域的位置，来确定所述私有区域被位于所述私有区域和所述人之间的一个或多个对象相对于所述人的视线进行遮挡。4.如权利要求3所述的方法，其中，检测所述私有区域还包括：计算与在捕获所述映射场景的图像中检测到的第二面部相关联的人脸位置数据，其中，所述第二面部对应于所述用户；基于与所述第二面部相关联的所述人脸位置数据，计算所述用户的FOV；以及基于所述私有区域的位置来确定所述私有区域在所述用户的FOV内。5.如权利要求1所述的方法，其中，将所述虚拟私有控制接口映射到所述私有区域并且在所述私有区域内渲染所述虚拟私有控制接口包括：确定所述私有区域的第一尺寸和所述私有区域的第一取向中的至少一者；基于所述私有区域的第一尺寸和所述私有区域的第一取向中的所述至少一者，来确定所述虚拟私有控制接口的第二尺寸和所述虚拟私有控制接口的第二取向中的至少一者，其中，所述虚拟私有控制接口的第二尺寸匹配所述私有区域的第一尺寸或适于所述私有区域的第一尺寸内，并且其中，所述虚拟私有控制接口的第二取向至少部分地与所述私有区域的第一取向对齐；根据所述第二尺寸和所述第二取向中的所述至少一者来生成所述虚拟私有控制接口；以及将所述虚拟私有控制接口与所述私有区域对齐。6.如权利要求1所述的方法，其中，所述物理环境中的使得能够从所述物理环境外部进行查看访问的所述对象包括窗户、玻璃门和敞开的门中的至少一者。
7.如权利要求1所述的方法，其中，所述私有区域包括与所述用户相关联的身体部位的表面，并且其中，检测所述私有区域包括确定所述身体部位的表面正面对所述用户且背对以下各项中的所述至少一者：所述物理环境中的人、所述物理环境中的记录设备和所述物理环境中使得能够进行查看访问的对象。8.如权利要求7所述的方法，其中，所述身体部位包括手，并且所述身体部位的表面包括所述手的手掌，其中，检测所述私有区域包括：基于所述手的手掌的一个或多个图像来检测与所述手的手掌相关联的生物特征信息；将所述生物特征信息与先前登记的生物特征信息进行比较，所述先前登记的生物特征信息与关联于所述用户的先前登记的手掌相关联；以及确定所述生物特征信息匹配所述先前登记的生物特征信息。9.如权利要求1所述的方法，还包括：识别用于渲染第二虚拟私有控制接口的手的手掌；以及在所述手的手掌上渲染所述第二虚拟私有控制接口之前：基于所述手的手掌的一个或多个图像来检测与所述手的手掌相关联的生物特征信息；将所述生物特征信息与先前登记的生物特征信息进行比较，所述先前登记的生物特征信息与关联于所述用户的先前登记的手掌相关联；以及确定所述生物特征信息是否匹配所述先前登记的生物特征信息。10.如权利要求9所述的方法，还包括：确定所述生物特征信息不匹配所述先前登记的生物特征信息；以及响应于确定所述生物特征信息不匹配所述先前登记的生物特征信息，确定不在所述手的手掌上渲染所述第二虚拟私有控制接口。11.如权利要求1所述的方法，其中，检测所述私有区域包括：检测所述映射场景中的一个或多个对象；基于所述映射场景中的所述一个或多个对象来检测所述映射场景中的一个或多个遮挡物；以及通过确定所述一个或多个遮挡物阻挡所述物理环境中的所述人、所述记录设备或使得能够进行所述查看访问的所述对象对所述私有区域的可见性来检测所述私有区域。12.如权利要求11所述的方法，其中，检测所述一个或多个遮挡物包括追踪所述物理环境内的光线的路径。13.如权利要求1所述的方法，其中，所述记录设备包括相机，并且其中，所述虚拟私有控制接口包括增强现实接口。14.一种装置，包括：至少一个存储器；以及一个或多个处理器，其在电路中实现并且被配置为：确定装置在与所述装置相关联的物理环境的映射场景内的姿态；检测所述映射场景中的私有区域和所述私有区域相对于所述装置的姿态的位置，所述私有区域包括估计在所述装置的用户的视野(FOV)内且在以下各项中的至少一者的相应FOV之外的区域：所述物理环境中的人、所述物理环境中的记录设备和所述物理环境中的使得能够从所述物理环境外部进行查看访问的对象；
基于所述装置的姿态和检测到的所述私有区域，将虚拟私有控制接口映射到所述私有区域，所述虚拟私有控制接口包括一个或多个输入接口元素；以及在所述映射场景中的所述私有区域内渲染所述虚拟私有控制接...

【专利技术属性】
技术研发人员：W，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：