基于指称表达的虚拟对象放置制造技术

在示例性过程中，接收包括指称虚拟对象的言语输入

【技术实现步骤摘要】
【国外来华专利技术】基于指称表达的虚拟对象放置

技术介绍

[0001]1.
相关申请的交叉引用
[0002]本专利申请要求于
2021
年3月1日提交的名称为“VIRTUAL OBJECT PLACEMENT BASED ON REFERENTIAL EXPRESSIONS”的美国临时申请
63/155,070
号的优先权，该临时申请的内容据此全文以引用方式并入以用于所有目的
。
2.

[0003]本公开整体涉及扩展现实，并且更具体地涉及用于基于指称表达的虚拟对象放置的技术
。
[0004]3.
相关领域的描述
[0005]传统的扩展现实环境可包括虚拟对象和物理对象的各种表示
。
查看环境的用户可使用各种方法来与对象交互
。

技术实现思路

[0006]本公开描述了在扩展现实布景中进行虚拟对象放置的技术
。
扩展现实环境提供了使得用户能够与环境中的各种对象交互的平台
。
例如，用户可使用包括物理控件
、
言语命令
、
基于凝视的操作等的方法将虚拟对象放置在环境内的特定位置处
。
当使用言语命令时，用户可将环境中所描绘的各种对象称为指称对象，诸如家具
、
墙
、
器具或其他对象
。
这些对象可用作环境内的指称点以便锁定用户希望放置相应虚拟对象的位置
。
因此，期望一种用于基于指称表达的虚拟对象放置的方法和系统
。
[0007]根据一些实施方案，接收包括指称虚拟对象的言语输入
。
基于该言语输入，获得第一指称集
。
然后将该第一指称集与多个第二指称集进行比较
。
基于该比较，从该多个第二指称集获得第二指称集
。
该第二指称集可基于该第一指称集和该第二指称集之间的匹配得分而被标识
(identify
，识别
)。
然后基于该第二指称集标识对象
。
基于所标识的对象，显示该指称虚拟对象
。
附图说明
[0008]图
1A
至图
1B
示出了在各种扩展现实技术中使用的示例性系统
。
[0009]图
2A
至图
2B
描绘了用于基于图像信息来获得多个指称集的示例性过程
。
[0010]图3描绘了使用指称表达进行虚拟对象放置的示例性过程
。
[0011]图
4A
至图
4B
描绘了使用指称表达进行虚拟对象放置的示例性过程
。
[0012]图5描绘了使用指称表达进行虚拟对象放置的示例性过程
。
具体实施方式
[0013]人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互
。
物理特征诸如物理对象或表面可被包括在物理环境内
。
例如，物理环境可对应于具有
物理建筑物
、
道路和车辆的物理城市
。
人们可通过各种手段诸如嗅觉
、
视觉
、
味觉
、
听觉和触觉直接感知物理环境或者与物理环境交互
。
这可与扩展现实
(XR)
环境形成对比，该
XR
环境可以是指人们可使用电子设备感知或与之交互的部分或全部模拟的环境
。XR
环境可包括虚拟现实
(VR)
内容
、
混合现实
(MR)
内容
、
增强现实
(AR)
内容等
。
使用
XR
系统，人的物理运动或其表示的一部分可被跟踪，并且作为响应，可以符合至少一个自然定律的方式改变
XR
环境中的虚拟对象的属性
。
例如，
XR
系统可检测用户的头部移动，并且以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容
。
在其他示例中，
XR
系统可检测呈现
XR
环境的电子设备
(
例如，膝上型电脑
、
平板电脑
、
移动电话等
)
的移动
。
因此，
XR
系统可以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容
。
在一些实例中，其他输入诸如物理运动的表示
(
例如，语音命令
)
可使得
XR
系统调整图形内容的属性
。
[0014]许多类型的电子系统可允许用户感测
XR
环境或与
XR
环境交互
。
示例的不完全列表包括待放置在用户眼睛上的具有集成显示能力的镜片
(
例如，接触镜片
)、
平视显示器
(HUD)、
基于投影的系统
、
头戴式系统
、
具有集成显示技术的窗或挡风玻璃
、
头戴式耳机
/
耳机
、
具有或不具有触觉反馈的输入系统
(
例如，手持式或可佩戴控制器
)、
智能电话
、
平板电脑
、
台式
/
膝上型计算机以及扬声器阵列
。
头戴式系统可包括不透明显示器和一个或多个扬声器
。
其他头戴式系统可被配置为接收不透明外部显示器诸如智能电话的外部显示器
。
头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像
/
视频，或者使用一个或多个麦克风来捕获物理环境的音频
。
一些头戴式系统可包括透明或半透明显示器，而不是不透明显示器
。
透明或半透明显示器可通过介质诸如全息介质
、
光学波导
、
光学组合器
、
光学反射器
、
其他类似技术或它们的组合将表示图像的光引导到用户的眼睛
。
可使用各种显示技术诸如硅基液晶
、LED、uLED、OLED、
激光扫描光源
、
数字光投射或它们的组合
。
在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明
。
基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图
。
[0015]图...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，包括：接收包括指称虚拟对象的言语输入；基于所述言语输入获得第一指称集；将所述第一指称集与多个第二指称集进行比较；基于所述比较从所述多个第二指称集获得第二指称集，其中，所述第二指称集基于所述第一指称集和所述第二指称集之间的匹配得分而被标识；基于所述第二指称集标识对象；以及基于所标识的对象显示所述指称虚拟对象
。2.
根据权利要求1所述的方法，包括：从所述言语输入标识多个词语；将所述多个词语提供到输入层；从输出层获得基于所述多个词语的多个词元；以及基于所述多个词元获得所述第一指称集
。3.
根据权利要求2所述的方法，其中，所述多个词语包括所述指称虚拟对象
、
关系对象和地标对象
。4.
根据权利要求1至3中任一项所述的方法，包括：从输出层获得基于所述言语输入的多个词元；针对所述多个词元中的每个词元标识父索引和标签分类器；以及基于所述多个词元获得所述第一指称集
。5.
根据权利要求1至4中任一项所述的方法，包括：从输出层获得基于所述言语输入的多个词元；基于所述言语输入获得多个层，其中，每个层与头部对象相关联；以及针对所述多个词元中的每个词元标识父索引，其中，每个父索引基于与所述头部对象相关联的多个得分来确定
。6.
根据权利要求1至5中任一项所述的方法，其中，所述第一指称集包括第一对象
、
第二对象和第一关系对象，并且所述多个第二指称集中的每个指称集包括相应第一对象
、
相应第二对象和相应第一关系对象，其中，所述比较包括：针对所述多个第二指称集中的每个指称集，比较：所述第一对象和所述相应第一对象之间的第一语义相似性；所述第二对象和所述相应第二对象之间的第二语义相似性；所述第一关系对象和所述相应第一关系对象之间的第三语义相似性
。7.
根据权利要求1至6中任一项所述的方法，其中，比较包括：确定所述第一指称集的对象和所述多个第二指称集的对象之间的距离；以及基于所确定的距离将所述第一指称集与所述多个第二指称集进行比较
。8.
根据权利要求1至7中任一项所述的方法，其中，比较包括：针对所述多个第二指称集中的每个指称集获得向量表示；以及将所述第一指称集的向量表示与从所述多个第二指称集获得的每个向量表示进行比较
。9.
根据权利要求1至8中任一项所述的方法，其中，从所述多个第二指称集获得第二指
称集包括：从所述多个第二指称集获得指称集的排序列表，其中，所述排序列表中的每个指称集与匹配得分相关联；以及根据所述指称集的排序列表选择具有最高匹配得分的第二指称集
。10.
根据权利要求9所述的方法，其中，具有最高匹配得分的所述第二指称集基于最大值参数函数来确定
。11.
根据权利要求9所述的方法，包括：根据确定所述多个第二指称集中的两个或更多个指称集与同等最高匹配得分相关联：基于请求历史根据所述指称集的排序列表从所述两个或更多个指称集选择第二指称集
。12.
根据权利要求
11
所述的方法，其中，基于用户输入历史根据所述指称集的排序列表从所述两个或更多个指称集选择具有最高匹配得分的第二指称集包括：基于所述两个或更多个指称集确定对象指称频率和关系指称频率中的至少一者；以及基于所述对象指称频率和所述关系指称频率中的至少一者，根据所述指称集的排序列表从所述两个或更多个指称集选择第二指称集
。13.
根据权利要求1至
12
中任一项所述的方法，其中，基于所述第二指称集标识对象包括：从所述第二指称集标识第一相应对象
、
第二相应对象以及所述第一相应对象和所述第二相应对象之间的关系，其中所述关系限定所述第一相应对象相对于所述第二相应对象的位置，以及所述第一相应对象对应于基于所述第二指称集标识的所述对象
。14.
根据权利要求1至
13
...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：