具有对话气泡和翻译的增强现实眼戴器制造技术

本发明专利技术公开了一种眼戴器，该眼戴器(例如，在对话气泡中)呈现对应于口语单词的文本，并且任可选地从一种语言翻译成另一种语言。在一个示例中，在眼戴设备的两个用户之间提供交互式增强现实体验，以允许眼戴设备的一个用户将该用户的个人属性与第二用户共享。该个人属性可以是由眼戴器的远处第二用户说出后的转换为文本的语音。转换后的文本可以在第一用户的眼戴器的显示器上显示在被查看的第二用户附近。该个人属性可显示在该第二用户附近的对话气泡中，诸如在该第二用户的头部或嘴部附近。口语语音的语言可以由该第二用户的眼戴器识别，并且被翻译成该第一用户能理解的语言。在另一示例中，由用户的眼戴器捕获远处的人的口语单词，识别该远处的人的定位，将该口语单词转换为文本，并且在远处的人附近的该眼戴器的AR显示器上显示该文本(例如，在对话气泡中)。在对话气泡中)。在对话气泡中)。

【技术实现步骤摘要】
【国外来华专利技术】具有对话气泡和翻译的增强现实眼戴器
相关申请的交叉引用
[0001]本申请要求于2020年6月30日提交的美国临时专利申请序列号63/046,257的优先权，该专利申请的内容全文以引用方式并入本文。


[0002]本公开中阐述的示例涉及增强现实(AR)和可穿戴移动设备(诸如眼戴设备)领域。更具体地，但不作为限制，本公开描述了与交互式增强现实环境的用户交互。

技术介绍

[0003]当今可用的许多类型的计算机和电子设备，诸如移动设备(例如，智能电话、平板电脑和膝上型电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(GUI)，用户可通过这些部件与显示内容交互。
[0004]增强现实(AR)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
附图说明
[0005]从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
[0006]除非另外指出，否则图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个具体实施，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
[0007]图1A是适用于增强现实产生系统的眼戴设备的示例性硬件配置的侧视图(右)；
[0008]图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
[0009]图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
[0010]图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
[0011]图2A和图2B是在增强现实产生系统中利用的眼戴设备的示例性硬件配置的后视图；
[0012]图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
[0013]图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示
例性增强现实产生系统的功能框图；
[0014]图5是用于图4的增强现实产生系统的移动设备的示例性硬件配置的图形表示；
[0015]图6是在用于描述即时定位与地图构建的示例性环境中的用户的示意性图示；
[0016]图7是列出在物理环境中显示虚拟对象的示例性方法中的步骤的流程图；
[0017]图8A示出了各自确定环境中的相应定位的相应眼戴设备的两个用户，诸如(x,y,z)坐标定位；
[0018]图8B示出了用户B向用户A广播个人属性；
[0019]图8C示出了在用户A的眼戴设备上显示在用户A头部或面部附近的用户B的个人属性，其包括经翻译的语音转文本；并且
[0020]图9是示出广播和显示个人属性的方法的流程图。
具体实施方式
[0021]本专利技术公开了一种眼戴器，该眼戴器(例如，在对话气泡中)呈现对应于口语单词的文本，并且任选地从一种语言翻译成另一种语言。在一个示例中，在眼戴设备的两个用户之间提供交互式增强现实体验，以允许眼戴设备的一个用户将该用户的个人属性与第二用户共享。该个人属性可以是由眼戴器的远处第二用户说出后转换为文本的语音。转换后的文本可以在第一用户的眼戴器的显示器上显示在被查看的第二用户附近。该个人属性可显示在该第二用户附近的对话气泡中，诸如在该第二用户的头部或嘴部附近。口语语音的语言可以由该第二用户的眼戴器识别，并且被翻译成该第一用户能理解的语言。在另一示例中，由用户的眼戴器捕获远处的人的口语单词，识别该远处的人的定位，将该口语单词转换为文本，并且在该眼戴器的AR显示器上在该远处的人附近显示该文本(例如，在对话气泡中)。
[0022]以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
[0023]本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接(包括链路等)，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
[0024]术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近侧端部，而大致相对的端部可以被称为远侧端部。
[0025]出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼戴设备、其他移动设备、相关联部件和结合了相机、惯性测量单元或两者的任何其他设备的
定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。
[0026]示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的产生或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
[0027]现在详细参考附图所示和下文所讨论的示例。
[0028]图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。在本说明书中，眼戴设备100也被简称为眼戴器。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他具体实施中，眼戴设备100可包括在左侧的触摸板。
[0029]触摸板181的表面被配置为检测手指触摸、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种眼戴器，包括：框架；由所述框架支撑的光学构件；耦接到所述光学构件的显示器；和处理器，所述处理器被配置为：检测环境中的人；从所述人接收指示所述人的语音的输入；将所述语音转换为文本；以及在所述显示器上在所述人附近显示所述文本。2.根据权利要求1所述的眼戴器，其中所述处理器被配置为识别所述人在所述环境中的定位。3.根据权利要求2所述的眼戴器，其中所述处理器被配置为将所述人的定位确定为所述环境中的(x,y,z)坐标。4.根据权利要求3所述的眼戴器，其中所述处理器被配置为使用即时定位与地图构建(SLAM)来确定所述坐标5.根据权利要求1所述的眼戴器，其中所述处理器被配置为识别所述人的一部分，并且在所述人的所述部分附近显示所述文本。6.根据权利要求5所述的眼戴器，其中所述处理器被配置为识别所述人的头部，并且在所述人的所述头部附近的对话气泡中显示所述文本。7.根据权利要求1所述的眼戴器，其中消息是与口语语音的第二语言不同的第一语言，并且其中所述处理器被进一步配置为：将所述第二语言翻译成所述第一语言。8.根据权利要求1所述的眼戴器，其中所述眼戴器进一步包括被配置为捕获多个帧的相机，所述处理器在所述多个帧中识别所述人。9.一种用于与眼戴器一起使用的交互式增强现实方法，所述眼戴器具有框架、由所述框架支撑的光学构件、耦接到所述光学构件的显示器，和处理器，所述方法包括：检测环境中的人；从所述人接收指示所述人的语音的输入；将所述语音转换为文本；以及在所述显示器上在所述用户附近显示所述文本。10.根据权利要求9所述的方法，其中所述处理器识别所述人在所述环境中的定位。11.根据权利要求10所述的方法，其中所述处理器将所述人的定位确定为所述环境中的(x,y,z...

【专利技术属性】
技术研发人员：伊尔泰里斯，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：