用于头戴式设备的基于音频的反馈制造技术

本公开涉及用于头戴式设备的基于音频的反馈。头戴式设备可包括用于定向音频检测的多个麦克风。所述头戴式设备还可包括用于音频输出的扬声器和/或用于视觉输出的显示器。所述头戴式设备可被配置为通过基于声音的源的位置来在显示器上显示指示符而基于音频输入来提供视觉输出。所述头戴式设备可被配置为通过基于检测到的声音和目标特性来修改所述扬声器的音频输出而基于音频输入来提供音频输出。此类特性可基于用户的视线的方向，如由眼传感器检测到的。器检测到的。器检测到的。

【技术实现步骤摘要】
用于头戴式设备的基于音频的反馈
[0001]相关申请的交叉应用
[0002]本申请要求于2019年8月20日提交的题为“AUDIO-BASED FEEDBACK FOR HEAD-MOUNTABLE DEVICE”的美国临时申请No.62/889,473的优先权权益，并且本申请全部以引用方式并入本文。


[0003]本说明书整体涉及头戴式设备，并且更特别地，涉及用于头戴式设备的基于音频的反馈。

技术介绍

[0004]用户可佩戴头戴式设备以在该用户的视野内显示视觉信息。头戴式设备可用作虚拟现实(VR)系统、增强现实(AR)系统和/或混合现实(MR)系统。用户可观察由头戴式设备提供的输出，诸如在显示器上提供的视觉信息。显示器可任选地允许用户观察在头戴式设备外部的环境。由头戴式设备提供的其他输出可包括扬声器输出和/或触觉反馈。用户可通过提供输入以供头戴式设备的一个或多个部件进行处理来进一步与该头戴式设备交互。例如，在设备安装到用户的头部的同时，该用户可以提供触觉输入、语音命令和其他输入。

技术实现思路

[0005]根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；显示器；控制器，所述控制器被配置为执行以下操作：用所述麦克风检测声音；确定所述声音的源相对于所述头戴式设备的位置；以及基于所述源的所述位置来在所述显示器上显示指示符。
[0006]根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；扬声器；控制器，所述控制器被配置为执行以下操作：确定目标特性；用所述麦克风检测声音；将所述声音与所述目标特性进行比较；以及基于所述声音和所述目标特性来修改所述扬声器的音频输出。
[0007]根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；扬声器；眼传感器；控制器，所述控制器被配置为：基于所述眼传感器来确定用户的视线的方向；用所述麦克风检测声音；以及基于所述声音和所述视线的所述方向来修改所述扬声器的音频输出。
附图说明
[0008]本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
[0009]图1示出了根据本公开的一些实施方案的用户上的头戴式设备的透视图。
[0010]图2示出了根据本公开的一些实施方案的头戴式设备的框图。
[0011]图3示出了根据本公开的一些实施方案的佩戴头戴式设备的用户以及在用户的视野内的声音的源的顶视图。
[0012]图4示出了根据本公开的一些实施方案的提供视觉输出的图3的头戴式设备的视
图。
[0013]图5示出了根据本公开的一些实施方案的佩戴头戴式设备的用户以及在用户的视野外的声音的源的顶视图。
[0014]图6示出了根据本公开的一些实施方案的提供视觉输出的图5的头戴式设备的视图。
[0015]图7示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的显示器提供基于音频的反馈的方法。
[0016]图8示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的扬声器提供基于音频的反馈的方法。
[0017]图9示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的扬声器提供基于音频的反馈的方法。
具体实施方式
[0018]下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，对于本领域的技术人员来说将清楚和显而易见的是，本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。
[0019]头戴式设备，诸如头戴式显示器、头戴式耳机、护目镜、智能眼镜、平视显示器等，可执行由可穿戴设备所包括的部件(例如，传感器、电路和其他硬件)管理的一系列功能。头戴式设备可捕获来自环境和/或用户的各种类型的输入(例如，视觉、音频、触觉等)。头戴式设备还可向用户和/或环境提供各种类型的输出(例如，视觉、音频、触觉等)。
[0020]特别地，头戴式设备可设有多个麦克风，以用于捕获来自相对于头戴式设备定位在不同方向上的多个源的音频信息(例如，声音)。分布在头戴式设备上的多个麦克风可提供定向音频检测。头戴式设备可使用由麦克风收集的数据来向用户提供视觉和/或音频输出。例如，检测到的音频输入可通过提供将用户定向到声音的源的指示符来用视觉输出呈现。即使用户不能独立于头戴式设备而容易地听到声音，这也可使用户正确地且容易地识别源的位置。通过另外的示例，检测到的音频输入可用相对于其他声音强调(例如，放大)某些声音以帮助用户区分不同声音的音频输出呈现。
[0021]本公开的系统可包括具有多个麦克风的头戴式设备。所述头戴式设备还可包括用于音频输出的扬声器和/或用于视觉输出的显示器。所述头戴式设备可被配置为通过基于声音的源的位置来在显示器上显示指示符而基于音频输入来提供视觉输出。所述头戴式设备可被配置为通过基于检测到的声音和目标特性来修改所述扬声器的音频输出而基于音频输入来提供音频输出。此类特性可基于用户的视线的方向，如由眼传感器检测到的。
[0022]以下参考图1至图9讨论这些实施方案和其他实施方案。然而，本领域的技术人员将容易地理解，本文相对于这些附图所给出的详细描述仅出于说明性目的，而不应被理解为是限制性的。
[0023]根据一些实施方案，例如如图1所示，头戴式设备100包括框架110，该框架佩戴在
用户的头部上。框架110可定位在用户的眼睛的前面以在用户的视野内提供信息。框架110可提供鼻垫或另一个特征部以放置在用户的鼻部上。框架110可利用固定元件120支撑在用户的头部上。固定元件120可沿用户的头部的相对侧缠绕或延伸。固定元件120可以包括用于缠绕或以其他方式接合或放置在用户耳朵上的耳机。应当理解，可应用其他配置来将头戴式设备100固定到用户的头部。例如，除了头戴式设备100的所例示的部件之外或作为其代替，可使用一个或多个绑带、条带、束带、盖、帽或其他部件。又如，固定元件120可包括多个部件以接合用户的头部。
[0024]框架110可围绕其周边区域提供结构，以将框架110的任何内部部件支撑在其组装位置。例如，框架110可包封并支撑各种内部部件(包括例如集成电路芯片、处理器、存储器设备和其他电路)，以为头戴式设备100提供计算和功能操作，如本文进一步所讨论。可在框架110和/或固定元件120之内和/或之上包括任意数量的部件。
[0025]头戴式设备100可包括分布在框架110和/或固定元件120上的多个麦克风130。麦克风130可在空间上均匀地或不均匀地分布。麦克风130可定位在各个部分处，诸如头戴式设备100(例如，包括框架110和/或固定元件120)的前侧、后侧、左侧、右侧、顶侧和/或底侧)。麦克风130可为全向的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头戴式设备，包括：多个麦克风；显示器；控制器，所述控制器被配置为执行以下操作：用所述麦克风检测声音；确定所述声音的源相对于所述头戴式设备的位置；以及基于所述源的所述位置来在所述显示器上显示指示符。2.根据权利要求1所述的头戴式设备，其中所述源的所述位置在由所述显示器提供的视野内，并且所述指示符显示在所述显示器的与所述源的所述位置相对应的一部分处。3.根据权利要求1所述的头戴式设备，其中所述源的所述位置在所述显示器的视野外，并且所述指示符显示在所述显示器的与所述源的所述位置相对于所述显示器的中心的方向相对应的边缘处。4.根据权利要求1所述的头戴式设备，其中确定所述声音的所述源相对于所述头戴式设备的所述位置包括确定所述麦克风中的哪一个麦克风最靠近地朝向所述源的所述位置定向。5.根据权利要求1所述的头戴式设备，其中：所述控制器被进一步配置为执行确定目标特性的操作；并且确定所述声音的所述源相对于所述头戴式设备的所述位置基于所述声音和所述目标特性。6.根据权利要求5所述的头戴式设备，其中所述目标特性基于识别所述声音的用户输入。7.根据权利要求1所述的头戴式设备，其中所述指示符基于所述声音的所述源的特性。8.根据权利要求1所述的头戴式设备，还包括相机，其中所述显示器被配置为显示由所述相机捕获的视图。9.一种头戴式设备，包括：多个麦克风；扬声器；控制器，所述控制器被配置为执行以下操作：确定目标特性；用所述麦克风检测声音；将所述声音与所述目标特性进行比较；以及基于所述声音和所述目标特性来修改所述扬声器的音频输出。10.根据权利要求9所述的头戴式设备，其中修改所述扬声器的所述音频输出包括增大基于来自所述麦克风中的朝向所述声音的源的位置定向的一个麦克风的音频输入的所述音频输出的音量...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：苹果公司，
类型：发明
国别省市：