光学和声学麦克风信号的联合处理制造技术

本主题涉及光学和声学麦克风信号的联合处理。本主题技术的各方面提供了对来自声学麦克风的信号和来自振动传感器的信号的联合处理，该振动传感器直接或远程地感测声音的源本身的振动。该振动传感器可包括远程振动传感器，诸如基于光的麦克风，其可以被实现为光学麦克风。对信号的联合处理可包括通过基于来自该振动传感器的信号选择来自该声学麦克风的信号的一部分而在来自该声学麦克风的信号中检测来自该源的声音。检测来自该源的声音。检测来自该源的声音。

【技术实现步骤摘要】
光学和声学麦克风信号的联合处理


[0001]本说明书整体涉及处理音频信号，包括例如光学麦克风信号和声学麦克风信号的联合处理。

技术介绍

[0002]电子设备可包括麦克风。该麦克风可响应于来自源(诸如向设备说话的用户)的声音而产生音频信号。

技术实现思路

[0003]根据本公开的一个方面，提供了一种方法，包括：从声学麦克风获得第一麦克风信号；从基于光的麦克风获得第二麦克风信号；以及通过基于所述第二麦克风信号选择所述第一麦克风信号的表示来自源的声音的部分来检测所述声音。
[0004]根据本公开的又一个方面，提供了一种方法，包括：从声学麦克风获得第一麦克风信号；从基于光的麦克风获得第二麦克风信号；在时间上对齐所述第一麦克风信号和所述第二麦克风信号以考虑光速与声速之间的差；以及部分地基于已经在时间上对齐的所述第一麦克风信号和所述第二麦克风信号来生成包含与来自源的声音相对应的内容的输出音频信号。
[0005]根据本公开的又一个方面，提供了一种系统，包括：声学麦克风；振动传感器；以及一个或多个处理器，所述一个或多个处理器被配置为：从所述声学麦克风获得第一信号；从所述振动传感器获得第二信号；识别所述第一信号与所述第二信号之间的差异；以及操纵所述声学麦克风和所述振动传感器中的一者或两者以减小所述差异。
附图说明
[0006]本主题技术的一些特征在所附权利要求书中予以阐述。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
[0007]图1示出了根据一个或多个具体实施的用于联合处理光学麦克风信号和声学麦克风信号的示例性网络环境。
[0008]图2示出了根据一个或多个具体实施的包括示例性电子设备和示例性无线音频输入/输出设备的示例性网络环境。
[0009]图3示出了根据一个或多个具体实施的用于联合处理光学麦克风信号和声学麦克风信号的示例性架构的框图。
[0010]图4示出了根据一个或多个具体实施的图3的示例性架构的更多细节的框图。
[0011]图5示出了根据一个或多个具体实施的图4的示例性架构的更多细节的框图。
[0012]图6示出了根据一个或多个具体实施的用于在音频信号中联合处理光学麦克风信号和声学麦克风信号的示例性过程的流程图。
[0013]图7示出了根据一个或多个具体实施的用于在音频信号中联合处理光学麦克风信
号和声学麦克风信号的另一示例性过程的流程图。
[0014]图8示出了根据一个或多个具体实施的用于在音频信号中联合处理光学麦克风信号和声学麦克风信号的另一示例性过程的流程图。
[0015]图9示出了根据一个或多个具体实施的可用以实现本主题技术的各个方面的示例性电子系统。
具体实施方式
[0016]下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。
[0017]电子设备或其他装置可包括多个麦克风。该麦克风可产生音频信号，该音频信号可含有来自一个或多个声音源的声音。例如，声音源可包括对设备或装置说话的用户、不是设备或装置的用户但其话音可由设备麦克风捕获的旁观者和/或环境噪声(例如，风、交通等)中的一者或多者。因此，可能存在可干扰由设备麦克风捕获的语音信号的多种声学环境条件。该环境条件可能干扰实时应用，诸如语音触发短语检测、免提电话以及可通过处理语音信号来执行的自动语音识别。
[0018]本主题技术的各方面提供了基于由设备麦克风捕获的音频信号来增强源检测和/或输出。例如，本主题系统和方法可采用一个或多个振动传感器，例如基于光的麦克风(例如，光学麦克风)、加速度计等，以帮助检测音频源，诸如来自电子设备或其他装置的用户的语音。
[0019]例如，声学麦克风(例如，当麦克风的隔膜或其他声音响应元件响应于传入的声音而移动时感测该声音并且基于该移动产生电信号的麦克风)通常可提供足够的信号与传感器噪声比(SSNR)性能。然而，在涉及高水平的环境噪声和/或风的某些不利声学条件下，声学麦克风的性能可能受到负面影响。光学麦克风有时用于检测声音，但可能表现出相对差的SSNR和有限的带宽。然而，光学麦克风可以提供改进的指向性，并且因此有时可在存在干扰性声学噪声的情况下表现良好。因此，利用声学麦克风的高SSNR性能和光学麦克风的指向性将是有益的。然而，由于声学麦克风和光学麦克风的工作原理不同，当试图联合处理来自声学麦克风和光学麦克风的信号时可能出现挑战。
[0020]根据本公开的各方面，提供了光学麦克风信号和声学麦克风信号的联合处理。例如，根据各个方面，联合地捕获和处理来自光学麦克风和声学麦克风的信号可以改善麦克风在不利的声学条件下的性能，同时减少或最小化对音频质量的负面影响。根据一个或多个具体实施，来自基于光的麦克风(诸如光学麦克风)的麦克风信号可用于选择声学麦克风信号的表示声音的源(例如，所关注源，诸如电子设备的用户的话音或特定位置处的人的话音)的部分。根据一个或多个具体实施，来自基于光的麦克风的麦克风信号可与来自声学麦克风的麦克风信号进行时间对齐，以考虑光速与声速之间的差。根据一个或多个具体实施，来自声学麦克风的麦克风信号与来自基于光的麦克风的麦克风信号之间的差可用于操纵(steer)(例如，以机械方式和/或以编程方式)声学麦克风和/或基于光的麦克风。
[0021]图1示出了根据一个或多个具体实施的用于处理音频信号的示例性网络环境，包括例如声学麦克风信号与附加的信号的联合处理。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
[0022]网络环境100包括电子设备102、电子设备104和电子设备105、无线音频输入/输出设备103、网络106和服务器108。网络106可通信地(直接或间接地)耦接例如电子设备102、电子设备104、电子设备105和/或服务器108中的一者或多者。在图1中，无线音频输入/输出设备103被示为经由电子设备102耦接到网络106；然而，在一个或多个具体实施中，无线音频输入/输出设备103可直接耦接到网络106、经由另一电子设备耦接到网络106，或可耦接到电子设备102、电子设备104和/或电子设备105而不耦接到网络106。
[0023]网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。在一个或多个具体实施中，通过网络106的连接可被称为广域网连接，而电子设备102和无线音频输入/输出设备103之间的连接可被称为对等连接。出于解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：从声学麦克风获得第一麦克风信号；从基于光的麦克风获得第二麦克风信号；以及通过基于所述第二麦克风信号选择所述第一麦克风信号的表示来自源的声音的部分来检测所述声音。2.根据权利要求1所述的方法，其中所述第一麦克风信号包括声学麦克风信号，所述方法还包括从包括所述声学麦克风的声学麦克风阵列的至少一个附加的声学麦克风获得至少一个附加的声学麦克风信号，并且其中选择所述第一麦克风信号的所述部分包括使用所述声学麦克风信号和所述至少一个附加的声学麦克风信号来确定多个声学子带概率。3.根据权利要求2所述的方法，其中选择所述第一麦克风信号的所述部分还包括使用所述第二麦克风信号来确定多个光学子带概率。4.根据权利要求3所述的方法，其中选择所述第一麦克风信号的所述部分还包括：使用所述多个声学子带概率和所述多个光学子带概率来生成声学掩码；以及将所述声学掩码应用于至少所述声学麦克风信号以选择所述第一麦克风信号的所述部分。5.根据权利要求1所述的方法，其中获得所述第二麦克风信号包括将来自所述基于光的麦克风的光源的光投射到所述声音的所述源上，并且基于投射光的在所述基于光的麦克风的光传感器处接收到的反射部分来检测所述声音的所述源的振动。6.根据权利要求5所述的方法，其中所述基于光的麦克风包括振动传感器、深度传感器或高帧率图像传感器。7.根据权利要求5所述的方法，还包括在时间上对齐所述第一麦克风信号和所述第二麦克风信号，以考虑所述光的所述反射部分从所述声音的所述源传播到所述光传感器的时间与所述声音从所述声音的所述源传播到所述声学麦克风的时间之间的差。8.一种方法，包括：从声学麦克风获得第一麦克风信号；从基于光的麦克风获得第二麦克风信号；在时间上对齐所述第一麦克风信号和所述第二麦克风信号以考虑光速与声速之间的差；以及部分地基于已经在时间上对齐的所述第一麦克风信号和所述第二麦克风信号来生成包含与来自源的声音相对应的内容的输出音频信号。9.根据权利要求8所述的方法，其中对齐所述第一麦克风信号和所述第二麦克风信号包括：基于所述第一麦克风信号和所述第二麦克风信号的互相关来确定所述第二麦克风信号的延迟时间；以及将所述延迟时间应用于所述第二麦克风信号以使所述第一麦克风信号与所述第二麦克风信号对齐。10.根据权利要求8所述的方法，其中对齐所述第一麦克风信号和所述第二麦克风信号包括：确定到所述声音的所述源的距离；
基于所述距离、所述光速和所述声速确定所述第二麦克风信号的延迟时间；以及将所述延迟时间应用于所述...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：苹果公司，
类型：发明
国别省市：