多声道声学回声消除制造技术

一种操作回放设备的方法，包括：接收源音频内容，源音频内容包括第一声道音频流和第二声道音频流。方法还包括：通过回放设备的第一扬声器驱动器和第二扬声器驱动器回放第一声道音频流和第二声道音频流，从而产生第一声道音频输出和第二声道音频输出。由回放设备的麦克风接收所捕获的音频流，并且所捕获的音频流的部分与第一声道音频输出和第二声道音频输出相对应。将第一声道音频流和第二声道音频流组合为复合音频信号，并且对复合音频信号执行声学回声消除，以产生声学回声消除输出，然后将声学回声消除输出应用于所捕获的音频流以增加所捕获的音频流的信噪比。

【技术实现步骤摘要】
【国外来华专利技术】多声道声学回声消除相关申请的交叉引用本申请要求于2017年9月28日递交的题为“Multi-ChannelAcousticEchoCancellation”的美国专利申请No.15/718,911的优先权，其内容通过引用整体并入本文。
本公开涉及消费者产品，更具体地，涉及与媒体播放或者其某个方面有关的方法、系统、产品、特征、服务和其他元素。
技术介绍
访问和收听外放设置的数字音频的选项是有限的，直到2003年SONOS公司申请了其首批专利申请中的一件题为“MethodforSynchronizingAudioPlaybackbetweenMultipleNetworkedDevices”的专利申请，并在2005年开始出售媒体回放系统为止。Sonos无线高保真(HiFi)系统使人们可以通过一个或多个联网回放设备体验来自许多源的音乐。通过安装在智能电话、平板计算机或计算机上的软件控制应用，人们能够在具有联网回放设备的任何房间中播放他或她期望的内容。另外，使用控制器，例如，能够将不同的歌曲流传输到具有回放设备的每个房间，能够将房间组合在一起进行同步回放，或者可以在所有房间中同步收听相同的歌曲。鉴于对数字媒体的兴趣日益增长，仍然需要开发一种消费者易于使用的技术以进一步增强收听体验。附图说明参考以下说明书、所附权利要求和附图，可以更好地理解所公开的技术的特征、方面和优点，在附图中：图1示出其中可以实践某些实施例的媒体回放系统配置；图2是根据本文描述的方面的示例回放设备的功能框图；图3是根据本文描述的方面的示例控制设备的功能框图；图4是根据本文描述的方面的示例控制器界面；图5是根据本文描述的方面的多个网络设备的示意图；图6是根据本文描述的方面的网络麦克风设备的功能框图；图7是回放设备可以位于其中的示例环境的示意图；图8是根据本文描述的方面的操作回放设备的方法的流程图；图9是回放设备的音频管线的框图；图10是操作回放设备的方法的流程图；图11是操作回放设备的方法的流程图；以及图12是操作回放设备的方法的流程图。附图用于示出示例实施例的目的，但可以理解，本专利技术不限于附图所示的布置和手段。具体实施方式I.概述一些回放设备被配置为播放音乐和/或其他音频内容，且还具有语音控制能力。这些回放设备可以被配置为通过麦克风从用户接收声命令，分析所接收的声命令，并且翻译声命令以由回放设备执行。例如，如果用户说出声命令以“播放滚石乐队”，则回放设备可以通过麦克风捕获该命令，分析并翻译该命令，并且相应地播放来自滚石乐队的音乐。然而，在一些情况下，用户可能在回放设备已经回放媒体时发出声命令，并且麦克风可以捕获与用户的声命令和回放设备输出的媒体二者相对应的音频。在这种情况下，回放设备输出的媒体可能包含“噪声”，该“噪声”可以使用户对回放设备的声命令模糊不清。在其他情况下，由回放设备回放媒体的麦克风捕获的音频本身可以解释为向回放设备发出的语音命令，并且回放设备可能投入计算资源以确定由麦克风捕获的该伪“命令”的性质。因此，对所捕获的信号执行声学回声消除可以“过滤出”由回放设备回放的媒体的输出，从而增加由麦克风捕获的信号的信噪比。本质上，声学回声消除过程从麦克风捕获的音频信号中移除由回放设备播放的不需要的音频，从而使所捕获的音频上的语音命令更加清晰。然而，使用具有一个以上扬声器的回放设备(例如，多声道回放系统)执行声学回声消除可能具有相关联的缺点。具体地，通常将音频信号流发送给回放设备的两个或更多个扬声器驱动器中的每一个，并且必须通过声学回声消除从所捕获的音频中分别滤除每个音频信号流。该过滤过程通常需要大量的计算资源，这通常超出了典型回放设备的CPU的计算能力。本文提供的示例涉及与前文所述的声学回声消除过程相比，使用更少的计算资源来允许执行多声道声学回声消除的方法、回放设备和系统。在一些实施例中，可以使用回放设备的现有CPU来执行多声道声学回声消除。虽然本文描述的一些示例可以涉及由诸如“用户”和/或其他实体之类的给定行动者执行的功能，但是应该理解，这仅仅出于解释的目的。除非权利要求本身的语言明确要求，否则不应将权利要求解释为要求任何此类示例行动者进行动作。本领域普通技术人员将理解，本公开包括许多其他实施例。II.示例操作环境图1示出媒体回放系统100的示例配置，在媒体回放系统100中可以实践或实施本文公开的一个或多个实施例。如图所示的媒体回放系统100与具有若干房间和空间(例如，主卧室、书房、餐厅和客厅)的示例家居环境相关联。如图1的示例所示，媒体回放系统100包括回放设备102-124、控制设备126和128、以及有线或无线网络路由器130。可以在以下部分中找到关于示例媒体回放系统100的不同组件以及不同组件可以如何交互以向用户提供媒体体验的进一步讨论。虽然本文的讨论可能总体上涉及示例媒体回放系统100，但是本文描述的技术不限于尤其如图1所示的家居环境内的应用。例如，本文描述的技术可以在可能期望多区域音频的环境中有用，例如，诸如餐馆、商场或机场之类的商业环境、诸如运动型多用途车(SUV)、公共汽车或小汽车之类的载运工具、船舶或船只、飞机等。a.示例回放设备图2示出示例回放设备200的功能框图，示例回放设备200可以被配置为图1的媒体回放系统100的回放设备102-124中的一个或多个。回放设备200可以包括处理器202、软件组件204、存储器206、音频处理组件208、音频放大器210、扬声器212、包括无线接口216和有线接口218的网络接口214、以及麦克风220。在一种情况下，回放设备200可以不包括扬声器212，而是包括用于将回放设备200连接到外部扬声器的扬声器接口。在另一种情况下，回放设备200可以既不包括扬声器212也不包括音频放大器210，而是包括用于将回放设备200连接到外部音频放大器或视听接收器的音频接口。在一个示例中，处理器202是时钟驱动计算组件，其被配置为根据存储器206中存储的指令处理输入数据。存储器206可以是有形计算机可读介质，其被配置为存储可由处理器202执行的指令。例如，存储器206可以是数据存储设备，其可以加载有可由处理器202执行以实现某些功能的一个或多个软件组件204。在一个示例中，所述功能可以包括回放设备200从音频源或另一回放设备获取音频数据。在另一示例中，所述功能可以包括回放设备200向网络上的另一设备或回放设备发送音频数据。在又一示例中，所述功能可以包括将回放设备200与一个或多个回放设备配对以创建多声道音频环境。某些功能可以包括回放设备200与一个或多个其他回放设备同步对音频内容的回放。在同步回放期间，收听者将优选地不能够感知到回放设备200和一个或多个其他回放设备对音频内容的回放之间的时间延迟差异。通过引用整体并入本文的题为“Systemandmethodfo本文档来自技高网...

【技术保护点】
1.一种操作回放设备的方法，所述回放设备具有第一扬声器驱动器、至少第二扬声器驱动器和一个或多个麦克风，所述方法包括：/n通过所述回放设备的网络接口接收源音频流，所述源音频流包括要由所述回放设备回放的源音频内容，其中，所述源音频内容包括第一声道音频流和第二声道音频流；/n通过经由第一扬声器驱动器回放第一声道音频流来产生第一声道音频输出；/n通过经由第二扬声器驱动器回放第二声道音频流来产生第二声道音频输出；/n通过一个或多个麦克风接收所捕获的音频流，所捕获的音频流包括与第一声道音频输出相对应的第一部分和与第二声道音频输出相对应的第二部分，其中所捕获的音频流具有第一信噪比；/n将第一声道音频流和第二声道音频流组合为复合音频信号；/n将复合音频信号和所捕获的音频流变换到短时傅立叶变换域；/n对复合音频信号执行声学回声消除，其中对复合音频信号执行声学回声消除产生声学回声消除输出；以及/n将声学回声消除输出应用于所捕获的音频流，从而将所捕获的音频流的信噪比从第一信噪比增加到第二信噪比，其中所述第二信噪比比所述第一信噪比大。/n

【技术特征摘要】
【国外来华专利技术】20170928 US 15/718,9111.一种操作回放设备的方法，所述回放设备具有第一扬声器驱动器、至少第二扬声器驱动器和一个或多个麦克风，所述方法包括：
通过所述回放设备的网络接口接收源音频流，所述源音频流包括要由所述回放设备回放的源音频内容，其中，所述源音频内容包括第一声道音频流和第二声道音频流；
通过经由第一扬声器驱动器回放第一声道音频流来产生第一声道音频输出；
通过经由第二扬声器驱动器回放第二声道音频流来产生第二声道音频输出；
通过一个或多个麦克风接收所捕获的音频流，所捕获的音频流包括与第一声道音频输出相对应的第一部分和与第二声道音频输出相对应的第二部分，其中所捕获的音频流具有第一信噪比；
将第一声道音频流和第二声道音频流组合为复合音频信号；
将复合音频信号和所捕获的音频流变换到短时傅立叶变换域；
对复合音频信号执行声学回声消除，其中对复合音频信号执行声学回声消除产生声学回声消除输出；以及
将声学回声消除输出应用于所捕获的音频流，从而将所捕获的音频流的信噪比从第一信噪比增加到第二信噪比，其中所述第二信噪比比所述第一信噪比大。


2.根据权利要求1所述的方法，其中，所捕获的音频流包括与由用户发出的声命令相对应的第三部分，并且其中，将所捕获的音频流的信噪比从第一信噪比增加到第二信噪比导致所捕获的音频流中的所述第一部分和所述第二部分被消除或最小化。


3.根据权利要求1所述的方法，其中，所述回放设备包括第三扬声器驱动器，
其中，所述源音频内容包括第一声道音频流、第二声道音频流和第三声道音频流，
其中，所述方法还包括通过经由第三扬声器驱动器回放第三声道音频流来产生第三声道音频输出，
其中，通过一个或多个麦克风接收所记录的音频流，所记录的音频流包括与第一声道音频输出相对应的第一部分和与第二声道音频输出相对应的第二部分，并且还包括通过所述麦克风接收与所述第三声道音频输出相对应的第三部分，其中，所记录的音频流具有第一信噪比；以及
其中，将第一声道音频流和第二声道音频流组合为复合音频信号还包括将第一声道音频流、第二声道音频流和第三声道音频流组合为复合音频信号。


4.根据权利要求1所述的方法，还包括：
检测对复合音频信号执行声学回声消除的触发，其中，检测触发包括检测：(a)由回放设备启动回放功能，或者(b)在回放功能启动之后，回放设备接收到取消静音命令。


5.根据权利要求1所述的方法，其中，所述将第一声道音频流和第二声道音频流组合为复合音频信号是由回放设备的处理器执行的，
其中，对复合音频信号执行声学回声消除是由回放设备的处理器执行的，以及
其中，将第一声学回声消除输出应用于所捕获的音频流是由回放设备的处理器执行的。


6.一种操作回放设备的方法，所述回放设备具有第一扬声器驱动器、至少第二扬声器驱动器和一个或多个麦克风，所述方法包括：
通过所述回放设备的网络接口接收源音频流，所述源音频流包括要由所述回放设备回放的源音频内容，其中，所述源音频内容包括第一声道音频流和第二声道音频流；
通过经由第一扬声器驱动器回放第一声道音频流来产生第一声道音频输出；
通过经由第二扬声器驱动器回放第二声道音频流来产生第二声道音频输出；
通过一个或多个麦克风接收所捕获的音频流，所捕获的音频流包括与第一声道音频输出相对应的第一部分和与第二声道音频输出相对应的第二部分，其中所捕获的音频流具有第一信噪比；
对第一声道音频流和第二声道音频流执行奇异值分解，以产生信号分量的组合集；
基于一个或多个参数来选择信号分量的组合集的子集；
对所述信号分量的组合集的子集执行声学回声消除，其中对所述信号分量的组合集的子集执行声学回声消除产生第一声学回声消除输出；以及
将第一声学回声消除输出应用于所捕获的音频流，从而将所捕获的音频流的信噪比从第一信噪比增加到第二信噪比，其中第二信噪比比第一信噪比大。


7.根据权利要求6所述的方法，其中，所捕获的音频流包括与由用户发出的声命令相对应的第三部分，并且其中，将所捕获的音频流的信噪比从第一信噪比增加到第二信噪比导致所捕获的音频流中的所述第一部分和所述第二部分被消除或最小化。


8.根据权利要求6所述的方法，还包括：
将信号分量的组合集的子集中的每一个子集和所捕获的音频流变换到短时傅立叶变换域。


9.根据权利要求6所述的方法，其中，基于一个或多个参数来选择信号分量的组合集的子集包括：选择信号分量的组合集中具有以下至少一项的子集：(a)高于第一阈值能量含量的能量含量，或(b)高于第一阈值方差的所计算的方差。


10.根据权利要求6所述的方法，
其中，所述回放设备包括第三扬声器驱动器，
其中，所述源音频内容包括第一声道音频流、第二声道音频流和第三声道音频流，
...

【专利技术属性】
技术研发人员：塞义德·巴盖里·塞雷斯基，罗米·卡德里，
申请(专利权)人：搜诺思公司，
类型：发明
国别省市：美国;US