利用追赶缓冲器的麦克风设备和方法技术

在麦克风处，在缓冲来自数据流的音频数据以创建缓冲数据的同时，在数据流中检测语音活动。向主机发送指示数据流中的语音活动的肯定检测的信号。当从主机接收到外部时钟信号时，麦克风的内部操作与外部时钟信号同步。通过第一路径选择性地发送缓冲数据流，第一路径包括缓冲器，缓冲器具有表示第一数据流移动通过所述缓冲器花费的时间的缓冲器延迟时间。通过第二路径将数据流连续地发送作为实时数据流，第二路径不包括缓冲器，实时数据流在给定时刻开始于扩展缓冲数据。缓冲数据流和实时数据流被多路复用到单条数据线上，并且将多路复用的数据流发送到主机。

【技术实现步骤摘要】
【国外来华专利技术】利用追赶缓冲器的麦克风设备和方法相关申请的交叉引用本申请要求2015年7月13日提交的美国专利申请No.14/797,310的优先权的益处，该美国专利申请的全部内容以引用方式并入本文中。
本申请涉及声学系统，并且更具体地，涉及在这些音频系统中处理数据。
技术介绍
多年来已经使用了不同类型的声学装置。一种类型的装置是麦克风，并且一种类型的麦克风是微机电系统(MEMS)麦克风，其包括具有振膜和背板的MEMS芯片。MEMS芯片由基板支撑并且被壳体(例如，带有壁的罩或盖)包围。端口可以延伸穿过基板(用于底部端口装置)或穿过壳体的顶部(用于顶部端口装置)。在任何情况下，声能都穿过端口，移动振膜并且形成背板的变化可能性，从而生成电信号。麦克风被部署在诸如个人计算机或蜂窝电话的各种类型装置中。现在存在将由传感器产生的模拟数据转换成数字数据的数字麦克风。麦克风中的不同处理元件利用该数字数据来执行诸如声学活动检测的不同功能集合。声学活动检测需要花时间以可靠方式执行。遗憾的是，检测的该时间延迟招致时延(latency)，该时延允许实时数据堆积或阻塞，由此降低系统的效率和性能。在进行声学活动检测时，时延还要求使用缓冲器来存储音频数据。之前方法的问题导致一些用户对这些之前方法不满意，尤其是所招致的并且存在于音频路径中的时延在语音识别任务中影响用户体验。附图说明为了更完全地理解本公开，应当参照以下详细描述和附图，其中：图1是麦克风的框图；图2是两个麦克风和主机的系统的框图；图3是主机的框图；图4A和图4B例示了根据本专利技术的各种实施方式的本文中描述的系统的操作的时序图；图5是本文中描述的系统的操作的流程图；图6是示出拼接(stitching)的一个示例的示图；图7是示出拼接方法的流程图；图8是示出图7的拼接方法的时间线和数据图；图9是另一种拼接方法的流程图；图10是示出图9的拼接方法的时间线和数据图。本领域技术人员将理解，为了简单和清楚起见，例示了图中的元件。还应该理解，某些动作和/或步骤可按特定发生次序进行描述或描绘，而本领域的技术人员将理解，关于顺序的这种特定性实际上并不要求。还将理解，除非本文中另外阐述特定含义，否则本文中使用的术语和表述具有与这些术语和表述相对于其对应探讨和研究领域相一致的普通含义。具体实施方式本专利技术的方法允许第一麦克风以具有实时数据路径和包括缓冲数据的路径的模式进行操作。本专利技术的方法利用了主机处理装置，与实时或现场音频数据捕捉相比，主机处理装置使得第一麦克风的缓冲音频数据能够追赶(catchup)或弥补(recover)时延。除此之外，这允许使用第二麦克风，其中，第二麦克风不具有缓冲器。因此，与第一麦克风关联的任何时延问题都被解决。在这些实施方式的许多中并且在主机处理装置处，从第一麦克风接收缓冲脉冲密度调制(PDM)数据和尚未被缓冲的实时PDM数据。缓冲PDM数据和实时PDM数据具有相同数据内容，但是当在主机处理装置处被接收时，它们相对于另一个是不连续的。在第一时间间隔内，处理缓冲PDM数据，并且在第二时间间隔内，处理实时PDM数据。主机处理装置被操作为使得第二时间间隔小于第一时间间隔。实时PDM数据被拼接到缓冲PDM数据的末尾。拼接有效地使缓冲PDM数据相对于实时PDM数据时间对准，以创建按时间顺序排序的输出数据流。这允许在这类声学活动检测MEMS麦克风中原本总是存在的时延被传递到主机装置，在主机装置处，可以比实时处理更快地容易地弥补该时延。在其它方面，从第二麦克风接收第二实时数据，第二麦克风不具有缓冲器。在一些示例中，在本文中描述的时延弥补机制的结尾之后，将第二实时数据插入输出流中。在其它示例中，对缓冲PDM数据的处理包括确定触发词或短语在缓冲PDM数据中的存在。在其它示例中，对缓冲PDM数据和实时PDM数据进行抽取。在一些示例中，以多路复用格式来接收缓冲PDM数据和实时PDM数据。在这些实施方式中的其它实施方式中，主机处理装置包括接口和处理器。该接口具有输入端和输出端，并且被配置成在输入端处从第一麦克风接收缓冲脉冲密度调制(PDM)数据和未经缓冲的实时PDM数据。缓冲PDM数据和实时PDM数据具有相同数据内容，但是在主机处理装置处被接收时，它们相对于另一个具有时延并且是不连续的。处理器耦接至接口，并且处理器被配置成在第一时间间隔内处理缓冲PDM数据，并且在第二时间间隔内处理实时PDM数据。处理器被操作以使得第二时间间隔小于第一时间间隔。处理器被配置成将实时PDM数据拼接至缓冲PDM数据的末尾。拼接有效地使缓冲PDM数据相对于实时PDM数据同步，并且在输出端处创建输出数据流。现在参照图1，描述低功率声学活动检测(AAD)麦克风100。麦克风100包括电荷泵102、换能器104(包括背板和振膜)、输入缓冲器106(具有可调增益)、∑Δ调制器108、抽取器110、声学活动检测(AAD)模块112、环形缓冲器114、第一上变频器116、第二上变频器118、控制器(处理器)120、内部振荡器122和时钟检测器124。麦克风100以超低功率提供语音活动检测(VAD)能力。AAD模块112(包括(VAD)增益块)检测语音和类似语音活动。环形缓冲器114实时地接收数据。在一个方面，缓冲器可以具有足以保持256毫秒音频的大小。在另一个方面，缓冲器大小可以被调节(trimable)成不同于256毫秒的大小。电荷泵102向换能器104提供电荷或能量，并且换能器104将声学信号转换成模拟信号，模拟信号被存储在输入缓冲器106中。∑Δ调制器108将模拟信号转换成脉冲密度调制(PDM)信号，并且抽取器110将PDM信号转换成脉码调制(PCM)信号。PCM数据具有两条路径：通过环形缓冲器114到上变频器118的第一路径、以及用于直接流过上变频器118的实时数据的第二路径。第一上变频器116和第二上变频器118将PCM数据转换成PDM数据。控制器(处理器)120确定何时向主机进行传输。内部振荡器122供应时钟信号，并且时钟检测器124确定是否已经经由引脚134从外部主机接收到外部时钟。AAD模块112在麦克风的低功率操作模式下检测声学活动。通过该块的输入增益来部分地控制该块的灵敏度。在一个方面，AAD模块112的VAD增益部分具有可调节增益。AAD模块112监测输入声学信号以寻找类似语音签名，而不需要时钟引脚134上的外部时钟，并且该操作发生在以上提到的低功率感测模式中。在检测到满足触发要求的声学活动时，麦克风100使SEL/STAT引脚130生效(assert)，以唤醒系统的信号链中的其余部分。另外，当时钟在由系统所提供的时钟线(在其唤醒之后)上可用时，麦克风100在数据线上提供实时PDM数据。缓冲器114存储在活动检测之前产生的之前量数据(例如，之前256毫秒的数据或者可能不同于256毫秒的预设调节量)。一旦在引脚134上已经检测到时钟信号，麦克风100就经由数据线132将缓冲数据发送到主机。数据输出可以在SEL/STAT线130指示检测到语音的同时开始。另选地，数据输出可以在经由引脚134接收到外部时钟之后开始。现在参照图2，描述了具有追赶缓冲器的系统的另一个示例。该系统包括第一麦克风202、第二麦克风2本文档来自技高网...

【技术保护点】
一种麦克风设备中的方法，所述方法包括以下步骤：使用所述麦克风的本地振荡器对所述麦克风设备计时；从表示声能的电信号生成数字数据流；确定在所述电信号中是否存在语音活动，同时将表示所述电信号的数据缓冲在所述麦克风设备的缓冲器中，缓冲的数据相对于表示所述电信号的实时数据具有延迟时间；在确定语音活动的存在之后，在所述麦克风设备的接口处提供多路复用数据流，所述多路复用数据流包括缓冲数据流和实时数据流，所述缓冲数据流和所述实时数据流基于所述电信号，所述缓冲数据流包括非实时缓冲数据和实时缓冲数据，所述缓冲数据流的末尾部分在时间上与所述实时数据流的开始部分重叠；以及在中止在所述接口处提供所述缓冲数据流之后，在所述接口处提供所述实时数据流。

【技术特征摘要】
【国外来华专利技术】2015.07.13 US 14/797,3101.一种麦克风设备中的方法，所述方法包括以下步骤：使用所述麦克风的本地振荡器对所述麦克风设备计时；从表示声能的电信号生成数字数据流；确定在所述电信号中是否存在语音活动，同时将表示所述电信号的数据缓冲在所述麦克风设备的缓冲器中，缓冲的数据相对于表示所述电信号的实时数据具有延迟时间；在确定语音活动的存在之后，在所述麦克风设备的接口处提供多路复用数据流，所述多路复用数据流包括缓冲数据流和实时数据流，所述缓冲数据流和所述实时数据流基于所述电信号，所述缓冲数据流包括非实时缓冲数据和实时缓冲数据，所述缓冲数据流的末尾部分在时间上与所述实时数据流的开始部分重叠；以及在中止在所述接口处提供所述缓冲数据流之后，在所述接口处提供所述实时数据流。2.根据权利要求1所述的方法，所述方法还包括以下步骤：在与所述缓冲数据流的持续时间对应的时间段之后，中止在所述麦克风设备的所述接口处提供所述多路复用数据流。3.根据权利要求2所述的方法，所述方法还包括以下步骤：响应于确定所述语音活动存在，在所述接口处提供信号；响应于在所述接口处提供所述信号，在所述麦克风设备的所述接口处接收外部时钟信号，在接收到所述外部时钟信号之后，在所述接口处提供所述多路复用数据流。4.根据权利要求3所述的方法，所述方法还包括以下步骤：通过将所述缓冲数据流与所述外部时钟信号的第一部分同步并且将所述实时数据流与所述外部时钟信号的第二部分同步来将所述多路复用数据流与所述外部时钟信号同步。5.根据权利要求1所述的方法，其中所述生成所述数字数据流包括：从由第一声学传感器产生的第一电信号生成第一数字数据流并且从由第二声学传感器产生的第二电信号生成第二数字数据流，并且所述在所述接口处提供所述实时数据流包括：基于所述第一电信号提供第一实时数据流并且基于所述第二电信号提供第二实时数据流。6.根据权利要求5所述的方法，所述方法还包括：将所述第一实时数据流与时钟信号的第一部分同步并且将所述第二实时数据流与所述时钟信号的第二部分同步。7.根据权利要求1所述的方法，所述方法还包括：在所述麦克风设备的所述接口的单个连接处提供所述多路复用数据流。8.根据权利要求1所述的方法，所述方法还包括：将所述多路复用数据流的所述缓冲数据流与时钟信号的第一部分同步并且将所述多路复用数据流的所述实时数据流与所述时钟信号的第二部分同步。9.根据权利要求1所述的方法，所述方法还包括以下步骤：在所述麦克风设备的所述接口处提供所述多路复用数据流之前，在第一模式下操作所述麦克风设备；以及在所述麦克风设备的所述接口处提供所述多路复用数据流的同时，在第二模式下操作所述麦克风设备，其中，在所述第一模式下操作的所述麦克风设备的功耗小于在所述第二模式下操作的所述麦克风设备的功耗。10.一种麦克风设备，所述麦克风设备包括：转换器，所述转换器具有模拟输入端和数字输出端，从表示所述转换器的所述模拟输入端上的声能的电信号产生所述转换器的所述输出端上的数字数据流；缓冲器，所述缓冲器耦接至所述转换器的所述数字输出端，在所述缓冲器中缓冲表示所述电信号的数据，缓冲的数据相对于表示所述电信号的实时数据具有延迟时间；语音活动检测器VAD，所述VAD耦接至所述转换器的所述数字输出端，所述VAD检测在所述缓冲器中缓冲数据的同时在所述电信号中是否存在语音活动；多路复用器，所述多路复用器耦接至所述缓冲器和所述转换器，所述多路复用器耦接至所述麦克风设备的接口，在检测到语音活动之后由所述麦克风设备在所述接口处提供多路复用数据流，所述多路复用数据流包括缓冲数据流和实时数据流，所述缓冲数据流和所述实时数据流基于所述电信号，所述缓冲数据流包括非实时缓冲数据和实时缓冲数据，所述缓冲数据流中的所述实时缓冲数据的一部分在时间上与所述实时数据流的一部分重叠，在所述接口处不再提供所述缓冲数据流之后，由所述麦克风设备在所述接口处提供所述实时数据流。11.根据权利要求10所述的设备，所述设备还包括本地振荡器，至少在所述接口处提供所述多路复用数据流之前，由所述本地振荡器对所述麦克风设备计时。12.根据权利要求11所述的设备，所述设备是集成电路。13.根据权利要求11所述的设备，所述设备还包括与所述集成电路封装在一起的声学传感器，所述声学传感器耦接至所述转换器的所述模拟输入端，所述集成电路至少包括所述本地振荡器、所述转换器、所述缓冲器、所述VAD和所述多路复用器。14.根据权利要求10所述的设备，所述多路复用数据流的所述缓冲数据流与时钟信号的第一部分同步，并且所述多路复用数据流的所述实时数据流与所述时钟信号的第二部分同步。15.根据权利要求10所述的设备，所述设备还包括耦接至所述VAD和所述接口的控制器，所述接口包括时钟连接、数据连接和信号连接，响应于所述VAD检测到语音活动，在所述接口的所述信号连接处提供所述控制器的信号，响应于所述控制器的所述信号，由在所述接口的所述时钟连接处提供的外部时钟信号对所述麦克风设备计时，响应于所述外部时钟信号，在所述接口的所述数据连接处提供所述多路复用器的所述多路复用数据流，在不再提供所述缓冲数据流之后，在所述接口的所述数据连接处提供所述实时数据流。16.根据权利要求15所述的设备，所述缓冲数据流与所述外部时钟信号的第一边沿同步，并且所述实时数据流与所述外部时钟信号的第二边沿同步。17.根据权利要求10所述的设备，所述数字数据流包括从由第一声学传感器产生的第一电信号生成的第一数字数据流以及从由第二声学传感器产生的第二电信号生成的第二数字数据流，所述实时数据流包括基于所述第一电信号的第一实时数据流和基于所述第二电信号的第二实时数据流。18.根据权利要求17所述的设备，所述第一实时数据流与时钟信号的第一部分同步并且所述第二实时数据流与所述时钟信号的第二部分同步。19.根据权利要求10所述的设备，所述接口具有单个数据引脚，在检测到语音活动之后，在所述接口的所述单个数据引脚处提供所述多路复用数据流。20.根据权利要求10所述的设备，在所述接口处提供所述多路复用数据流之前，所述麦克风设备具有第一操作模式，在所述接口处提供所述多路复用数据流的同时，所述麦克风设备具有第二操作模式，其中，所述第一操作模式的功耗小于所述第二操作模式的功耗。21.一种音频信号处理器中的方法，所述方法包括以下步骤：在所述音频信号处理器的接口处接收多路复用数据流，所述多路复用数据流基于表示声能的电信号，所述多路复用数据流包括缓冲数据流和实时数据流，所述缓冲数据流包括非实时缓冲数据和实时缓冲数据，所述缓冲数据流的末尾部分在时间上与所述实时数据流的开始部分重叠；通过将所述实时数据流的截断开始部分附加到所述缓冲数据流的截断末尾部分，将所述缓冲数据流的一部分与所述实时数据流的一部分组合，所述缓冲数据流的截断末尾部分和所述实时数据流的截断开始部分大体没有处理伪像，其中，所述缓冲数据流和所述实时数据流的组合部分大体没有重叠部分，并且形成所述电信号的一部分的大体连续表示；以及在不再接收所述缓冲数据流之后，继续在所述接口处接收所述实时数据流。22.根据权利要求21所述的方法，其中附加包括：将所述实时数据流的截断开始部分附加到所述实时缓冲数据的截断末尾部分，所述实时缓冲数据的截断末尾部分没有处理伪像。23.根据权利要求21所述的方法，所述方法还包括以下步骤：在所述接口处接收到所述多路复用数据流之前，在所述接口处接收第一信号，响应于在所述接口处接收到所述第一信号，在所述接口处提供所述音频信号处理器的时钟信号，以及在提供所述时钟信号之后，在所述接口处接收所述多路复用数据流。24.根据权利要求23所述的方法，其中，接收所述多路复用数据流包括：接收与所述时钟信号的第一边沿同步的所述缓冲数据流并且接收与所述时钟信号的第二边沿同步的所述实时数据流。25.根据权利要求23所述的方法，所述方法还包括以下步骤：在接口处接收到所述第一信号之前，使所述音频信号处理器在第一模式下操作，并且在所述接口处接收到所述多路复用数据流和所述实时数据流的同时，使所述音频信号处理器在第二模式下操作，其中，在所述第一模式下操作的所述音频信号处理器的功耗小于在所述第二模式下操作的所述音频信号处理器的功耗。26.根据权利要求21所述的方法，通过接收表示由第一声学传感器检测的声能的第一实时流和表示由第二声学传感器检测的声能的第二实时数据流来接收所述实时数据流。27.根据权利要求26所述的方法，接收与所述时钟信号的第一部...

【专利技术属性】
技术研发人员：D·南迪，李杨，R·拉古维尔，R·A·鲍勃，A·帕夫洛夫斯基，K·S·贝特尔森，H·汤姆森，N·D·沃伦，戴维·P·罗苏姆，
申请(专利权)人：美商楼氏电子有限公司，
类型：发明
国别省市：美国,US