用于移动装置的智能音频记录的系统和方法制造方法及图纸

本发明专利技术呈现一种能够自动开始和结束通过至少一个麦克风俘获的音频信号的录入的移动装置。所述移动装置能够基于所述音频输入信号的上下文信息来调整与音频记录相关的多个参数。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及音频和语音信号俘获。更具体地说，本专利技术涉及能够基于音频上下文信息的分析来起始且/或终止音频和语音信号俘获操作或(可互换地说)记录操作的移动装置。
技术介绍
由于专用集成电路(ASIC)的功率控制技术进步以及例如数字信号处理器(DSP)等移动处理器或微处理器的计算能力增加，越来越多的移动装置现在能够实现复杂得多的特征，所述特征归因于缺少所需要的计算能力或硬件(HW)支持而直到现在才被视为切实可行的。举例来说，最初开发移动台(MS)或移动电话以使得能够经由传统的基于电路的无线蜂窝式网络进行话音或语音通信。因此，原先设计MS以解决基本的话音应用，如话音压缩、声学回声消除(AEC)、噪声抑制(NS)和话音录入。实施话音压缩算法的过程被称为声码，且实施设备被称为声码器或“语音译码器”。存在若干种标准化声码算法以支持需要语音通信的不同数字通信系统。第三代合作伙伴计划2(3GPP2)是实例标准化组织，其指定码分多址(CDMA)技术，例如IS_95、CDMA20001x无线电发射技术(IxRTT)和CDMA2000演进数据优化(EV-DO)通信系统。第三代合作伙伴计划(3GPP)是另一实例标准化组织，其指定全球移动通信系统(GSM)、通用移动电信系统(UMTS)、高速下行链路包接入(HSDPA)、高速上行链路包接入(HSUPA)、高速包接入演进(HSPA+)和长期演进(LTE)。因特网协议话音(VOIP)是在3GPP和3GPP2中所定义的通信系统以及其它系统中使用的实例协议。此类通信系统和协议中所采用的声码器的实例包括国际电信联盟(ITU)-T G. 729、自适应性多速率(AMR)编解码器和增强型可变速率编解码器(EVRC)语音服务选项3、68和70。话音录入是用以录入人类话音的应用。话音录入常常被可互换地称为话音记录或话音存储。话音录入允许用户将由一个或一个以上麦克风拾取的语音信号的某部分保存到存储器空间中。所保存的话音录入可稍后在同一装置中播放，或其可通过话音通信系统发射到不同装置。虽然话音录入器可录入一些音乐信号，但所录入的音乐的质量通常并不是极好的，因为话音录入器是针对人类声道所发出的语音特性来优化的。音频录入或音频记录有时可与话音录入互换地使用，但其有时被理解成用以录入包括人类话音、乐器和音乐在内的任何可听声音的不同应用，因为其能够俘获频率比人类声道所产生的信号高的信号。在本申请案的上下文中，“音频记录”或“音频录入”术语将广泛地用以指代话音录入或音频录入。音频记录使得能够录入通常由一个或一个以上移动装置中的一个或一个以上麦克风拾取的所关注的音频信号的全部或一些部分。音频记录有时被可互换地称为音频录入或音频备忘录。
技术实现思路
本文献描述一种针对移动装置处理数字音频信号的方法。所述方法包括通过至少一个麦克风接收声学信号；将所述所接收的声学信号转换为所述数字音频信号；从所述数字音频信号提取至少一个听觉上下文信息；响应于自动检测到开始事件指示符，针对所述数字音频信号执行音频记录；以及响应于自动检测到结束事件指示符，结束所述音频记录。此至少一个听觉上下文信息可与音频分类、关键词识别或说话者识别相关。此至少一个听觉上下文信息可至少部分基于信号能量、信噪比、频谱倾斜或过零率。此至少一个听觉上下文信息可至少部分基于非听觉信息，例如日程安排信息或日历信息。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种针对移动装置处理数字音频信号的方法。所述方法包括通过 至少一个麦克风接收声学信号；将所述所接收的声学信号变换为电信号；基于用于每一经取样数据的取样频率和数据宽度来取样所述电信号以获得所述数字音频信号；将所述数字音频信号存储到缓冲器中；从所述数字音频信号提取至少一个听觉上下文信息；响应于自动检测到开始事件指示符，针对所述数字音频信号执行音频记录；以及响应于自动检测到结束事件指示符，结束所述音频记录。此检测所述开始或结束事件指示符可至少部分基于非听觉信息，例如日程安排信息或日历信息。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种检测开始事件指示符的方法。此方法包括从所述至少一个听觉上下文信息选择至少一个上下文信息；将所述选定上下文信息与至少一个预定阈值进行比较；以及基于所述将所述选定上下文信息与至少一个预定阈值进行比较来确定是否已检测到所述开始事件指示符。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种检测结束事件指示符的方法。此方法包括从所述至少一个听觉上下文信息选择至少一个上下文信息；将所述选定上下文信息与至少一个预定阈值进行比较；以及基于所述将所述选定上下文信息与至少一个预定阈值进行比较来确定是否已检测到所述结束事件指示符。此检测结束事件指示符可至少部分基于在预定时间周期期间不出现听觉事件。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种执行音频记录的方法。此方法包括至少部分基于所述至少一个听觉上下文信息来更新与所述转换相关的至少一个参数；响应于至少部分基于所述至少一个听觉上下文信息来确定是否需要额外处理，将所述额外处理应用于所述数字音频信号以获得经处理的音频信号；以及将所述经处理的音频信号存储到存储器存储装置中。所述额外处理可为信号增强处理，例如声学回声消除(AEC)、接收话音增强(RVE)、主动噪声消除(ANC)、噪声抑制(NS)、声学增益控制(AGC)、声学音量控制(AVC)或声学动态范围控制(ADRC)。所述噪声抑制可基于基于单个麦克风或多个麦克风的解决方案。所述额外处理可为信号压缩处理，例如语音压缩或音频压缩。可基于听觉上下文信息来确定例如压缩模式、位率或通道数目等压缩参数。所述存储器存储装置包括在所述移动装置内部的本地存储器或通过无线信道连接到所述移动装置的远程存储器。本地存储器与远程存储器之间的选择可至少部分基于所述听觉上下文信息。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种用于移动装置的方法，其包括自动检测开始事件指示符；响应于检测到开始事件指示符而处理音频输入信号的第一部分以获得第一信息；基于所述第一信息来确定至少一个录入参数；以及基于所述所确定的至少一个录入参数来重新配置所述移动装置的音频俘获单元。此重新配置可出现在所述音频输入信号的不活动部分期间。此至少一个录入参数包括指示用于所述移动装置的A/D转换器的取样频率或数据宽度的信息。此至少一个录入参数包括指示所述移动装置的活动麦克风的数目的信息或指示至少一个麦克风的唤醒时间间隔或活动持续时间的定时信息。此第一信息可为描述其中所述移动装置正在进行录入的环境或所述音频输入信号的特性的上下文信息。此开始事件指示符可基于经由无线信道发射的信号。本文献还描述与此方法相关的设备、装置组合和计算机可读媒体。本文献还描述一种用于移动装置的方法，其包括自动检测开始事件指示符；响应于检测到开始事件指示符而处理音频输入信号的第一部分以获得第一信息；基于所述第 一信息来确定至少一个录入参数；基于所述所确定的至少一个录入参数来重新配置所述移动装置的音频俘获单元；处理所述音频输入信号的第二部分以获得第二信息；通过抑本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.08 US 61/322,176;2011.03.30 US 13/076,2421.一种针对移动装置处理数字音频信号的方法，所述方法包含 通过至少一个麦克风接收声学信号； 将所述所接收的声学信号转换为所述数字音频信号； 从所述数字音频信号提取至少一个听觉上下文信息； 响应于自动检测到开始事件指示符，针对所述数字音频信号执行音频记录；以及 响应于自动检测到结束事件指示符，结束所述音频记录。2.根据权利要求I所述的处理数字音频信号的方法，其中所述转换包含 将所述所接收的声学信号变换为电信号； 取样所述电信号以获得所述数字音频信号；以及 将所述数字音频信号存储到缓冲器中， 其中所述取样是基于取样频率和数据宽度。3.根据权利要求I所述的处理数字音频信号的方法，其中所述至少一个听觉上下文信息涉及以下各项中的至少一者音频分类、关键词识别或说话者识别。4.根据权利要求3所述的处理数字音频信号的方法，其中所述至少一个听觉上下文信息至少部分基于以下各项中的一者信号能量、信噪比、频谱倾斜或过零率。5.根据权利要求3所述的处理数字音频信号的方法，其中所述至少一个听觉上下文信息至少部分基于非听觉信息。6.根据权利要求5所述的处理数字音频信号的方法，其中所述非听觉信息包含日程安排或日历信息。7.根据权利要求I所述的处理数字音频信号的方法，其中所述检测所述开始事件指示符包含 从所述至少一个听觉上下文信息选择至少一个上下文信息；以及响应于将所述选定上下文信息与至少一个预定阈值进行比较，确定是否已检测到所述开始事件指示符。8.根据权利要求I所述的处理数字音频信号的方法，其中所述检测所述开始事件指示符至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。9.根据权利要求I所述的处理数字音频信号的方法，其中所述执行所述音频记录包含 至少部分基于所述至少一个听觉上下文信息来更新与所述转换相关的至少一个参数； 响应于至少部分基于所述至少一个听觉上下文信息来确定是否需要额外处理，将所述额外处理应用于所述数字音频信号以获得经处理的音频信号；以及将所述经处理的音频信号存储到存储器存储装置中。10.根据权利要求9所述的处理数字音频信号的方法，其中所述额外处理包括信号增强处理。11.根据权利要求10所述的处理数字音频信号的方法，其中所述信号增强处理包括以下各项中的至少一者声学回声消除AEC、接收话音增强RVE、主动噪声消除ANC、噪声抑制NS、声学增益控制AGC、声学音量控制AVC或声学动态范围控制ADRC。12.根据权利要求11所述的处理数字音频信号的方法，其中所述噪声抑制是基于多个麦克风。13.根 据权利要求9所述的处理数字音频信号的方法，其中所述额外处理包括信号压缩处理。14.根据权利要求13所述的处理数字音频信号的方法，其中所述信号压缩处理包括语音压缩或音频压缩。15.根据权利要求13所述的处理数字音频信号的方法，其中基于所述听觉上下文信息来确定至少一个压缩参数。16.根据权利要求15所述的处理数字音频信号的方法，其中所述至少一个压缩参数包括压缩模式、位率或通道数目。17.根据权利要求9所述的处理数字音频信号的方法，其中所述存储器存储装置包含在所述移动装置内部的本地存储器或通过无线信道连接到所述移动装置的远程存储器。18.根据权利要求17所述的处理数字音频信号的方法，其中至少部分基于所述听觉上下文信息来选择所述存储器存储装置。19.根据权利要求I所述的处理数字音频信号的方法，其中所述检测所述结束事件指示符包含 从所述至少一个听觉上下文信息选择至少一个上下文信息；以及响应于将所述选定上下文信息与至少一个预定阈值进行比较，确定是否已检测到所述结束事件指示符。20.根据权利要求I所述的处理数字音频信号的方法，其中所述检测所述结束事件指示符至少部分基于在预定时间周期期间不出现听觉事件。21.根据权利要求I所述的处理数字音频信号的方法，其中所述检测所述结束事件指示符至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。22.一种用于针对移动装置处理数字音频信号的设备，所述设备包含 至少一个麦克风，其经配置以接收声学信号； 转换器，其经配置以将所述所接收的声学信号转换为所述数字音频信号； 上下文识别器，其经配置以从所述数字音频信号提取至少一个听觉上下文信息； 开始事件管理器，其经配置以自动检测开始事件指示符； 结束事件管理器，其经配置以自动检测结束事件指示符；以及 音频记录处理器，其经配置以 响应于所述检测到所述开始事件指示符而针对所述数字音频信号执行音频记录；以及 响应于所述检测到所述结束事件指示符而结束所述音频记录。23.根据权利要求22所述的用于处理数字音频信号的设备，其中所述转换器经配置以 将所述所接收的声学信号变换为电信号； 取样所述电信号以获得所述数字音频信号；以及 将所述数字音频信号存储到缓冲器中， 其中所述取样是基于取样频率和数据宽度。24.根据权利要求22所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息涉及以下各项中的至少一者音频分类、关键词识别或说话者识别。25.根据权利要求24所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息至少部分基于以下各项中的一者信号能量、信噪比、频谱倾斜或过零率。26.根据权利要求24所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息至少部分基于非听觉信息。27.根据权利要求26所述的用于处理数字音频信号的设备，其中所述非听觉信息包含日程安排或日历信息。28.根据权利要求22所述的用于处理数字音频信号的设备，其中所述开始事件管理器经配置以 从所述至少一个听觉上下文信息选择至少一个上下文信息； 将所述选定上下文信息与至少一个预定阈值进行比较；以及 响应于所述比较而确定是否已检测到所述开始事件指示符。29.根据权利要求22所述的用于处理数字音频信号的设备，其中所述检测所述开始事件指示符至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。30.根据权利要求22所述的用于处理数字音频信号的设备，其中所述音频记录处理器经配置以 至少部分基于所述至少一个听觉上下文信息来更新与所述转换器相关的至少一个参数； 至少部分基于所述至少一个听觉上下文信息来确定是否需要额外处理； 响应于所述确定而将所述额外处理应用于所述数字音频信号以获得经处理的音频信号；以及 将所述经处理的音频信号存储到存储器存储装置中。31.根据权利要求30所述的用于处理数字音频信号的设备，其中所述额外处理包括信号增强处理。32.根据权利要求31所述的用于处理数字音频信号的设备，其中所述信号增强处理包括以下各项中的至少一者声学回声消除AEC、接收话音增强RVE、主动噪声消除ANC、噪声抑制NS、声学增益控制AGC、声学音量控制AVC或声学动态范围控制ADRC。33.根据权利要求32所述的用于处理数字音频信号的设备，其中所述噪声抑制是基于多个麦克风。34.根据权利要求30所述的用于处理数字音频信号的设备，其中所述额外处理包括信号压缩处理。35.根据权利要求34所述的用于处理数字音频信号的设备，其中所述信号压缩处理包括语音压缩或音频压缩。36.根据权利要求34所述的用于处理数字音频信号的设备，其中至少一个压缩参数是基于所述听觉上下文信息来确定。37.根据权利要求36所述的用于处理数字音频信号的设备，其中所述至少一个压缩参数包括压缩模式、位率或通道数目。38.根据权利要求30所述的用于处理数字音频信号的设备，其中所述存储器存储装置包含在所述移动装置内部的本地存储器或通过无线信道连接到所述移动装置的远程存储器。39.根据权利要求38所述的用于处理数字音频信号的设备，其中所述存储器存储装置是至少部分基于所述听觉上下文信息来选择。40.根据权利要求22所述的用于处理数字音频信号的设备，其中所述结束事件管理器经配置以 从所述至少一个听觉上下文信息选择至少一个上下文信息； 将所述选定上下文信息与至少一个预定阈值进行比较；以及 响应于所述比较而确定是否已检测到所述结束事件指示符。41.根据权利要求22所述的用于处理数字音频信号的设备，其中所述检测所述结束事件指示符至少部分基于在预定时间周期期间不出现听觉事件。42.根据权利要求22所述的用于处理数字音频信号的设备，其中所述检测所述结束事件指示符至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。43.一种用于针对移动装置处理数字音频信号的设备，所述设备包含 用于通过至少一个麦克风接收声学信号的装置； 用于将所述所接收的声学信号转换为所述数字音频信号的装置； 用于从所述数字音频信号提取至少一个听觉上下文信息的装置； 用于自动检测开始事件指示符的装置； 用于响应于所述检测到所述开始事件指示符而针对所述数字音频信号执行音频记录的装置； 用于自动检测结束事件指示符的装置；以及 用于响应于所述检测到所述结束事件指示符而针对所述数字音频信号结束音频记录的装置。44.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于转换的装置包含 用于将所述所接收的声学信号变换为电信号的装置； 用于取样所述电信号以获得所述数字音频信号的装置；以及 用于将所述数字音频信号存储到缓冲器中的装置， 其中所述取样是基于取样频率和数据宽度。45.根据权利要求43所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息涉及以下各项中的至少一者音频分类、关键词识别或说话者识别。46.根据权利要求45所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息至少部分基于以下各项中的一者信号能量、信噪比、频谱倾斜或过零率。47.根据权利要求45所述的用于处理数字音频信号的设备，其中所述至少一个听觉上下文信息至少部分基于非听觉信息。48.根据权利要求47所述的用于处理数字音频信号的设备，其中所述非听觉信息包含日程安排或日历信息。49.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于检测所述开始事件指示符的装置包含 用于从所述至少一个听觉上下文信息选择至少一个上下文信息的装置； 用于将所述选定上下文信息与至少一个预定阈值进行比较的装置；以及用于响应于所述比较而确定是否已检测到所述开始事件指示符的装置。50.根据权利要求43所述的用于处理数字音频信号的设备，其中所述检测所述开始事件指示符至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。51.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于执行所述音频记录的装置包含 用于至少部分基于所述至少一个听觉上下文信息来更新与所述用于转换的装置相关的至少一个参数的装置； 用于至少部分基于所述至少一个听觉上下文信息来确定是否需要额外处理的装置； 用于响应于所述确定而将所述额外处理应用于所述数字音频信号以获得经处理的音频信号的装置；以及 用于将所述经处理的音频信号存储到存储器存储装置中的装置。52.根据权利要求51所述的用于处理数字音频信号的设备，其中所述额外处理包括信号增强处理。53.根据权利要求52所述的用于处理数字音频信号的设备，其中所述信号增强处理包括以下各项中的至少一者声学回声消除AEC、接收话音增强RVE、主动噪声消除ANC、噪声抑 制NS、声学增益控制AGC、声学音量控制AVC或声学动态范围控制ADRC。54.根据权利要求53所述的用于处理数字音频信号的设备，其中所述噪声抑制是基于多个麦克风。55.根据权利要求51所述的用于处理数字音频信号的设备，其中所述额外处理包括信号压缩处理。56.根据权利要求55所述的用于处理数字音频信号的设备，其中所述信号压缩处理包括语音压缩或音频压缩。57.根据权利要求55所述的用于处理数字音频信号的设备，其中至少一个压缩参数是基于所述听觉上下文信息来确定。58.根据权利要求57所述的用于处理数字音频信号的设备，其中所述至少一个压缩参数包括压缩模式、位率或通道数目。59.根据权利要求51所述的用于处理数字音频信号的设备，其中所述存储器存储装置包含在所述移动装置内部的本地存储器或通过无线信道连接到所述移动装置的远程存储器。60.根据权利要求59所述的用于处理数字音频信号的设备，其中所述存储器存储装置是至少部分基于所述听觉上下文信息来选择。61.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于检测所述结束事件指示符的装置包含 用于从所述至少一个听觉上下文信息选择至少一个上下文信息的装置； 用于将所述选定上下文信息与至少一个预定阈值进行比较的装置；以及 用于响应于所述比较而确定是否已检测到所述结束事件指示符的装置。62.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于检测所述结束事件指示符的装置至少部分基于在预定时间周期期间不出现听觉事件。63.根据权利要求43所述的用于处理数字音频信号的设备，其中所述用于检测所述结束事件指示符的装置至少部分基于非听觉信息，且其中所述非听觉信息包含日程安排或日历信息。64.一种非暂时计算机可读媒体，其包含用于针对移动装置处理数字音频信号的指令，所述指令在由处理器执行时致使所述处理器 通过至少一个麦克风接收声学信号； 将所述所接收的声学信号转换为所述数字音频信号； 从所述数字音频信号提取至少一个听觉上下文信息； 自动检测开始事件指示符； 响应于所述检测到所述开始事件指示符而针对所述数字音频信号执行音频记录； 自动检测结束事件指示符；以及 响应于所述检测到所述结束事件指示符而结束所述音频记录。65.根据权利要求64所述的计算机可读媒体，其中所述在由处理器执行时致使所述处理器转换所述所接收的声学信号的指令经配置以致使所述处理器 将所述所接收的声学信号变换为电信号； 取样所述电信号以获得所述数字音频信号；以及 将所述数字音频信号存储到缓冲器中，其中所述取样是基于取样频率和数据宽度。66.根据权利要求64所述的计算机可读媒体，其中所述至少一个听觉上下文信息涉及以下各...

【专利技术属性】
技术研发人员：太元·李，哈立德·埃尔马勒，柳熙钟，辛钟元，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：