异常回声延时识别方法、装置、终端及存储介质制造方法及图纸

本申请公开了一种异常回声延时识别方法、装置、终端及存储介质，涉及通话技术领域。该方法包括：对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；响应于达到目标延时，基于第一音频特征，从候选音频特征中确定第二音频特征，候选音频特征是输出音频帧对应的音频特征，输出音频帧用于扬声器播放，第二音频特征与第一音频特征匹配；确定第二音频特征对应输出音频帧的回声延时；响应于回声延时小于目标延时，确定存在异常回声延时。提出了一种检测回声消除过程中负延时的方式，避免回声消除模块在错误回声延时下继续进行回声消除工作，或避免由于无法计算出回声延时而导致无法进行回声消除的情况，从而可以提高回声消除的准确性。消除的准确性。消除的准确性。

【技术实现步骤摘要】
异常回声延时识别方法、装置、终端及存储介质


[0001]本申请实施例涉及通话
，特别涉及一种异常回声延时识别方法、装置、终端及存储介质。

技术介绍

[0002]在通过音频终端设备进行语音通话过程中，扬声器播放出来的声音，特别是免提模式通过扬声器外放的声音比较大，容易被麦克风采集到；使得扬声器播放的声音经过麦克风采集之后又反馈至远端，则远端说话的人会听到自己的声音，形成回声并严重影响语音通话质量。
[0003]相关技术中，音频终端设备都会部署有软件或硬件的回声消除模块对麦克风采集到的回声进行消除。回声消除过程一般采用回波抵消方法，通过对比参考点信号和接收点信号，估计出从参考点信号到接收点信号之间的回声延时，并根据回声延时对参考点信号进行延时处理后，与接收点信号共同计算出传递函数，该传递函数用于预测回声副本，使得可以利用回声副本对接收点信号进行回声消除。
[0004]由上述回声消除过程可知，准确的回声延时估计是提高回声消除效果的前提条件。

技术实现思路

[0005]本申请实施例提供了一种异常回声延时识别方法、装置、终端及存储介质。所述技术方案如下：
[0006]根据本申请的一方面，提供了一种异常回声延时识别方法，所述方法包括：
[0007]对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；
[0008]响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；
[0009]确定所述第二音频特征对应输出音频帧的回声延时；
[0010]响应于所述回声延时小于所述目标延时，确定存在异常回声延时。
[0011]根据本申请的另一方面，提供了一种异常回声延时识别装置，所述装置包括：
[0012]特征提取模块，用于对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；
[0013]第一确定模块，用于响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；
[0014]第二确定模块，用于确定所述第二音频特征对应输出音频帧的回声延时；
[0015]第三确定模块，用于响应于所述回声延时小于所述目标延时，确定存在异常回声延时。
[0016]根据本申请的另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的异常回声延时识别方法。
[0017]根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上方面所述的异常回声延时识别方法。
[0018]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述可选实现方式中提供的异常回声延时识别方法。
[0019]本申请实施例提供的技术方案带来的有益效果至少包括：
[0020]本申请实施例中，针对回声消除过程中出现负延时的情况，会使得在接收点接收到输入音频帧后，需要等待一段时间才可以查找到与其匹配的输出音频帧的特点，提出了一种检测回声消除过程中负延时的方式，通过在获取到输入音频帧对应的第一音频特征，并延时目标延时后，再基于第一音频特征进行特征匹配，使得在负延时的情况下仍然可以估计出回声延时；而延时特征匹配使得计算出的回声延时为目标延时和传递延时之和，则可以基于回声延时与目标延时的关系，确定出传递延时的正负性，从而可以及时确定出是否存在异常回声延时(负延时)，避免回声消除模块在错误回声延时下继续进行回声消除工作，或避免由于无法计算出回声延时而导致无法进行回声消除的情况，从而可以提高回声消除的准确性。
附图说明
[0021]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1示出了相关技术中回声消除系统的结构示意图；
[0023]图2示出了本申请一个示例性实施例示出的回声消除系统的结构示意图；
[0024]图3示出了本申请一个示例性实施例提供的异常回声延时识别方法的流程图；
[0025]图4示出了本申请一个示例性实施例示出的确定回声延时的过程示意图；
[0026]图5示出了本申请另一个示例性实施例提供的异常回声延时识别方法的流程图；
[0027]图6示出了本申请一个示例性示出的延时估计过程与异常延时检测过程的工作示意图；
[0028]图7示出了本申请一个示例性实施例示出的音频特征的提取过程示意图；
[0029]图8示出了本申请一个示例性实施例示出的特征存储区实现延时功能的原理示意图；
[0030]图9示出了本申请一个示例性实施例示出的延时特征匹配的过程示意图；
[0031]图10示出了本申请一个示例性实施例示出的特征匹配过程示意图；
[0032]图11示出了本申另一个示例性实施例示出的延时估计过程和异常延时检测过程
示意图；
[0033]图12示出了本申请一个示例性实施例示出的延时估计过程中音频特征提取的过程示意图；
[0034]图13示出了本申请另一个示例性实施例提供的异常回声延时识别方法的流程图；
[0035]图14是本申请一个示例性实施例提供的异常回声延时识别装置的结构框图；
[0036]图15示出了本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
[0037]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0038]在通过音频终端设备进行语音通话过程中，通过扬声器(喇叭)播放出来的声音，尤其是扬声器以外放模式播放出来的声音较大，播放出来的声音容易被音频终端设备的麦克风重新采集到，使得扬声器播放出的声音经过麦克风采集之后又会送至远端，远端的说话人就会听到自己的声音，进而形成回声并严重影响通话质量。因此，一般音频终端设备(通话设备)都会包含软件或硬件的回声消除系统，并通过该回声消除系统对麦克风采集到的声音进行回声消除。图1示出了相关技术中回声消除系统的结构示意图。在语音通话过程中，终端从远端接收到的音频信号在送到扬声器播放之前需要经过一个参考点，参考点处采集到的音频信号一般称为参考点信号，参考点信号经过软硬件播放逻辑送到扬声器播放，通过空气等介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常回声延时识别方法，其特征在于，所述方法包括：对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；确定所述第二音频特征对应输出音频帧的回声延时；响应于所述回声延时小于所述目标延时，确定存在异常回声延时。2.根据权利要求1所述的方法，其特征在于，所述响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，包括：将所述第一音频特征存储在第一特征存储区的尾部存储位置，所述第一特征存储区的第一存储容量由所述目标延时确定，所述第一音频特征的存储位置随时间由尾部存储位置向头部存储位置移动；响应于所述第一音频特征移动至所述第一特征存储区的头部存储位置，基于所述第一音频特征，从所述候选音频特征中确定所述第二音频特征。3.根据权利要求2所述的方法，其特征在于，所述候选音频特征存储在第二特征存储区中，所述候选音频特征的存储位置随时间由尾部存储位置向头部存储位置移动；所述确定所述第二音频特征对应输出音频帧的回声延时，包括：获取所述第二音频特征在所述第二特征存储区中的目标存储位置；基于所述目标存储位置，确定所述第二音频特征对应输出音频帧的目标回声延时。4.根据权利要求3所述的方法，其特征在于，所述第二特征存储区的第二存储容量小于所述第一存储容量；所述对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征之后，所述方法还包括：响应于达到所述目标延时，从所述第二特征存储区中查找与所述第一音频特征匹配的候选音频特征；响应于查找到与所述第一音频特征匹配的候选音频特征，确定存在异常回声延时。5.根据权利要求4所述的方法，其特征在于，所述第一存储容量由所述目标延时和相邻输入音频帧之间的采样时间间隔确定，所述第二特征存储区中存储音频特征对应输入音频帧的帧数小于所述第一特征存储区中存储音频特征对应输出音频帧的帧数。6.根据权利要求1至5任一所述的方法，其特征在于，所述对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征，包括：对所述麦克风采集到的所述输入音频帧进行时频转换和频带划分，确定出M个子带；通过对M个子带的子带能量进行频域能量比较，得到N个第一频域特征分值，N为正整数，且M
‑
N为正整数；将N个第一频域特征分值的集合确定为所述第一音频特征。7.根据权利要求6所述的方法，其特征在于，所述通过对M个子带的子带能量进行频域能量比较，得到N个第一频域特征分值，包括：响应于第j子带能量是第j
‑
i子带至第j+i子带对应子带能量中的最大值，将第一分值
确定为所述第j子带对应的所述第一频域特征分值，所述第j子带能量为所述第j子带对应的子带能量，其中，i为正整数，且j
‑
i为正整数，j+i小于等于M；响应于所述第j子带能...

【专利技术属性】
技术研发人员：高毅，罗程，李斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：