一种回声消除中的时延估计方法、装置以及电子设备制造方法及图纸

本说明书实施例公开了一种回声消除中的时延估计方法、装置以及电子设备。通过生成超声波信号，叠加所述超声波信号和下行信号生成参考信号；采集混合信号；从所述混合信号中分离出第一有效信号，以及，从所述参考信号中分离出第二有效信号；针对所述第一有效信号中的任意目标帧信号，确定该目标帧信号的第一功率谱，以及，确定所述第二有效信号中所包含的多帧信号所对应的多个第二功率谱；根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。从而仅需要基于包含超声波信号的频段的第一有效信号和第二有效信号进行频率谱的距离分析，即可以实现时延值的准确估计，计算量小效率更高，并且具有强鲁棒性。且具有强鲁棒性。且具有强鲁棒性。

【技术实现步骤摘要】
一种回声消除中的时延估计方法、装置以及电子设备


[0001]本说明书涉及互联网
，尤其涉及一种回声消除中的时延估计方法、装置以及电子设备。

技术介绍

[0002]随着互联网的发展，视频/语音通话已经被广泛应用。而在语音的双向对话中，本地麦克风所拾取到的混合信号中同时包括了本地人员所产生的近端语音信号以及播放设备所播放的远端语音信号，这对于远端人员而言，则不可避免的会产生回声信号，因此需要进行回声消除。在回声消除中，最为重要的部分即需要对进行时延值的估计，以进行后续的线性以及非线性的回声消除，当前在进行时延估计时通常需要对拾取到的全量的混合信号和全量的下行信号进行对比处理，计算量较大，且近端语音、噪声都会对时延估计产生较大影响，时延估计准确度差。
[0003]基于此，需要一种更为高效的回声消除中的时延估计方案。

技术实现思路

[0004]本说明书一个或多个实施例提供一种回声消除中的时延估计方法、装置、电子设备以及存储介质，用以解决如下技术问题：需要更为有效的回声消除中的时延估计方案。
[0005]为解决上述技术问题，在第一方面，本说明书实施例提供一种回声消除中的时延估计方法，包括：
[0006]生成超声波信号，叠加所述超声波信号和下行信号生成参考信号；
[0007]采集混合信号，其中，所述混合信号中包含播放所述参考信号所产生的回声信号；
[0008]从所述混合信号中分离出第一有效信号，以及，从所述参考信号中分离出第二有效信号，其中，所述第一有效信号和第二有效信号的频段包含所述超声波信号的频段；
[0009]针对所述第一有效信号中的任意目标帧信号，确定该目标帧信号的第一功率谱，以及，确定所述第二有效信号中所包含的多帧信号所对应的多个第二功率谱；
[0010]根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。
[0011]在第二方面，本说明书实施例提供一种回声消除中的时延估计装置，包括：
[0012]信号生成模块，生成超声波信号，叠加所述超声波信号和下行信号生成参考信号；
[0013]信号采集模块，采集混合信号，其中，所述混合信号中包含播放所述参考信号所产生的回声信号；
[0014]信号分离模块，从所述混合信号中分离出第一有效信号，以及，从所述参考信号中分离出第二有效信号，其中，所述第一有效信号和第二有效信号的频段包含所述超声波信号的频段；
[0015]功率谱确定模块，针对所述第一有效信号中的任意目标帧信号，确定该目标帧信号的第一功率谱，以及，确定所述第二有效信号中所包含的多帧信号所对应的多个第二功
率谱；
[0016]时延估计模块，根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。
[0017]在第三方面，本说明书实施例提供一种电子设备，包括：
[0018]至少一个处理器；以及，
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
[0021]在第四方面，本说明书实施例提供一种非易失性计算机存储介质，存储有计算机可执行指令，当计算机读取存储介质中的计算机指令后，该指令使得一个或多个处理器执行如第一方面所述的方法。
[0022]本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：生成超声波信号，叠加所述超声波信号和下行信号生成参考信号；采集混合信号；从所述混合信号中分离出第一有效信号，以及，从所述参考信号中分离出第二有效信号，其中，所述第一有效信号和第二有效信号的频段包含所述超声波信号的频段；针对所述第一有效信号中的任意目标帧信号，确定该目标帧信号的第一功率谱，以及，确定所述第二有效信号中所包含的多帧信号所对应的多个第二功率谱；根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。从而仅需要基于包含超声波信号的频段的第一有效信号和第二有效信号进行频率谱的距离分析，即可以实现时延值的准确估计，计算量小效率更高，并且具有强鲁棒性。
附图说明
[0023]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本说明书实施例所提供的系统架构的示意图；
[0025]图2为本说明书实施例所提供的一种回声消除中的时延估计方法的流程示意图；
[0026]图3为本说明书实施例所涉及的功率谱的示意图；
[0027]图4为本说明书实施例所提供的一种时延值估计的逻辑结构示意图；
[0028]图5为本说明书实施例提供的一种回声消除中的时延估计装置的结构示意图；
[0029]图6为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
[0030]本说明书实施例提供一种回声消除中的时延估计方法、装置、设备以及存储介质。
[0031]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请
保护的范围。
[0032]在语音双向通信(例如，手机打电话、第三方app音视频通话、会议设备多方音视频通话等等)的场景中，远端语音经过处理成为下行信号，被送至播放设备(例如扬声器、听筒)进行外放，本地的麦克风会拾取本地的混合信号(包括近端语音、噪音以及播放下行信号时所产生的回声)，并进行上行处理(包括回声消除、降噪、音量调节等等)以形成上行信号，并发送至远端。在这个过程中，回声消除是较为重要的环节，而在回声消除中，即需要对于回声相对于下行信号的时延值进行快速而准确的估计。
[0033]基于此，本申请实施例提供一种更为高效的时延估计方案。如图1所示，图1为本说明书实施例所提供的系统架构的示意图。在该系统架构中，加入了超声波信号生成器生成超声波信号，将超声波信号对下行信号进行叠加以生成参考信号，并在后续的过程中从全量信号中提取部分包含超声波信号的有效信号进行处理，从而实现更为高效的时延估计。
[0034]如图2所示，图2为本说明书实施例所提供的一种回声消除中的时延估计方法的流程示意图，包括：
[0035]S201：生成超声波信号，叠加所述超声波信号和下行信号生成参考信号。
[0036]超声波信号在经过扬声器播放时即产生不能为人耳所直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回声消除中的时延估计方法，包括：生成超声波信号，叠加所述超声波信号和下行信号生成参考信号；采集混合信号，其中，所述混合信号中包含播放所述参考信号所产生的回声信号；从所述混合信号中分离出第一有效信号，以及，从所述参考信号中分离出第二有效信号，其中，所述第一有效信号和第二有效信号的频段包含所述超声波信号的频段；针对所述第一有效信号中的任意目标帧信号，确定该目标帧信号的第一功率谱，以及，确定所述第二有效信号中所包含的多帧信号所对应的多个第二功率谱；根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。2.如权利要求1所述的方法，其中，生成超声波信号，包括：以预设的窗口时长为周期，生成在所述周期内各帧频率不同的超声波信号。3.如权利要求1所述的方法，根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值，包括：将与所述第一功率谱的距离最小的第二功率谱确定为目标功率谱；确定所述第一功率谱的所对应的第一时间点，以及，确定所述目标功率谱所对应的第二时间点；将所述第一时间点与所述第二时间点的时间差确定为所述时延值。4.如权利要求3所述的方法，其中，当一帧信号包含多个采样点信号时，所述方法还包括：确定所述目标帧信号中的多个采样点信号的第一时域特征；获取包含第二时间点所对应的帧信号在内的连续多帧的时延信号，确定所述时延信号中的多个采样点信号的第二时域特征；互相关所述第一时域特征和所述第二时域特征，生成互相关结果；将互相关结果最大时所对应的时间差确定为所述时延值。5.如权利要求4所述的方法，其中，获取包含第二时间点所对应的帧信号在内的连续多帧的时延信号，包括：获取所述第二时间点之前和之后的连续的指定帧数的帧信号，组成所述时延信号；或者，以所述第二时间点为终点，获取在所述第二时间点之前连续的指定帧数的帧信号，组成所述时延信号。6.如权利要求1所述的方法，其中，根据所述第一功率谱和所述第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值，包括：基于预设的功率阈值和/或频率阈值二值化所述第一功率谱和所述第二功率谱，生成二值化的第一功率谱和第二功率谱；根据所述二值化的第一功率谱和第二功率谱的距离确定所述目标帧信号相对于所述参考信号的时延值。7.如权利要求1所述的方法，其中，所述方法还包括：将所述混合信号和所述参考信号根据所述时延值进行时间对齐；根据对齐后的所述混合信号和所述参考信号进行回声消除，生成上行信号。8.一种回声消除中的时延估计装置，包括：
...

【专利技术属性】
技术研发人员：王青，郑伟军，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：