音频处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种音频处理方法、装置、电子设备及存储介质，所述音频处理方法包括：检测音频数据采集和播放过程中是否存在时延抖动；当检测到存在时延抖动时，重置声学回声消除AEC系统的状态；利用状态重置后的AEC系统执行声学回声消除处理，其中，状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强。

【技术实现步骤摘要】
音频处理方法、装置、电子设备及存储介质
本公开涉及信号处理领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。
技术介绍
通话场景(例如，会议应用、直播连麦、游戏语音)应用下常使用AEC系统消除掉通话对端语音，保留近端语音。对于不同平台手机、PC、macOS等一般在AEC工作期间会发生时延抖动。通常造成这种抖动的原因是系统采集和播放回调数据不均匀或系统线程调度不均匀导致。然而，AEC系统无法感知这种时延抖动，只能依靠内部的声学模型(例如，自适应滤波器)的收敛，而这种情况下会出现漏回声现象。
技术实现思路
本公开提供一种音频处理方法、装置电子设备及存储介质，以至少解决相关技术中的当存在时延抖动时出现漏回声现象的问题。根据本公开实施例的第一方面，提供了一种音频处理方法，所述音频处理方法包括：检测音频数据采集和播放过程中是否存在时延抖动；当检测到存在时延抖动时，重置声学回声消除AEC系统的状态；利用状态重置后的AEC系统执行声学回声消除处理，其中，状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强。可选地，所述检测音频数据采集和播放过程中是否存在时延抖动，包括：用系统时间戳标记采集的第一音频数据和播放的第二音频数据，并根据第一音频数据和第二音频数据的时间戳来检测音频数据采集过程中是否存在时延抖动；以及在没有获取到第二音频数据的情况下对第一音频数据进行缓存，并根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动。可选地，所述根据第一音频数据和第二音频数据的时间戳来确定音频数据采集过程中是否存在时延抖动，包括：当第二音频数据的时间戳不大于第一音频数据的时间戳时，确定音频数据采集过程中存在时延抖动。可选地，所述根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动，包括：当缓存的第一音频数据的量超出预设缓存阈值时，确定音频数据播放过程中存在时延抖动。可选地，所述当检测到存在时延抖动时，重置声学回声消除AEC系统的状态，包括：当检测到存在时延抖动时，设置AEC重置标记；在第二音频数据的时间戳大于第一音频数据的时间戳并且存在设置的AEC重置标记的情况下，重置AEC系统的状态。可选地，所述重置声学回声消除AEC系统的状态，包括：使AEC系统中的用于声学回声消除的声学模型处于第一状态，其中，状态重置之前AEC系统中的所述声学模型处于第二状态，其中，所述声学模型在第一状态下比在第二状态下对声学回声的消除程度强。可选地，所述利用状态重置后的AEC系统执行声学回声消除处理，包括：利用AEC系统中的处于第一状态的声学模型从采集的音频数据中消除播放的音频数据的声学回声。根据本公开实施例的第二方面，提供了一种音频处理装置，所述音频处理装置包括：检测单元，被配置为检测音频数据采集和播放过程中是否存在时延抖动；状态重置单元，被配置为当检测到存在时延抖动时，重置声学回声消除AEC系统的状态；回声消除单元，被配置为利用状态重置后的AEC系统执行声学回声消除处理，其中，状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强。可选地，所述检测音频数据采集和播放过程中是否存在时延抖动，包括：用系统时间戳标记采集的第一音频数据和播放的第二音频数据，并根据第一音频数据和第二音频数据的时间戳来检测音频数据采集过程中是否存在时延抖动；以及在没有获取到第二音频数据的情况下对第一音频数据进行缓存，并根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动。可选地，所述根据第一音频数据和第二音频数据的时间戳来确定音频数据采集过程中是否存在时延抖动，包括：当第二音频数据的时间戳不大于第一音频数据的时间戳时，确定音频数据采集过程中存在时延抖动。可选地，所述根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动，包括：当缓存的第一音频数据的量超出预设缓存阈值时，确定音频数据播放过程中存在时延抖动。可选地，所述当检测到存在时延抖动时，重置声学回声消除AEC系统的状态，包括：当检测到存在时延抖动时，设置AEC重置标记；在第二音频数据的时间戳大于第一音频数据的时间戳并且存在设置的AEC重置标记的情况下，重置AEC系统的状态。可选地，所述重置声学回声消除AEC系统的状态，包括：使AEC系统中的用于声学回声消除的声学模型处于第一状态，其中，状态重置之前AEC系统中的所述声学模型处于第二状态，其中，所述声学模型在第一状态下比在第二状态下对声学回声的消除程度强。可选地，所述利用状态重置后的AEC系统执行声学回声消除处理，包括：利用AEC系统中的处于第一状态的声学模型从采集的音频数据中消除播放的音频数据的声学回声。根据本公开实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；存储计算机可执行指令的至少一个存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的音频处理方法。根据本公开实施例的第四方面，提供了一种存储指令的计算机可读存储介质，其特征在于，当所述指令由至少一个处理器执行时，促使所述至少一个处理器执行如上所述的音频处理方法。根据本公开实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如上所述的音频处理方法。本公开的实施例提供的技术方案至少带来以下有益效果：本公开的实施例通过检测时延抖动并在检测到存在时延抖动时重置AEC系统状态，并利用状态重置后的AEC系统执行声学回声控制处理来避免漏回声。由于状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强，所以可以有效地避免漏回声。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的示例实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。图1是本公开的示例性实施例可以应用于其中的示例性系统架构；图2是本公开示例性实施例的音频处理方法的流程图；图3是本公开示例性实施例的AEC系统的示意图；图4是示出本公开示例性实施例的音频处理方法的示例的示意图；图5是示出本公开示例性实施例的音频处理装置的框图；图6是根据本公开示例性实施例的电子设备的框图。具体实施方式为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式本文档来自技高网...

【技术保护点】
1.一种音频处理方法，包括：/n检测音频数据采集和播放过程中是否存在时延抖动；/n当检测到存在时延抖动时，重置声学回声消除AEC系统的状态；/n利用状态重置后的AEC系统执行声学回声消除处理，其中，状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强。/n

【技术特征摘要】
1.一种音频处理方法，包括：
检测音频数据采集和播放过程中是否存在时延抖动；
当检测到存在时延抖动时，重置声学回声消除AEC系统的状态；
利用状态重置后的AEC系统执行声学回声消除处理，其中，状态重置后的AEC系统比重置前的AEC系统对声学回声的消除程度更强。


2.如权利要求1所述的音频处理方法，其中，所述检测音频数据采集和播放过程中是否存在时延抖动，包括：
用系统时间戳标记采集的第一音频数据和播放的第二音频数据，并根据第一音频数据和第二音频数据的时间戳来检测音频数据采集过程中是否存在时延抖动；以及
在没有获取到第二音频数据的情况下对第一音频数据进行缓存，并根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动。


3.如权利要求2所述的音频处理方法，其中，所述根据第一音频数据和第二音频数据的时间戳来确定音频数据采集过程中是否存在时延抖动，包括：
当第二音频数据的时间戳不大于第一音频数据的时间戳时，确定音频数据采集过程中存在时延抖动。


4.如权利要求2所述的音频处理方法，其中，所述根据第一音频数据的缓存状态来检测音频数据播放过程中是否存在时延抖动，包括：
当缓存的第一音频数据的量超出预设缓存阈值时，确定音频数据播放过程中存在时延抖动。


5.如权利要求2所述的音频处理方法，其中，所述当检测到存在时延抖动时，重置声学回声消除AEC系统的状态，包括：
当检测到存在时延抖动时，设置AEC重置标记；
在第二音频数据的时间戳大于第一音频数据的...

【专利技术属性】
技术研发人员：陈翔宇，邢文浩，张晨，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11