一种回声消除方法、装置、存储介质及处理器制造方法及图纸

本申请公开了一种回声消除方法、装置、存储介质及处理器。该方法将伴奏音频数据和对端设备提供的对端音频数据进行混音，得到第一混音数据，并播放该第一混音数据，使得本端设备的用户能够听到伴奏和对端传输来的音频。本端设备采集了第一混音数据在本端播放后对应的衰减音频数据和本端音频数据，将采集的音频数据进行回声消除处理在内的音频处理操作，通过回声消除，输出的音频数据为不带有回声。将经过音频处理后的音频数据与伴奏音频数据进行混音，得到第二混音数据，最终向对端设备发送该第二混音数据。第二混音数据不包含伴奏回声和对端音频的回声，避免了本端播放伴奏时对端收听到回声，消除双方音视频交互的回声干扰，提升音视频交互质量。

An echo cancellation method, device, storage medium and processor

【技术实现步骤摘要】
一种回声消除方法、装置、存储介质及处理器
本申请涉及音频处理
，特别是涉及一种回声消除方法、装置、存储介质及处理器。
技术介绍
随着音视频技术的发展和硬件设备的迭代更新，在线教育软件、视频通话软件和娱乐连麦互动软件等需要进行音频处理的软件越来越多的走进了人们的生活中。这些软件的使用依赖于日趋完善的音视频互动技术。在音视频互动过程中，容易产生回声问题，影响使用体验。下面通过示例简单描述音视频互动过程中回声的产生原理。假设用户A通过第一设备与使用第二设备的用户B进行音视频互动，第二设备的扬声器播放出用户A的声音，但是该声音在用户B所在的室内经过多个传播和反射路径后，与用户B的声音一同被第二设备的麦克风采集，然后发送给第一设备。如此一来，用户A通过第一设备的扬声器听到的声音也包括了自己的回声。显然，回声效果影响用户的音视频互动体验。目前已有一些开源项目例如Webrtc和Speex可以对回声进行消除。但是音视频互动时，还常常面临播放伴奏音频给对端用户的需求。例如，教育软件中老师想要播放教学视频给学生看，教学视频中的音频即相当于老师音频的伴奏音频；或者，直播连麦软件中主播唱歌想要添加一个伴奏音乐，该伴奏音乐即相当于主播歌声的伴奏音频。此时如果使用其他的软件在本端播放上述伴奏音频，而由其他软件播放的伴奏音频不在已有成熟的声学回声消除(AcousticEchoCanceler，AEC)技术处理范围内，这导致对端用户会听到两次甚至更多次的伴奏音频。如何避免在设备播放伴奏音频时导致对端收听到的回声，已经成为本领域急需解决的技术问题。
技术实现思路
基于上述问题，本申请提供了一种回声消除方法、装置、存储介质及处理器，以在音视频互动一方播放伴奏音频时避免另一方收听到该伴奏音频的回声。本申请实施例公开了如下技术方案：第一方面，本申请提供一种回声消除方法，方法应用在本端设备，所述方法包括：将伴奏音频数据和对端音频数据进行混音，得到第一混音数据；所述对端音频数据由与所述本端设备进行音频交互的对端设备提供；播放所述第一混音数据；采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据；所述音频处理包括：回声消除处理；将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据；向所述对端设备发送所述第二混音数据。可选地，利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据，具体包括：将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，对所述输入数据先后进行高通滤波处理、回声消除处理、噪声抑制处理、静音检测处理和增益控制处理，得到所述处理后的音频数据。可选地，方法基于Webrtc实现，所述Webrtc包括用于导入所述伴奏文件的接口、播放线程和采集线程；其中，所述播放线程执行所述将伴奏音频数据和对端音频数据进行混音，得到第一混音数据，以及执行所述播放所述第一混音数据；所述采集线程执行所述采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；所述采集线程还执行所述将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据。可选地，在所述将伴奏音频数据和对端音频数据进行混音之前，所述方法还包括：将伴奏文件解码为PCM格式的音频原始数据；对所述音频原始数据按照目标采样率和目标声道数进行重采样，得到所述伴奏音频数据。可选地，在所述对所述音频原始数据按照目标采样率和目标声道数进行重采样，得到所述伴奏音频数据之后，还包括：将所述伴奏音频数据放入缓存；将所述缓存中的所述伴奏音频数据切割为多个目标长度的数据包，依次放入队列中；所述目标长度为所述播放线程和所述采集线程各自的最小数据单元的长度。可选地，回声消除处理具体包括：根据所述第一混音数据的播放时间和所述衰减音频数据的采集时间估计延迟；将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，根据所述延迟对所述输入数据进行对齐；对对齐后的输入数据进行线性自适应滤波回声消除；对消除过线性回声的输入数据进行非线性处理，其中，所述非线性处理包括：残留回声处理和非线性剪切处理；对非线性处理过的输入数据进行舒适噪声生成。第二方面，本申请提供一种回声消除装置，装置应用在本端设备，所述装置包括：第一混音模块，用于将伴奏音频数据和对端音频数据进行混音，得到第一混音数据；所述对端音频数据由与所述本端设备进行音频交互的对端设备提供；播放模块，用于播放所述第一混音数据；采集模块，用于采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；第一音频处理模块，用于利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据；所述音频处理包括：回声消除处理；第二混音模块，用于将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据；发送模块，用于向所述对端设备发送所述第二混音数据。可选地，第一音频处理模块，具体包括：高通滤波单元、回声消除单元、噪声抑制单元、静音检测单元和增益控制单元，分别用于对输入数据先后进行高通滤波处理、回声消除处理、噪声抑制处理、静音检测处理和增益控制处理，得到所述处理后的音频数据；所述输入数据包括：所述衰减音频数据和所述本端音频数据。可选地，装置基于Webrtc实现，所述Webrtc包括用于导入所述伴奏文件的接口、播放线程和采集线程；其中，所述播放线程用于实现所述第一混音模块和所述播放模块的功能；所述采集线程用于实现所述采集模块和所述第二混音模块的功能。可选地，装置还包括：伴奏处理模块，所述伴奏处理模块包括：解码单元，用于将伴奏文件解码为PCM格式的音频原始数据；重采样单元，用于对所述音频原始数据按照目标采样率和目标声道数进行重采样，得到所述伴奏音频数据。可选地，伴奏处理模块，还包括：缓存单元，用于将所述伴奏音频数据放入缓存；数据切割单元，用于将所述缓存中的所述伴奏音频数据切割为多个目标长度的数据包，依次放入队列中；所述目标长度为所述播放线程和所述采集线程各自的最小数据单元的长度。可选地，回声消除单元具体包括：延迟估计子单元，用于根据所述第一混音数据的播放时间和所述衰减音频数据的采集时间估计延迟；将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，根据所述延迟对所述输入数据进行对齐；线性消除子单元，用于对对齐后的输入数据进行线性自适应滤波回声消除；非线性消除子单元，用于对消除过线性回声的输入数据进行非线性处理，其中，所述非线性处理包括：残留回声处理和非线性剪切处理；舒适噪声生产子单元，用于对非线性处理过的输入数据进行舒适噪声生成。第三方面，本文档来自技高网...

【技术保护点】
1.一种回声消除方法，其特征在于，所述方法应用在本端设备，所述方法包括：/n将伴奏音频数据和对端音频数据进行混音，得到第一混音数据；所述对端音频数据由与所述本端设备进行音频交互的对端设备提供；/n播放所述第一混音数据；/n采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；/n利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据；所述音频处理包括：回声消除处理；/n将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据；/n向所述对端设备发送所述第二混音数据。/n

【技术特征摘要】
1.一种回声消除方法，其特征在于，所述方法应用在本端设备，所述方法包括：
将伴奏音频数据和对端音频数据进行混音，得到第一混音数据；所述对端音频数据由与所述本端设备进行音频交互的对端设备提供；
播放所述第一混音数据；
采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；
利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据；所述音频处理包括：回声消除处理；
将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据；
向所述对端设备发送所述第二混音数据。


2.根据权利要求1所述的回声消除方法，其特征在于，所述利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据，具体包括：
将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，对所述输入数据先后进行高通滤波处理、回声消除处理、噪声抑制处理、静音检测处理和增益控制处理，得到所述处理后的音频数据。


3.根据权利要求1所述的回声消除方法，其特征在于，所述方法基于Webrtc实现，所述Webrtc包括用于导入所述伴奏文件的接口、播放线程和采集线程；
其中，所述播放线程执行所述将伴奏音频数据和对端音频数据进行混音，得到第一混音数据，以及执行所述播放所述第一混音数据；
所述采集线程执行所述采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；还执行所述将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据。


4.根据权利要求3所述的回声消除方法，其特征在于，在所述将伴奏音频数据和对端音频数据进行混音之前，所述方法还包括：
将伴奏文件解码为PCM格式的音频原始数据；
对所述音频原始数据按照目标采样率和目标声道数进行重采样，得到所述伴奏音频数据。


5.根据权利要求4所述的回声消除方法，其特征在于，在所述对所述音频原始数据按照目标采样率和目标声道数进行重采样，得到所述伴奏音频数据之后，还包括：
将所述伴奏音频数据放入缓存；
将所述缓存中的所述伴奏音频数据切割为多个目标长度的数据包，依次放入队列中；所述目标长度为所述播放线程和所述采集线程各自的最小数据单元的长度。


6.根据权利要求1-5任一项所述的回声消除方法，其特征在于，所述回声消除处理具体包括：
根据所述第一混音数据的播放时间和所述衰减音频数据的采集时间估计延迟；
将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，根据所述延迟对所述输入数据进行对齐；
对对齐后的输入数据进行线性自适应滤波回声消除；
对消除过线性回声的输入数据进行非线性处理，其中，所述非线性处理包括：残留回声处理和非线性剪切处理；
对非线性处理过的输入数据进行舒适噪声生成。


7.一种回声消除装置，其特征在于，所述装置应用在本端设备，所述装置包括：
第一混音模块，用于将伴奏音频数据和对端音频数据进行混音，得到第一混音数据...

【专利技术属性】
技术研发人员：朱玉荣，刘洪献，张芳，
申请(专利权)人：北京文香信息技术有限公司，
类型：发明
国别省市：北京;11