即时通讯的音质优化方法、装置及设备制造方法及图纸

本申请是关于一种即时通讯的音质优化方法、装置及设备，应用于第二客户端，获取第一人声数据；第一人声数据为第一客户端的用户的声音数据；利用外放扬声器播放第一人声数据以及第二客户端本地的背景音乐，得到第一音频数据；利用麦克风采集第一音频数据和第二人声数据，得到第二音频数据；第二人声数据为第二客户端的用户的声音数据；过滤第二音频数据中的第一人声数据，得到过滤后的第二音频数据；当第一客户端播放的背景音乐的来源为第二客户端时，将过滤后的第二音频数据发送给第一客户端，以使得第一客户端播放过滤后的第二音频数据。通过本方案能够在存在背景音乐的即时通讯中，兼顾回声消除和减少非回声的人声的音质损耗的效果。

Instant messaging audio quality optimization methods, devices and equipment

【技术实现步骤摘要】
即时通讯的音质优化方法、装置及设备
本申请涉及即时通讯
，尤其涉及一种即时通讯的音质优化方法、装置及设备。
技术介绍
即时通讯应用可以支持通讯双方或者多方进行实时的语音交流。在实时的语音交流中，当某一端用户对播放效果要求较高，或者所使用的即时通讯设备无法使用耳机时，该端用户，即近端用户可以使用外放扬声器播放另一端用户，即远端用户的声音。此时，近端用户的麦克在采集近端用户的声音时，外放扬声器播放的远端用户的声音会漏进麦克，与近端用户的声音一起被麦克采集，导致远端用户接收到的近端用户的声音中含有近端用户的麦克所采集的远端用户的声音，近端用户的声音中出现远端用户的回声。对此，相关技术会对近端用户的麦克风采集的音频数据进行回声消除，即对近端用户的麦克风采集的音频数据中的回声进行过滤，得到近端用户的声音，作为目标音频数据发送给远端用户。在一些除了通讯者的声音，还存在BGM(BackgroundMusic，背景音乐)的场景中，例如，连麦K歌以及连麦短剧表演等等场景中，由于背景音乐在通讯过程中始终存在，并且由外放扬声器播放后，会被采集到近端用户发送给远端用户的音频数据中，因此，为了得到目标音频数据，在按照上述回声消除的方式过滤近端用户发送的音频数据时，需要进行持续性过滤。但是，持续性过滤容易造成过滤过度，导致对无需过滤的非回声的声音，即近端用户的人声造成一定程度的过滤过度，近端用户的人声出现卡顿以及人声忽大忽小等音质损耗的问题。因此，如何在存在背景音乐的即时通讯中，兼顾回声消除和减少非回声的人声的音质损耗，是即时通讯技术中亟待解决的问题。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种即时通讯的音质优化方法、装置及设备。根据本申请实施例的第一方面，提供一种即时通讯的音质优化方法，应用于第二客户端，所述方法包括：获取第一人声数据；所述第一人声数据为第一客户端的用户的声音数据；利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；利用麦克风采集所述第一音频数据和第二人声数据，得到第二音频数据；所述第二人声数据为所述第二客户端的用户的声音数据；过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据；当所述第一客户端播放的背景音乐的来源为所述第二客户端时，将所述过滤后的第二音频数据发送给所述第一客户端，以使得所述第一客户端播放所述过滤后的第二音频数据。可选的，所述获取第一人声数据，包括：当所述第一客户端利用耳机播放背景音乐时，接收所述第一客户端发送的第一人声数据；或者，当所述第一客户端利用外放扬声器播放背景音乐时，接收所述第一客户端将第三音频数据中的背景音乐过滤得到、并发送的第一人声数据；所述第三音频数据为第一客户端利用麦克风采集所述第一人声数据和所述第一客户端播放的第一客户端本地的背景音乐得到的音频数据；或者，当所述第一客户端利用外放扬声器播放背景音乐时，接收所述第一客户端发送的所述第三音频数据；过滤所述第三音频数据中的背景音乐，得到第一人声数据。可选的，所述过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据的步骤，包括：将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器，以使得所述自适应滤波器按照所述第一人声数据，模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据；将完成抵消的所述第二音频数据，作为过滤后的第二音频数据。可选的，在所述利用麦克风采集所述第一音频数据和第二人声数据，得到第二音频数据得到步骤之后，将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器的步骤之前，所述方法还包括：对所获取的第一人声数据和所述第二音频数据进行相关性对比，得到所述第一人声数据和所述第二音频数据之间的第一延时；所述将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器，以使得所述自适应滤波器按照所输入的第一人声数据，模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据，包括：将所述第二音频数据、所获取的第一人声数据和所述第一延时分别输入自适应滤波器，以使得所述自适应滤波器按照所述第一延时，对所述第一人声数据和所述第二音频数据进行对齐，得到对齐后的第一人声数据，按照所述对齐后的第一人声数据模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据。可选的，在所述得到所述自适应滤波器输出的过滤后的第二音频数据的步骤之后，所述方法还包括：当所述第一客户端播放的背景音乐的来源为所述第一客户端本地时，将所述过滤后的第二音频数据发送给所述第一客户端，以使得所述第一客户端对所述第一客户端本地的背景音乐和所述过滤后的第二音频数据进行对齐以及叠加，并播放所述叠加后的音频数据；或者，当所述第一客户端播放的背景音乐的来源为所述第二客户端时，按照所述第一延时，对所述第二客户端本地的背景音乐和所述过滤后的第二音频数据进行对齐以及叠加，并将叠加后的音频数据发送给所述第一客户端，以使得所述第一客户端播放所述叠加后的音频数据。根据本申请实施例的第二方面，提供另一种即时通讯的音质优化方法，应用于第一客户端，所述方法包括：发送第一人声数据给第二客户端，以使得所述第二客户端利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；或者，发送第三音频数据给所述第二客户端，以使得所述第二客户端过滤所述第三音频数据中的背景音乐，得到第一人声数据，并利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；其中，所述第一人声数据为所述第一客户端的用户的声音数据；所述第三音频数据为所述第一客户端利用麦克风采集所述第一人声数据和所述第一客户端本地的背景音乐得到的音频数据；接收所述第二客户端发送的第二音频数据；所述第二音频数据为所述第二客户端利用麦克风采集所述第一音频数据和第二人声数据，得到的音频数据；所述第二人声数据为所述第二客户端的用户的声音数据；过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据；当所述第一客户端播放的背景音乐的来源为所述第二客户端时，播放所述过滤后的第二音频数据。可选的，在所述过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据的步骤之后，所述方法还包括：当所述第一客户端播放的背景音乐的来源为所述第一客户端本地时，对所述第一客户端本地的背景音乐和所述过滤后的第二音频数据进行相关性对比，得到所述第一客户端本地的背景音乐和所述过滤后的第二音频数据之间的第二延时；按照所述第二延时，对所述第一客户端本地的背景音乐和所述过滤后的第二音频数据进行对齐，得到对齐后的第一客户端本地的背景音乐，叠加所述对齐后的第一客户端本地的背景音乐和所述过滤后的第二音频数据，得到叠加后的音频数据；播放所述叠加后的音频数据。根据本申请实施例的第三方面，提供一种即时通讯的音质优化装置，应用于第二客户端，所述装置包括：第一人声获取模块，被配置为获取第一人声数据；所述第一人声数据为第一客户端的用户的声音数据；第本文档来自技高网...

【技术保护点】
1.一种即时通讯的音质优化方法，其特征在于，应用于第二客户端，所述方法包括：获取第一人声数据；所述第一人声数据为第一客户端的用户的声音数据；利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；利用麦克风采集所述第一音频数据和第二人声数据，得到第二音频数据；所述第二人声数据为所述第二客户端的用户的声音数据；过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据；当所述第一客户端播放的背景音乐的来源为所述第二客户端时，将所述过滤后的第二音频数据发送给所述第一客户端，以使得所述第一客户端播放所述过滤后的第二音频数据。

【技术特征摘要】
1.一种即时通讯的音质优化方法，其特征在于，应用于第二客户端，所述方法包括：获取第一人声数据；所述第一人声数据为第一客户端的用户的声音数据；利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；利用麦克风采集所述第一音频数据和第二人声数据，得到第二音频数据；所述第二人声数据为所述第二客户端的用户的声音数据；过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据；当所述第一客户端播放的背景音乐的来源为所述第二客户端时，将所述过滤后的第二音频数据发送给所述第一客户端，以使得所述第一客户端播放所述过滤后的第二音频数据。2.根据权利要求1所述的方法，其特征在于，所述获取第一人声数据，包括：当所述第一客户端利用耳机播放背景音乐时，接收所述第一客户端发送的第一人声数据；或者，当所述第一客户端利用外放扬声器播放背景音乐时，接收所述第一客户端将第三音频数据中的背景音乐过滤得到、并发送的第一人声数据；所述第三音频数据为第一客户端利用麦克风采集所述第一人声数据和所述第一客户端播放的第一客户端本地的背景音乐得到的音频数据；或者，当所述第一客户端利用外放扬声器播放背景音乐时，接收所述第一客户端发送的所述第三音频数据；过滤所述第三音频数据中的背景音乐，得到第一人声数据。3.根据权利要求1所述的方法，其特征在于，所述过滤所述第二音频数据中的第一人声数据，得到过滤后的第二音频数据的步骤，包括：将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器，以使得所述自适应滤波器按照所述第一人声数据，模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据；将完成抵消的所述第二音频数据，作为过滤后的第二音频数据。4.根据权利要求3所述的方法，其特征在于，在所述利用麦克风采集所述第一音频数据和第二人声数据，得到第二音频数据得到步骤之后，将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器的步骤之前，所述方法还包括：对所获取的第一人声数据和所述第二音频数据进行相关性对比，得到所述第一人声数据和所述第二音频数据之间的第一延时；所述将所述第二音频数据和所获取的第一人声数据分别输入自适应滤波器，以使得所述自适应滤波器按照所输入的第一人声数据，模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据，包括：将所述第二音频数据、所获取的第一人声数据和所述第一延时分别输入自适应滤波器，以使得所述自适应滤波器按照所述第一延时，对所述第一人声数据和所述第二音频数据进行对齐，得到对齐后的第一人声数据，按照所述对齐后的第一人声数据模拟所述第二音频数据中的第一人声数据，得到模拟的第一人声数据，并利用所述模拟的第一人声数据抵消所述第二音频数据中的第一人声数据。5.一种即时通讯的音质优化方法，其特征在于，应用于第一客户端，所述方法包括：发送第一人声数据给第二客户端，以使得所述第二客户端利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；或者，发送第三音频数据给所述第二客户端，以使得所述第二客户端过滤所述第三音频数据中的背景音乐，得到第一人声数据，并利用外放扬声器播放所述第一人声数据以及所述第二客户端本地的背景音乐，得到第一音频数据；其中，所述第一人声数据为所述第一客户端的用户的声音数据；所述第三音频数据为所述第一客户端利用麦克风采集所述第一人声数据和所述第一...

【专利技术属性】
技术研发人员：张晨，郭亮，董培，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11