基于视联网的音频处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种基于视联网的音频处理方法、装置、电子设备及存储介质，在视联网中部署有视联网终端，视联网终端与流媒体服务器通信连接，流媒体服务器与移动终端通信连接，移动终端上配置有音频播放组件，所述方法应用于移动终端中设置的应用程序对象，包括：在检测到预设的音视频通话业务被开启时，触发移动终端上预设的音频采集模式；接收流媒体服务器发送的第一音频数据，并调用音频播放组件，对第一音频数据进行播放；获取由移动终端在音频采集模式下采集的第二音频数据；根据第一音频数据及第二音频数据，对第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据。本申请可以提高视联网会议的音频通话质量。

Audio processing methods, devices, electronic devices and storage media based on video networking

【技术实现步骤摘要】
基于视联网的音频处理方法、装置、电子设备及存储介质
本申请涉及数据处理
，特别是涉及一种基于视联网的音频处理方法、装置、电子设备及存储介质。
技术介绍
当前，随着视联网业务在全国范围内的普及发展，视联网高清视联交互技术在政府部门已经其它行业中发挥着举足轻重的作用。视联网采用全球最先进的VisionVera实时高清视频交换技术，实现了目前互联网无法实现的全网高清视频实时传输，将高清视频会议、视频监控、远程培训、智能化监控分析、应急指挥、视频电话、现场直播、电视邮件、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过多种终端设备实现高清品质视频通信实时互联互通。随着视联网视频会议的广泛运用，部分视联网视频会议是在视联网和4G网络的环境下进行的。例如，在无人机入会参会中，无人机通常会连接一个手机，在手机上通过手机上安装的视联网内应用对无人机进行操控，同时需要通过该视联网内应用与指挥大厅的视联网终端进行音视频通话。一般在无人机参会的视联网视频会议中，无人机参会方一般处于野外环境，这样，用户一般会在手机上连接麦克风，在连接麦克风的情况下，手机一边播放对方的声音，一边用麦克风进行采集。但是手机播放对方的声音后，该声音会产生回声，进而回声又与新采集的声音一起传送给视联网终端。这样，造成指挥大厅的视联网终端在播放回传的声音时，对方就会听到在前次通话中他们自己发出的回声。现有技术中，视联网视频会议为了抑制该回声，一般采取的方式是：通过设置时间间隔的方式进行，以使人耳无法区分回声和新采集的声音，但是此种方式，并不能完全杜绝回声，对时间间隔的设置要求较高，且由于这个循环回路一直进行，从而使得回声越累积越多，最后出现嗡鸣声，影响通话质量。
技术实现思路
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于视联网的音频处理方法、装置、电子设备及存储介质。第一方面，本申请实施例提供一种基于视联网的音频处理方法，在所述视联网中部署有视联网终端，所述视联网终端与流媒体服务器通信连接，所述流媒体服务器与移动终端通信连接，所述移动终端上配置有音频播放组件，所述方法应用于所述移动终端中设置的应用程序对象，包括：在检测到预设的音视频通话业务被开启时，触发所述移动终端上预设的音频采集模式；接收所述流媒体服务器在所述音视频通话业务中发送的第一音频数据，并调用所述音频播放组件，对所述第一音频数据进行播放；其中，所述第一音频数据由所述视联网终端发送给所述流媒体服务器；获取由所述移动终端在所述音频采集模式下采集的第二音频数据；根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据；将所述目标音频数据发送给所述流媒体服务器，所述流媒体服务器用于将所述目标音频数据发送给所述视联网终端。可选地，在所述移动终端上配置有第一麦克风及第二麦克风，触发所述移动终端上预设的音频采集模式，包括：调用所述第一麦克风及所述第二麦克风；获取由所述移动终端在所述音频采集模式下采集的第二音频数据，包括：获取由所述第一麦克风采集的第一麦克风音频数据，以及由所述第二麦克风采集的第二麦克风音频数据；根据所述第一麦克风音频数据及所述第二麦克风音频数据，对所述第二麦克风音频数据进行降噪处理，得到第二音频数据。可选地，根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据，包括：在所述第二音频数据中，确定与所述第一音频数据对应的第三音频数据；将所述第三音频数据从所述第二音频数据中滤除，得到滤除所述第三音频数据的目标音频数据。可选地，在触发所述移动终端上预设的音频采集模式的同时，所述方法还包括：调用所述移动终端中设置的自适应滤波器；在所述第二音频数据中，确定与所述第一音频数据的频率相同的第三音频数据，包括：将所述第一音频数据输入所述自适应滤波器，得到由所述自适应滤波器输出的输出音频数据；在所述第二音频数据中，确定与所述输出音频数据的频率相同的第三音频数据。可选地，调用所述移动终端上配置的自适应滤波器，包括：确定所述视联网终端上与所述应用程序对象适配的至少一个应用程序接口，并确定所述至少一个应用程序接口中是否存在目标接口；在所述至少一个应用程序接口中存在所述目标接口时，通过所述目标接口调用与所述目标接口对应的自适应滤波器；在所述至少一个应用程序接口中不存在所述目标接口时，通过预设的应用程序接口调用与所述预设的应用程序接口对应的自适应滤波器第二方面，本申请实施例提供一种基于视联网的音频处理装置，在所述视联网中部署有视联网终端，所述视联网终端与流媒体服务器通信连接，所述流媒体服务器与移动终端通信连接，所述移动终端上配置有音频播放组件，所述装置应用于所述移动终端中设置的应用程序对象，所述装置具体地可以为虚拟装置，具体可以包括以下模块：音频模式触发模块，用于在检测到预设的音频通话业务被开启时，触发所述移动终端上预设的音频数据采集模式；音频数据接收并播放模块，用于接收所述流媒体服务器发送的第一音频数据，调用所述音频播放组件，对所述第一音频数据进行播放；所述第一音频数据由所述视联网终端发送给所述流媒体服务器；音频数据采集模块，用于获取由所述移动终端在所述音频数据采集模式下采集的第二音频数据；音频数据处理模块，用于根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据；音频数据发送模块，用于将所述目标音频数据发送给所述流媒体服务器，所述流媒体服务器用于将所述目标音频数据发送给所述视联网终端。可选地，在所述移动终端上配置有第一麦克风及第二麦克风，所述音频模式触发模块，具体可以用于调用所述第一麦克风及所述第二麦克风；所述音频数据采集模块，具体可以包括以下单元：麦克风音频数据获取单元，用于获取由所述第一麦克风采集的第一麦克风音频数据，以及由所述第二麦克风采集的第二麦克风音频数据；降噪处理单元，用于根据所述第一麦克风音频数据及所述第二麦克风音频数据，对所述第二麦克风音频数据进行降噪处理，得到第二音频数据。可选地，所述音频数据处理模块，具体可以包括以下单元：音频数据查找单元，用于在所述第二音频数据中，确定与所述第一音频数据对应的第三音频数据；音频数据滤除单元，用于将所述第三音频数据从所述第二音频数据中滤除，得到滤除所述第三音频数据的目标音频数据。可选地，所述装置还具体可以包括以下模块：调用模块，用于调用所述移动终端中设置的自适应滤波器；所述音频数据查找单元，具体可以包括以下单元：音频数据输入单元，用于将所述第一音频数据输入所述自适应滤波器，得到由所述自适应滤波器输出的输本文档来自技高网...

【技术保护点】
1.一种基于视联网的音频处理方法，其特征在于，在所述视联网中部署有视联网终端，所述视联网终端与流媒体服务器通信连接，所述流媒体服务器与移动终端通信连接，所述移动终端上配置有音频播放组件，所述方法应用于所述移动终端中设置的应用程序对象，包括：/n在检测到预设的音视频通话业务被开启时，触发所述移动终端上预设的音频采集模式；/n接收所述流媒体服务器在所述音视频通话业务中发送的第一音频数据，并调用所述音频播放组件，对所述第一音频数据进行播放；其中，所述第一音频数据由所述视联网终端发送给所述流媒体服务器；/n获取由所述移动终端在所述音频采集模式下采集的第二音频数据；/n根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据；/n将所述目标音频数据发送给所述流媒体服务器，所述流媒体服务器用于将所述目标音频数据发送给所述视联网终端。/n

【技术特征摘要】
1.一种基于视联网的音频处理方法，其特征在于，在所述视联网中部署有视联网终端，所述视联网终端与流媒体服务器通信连接，所述流媒体服务器与移动终端通信连接，所述移动终端上配置有音频播放组件，所述方法应用于所述移动终端中设置的应用程序对象，包括：
在检测到预设的音视频通话业务被开启时，触发所述移动终端上预设的音频采集模式；
接收所述流媒体服务器在所述音视频通话业务中发送的第一音频数据，并调用所述音频播放组件，对所述第一音频数据进行播放；其中，所述第一音频数据由所述视联网终端发送给所述流媒体服务器；
获取由所述移动终端在所述音频采集模式下采集的第二音频数据；
根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据；
将所述目标音频数据发送给所述流媒体服务器，所述流媒体服务器用于将所述目标音频数据发送给所述视联网终端。


2.根据权利要求1所述的方法，其特征在于，在所述移动终端上配置有第一麦克风及第二麦克风，触发所述移动终端上预设的音频采集模式，包括：
调用所述第一麦克风及所述第二麦克风；
获取由所述移动终端在所述音频采集模式下采集的第二音频数据，包括：
获取由所述第一麦克风采集的第一麦克风音频数据，以及由所述第二麦克风采集的第二麦克风音频数据；
根据所述第一麦克风音频数据及所述第二麦克风音频数据，对所述第二麦克风音频数据进行降噪处理，得到第二音频数据。


3.根据权利要求1所述的方法，其特征在于，根据所述第一音频数据及所述第二音频数据，对所述第二音频数据进行回声消除处理，得到回声消除处理后的目标音频数据，包括：
在所述第二音频数据中，确定与所述第一音频数据对应的第三音频数据；
将所述第三音频数据从所述第二音频数据中滤除，得到滤除所述第三音频数据的目标音频数据。


4.根据权利要求3所述的方法，其特征在于，在触发所述移动终端上预设的音频采集模式的同时，所述方法还包括：
调用所述移动终端中设置的自适应滤波器；
在所述第二音频数据中，确定与所述第一音频数据的频率相同的第三音频数据，包括：
将所述第一音频数据输入所述自适应滤波器，得到由所述自适应滤波器输出的输出音频数据；
在所述第二音频数据中，确定与所述输出音频数据的频率相同的第三音频数据。


5.根据权利要求4所述的方法，其特征在于，调用所述移动终端上配置的自适应滤波器，包括：
确定所述视联网终端上与所述应用程序对象适配的至少一个应用程序接口，并确定所述至少一个应用程序接口中是否存在目标接口；
在所述至...

【专利技术属性】
技术研发人员：蔡耀，曾绳涛，韩杰，杨春晖，
申请(专利权)人：视联动力信息技术股份有限公司，
类型：发明
国别省市：北京;11