直播数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及视频技术领域，公开了一种直播数据处理方法、装置、设备及存储介质，用于提高直播过程的互动性并实现多人同屏直播。所述直播数据处理方法包括：根据直播互动请求和网络传输协议对多个第一终端进行同屏互动，以及通过视频采集端录制多个视频数据；分别采集每个第一终端对应的原始音频数据；分别将每个原始音频数据输入语音处理模型进行回声消除处理，得到多个第一音频数据；分别对多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据；根据实时混流转码模型对多个第二音频数据和多个视频数据进行混流转码处理，得到目标直播数据流；调用内容分发网络将目标直播数据流分发至多个第二终端进行直播展示。流分发至多个第二终端进行直播展示。流分发至多个第二终端进行直播展示。

【技术实现步骤摘要】
直播数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及视频
，尤其涉及一种直播数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着直播技术的高速发展，在直播系统中以往仅能支持单人上行，大规模下行的直播场景。通过rtmp协议，把设备本地采集的摄像头、屏幕分享画面，编码后以底层tpc包的形式在网络上传输。再通过cdn内容分发网络，以hls协议的形式进行大规模内容分发，将直播内容缓存到cdn边缘节点，能够尽量避免跨区域网络传输带来的资源访问缓慢问题。
[0003]现有方案仅能满足单讲师授课，没办法满足多人实时连麦互动，而且现有方案是基于tcp协议的推流，导致弱网兼容性差断线重连耗时长。

技术实现思路

[0004]本专利技术提供了一种直播数据处理方法、装置、设备及存储介质，用于提高直播过程的互动性并实现多人同屏直播。
[0005]本专利技术第一方面提供了一种直播数据处理方法，所述直播数据处理方法包括：接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求和预置的网络传输协议对所述多个第一终端进行同屏互动，以及通过预置的视频采集端录制所述多个第一终端对应的视频数据；基于预设的音频采集端分别对所述多个第一终端进行音频数据采集，得到每个第一终端对应的原始音频数据；分别将每个第一终端对应的原始音频数据输入预置的语音处理模型进行回声消除处理，得到多个第一音频数据；分别对所述多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据；根据预置的实时混流转码模型对所述多个第二音频数据和所述多个第一终端对应的视频数据进行混流转码处理，得到目标直播数据流；调用预置的内容分发网络将所述目标直播数据流分发至预置的多个第二终端，并通过所述多个第二终端对所述直播数据流进行直播展示。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求和预置的网络传输协议对所述多个第一终端进行同屏互动，以及通过预置的视频采集端录制所述多个第一终端对应的视频数据，包括：接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求分别创建所述多个第一终端对应的画布元素；基于所述画布元素实时捕获每个第一终端的鼠标滑动轨迹，并根据所述鼠标滑动轨迹进行本地白板互动；通过预置的网络传输协议构建所述多个第一终端之间的全双工通信，并通过所述全双工通信传递所述鼠标滑动轨迹，以对所述多个第一终端进行同屏互动；通过预置的视频采集端录制所述多个第一终端对应的视频数据，其中，所述视频数据包括屏幕动态视频和说话人视频。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述分别将每个第一终端对应的原始音频数据输入预置的语音处理模型进行回声消除处理，得到多个第一音频数据，包
括：将每个第一终端对应的原始音频数据输入预置的语音处理模型，其中，所述语音处理模型包括高斯混合函数；通过所述高斯混合函数对所述原始音频数据进行回声估计，得到回声估计值；基于所述回声估计值对所述原始音频数据进行滤波器系数调整，并对所述原始音频数据中的所述回声估计值进行去除，得到多个第一音频数据。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述直播数据处理方法还包括：从预置的音频播放数据库中获取预设的音频播放端对应的历史音频输出值，并根据所述原始音频数据计算所述音频采集端的音频输入值；对所述历史音频输出值和所述音频输入值进行比较，生成比较结果；根据所述比较结果调整所述音频播放端和所述音频采集端之间的声学回声延迟。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述分别对所述多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据，包括：检测所述多个第一音频数据中的固定频率杂音，并对所述多个第一音频数据中的固定频率杂音进行滤除，得到清晰音频数据；根据所述清晰音频数据对所述音频采集端进行收音量调整，得到多个第二音频数据。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述根据预置的实时混流转码模型对所述多个第二音频数据和所述多个第一终端对应的视频数据进行混流转码处理，得到目标直播数据流，包括：分别将所述多个第二音频数据和所述多个第一终端对应的视频数据输入预置的实时混流转码模型；通过所述实时混流转码模型对所述多个第二音频数据和所述多个第一终端对应的视频数据进行解码操作，得到多个音频解码信号和多个视频解码信号；对所述多个视频解码信号进行视频混合，得到视频排版方案，并对所述多个音频解码信号进行音频混合，得到混音数据；对所述视频排版方案和所述混音数据进行音视频混合转码，得到混合音视频；对所述混合音视频进行二次编码和封装处理，得到目标直播数据流。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，所述调用预置的内容分发网络将所述目标直播数据流分发至预置的多个第二终端，并通过所述多个第二终端对所述直播数据流进行直播展示，包括：通过预置的内容分发网络将所述目标直播数据流分发至预置的多个第二终端；通过所述多个第二终端对所述目标直播数据流进行解封装和解码操作，并根据预置的视窗元数据对所述目标直播数据流进行直播画面渲染和音频播放。
[0012]本专利技术第二方面提供了一种直播数据处理装置，所述直播数据处理装置包括：接收模块，用于接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求和预置的网络传输协议对所述多个第一终端进行同屏互动，以及通过预置的视频采集端录制所述多个第一终端对应的视频数据；采集模块，用于基于预设的音频采集端分别对所述多个第一终端进行音频数据采集，得到每个第一终端对应的原始音频数据；处理模块，用于分别将每个第一终端对应的原始音频数据输入预置的语音处理模型进行回声消除处理，得到多个第一音频数据；增益模块，用于分别对所述多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据；转码模块，用于根据预置的实时混流转码模型对所述多个第二音频数据和所述多个第一终端对应的视频数据进行混流转码处理，得到目标直播数据流；分发模块，用于调用预置的内容分发网络将所述目标直播数据流分发至预置的多个第二终端，并通过所述多个第二终端对所述直播数据流进行直播展示。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述接收模块具体用于：接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求分别创建所述多个第一终端对应的画布元素；基于所述画布元素实时捕获每个第一终端的鼠标滑动轨迹，并根据所述鼠标滑动轨迹进行本地白板互动；通过预置的网络传输协议构建所述多个第一终端之间的全双工通信，并通过所述全双工通信传递所述鼠标滑动轨迹，以对所述多个第一终端进行同屏互动；通过预置的视频采集端录制所述多个第一终端对应的视频数据，其中，所述视频数据包括屏幕动态视频和说话人视频。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述处理模块具体用于：将每个第一终端对应的原始音频数据输入预置的语音处理模型，其中，所述语音处理模型包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播数据处理方法，其特征在于，所述直播数据处理方法包括：接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求和预置的网络传输协议对所述多个第一终端进行同屏互动，以及通过预置的视频采集端录制所述多个第一终端对应的视频数据；基于预设的音频采集端分别对所述多个第一终端进行音频数据采集，得到每个第一终端对应的原始音频数据；分别将每个第一终端对应的原始音频数据输入预置的语音处理模型进行回声消除处理，得到多个第一音频数据；分别对所述多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据；根据预置的实时混流转码模型对所述多个第二音频数据和所述多个第一终端对应的视频数据进行混流转码处理，得到目标直播数据流；调用预置的内容分发网络将所述目标直播数据流分发至预置的多个第二终端，并通过所述多个第二终端对所述直播数据流进行直播展示。2.根据权利要求1所述的直播数据处理方法，其特征在于，所述接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求和预置的网络传输协议对所述多个第一终端进行同屏互动，以及通过预置的视频采集端录制所述多个第一终端对应的视频数据，包括：接收预置的多个第一终端发送的直播互动请求，并根据所述直播互动请求分别创建所述多个第一终端对应的画布元素；基于所述画布元素实时捕获每个第一终端的鼠标滑动轨迹，并根据所述鼠标滑动轨迹进行本地白板互动；通过预置的网络传输协议构建所述多个第一终端之间的全双工通信，并通过所述全双工通信传递所述鼠标滑动轨迹，以对所述多个第一终端进行同屏互动；通过预置的视频采集端录制所述多个第一终端对应的视频数据，其中，所述视频数据包括屏幕动态视频和说话人视频。3.根据权利要求1所述的直播数据处理方法，其特征在于，所述分别将每个第一终端对应的原始音频数据输入预置的语音处理模型进行回声消除处理，得到多个第一音频数据，包括：将每个第一终端对应的原始音频数据输入预置的语音处理模型，其中，所述语音处理模型包括高斯混合函数；通过所述高斯混合函数对所述原始音频数据进行回声估计，得到回声估计值；基于所述回声估计值对所述原始音频数据进行滤波器系数调整，并对所述原始音频数据中的所述回声估计值进行去除，得到多个第一音频数据。4.根据权利要求1
‑
3中任一项所述的直播数据处理方法，其特征在于，所述直播数据处理方法还包括：从预置的音频播放数据库中获取预设的音频播放端对应的历史音频输出值，并根据所述原始音频数据计算所述音频采集端的音频输入值；对所述历史音频输出值和所述音频输入值进行比较，生成比较结果；根据所述比较结果调整所述音频播放端和所述音频采集端之间的声学回声延迟。
5.根据权利要求1所述的直播数据处理方法，其特征在于，所述分别对所述多个第一音频数据进行噪声抑制和音频增益，得到多个第二音频数据，包括：检测所述多个第一音频数据中的固定频率杂音，并对所述多个...

【专利技术属性】
技术研发人员：李杨，林柏坤，游柏皓，
申请(专利权)人：深圳小鹅网络技术有限公司，
类型：发明
国别省市：