直播数据流交互方法、装置、服务器及可读存储介质制造方法及图纸

本申请实施例提供一种直播数据流交互方法、装置、服务器及可读存储介质，直播提供终端在直播交互过程中通过对待交互的直播视频流进行特征残缺化处理后发送残缺化视频流给服务器，可以有效节省数据传输量，提高数据传输速度，而后服务器对残缺化视频流进行完整内容重绘，将重绘视频流进行压缩后将压缩视频流发送给直播观看终端，通过直播内容完整性的预测与重绘，可以降低直播观看终端的性能资源消耗，并且只是发送压缩视频流至直播观看终端，也极大节省了数据传输量，而后直播观看终端可对压缩视频流进行转换以将转换视频流进行显示，进而在保障观看体验的同时极大降低传输数据量，降低带宽成本和直播延迟。降低带宽成本和直播延迟。降低带宽成本和直播延迟。

【技术实现步骤摘要】
直播数据流交互方法、装置、服务器及可读存储介质


[0001]本申请涉及移动互联网直播
，具体而言，涉及一种直播数据流交互方法、装置、服务器及可读存储介质。

技术介绍

[0002]在移动互联网终端的直播过程中，直播平台的视频直播延迟性能可能会影响用户互动，或者影响用户获取关键信息的时机，从而对用户体验造成较大影响。基于此，如何在保障观看体验的同时，有效改善直播平台的视频直播延迟性能，是本领域亟待解决的技术问题。

技术实现思路

[0003]有鉴于此，本申请的目的在于提供一种直播数据流交互方法、装置、服务器及可读存储介质，在保障观看体验的同时极大降低传输数据量，并降低带宽成本和直播延迟。
[0004]根据本申请的第一方面，提供一种直播数据流交互方法，应用于直播数据流交互系统，所述直播数据流交互系统包括服务器以及与所述服务器通信连接的直播提供终端和直播观看终端，所述方法包括：
[0005]所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流，并将所述残缺化视频流发送给所述服务器，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
[0006]所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流，并将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端；
[0007]所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
[0008]在第一方面的一种可能的实施方式中，所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流的步骤中，所述特征残缺化处理包括以下方式中的一种或者多种组合：
[0009]对所述待交互的直播视频流进行尺寸裁剪；
[0010]对所述待交互的直播视频流的色彩度进行降低；
[0011]对所述待交互的直播视频流中的部分视频帧进行剔除。
[0012]在第一方面的一种可能的实施方式中，所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流的步骤，包括：
[0013]将所述残缺化视频流输入到预先训练的完整内容重绘模型中，基于所述完整内容重绘模型预测所述残缺化视频流中的残缺内容信息；
[0014]基于预测的残缺内容信息对所述残缺化视频流进行内容重绘，获得所述残缺化视频流对应的重绘视频流。
[0015]在第一方面的一种可能的实施方式中，所述方法还包括：
[0016]获取针对每个目标可直播活动的原始训练图像数据，其中，所述目标可直播活动
具有规则化的图像特征；
[0017]对所述原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据，所述残缺化训练图像数据与所述原始训练图像数据存在至少一个残缺化维度的内容损失；
[0018]根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型。
[0019]在第一方面的一种可能的实施方式中，所述根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型的步骤，包括：
[0020]将所述残缺化训练图像数据输入到初始内容重绘模型中，基于所述初始内容重绘模型对所述残缺化训练图像数据中的残缺内容信息进行预测；
[0021]基于预测的残缺内容信息和对应的标注残缺部分数据，确定针对所述预测的残缺内容信息的预测误差参数，并基于所述预测误差参数对初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到所述预测误差参数收敛时，输出训练完成的完整内容重绘模型。
[0022]在第一方面的一种可能的实施方式中，所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示的步骤，包括：
[0023]所述直播观看终端将所述压缩视频流输入到预先训练的预设分辨率对应的视频流转换模型中，基于所述视频流转换模型将所述压缩视频流的分辨率转换为预设分辨率后，将转换视频流进行显示。
[0024]在第一方面的一种可能的实施方式中，所述方法还包括：
[0025]获取训练样本数据，其中，所述训练样本数据包括第一分辨率的第一视频流样本数据和对应的第二分辨率的第二视频流样本数据；
[0026]将所述第一视频流样本数据输入到初始视频流转换模型中，基于所述初始视频流转换模型对所述第一视频流样本数据进行针对于所述第二分辨率的转换，获得第三视频流样本数据；
[0027]根据所述第三视频流样本数据与所述第二视频流样本数据之间的差异对所述初始视频流转换模型进行训练，获得训练完成的视频流转换模型。
[0028]根据本申请的第二方面，提供一种直播数据流交互方法，应用于服务器，所述服务器与直播提供终端和直播观看终端通信连接，所述方法包括：
[0029]获取所述直播提供终端对待交互的直播视频流进行特征残缺化处理后发送的残缺化视频流，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
[0030]对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流；
[0031]将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端，以使得所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
[0032]根据本申请的第三方面，提供一种直播数据流交互装置，应用于服务器，所述服务器与直播提供终端和直播观看终端通信连接，所述装置包括：
[0033]获取模块，用于获取所述直播提供终端对待交互的直播视频流进行特征残缺化处
理后发送的残缺化视频流，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
[0034]重绘模块，用于对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流；
[0035]发送模块，用于将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端，以使得所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
[0036]根据本申请的第四方面，提供一种服务器，所述服务器包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该服务器实现前述的直播数据流交互方法。
[0037]根据本申请的第五方面，提供一种可读存储介质，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现前述直播数据流交互方法。
[0038]基于上述任一方面，本申请实施例中，直播提供终端在直播交互过程中通过对待交互的直播视频流进行特征残缺化处理后发送残缺化视频流给服务器，可以有效节省数据传输量，提高数据传输速度，而后服务器对残缺化视频流进行完整内容重绘，对重绘视频流进行压缩后再将压缩视频流发送给直播观看终端，通过直播内容完整性的预测与重绘，可以降低直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播数据流交互方法，其特征在于，应用于直播数据流交互系统，所述直播数据流交互系统包括服务器以及与所述服务器通信连接的直播提供终端和直播观看终端，所述方法包括：所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流，并将所述残缺化视频流发送给所述服务器，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流，并将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端；所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。2.根据权利要求1所述的直播数据流交互方法，其特征在于，所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流的步骤中，所述特征残缺化处理包括以下方式中的一种或者多种的组合：对所述待交互的直播视频流进行尺寸裁剪；对所述待交互的直播视频流的色彩度进行降低；对所述待交互的直播视频流中的部分视频帧进行剔除。3.根据权利要求1所述的直播数据流交互方法，其特征在于，所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流的步骤，包括：将所述残缺化视频流输入到预先训练的完整内容重绘模型中，基于所述完整内容重绘模型预测所述残缺化视频流中的残缺内容信息；基于预测的残缺内容信息对所述残缺化视频流进行内容重绘，获得所述残缺化视频流对应的重绘视频流。4.根据权利要求1
‑
3中任意一项所述的直播数据流交互方法，其特征在于，所述方法还包括：获取针对每个目标可直播活动的原始训练图像数据，其中，所述目标可直播活动具有规则化的图像特征；对所述原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据，所述残缺化训练图像数据与所述原始训练图像数据存在至少一个残缺化维度的内容损失；根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型。5.根据权利要求4所述的直播数据流交互方法，其特征在于，所述根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型的步骤，包括：将所述残缺化训练图像数据输入到初始内容重绘模型中，基于所述初始内容重绘模型对所述残缺化训练图像数据中的残缺内容信息进行预测；基于预测的残缺内容信息和对应的标注残缺部分数据，确定针对所述预测的残缺内容信息的预测误差参数，并基于所述预测误差参数对初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到所述预测误差参数收敛时，输出训练完成的完整内容重绘模型。6.根据权利要求1所述的直播数据流交互方法，其特征在于，所述直播观看终端对所述
压缩视频流进行转换以将转换视频流进行显示的步骤，包括：所述直播观看终端将所述压缩视频流输入到预先训练的预设分辨率对应的视频流转换模型中，基于所述视频流转换模型将所述压缩视频流的分辨率转换为预设分辨率后，将转换视频流进行显示。7.根据权利要求6所述的直播数据流交互方法，其特征在于，所述方法还包括：获取训练样本数据，其中，所述训练样本数据包括第一分辨率的第一视频流样本数据和对应的第二分辨率的第二视频流样本数据；将所述第一视频流样本数据输入到初始视频流转换模型中，基于所述初始视频流转换模型对所述第一视频流样本数据进行针对于所述第二分辨率的转换，获得第三视频流样本数据；根据所述第三视频流样本数据与所述第二视频流样本数据之间的差异对所述初始视频流转换模型进行训练，获得训练完成的视频流转换模型。8.一种直播数据流交互方...

【专利技术属性】
技术研发人员：刘嘉威，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：