一种流媒体的音视频处理方法、装置及设备制造方法及图纸

本申请公开了一种流媒体的音视频处理方法、装置及设备，属于计算机技术领域。该方法主要包括获取流媒体的音视频数据中的待处理数据帧以及编码模块的目标数据；基于目标数据，构建与目标数据对应的随机森林预测模型，随机森林预测模型用于确定待处理数据帧的结构相似性预测评估值；基于结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定音视频数据的目标结构相似性预测评估值；在目标结构相似性预测评估值满足预设条件的情况下，调整随机森林预测模型，得到目标编码模块，以通过目标编码模块对待处理数据帧进行编码，能够解决音视频数据处理效率低、稳定性差的问题。稳定性差的问题。稳定性差的问题。

【技术实现步骤摘要】
一种流媒体的音视频处理方法、装置及设备


[0001]本申请属于计算机
，具体涉及一种流媒体的音视频处理方法、装置及设备。

技术介绍

[0002]随着无线通信网络采用了正交频分多址接入(Orthogonal FrequencyDivision Multiple Access，OFDMA)技术，第四代通讯技术(the 4Generationmobile communication technology，4G)/第五代移动通信技术(5th GenerationMobile Communication Technology，5G)网络承载带宽明显增强，扩充了音频、视频、电影动画等多媒体增值业务的传输容量和服务范围。为了满足人们日常工作与生活的需求，音视频业务展现形式多样化发展，短视频、线上会议、远程培训、视频监控等形式在各个应用领域发挥着重要作用。
[0003]但是，在相关技术中，音视频流模块所成图像的大小或尺寸大小不一，传输带宽、时延与实时网络条件均存在差异，影响用户服务体验感知，尤其在传输需求大、网络拥塞大等情况下，音视频出现卡顿和拥塞的现象频繁，降低音视频流处理效率。

技术实现思路

[0004]本申请实施例的目的是提供一种流媒体的音视频处理方法、装置及设备，能够解决音视频数据处理效率低、稳定性差的问题。
[0005]第一方面，本申请实施例提供了一种流媒体的音视频处理方法，其特征在于，包括：
[0006]获取流媒体的音视频数据中的待处理数据帧以及编码模块的目标数据，编码模块为对音视频数据进行编码的模块，目标数据为编码模块中编码历史数据帧所需的数据，历史数据帧为音视频数据中已编码的数据帧；
[0007]基于目标数据，构建与目标数据对应的随机森林预测模型，随机森林预测模型用于确定待处理数据帧的结构相似性预测评估值；
[0008]基于结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定音视频数据的目标结构相似性预测评估值；
[0009]在目标结构相似性预测评估值满足预设条件的情况下，调整随机森林预测模型，得到目标编码模块，以通过目标编码模块对待处理数据帧进行编码。
[0010]第二方面，本申请实施例提供了一种流媒体的音视频处理装置，其特征在于，包括：
[0011]获取模块，用于获取流媒体的音视频数据中的待处理数据帧以及编码模块的目标数据，编码模块为对音视频数据进行编码的模块，目标数据为编码模块中编码历史数据帧所需的数据，历史数据帧为音视频数据中已编码的数据帧；
[0012]构建模块，用于基于目标数据，构建与目标数据对应的随机森林预测模型，随机森
林预测模型用于确定待处理数据帧的结构相似性预测评估值；
[0013]确定模块，用于基于结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定音视频数据的目标结构相似性预测评估值；
[0014]调整模块，用于在目标结构相似性预测评估值满足预设条件的情况下，调整随机森林预测模型，得到目标编码模块，以通过目标编码模块对待处理数据帧进行编码。
[0015]第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所示的流媒体的音视频处理方法的步骤。
[0016]第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所示的流媒体的音视频处理方法的步骤。
[0017]第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的流媒体的音视频处理方法的步骤。
[0018]在本申请实施例中，通过获取流媒体的音视频数据中的待处理数据帧以及编码模块的目标数据，编码模块为对音视频数据进行编码的模块，目标数据为编码模块中编码历史数据帧所需的数据，历史数据帧为音视频数据中已编码的数据帧；基于目标数据，构建与目标数据对应的随机森林预测模型，随机森林预测模型用于确定待处理数据帧的结构相似性预测评估值；基于结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定音视频数据的目标结构相似性预测评估值；在目标结构相似性预测评估值满足预设条件的情况下，调整随机森林预测模型，得到目标编码模块，以通过目标编码模块对待处理数据帧进行编码。由此，可以提取影响音视频质量的关键参数如码率、四叉树划分深度、帧数据编码块、量化参数和率失真值，建立随机森林预测模型，并能自适应网络实际情况，调整随机森林预测模型中的权重值，以实现相似性结构 (SSIM)的质量评估过程，并且自动判断与真实图像间的结构差异，如存在较大失真性，则重新调整对音视频数据进行编码的目标编码模块，然后再通过目标编码模块对待处理数据帧进行编码，以实现在编码音视频数据之前，可以提前预测到音视频质量的变化趋势，并在音视频数据失真，需要及时调整关键参数时，调整编码模块使其质量恢复，这样，在提升音视频编码质量的同时，相同帧率和分辨率下的流媒体所占带宽大幅减少，以解决音视频数据处理效率低、稳定性差的问题。
附图说明
[0019]图1为本申请实施例提供的一种流媒体的音视频处理架构示意图；
[0020]图2为本申请实施例提供的一种目标数据与音视频编码结果的关系示意图；
[0021]图3为本申请实施例提供的一种监控音视频数据流编码的示意图；
[0022]图4为本申请实施例提供的一种流媒体的音视频处理方法的流程图；
[0023]图5为本申请实施例提供的一种基于隐蔽效应的四叉树划分示意图；
[0024]图6为本申请实施例提供的一种流媒体的音视频处理装置的结构示意图；
[0025]图7为本申请实施例提供的一种流媒体的音视频处理设备的结构示意图；
[0026]图8为本申请实施例提供的一种流媒体的音视频处理设备的硬件结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]在相关技术中，为了解决音视频数据处理效率低、稳定性差的问题，可考虑高效的音视频数据流编码压缩(以下简称编码)方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流媒体的音视频处理方法，其特征在于，包括：获取流媒体的音视频数据中的待处理数据帧以及编码模块的目标数据，所述编码模块为对所述音视频数据进行编码的模块，所述目标数据为所述编码模块中编码历史数据帧所需的数据，所述历史数据帧为所述音视频数据中已编码的数据帧；基于所述目标数据，构建与所述目标数据对应的随机森林预测模型，所述随机森林预测模型用于确定所述待处理数据帧的结构相似性预测评估值；基于所述结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定所述音视频数据的目标结构相似性预测评估值；在所述目标结构相似性预测评估值满足预设条件的情况下，调整所述随机森林预测模型，得到目标编码模块，以通过所述目标编码模块对所述待处理数据帧进行编码。2.根据权利要求1所述的方法，其特征在于，所述随机森林预测模型包括预测回归树，所述预测回归树中的叶子节点用于确定所述待处理数据帧的结构相似性预测评估值；所述基于所述目标数据，构建与所述目标数据对应的随机森林预测模型，包括：将训练样本输入初始随机森林预测模型，通过编码器在所述音视频数据集中随机选择待训练样本集，所述训练样本包括所述音视频数据和所述目标数据；基于所述待训练样本集，计算与所述待训练样本集对应的关键特征集合；基于所述关键特征集合，构建回归树，并按照预设特征优先级信息对所述关键特征集合中的关键特征进行优先排序，得到排序结果；基于所述排序结果，通过最小均方差的决策树特征划分所述回归树，得到所述预测回归树。3.根据权利要求2所述的方法，其特征在于，在所述基于所述结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定所述音视频数据的目标结构相似性预测评估值之前，所述方法还包括：基于所述预测回归树中的每个叶子节点，轮询计算与所述每个叶子节点对应的结构相似性预测评估值。4.根据权利要求3所述的方法，其特征在于，所述基于所述结构相似性预测评估值，通过隐蔽效应的图像质量评估算法，确定所述音视频数据的目标结构相似性预测评估值，包括：对与所述每个叶子节点对应的结构相似性预测评估值，在隐蔽效应的介入下采用高斯加权，计算轮询过程中每一次的目标值，所述目标值包括均值、方差值和协方差值；将多个目标值的平均值确定为所述音视频数据的目标结构相似性预测评估值。5.根据权利要求4所述的方法，其特征在于，所述随机森林预测模型包括四叉树，所述四叉树包括在时间轴上前后相邻的至少两个子编码单元；所述对与所述每个叶子节点对应的结构相似性预测评估值，在隐蔽效应的介入下采用高斯加权，计算轮询过程中每一次的目标值，包括：分别计算所述前后相邻的至少两个子编码单元中每个子编码单元的第一率失真值，并基于所述每个子编码单元的第一率失真值，...

【专利技术属性】
技术研发人员：王文敏，李胜辉，程明，杨森轲，马俊鹏，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：