基于深度学习的视频质量评价方法和服务器技术

本发明专利技术公开基于深度学习的视频质量评价方法和服务器，其中方法包括如下步骤：载入用于视频质量评价的深度学习模型；根据深度学习模型实时计算当前终端的视频质量得分；实时计算当前终端的带宽；载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；根据动态均衡策略动态重新分配视频参数。上述技术方案根据深度学习模型可以实时计算出视频质量，而后可以实现快速准确的视频质量评价，根据均衡策略，可以实现对终端视频的动态调整，从而提高终端视频质量。

Video Quality Evaluation Method and Server Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的视频质量评价方法和服务器
本专利技术涉及深度学习
，尤其涉及基于深度学习的视频质量评价方法和服务器。
技术介绍
随着4G通信网络和智能手机的普及，移动互联网引领着互联网的发展。互联网承载的主体流量不再是文本和音频，而是流媒体视频、直播业务、在线教育、视频会议等。编码器(H264/H265/VP9等)如果视频编码参数设置失当，将导致视频失真。视频失真现象体现在块效应(Blocking)、模糊效应(Bluring)和振铃效应(Ringing)等。对于流媒体业务的视频质量评价和实时监控是亟待解决的难题。目前，业界一般有以下典型实践:使用专家经验和理论计算为基础严格限制视频服务器编码参数作为最佳实践；使用客观视频质量评价指标为基础给出视频服务器编码参数作为最佳实践；使用主观视频质量评价指标为基础给出视频服务器编码参数作为最佳实践。专家经验和理论计算存在实践盲区，大范围部署系统不可预见的脆弱性；客观视频质量评价指标(峰值信噪比-PSNR和结构相似性-SSIM)无法反映人眼视觉特性，评价有失偏颇；主观视频质量评价指标在大规模随机流媒体系统的可行性和性价比很低。深度学习广义上属于机器学习和人工智能的一种算法。深度学习技术的演化历程是：单层感知机、神经网络(多层感知机)和深度学习(卷积+多层感知)。深度学习的基本原理是：由若干卷积层串联构成网络；数据流仅仅在相邻层间交换；数据处理使用卷积操作，参数局部共享，逐层卷积的效果就是分层特征提取；卷积可以提取图像的空间特征，多层卷积可以逐层提取特征，即低级特征、中级特征和高级特征。网络中除了卷积层还包含池化层和全连接层，用于数据分类任务。关于深度学习和卷积网络更多细节，请参考：http://cs231n.github.io/convolutional-networks/
技术实现思路
为此，需要提供基于深度学习的视频质量评价方法和服务器，解决现有视频等多媒体无法实现快速准确评价而无法实现视频质量调整的问题。为实现上述目的，专利技术人提供了基于深度学习的视频质量评价方法，包括如下步骤：载入用于视频质量评价的深度学习模型；根据深度学习模型实时计算当前终端的视频质量得分；实时计算当前终端的带宽；载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；根据动态均衡策略动态重新分配视频参数。进一步地，所述深度学习模型的生成包括如下步骤：选择一种或者多种的客观视频质量评价指标；构建深度学习网络；采用监督、半监督或无监督等方式预先训练深度学习网络，使得深度学习网络模型的优化目标为：与主观质量评价指标呈线性关系；输出深度学习模型和相关性指标。进一步地，所述客观视频质量评价指标包括：均方误差、峰值信噪比、结构相似性指数、多尺度结构相似性指数、视觉信息保真度、最明显失真、特征相似性测量、彩色图像的特征相似性度量、动态范围独立测量或色调映射图像质量指数。进一步地，所述深度学习网络包括卷积层、非线性Relu层、池化层或全连接层。进一步地，所述视频参数包含编码参数或者网络参数，所述动态均衡策略包括如下步骤：计算编码参数调整能够增加视频质量的潜力值；计算网络参数调整能够增加视频质量的潜力值；优先调整网络参数以提高视频服务质量；次级调整服务器编码参数以提高视频服务质量。本专利技术提供基于深度学习的视频质量评价服务器，包括如下模块：评估模块，策略模块和派发模块，其中：评估模块用于载入用于视频质量评价的深度学习模型，根据深度学习模型实时计算当前终端的视频质量得分，实时计算当前终端的带宽；策略模块用于载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；派发模块用于根据动态均衡策略动态重新分配视频参数。进一步地，还包括深度学习模型的生成模块，所述生成模块用于选择一种或者多种的客观视频质量评价指标，构建深度学习网络，采用监督、半监督或无监督等方式预先训练深度学习网络，使得深度学习网络模型的优化目标为：与主观质量评价指标呈线性关系，输出深度学习模型和相关性指标。进一步地，所述客观视频质量评价指标包括：均方误差、峰值信噪比、结构相似性指数、多尺度结构相似性指数、视觉信息保真度、最明显失真、特征相似性测量、彩色图像的特征相似性度量、动态范围独立测量或色调映射图像质量指数。进一步地，所述深度学习网络包括卷积层、非线性Relu层、池化层或全连接层。进一步地，所述视频参数包含编码参数或者网络参数，所述策略模块还用于计算编码参数调整能够增加视频质量的潜力值，计算网络参数调整能够增加视频质量的潜力值，优先调整网络参数以提高视频服务质量，次级调整服务器编码参数以提高视频服务质量。区别于现有技术，上述技术方案根据深度学习模型可以实时计算出视频质量，而后可以实现快速准确的视频质量评价，根据均衡策略，可以实现对终端视频的动态调整，从而提高终端视频质量。附图说明图1为本专利技术视频质量评价和调整的方法流程图；图2为本专利技术深度学习模型的生成方法流程图；图3为本专利技术视频参数的调整方法流程图；图4为本专利技术的服务器结构示意图。附图标记说明：401、服务器；402、视频终端；403、评估模块；404、策略模块；405、派发模块。具体实施方式为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。请参阅图1到图4，本实施例提供基于深度学习的视频质量评价方法，可以应用于视频服务器上，视频服务器用于将视频流发送给与之连接的视频终端，视频终端用于显示视频。包括如下步骤：步骤S101载入用于视频质量评价的深度学习模型；步骤S102根据深度学习模型实时计算当前终端的视频质量得分；步骤S103实时计算当前终端的带宽；步骤S104载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略。动态均衡策略为的就是让服务器在步骤S105保持当前终端的最佳视频体验。步骤S106根据动态均衡策略动态重新分配视频参数，保证最佳视频体验。本专利技术所说的最佳并不指显示效果的实际最佳，而是动态均衡策略中的最佳策略，从而达到较好的视频显示效果和质量。这样根据深度学习模型可以实时计算出每个视频终端的视频质量，而后可以实现快速准确的视频质量评价，根据均衡策略，可以实现对终端视频的动态调整，从而提高终端视频质量。为了实现深度学习模块的生成，所述深度学习模型的生成包括如下步骤：步骤S201选择一种或者多种的客观视频质量评价指标；步骤S202构建深度学习网络；步骤S203采用监督、半监督或无监督等方式预先训练深度学习网络，使得深度学习网络模型的优化目标为：与主观质量评价指标(DMOS)呈线性关系；步骤S204输出深度学习模型和步骤S205输出相关性指标，所述相关性指标为与深度学习模型相关的指标。这样生成的深度学习模块的质量分数与主观质量评价呈现线性关系，使用深度学习模块的指标可以完全模拟主观质量评价，保证结果准确性。在深度学习网络的网络模型训练阶段，网络模型的优化目标是：模型的视频质量评价分数和主观质量评价指标(DMOS)的呈现线性关系，可选的优化函数是：批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBGD)、RMSprop、Ad本文档来自技高网...

【技术保护点】
1.基于深度学习的视频质量评价方法，其特征在于，包括如下步骤：载入用于视频质量评价的深度学习模型；根据深度学习模型实时计算当前终端的视频质量得分；实时计算当前终端的带宽；载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；根据动态均衡策略动态重新分配视频参数。

【技术特征摘要】
1.基于深度学习的视频质量评价方法，其特征在于，包括如下步骤：载入用于视频质量评价的深度学习模型；根据深度学习模型实时计算当前终端的视频质量得分；实时计算当前终端的带宽；载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；根据动态均衡策略动态重新分配视频参数。2.根据权利要求1所述的基于深度学习的视频质量评价方法，其特征在于，所述深度学习模型的生成包括如下步骤：选择一种或者多种的客观视频质量评价指标；构建深度学习网络；采用监督、半监督或无监督等方式预先训练深度学习网络，使得深度学习网络模型的优化目标为：与主观质量评价指标呈线性关系；输出深度学习模型和相关性指标。3.根据权利要求2所述的基于深度学习的视频质量评价方法，其特征在于，所述客观视频质量评价指标包括：均方误差、峰值信噪比、结构相似性指数、多尺度结构相似性指数、视觉信息保真度、最明显失真、特征相似性测量、彩色图像的特征相似性度量、动态范围独立测量或色调映射图像质量指数。4.根据权利要求2所述的基于深度学习的视频质量评价方法，其特征在于，所述深度学习网络包括卷积层、非线性Relu层、池化层或全连接层。5.根据权利要求1所述的基于深度学习的视频质量评价方法，其特征在于，所述视频参数包含编码参数或者网络参数，所述动态均衡策略包括如下步骤：计算编码参数调整能够增加视频质量的潜力值；计算网络参数调整能够增加视频质量的潜力值；优先调整网络参数以提高视频服务质量；次级调整服务器编码参数以提高视频服务质量。6.基于深度学习的视频质量评价服务器，其...

【专利技术属性】
技术研发人员：洪涛，程明传，
申请(专利权)人：福州瑞芯微电子股份有限公司，
类型：发明
国别省市：福建,35