视频质量评估方法、装置、电子设备及存储介质制造方法及图纸

技术编号:23240061 阅读:30 留言:0更新日期:2020-02-04 19:03
本申请实施例提供了一种视频质量评估方法、装置、电子设备及存储介质,涉及信息处理技术领域。该方法包括:首先获取待处理视频和待处理视频对应的参考视频;然后基于待处理视频和参考视频,确定残差视频;基于待处理视频和残差视频,确定待处理视频中每一待处理视频帧所对应的时空特征;基于每一待处理视频帧所对应的时空特征和残差视频,确定待处理视频的质量评估结果。本申请技术方案通过残差视频和待处理视频的时空特征进行质量评估,残差视频反映了待处理视频与其参考视频之间的差别,即失真程度,待处理视频的时空特征同时考虑了时间和空间两个维度,特征信息更加全面,提高了质量评估的准确性,实现了对视频质量更加客观的评估。

Video quality assessment methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
视频质量评估方法、装置、电子设备及存储介质
本申请涉及计算机
,具体而言,本申请涉及一种视频质量评估方法、装置、电子设备及存储介质。
技术介绍
随着多媒体信息技术和网络通信技术的发展,在线观看视频已经深入到人们的日常生活当中。然而,与图片、音频、文字相比,视频具有更大的数据量,不对源视频进行压缩根本无法满足视频数据的存储和传输要求。由于在采集、压缩、存储、传输过程中的一些无法避免的客观因素,用户终端上播放的视频存在着不同程度的失真,这些失真都会影响用户的观感体验。因此,需要对视频质量进行有效评估,以实现对编码传输策略的指导,从而改进视频处理等技术中存在的缺陷。在目前公开的以深度学习方式进行视频质量评估的方法中,大多数以二维卷积神经网络作为主体结构,提取视频帧的空间特征,基于空间特征进行视频质量评估,然而二维神经网络缺少时序关系的学习,忽略了视频中固有的前后帧运动信息,从而导致视频质量评估结果的准确性不高,无法实现对视频编码传输进行有效指导。
技术实现思路
本申请提供了一种视频质量评估方法、装置及电子设备,可以解本文档来自技高网...

【技术保护点】
1.一种视频质量评估方法,其特征在于,所述方法包括:/n获取待处理视频和所述待处理视频对应的参考视频;/n基于所述待处理视频和所述参考视频,确定残差视频;/n基于所述待处理视频和所述残差视频,确定所述待处理视频中每一待处理视频帧所对应的时空特征;/n基于每一所述待处理视频帧所对应的时空特征和所述残差视频,确定所述待处理视频的质量评估结果。/n

【技术特征摘要】
1.一种视频质量评估方法,其特征在于,所述方法包括:
获取待处理视频和所述待处理视频对应的参考视频;
基于所述待处理视频和所述参考视频,确定残差视频;
基于所述待处理视频和所述残差视频,确定所述待处理视频中每一待处理视频帧所对应的时空特征;
基于每一所述待处理视频帧所对应的时空特征和所述残差视频,确定所述待处理视频的质量评估结果。


2.根据权利要求1所述的方法,其特征在于,所述基于所述待处理视频和所述残差视频,确定所述待处理视频中每一待处理视频帧所对应的时空特征,包括:
提取每一所述待处理视频帧的第一空间特征,以及所述残差视频中每一残差帧的第二空间特征;
对于每一所述待处理视频帧,基于所述待处理视频帧的第一空间特征,以及所述待处理视频帧所对应的残差帧的第二空间特征,得到所述待处理视频帧对应的第三空间特征;
基于各所述待处理视频帧所对应的第三空间特征,提取每一所述待处理视频帧对应的时空特征。


3.根据权利要求2所述的方法,其特征在于,所述基于所述待处理视频帧的第一空间特征,以及所述待处理视频帧所对应的残差帧的第二空间特征,得到所述待处理视频帧对应的第三空间特征,包括:
将所述待处理视频帧的第一空间特征和所述待处理视频帧所对应的残差帧的第二空间特征在通道维度上进行拼接,得到所述待处理视频帧对应的第三空间特征。


4.根据权利要求2所述的方法,其特征在于,所述基于各所述待处理视频帧所对应的第三空间特征,提取每一所述待处理视频帧对应的时空特征,包括:
对于每一所述待处理视频帧,基于所述待处理视频帧的第三空间特征、以及至少一个时间上与所述待处理视频帧关联的关联视频帧的第三空间特征,提取所述待处理视频帧对应的时空特征。


5.根据权利要求1至4中任一项所述的方法,其特征在于,通过视频质量评估模型确定所述待处理视频的质量评估结果。


6.根据权利要求4所述的方法,其特征在于,所述视频质量评估模型是通过以下方式训练得到的:
获取各训练样本,各所述训练样本包括样本视频,以及所述样本视频所对应的样本残差视频,每个所述样本视频标注有样本标签,所述样本标签表征了所述样本视频的标注质量;
基于各所述训练样本对初始神经网络模型进行训练,直至所述初始神经网络模型对应的损失函数收敛,将训练结束时的神经网络模型作为视频质量评估模型,所述损失函数的值表征了各所述样本视频所对应的标注质量和视频质量评估模型输出的预测视频质量的差异;
其中,所述初始神经网络模型包括依次连接的初始空间特征提取层、初始时空特征提取层和初始质量预测层。

【专利技术属性】
技术研发人员:王海强陈俊铭许牧楠陈文俊吴祖榕刘杉李革
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1