基于图像特征信息的半参考视频QoE客观评估方法技术

技术编号:16285262 阅读:67 留言:0更新日期:2017-09-24 10:52
本发明专利技术公开基于图像特征信息的半参考视频QoE客观评估方法,该方法包括:运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图,压缩处理显著性信息图和纹理信息图,得到原始视频的半参考数据;用户端接收运营商端传来的原始视频的半参考数据及受损视频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观感受质量MOS进行评估。

Objective evaluation method of semi reference video QoE based on image feature information

The invention discloses a reference video based on semi QoE objective evaluation method of image feature information, the method comprises the following steps: the operator side salient information map and texture map for each frame image in original video compression processing, significant information and texture information, semi reference data of the original video; semi reference data the original video user terminal receives the operator side coming and damaged video salient information map and texture information map of each frame in the video to get damaged, damaged half reference data according to the original video, video and video of the damaged half reference data, calculation of damage damaged video, on subjective feelings the quality of MOS was assessed using the pre trained neural network algorithm.

【技术实现步骤摘要】

本专利技术涉及通信
,具体涉及基于图像特征信息的半参考视频QoE客观评估方法
技术介绍
随着无线网络和高速宽带接入的普及,实时视频服务正经历着快速的发展。QoE(QualityofExperience)类指标能反映实时视频业务的服务质量,实时视频业务的QoE质量评估的客观方法(也称为QoE客观评估方法)为根据特定的客观业务质量指标对主观评分进行评估,QoE客观评估方法又可以根据对原始视频数据的使用情况分为三类,分别是全参考(需要全部的原始数据)、半参考(需要部分原始数据)和无参考(不需要原始数据)。现有的QoE客观评估方法多数为全参考或无参考方法,全参考方法能得到最准确的评估结果,但难以应用;无参考方法易于部署,但通常仅适用于特定的损伤场景;半参考方法虽然能在两者间取得较好权衡,但缺少成熟的方案。现有技术存在的问题是:无论全参考方法还是无参考方法在实用性上都存在局限性,并且现有技术没有对评估准确性进行测试的横向比较结果。
技术实现思路
本专利技术所要解决的技术问题现有技术在实用性上存在局限性,并且没有对评估准确性进行测试的横向比较结果。为此目的,本专利技术提出基于图像特征信息的半参考视频QoE客观评估方法,该方法包括:运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图,压缩处理所述显著性信息图和纹理信息图,得到原始视频的半参考数据;>用户端接收运营商端传来的原始视频的半参考数据及受损视频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观感受质量MOS进行评估,其中,所述受损视频为经过有损信道传输的运营商端的原始视频。其中,所述显著性信息图包括时域显著性信息图和空域显著性信息图。其中,所述显著性信息图包括权重不同的强度分量、色彩分量、方向分量及皮肤色调分量。其中,所述纹理信息图包括时域纹理信息图和空域纹理信息图。其中,所述每一帧图像的纹理信息图的提取包括:边缘提取、形态学膨胀处理及加叠;其中,所述边缘提取包括:提取当前帧图像的边缘信息图像;所述形态学膨胀包括:将当前帧图像的边缘信息图像进行形态学膨胀处理,得到处理后的边缘信息图像;所述加叠包括:将处理后的边缘信息图像与当前帧图像加叠,得到当前帧图像的纹理信息图。其中,所述每一帧图像的纹理信息图包括:运营商端原始视频中每一帧图像的纹理信息图、用户端受损视频中每一帧图像的纹理信息图。其中,所述压缩处理包括:采用小波变换分解所述空域和时域两方面的显著性信息图和纹理信息图,得到不同高频子带;作出所有高频子带的直方图;采用泛化高斯分布GGD拟合所有高频子带的直方图并计算拟合误差。其中,所述半参考数据包括:显著性信息空域损伤、显著性信息时域损伤、纹理信息空域损伤及纹理信息时域损伤。其中,所述根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况包括:根据原始视频及受损视频的半参考数据,通过相对熵计算受损视频的损伤情况。相比于现有技术,本专利技术提供的方法的有益效果是:本专利技术提供的实时视频业务QoE客观质量评估方法对视频损伤的类型不敏感,也即对不同原因导致的损伤视频都能得到较为准确的评估结果;本专利技术对底层传输网络不敏感,即可以用于多种实际场景(包括局域网、广域网以及无线环境等等)下对实时视频业务进行客观质量评估;本专利技术易于部署和实现,所有模块功能均能在软件层面实现,若存在特定需求,还可考虑以硬件方式实现以加快处理速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1示出了基于图像特征信息的半参考视频QoE客观评估方法流程图;图2示出了实施例2中对LVQ数据库进行评估的结果图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。实施例1:本实施例公开一种基于图像特征信息的半参考视频QoE客观评估方法,该方法包括:运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图,压缩处理所述显著性信息图和纹理信息图,得到原始视频的半参考数据;用户端接收运营商端传来的原始视频的半参考数据及受损视频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观感受质量MOS进行评估,其中,所述受损视频为经过有损信道传输的运营商端的原始视频。其中,所述显著性信息图包括时域显著性信息图和空域显著性信息图。其中,所述显著性信息图包括权重不同的强度分量、色彩分量、方向分量及皮肤色调分量,其中,对皮肤色调分量权重设为2,其余分量权重为1,也可根据实际进行调整。其中,所述纹理信息图包括时域纹理信息图和空域纹理信息图。其中,所述每一帧图像的纹理信息图的提取包括:边缘提取、形态学膨胀处理及加叠;其中,所述边缘提取包括:提取当前帧图像的边缘信息图像;所述形态学膨胀包括:将当前帧图像的边缘信息图像进行形态学膨胀处理,得到处理后的边缘信息图像;所述加叠包括:将处理后的边缘信息图像与当前帧图像加叠,得到当前帧图像的纹理信息图。其中,所述每一帧图像的纹理信息图包括:运营商端原始视频中每一帧图像的纹理信息图、用户端受损视频中每一帧图像的纹理信息图。在运营商端,所述压缩处理包括:采用小波变换分解所述空域和时域两方面的显著性信息图和纹理信息图,得到不同高频子带;作出所有高频子带的直方图;采用泛化高斯分布GGD拟合所有高频子带的直方图并计算拟合误差。其中,所述半参考数据包括:显本文档来自技高网...

【技术保护点】
基于图像特征信息的半参考视频QoE客观评估方法,其特征在于,该方法包括:运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图,压缩处理所述显著性信息图和纹理信息图,得到原始视频的半参考数据;用户端接收运营商端传来的原始视频的半参考数据及受损视频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观感受质量MOS进行评估,其中,所述受损视频为经过有损信道传输的运营商端的原始视频。

【技术特征摘要】
1.基于图像特征信息的半参考视频QoE客观评估方法,其特征
在于,该方法包括:
运营商端提取原始视频中每一帧图像的显著性信息图及纹理信
息图,压缩处理所述显著性信息图和纹理信息图,得到原始视频的
半参考数据;
用户端接收运营商端传来的原始视频的半参考数据及受损视
频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得
到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,
计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观
感受质量MOS进行评估,其中,所述受损视频为经过有损信道传输
的运营商端的原始视频。
2.根据权利要求1所述的方法,其特征在于,所述显著性信息图
包括时域显著性信息图和空域显著性信息图。
3.根据权利要求1所述的方法,其特征在于,所述显著性信息图
包括权重不同的强度分量、色彩分量、方向分量及皮肤色调分量。
4.根据权利要求1所述的方法,其特征在于,所述纹理信息图包
括时域纹理信息图和空域纹理信息图。
5.根据权利要求1所述的方法,其特征在于,所述每一帧图像的
纹理信息图的提取包括:边缘提取、形态学膨胀处理及加叠;
其中,所述边缘提取包括...

【专利技术属性】
技术研发人员:李文璟喻鹏罗千耿杨嵇华
申请(专利权)人:北京邮电大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1