基于长期记忆的视频QoE评价系统及方法技术方案

本发明专利技术提出一种基于长期记忆的视频QoE评价系统及方法，包括：视频序列生成模块、采集模块、基于长期记忆的数据库和QoE评价模型；所述视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；所述采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；所述基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息。其建立了能够有效提取客观量化的指标信息的基于长期记忆的QoE评价模型，从而对视频处理、压缩和传输提供关键性的指导作用。

【技术实现步骤摘要】
基于长期记忆的视频QoE评价系统及方法
本专利技术属于视频编码与传输、信息学领域，尤其涉及一种基于长期记忆的视频QoE评价系统及方法。
技术介绍
随着视频通信技术的快速发展，视频质量评价(VideoQualityAssessment,VQA)对视频编码与传输的指导作用日益凸显，已成为研究热点之一。其中，体验质量(QualityofExperience,QoE)直接根据用户的主观感受反映视频质量，可较为准确地反映当前视频质量与用户感知质量间的联系，因此QoE评价模型被引入VQA体系并受到研究人员的持续关注。QoE评价模型的建立需要考虑不同的QoE影响因素，这些影响因素大体可分为客观因素和主观因素两大类，前者主要包括除用户本身感知之外的外在因素，例如视频的编解码、音视频同步、数据包延迟丢失、链路的选择、界面交互性、观看环境等；后者主要包括用户本身的心理和生理因素，例如用户的记忆、播放习惯、注意力、期望等。用户的主观因素往往能够更加体现出用户的心理和生理的特性，而记忆作为一项重要的人类心理特性，将对QoE产生重要影响。显然，若能在QoE评价模型中考虑记忆因素，有望提高视频质量评价的精度。现有研究已表明记忆对视频QoE存在着影响，并且一些学者利用记忆效应来提升预测QoE的准确性。但是这些研究考虑的主要是短时记忆的影响，而没有考虑长期记忆对用户QoE的影响。当前并没有一种可靠的基于长期记忆的视频QoE评价方案，能够从测试者的主观评价的实验数据中抽取出能够进行客观量化的指标信息，从而形成具备现实技术价值的视频处理、压缩和传输的指导。
技术实现思路
为了填补现有技术的空白，本专利技术提出一种基于长期记忆的视频QoE评价系统及方法，其提供了完备的测试视频生成和测试数据处理及建模的完整方案，能够从人员对视频的评价中提取出基于长期记忆的QoE量化信息，从而对视频处理、压缩和传输提供关键性的指导作用。本专利技术具体采用以下技术方案：一种基于长期记忆的视频QoE评价系统，其特征在于,包括：视频序列生成模块、采集模块、基于长期记忆的数据库和QoE评价模型；所述视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；所述可接受度测试视频序列生成模块将每个源视频按不同Qp值进行编码，并将同一个源视频的具有不同Qp值的视频以Qp值从大到小的顺序依次拼接，并在每段视频之间插入一段灰度视频作为两个测试视频之间的过渡，从而生成多个可接受度测试视频序列；所述长期记忆影响测试视频序列生成模块对选取多个离散Qp值对应的多个视频并进行有间隔的随机排列，作为长期记忆影响测试视频序列；所述采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；所述基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息；所述整体可接受度为每个实验人员对不同视频的可接受度的平均值；所述QoE评价模型的LTM_QoE模型公式如下：其中，q表示视频的客观质量；Racc表示视频的可被接受度；α、β以及C分别是视频的可被接受度的权重系数、视频客观质量的权重系数以及常数项；所述视频的可被接受度为在同一类数据库中的不同实验人员对同一视频的可接受度的平均值。优选地，还包括数据筛选模块，所述数据筛选模块对基于长期记忆的数据库中的数据进行筛选，通过分别计算每一类数据库中，主观意见分与MOS值的相关系数以剔除异常数据。优选地，当所述相关系数小于0.7时，作为异常数据去除。优选地，所述视频的客观质量通过采用SSIM算法获得的SSIM值表征。优选地，α、β以及C的值通过使用留出法从基于长期记忆的数据库中随机选择的数据训练获得。优选地，α＝-5.311，β＝8.151，C＝-0.848。以及根据以上评价系统的评价方法，其特征在于，包括以下步骤：步骤S1：生成多个可接受度测试视频序列和长期记忆影响测试视频序列；步骤S2：进行可接受度实验；通过观看可接受度测试视频序列获取实验人员对视频的可接受度；进行长期记忆影响实验，通过观看长期记忆影响测试视频序列获取实验人员对视频的主观意见分；步骤S3：按照整体可接受度的区间将实验人员对视频的可接受度信息存储于各类数据库中；并计算获取每一视频的的可被接受度；步骤S4：使用留出法从所述基于长期记忆的数据库中随机选择数据对LTM_QoE模型进行训练，以确定模型的参数。优选地，在步骤S3计算获取每一视频的的可被接受度之前，还对数据库中的数据进行筛选，通过分别计算每一类数据库中，主观意见分与MOS值的相关系数以剔除异常数据。优选地，在所述长期记忆影响实验中，实验环境满足ITU-RBT.500-13建议书中的要求，采用ITU-TP.911建议的11个等级绝对等级评分对测试视频进行评分。与现有技术相比，本专利技术及其优选方案有如下有益效果：1、本专利技术方案通过对源视频进行处理构建了可接受度测试视频序列和长期记忆影响测试视频序列，为提取可接受度信息提供了客观的载体。2、本专利技术方案采用可接受度表征用户对视频质量的长期记忆，并通过主观指标与客观指标的融合，建立了能够有效提取客观量化的指标信息的基于长期记忆的QoE评价模型，从而对视频处理、压缩和传输提供关键性的指导作用。附图说明下面结合附图和具体实施方式对本专利技术进一步详细的说明：图1为本专利技术实施例可接受度实验测试视频构建示意图；图2为本专利技术实施例可接受度实验数据处理流程图。具体实施方式为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：本实施例提供了如下的评价系统设计方案，包括：视频序列生成模块、采集模块、基于长期记忆的数据库、数据筛选模块和QoE评价模型；视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；可接受度测试视频序列生成模块将每个源视频按不同Qp值进行编码，并将同一个源视频的具有不同Qp值的视频以Qp值从大到小的顺序依次拼接，并在每段视频之间插入一段灰度视频作为两个测试视频之间的过渡，从而生成多个可接受度测试视频序列；长期记忆影响测试视频序列生成模块对选取多个离散Qp值对应的多个视频并进行有间隔的随机排列，作为长期记忆影响测试视频序列；采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息；整体可接受度为每个实验人员对不同视频的可接受度的平均值；数据筛选模块对基于长期记忆的数据库中的数据进行筛选，通过分别计算每一类数据库中，主观意见分与MOS值的相关系数以剔除异常数据；当相关系数小于0.7时，作为异常数据去除本文档来自技高网...

【技术保护点】
1.一种基于长期记忆的视频QoE评价系统，其特征在于,包括：视频序列生成模块、采集模块、基于长期记忆的数据库和QoE评价模型；/n所述视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；/n所述可接受度测试视频序列生成模块将每个源视频按不同Qp值进行编码，并将同一个源视频的具有不同Qp值的视频以Qp值从大到小的顺序依次拼接，并在每段视频之间插入一段灰度视频作为两个测试视频之间的过渡，从而生成多个可接受度测试视频序列；/n所述长期记忆影响测试视频序列生成模块对选取多个离散Qp值对应的多个视频并进行有间隔的随机排列，作为长期记忆影响测试视频序列；/n所述采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；/n所述基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息；/n所述整体可接受度为每个实验人员对不同视频的可接受度的平均值；/n所述QoE评价模型的LTM_QoE模型公式如下：/n

【技术特征摘要】
1.一种基于长期记忆的视频QoE评价系统，其特征在于,包括：视频序列生成模块、采集模块、基于长期记忆的数据库和QoE评价模型；
所述视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；
所述可接受度测试视频序列生成模块将每个源视频按不同Qp值进行编码，并将同一个源视频的具有不同Qp值的视频以Qp值从大到小的顺序依次拼接，并在每段视频之间插入一段灰度视频作为两个测试视频之间的过渡，从而生成多个可接受度测试视频序列；
所述长期记忆影响测试视频序列生成模块对选取多个离散Qp值对应的多个视频并进行有间隔的随机排列，作为长期记忆影响测试视频序列；
所述采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；
所述基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息；
所述整体可接受度为每个实验人员对不同视频的可接受度的平均值；
所述QoE评价模型的LTM_QoE模型公式如下：



其中，q表示视频的客观质量；Racc表示视频的可被接受度；α、β以及C分别是视频的可被接受度的权重系数、视频客观质量的权重系数以及常数项；
所述视频的可被接受度为在同一类数据库中的不同实验人员对同一视频的可接受度的平均值。


2.根据权利要求1所述的基于长期记忆的视频QoE评价系统，其特征在于：还包括数据筛选模块，所述数据筛选模块对基于长期记忆的数据库中的数据进行筛选，通过分别计算每一类数据库中，主观意见分与MOS值的相关系数以剔除异常数据。


3.根据权利要求2所述的基于长期记忆的视频QoE评价系统，其特征在于：当所述相关系数小于0.7时，作为异常数据去除。

【专利技术属性】
技术研发人员：赵铁松，郑琰楠，陈静，陈炜玲，房颖，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35