基于感知和记忆的视频动态质量评价系统技术方案

本发明专利技术提出一种基于感知和记忆的视频动态质量评价系统，基于计算机系统，采用包括：感知特征提取模块和长短期记忆模块的视频动态质量评价模型PAM

【技术实现步骤摘要】
基于感知和记忆的视频动态质量评价系统


[0001]本专利技术属于视频质量评价
，具体涉及一种基于感知和记忆的视频动态质量评价系统。

技术介绍

[0002]由于网络环境的多变性，视频播放过程中容易出现卡顿、比特率波动等情况，严重影响了终端用户的体验质量。为优化网络资源分配并提升用户观看体验，准确评估视频质量至关重要。
[0003]现有的视频质量评价方案主要针对短视频，普遍关注人眼视觉感知特性，较少考虑人类记忆特性对视觉信息的存储和表达能力，以及视觉感知和记忆特性之间的相互作用。
[0004]相比于短视频，考虑用户观看长视频的比重也相当大，且对长视频的质量要求相对更高，现有技术的视频质量评价方案对长视频的评判效果不佳，与实际用户体验质量不符。

技术实现思路

[0005]有介于此，本专利技术提出对视频的动态评价方案，除了考虑感知要素外，还引入记忆要素，以更好地衡量长视频的质量评价，为此，本专利技术提出一种基于感知和记忆的视频动态质量评价方案，并构建形成具备实用价值的评价系统，以提升了用户体验质量(QoE)，特别是对于长视频的预测性能。
[0006]本专利技术在设计过程中，首先，通过主观实验，探究在不同视频播放模式下，视觉感知特性和人类记忆特性对用户体验质量的影响，构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception andMemory，PAM
‑
VQD)；其次，基于PAM
‑
VQD数据库，采用深度学习的方法，结合视觉注意力机制，提取视频的深层感知特征，以精准评估感知对用户体验质量的影响；将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络，以建立视觉感知和记忆特性之间的时间依赖关系。最后，采取对比算法、消融实验，对PAM
‑
DVQI模型进行性能分析。
[0007]本专利技术解决其技术问题采用的技术方案是：
[0008]一种基于感知和记忆的视频动态质量评价系统：
[0009]基于计算机系统，采用包括：感知特征提取模块和长短期记忆模块的视频动态质量评价模型PAM
‑
DVQI，对输入的视频输出用户体验质量评分；
[0010]所述视频动态质量评价模型基于视频主观数据库，考虑HVS的视觉注意力机制以及记忆效应的时间依赖关系，结合ResNet网络和LSTM网络，构建并训练获得。
[0011]进一步地，所述感知特征提取模块以残差网络ResNet为前端网络，对输入的视频帧做数据归一化处理，利用四个残差单元作为特征提取器，其计算公式如(1)所示：
[0012][0013]其中，x和y表示残差模块的输入和输出特征图，W为卷积层的参数，函数表示通过训练获得的残差映射；
[0014]在四个残差单元之后设置有效通道注意力模块ECA，用于优化ECA
‑
ResNet网络的特征表达能力；
[0015]对ECA
‑
ResNet网络输出的特征图进行全局平均池化操作，以获得所有视频帧对应的感知特征；建立感知特征与用户瞬时感知质量之间的映射：
[0016]所述长短期记忆模块采用三种特征进行建模，包括IPQ、PS、TS，其中IPQ为用户的瞬时感知质量，PS为二进制变量，用于标识视频是处于播放状态或卡顿状态，TS为两次卡顿事件之间时间间隔的变量；
[0017]为了捕获用户的记忆特性，采用LSTM
l,d
网络进行后端建模，为多个LSTM单元级联而成，以构建感知和记忆与用户体验质量之间的映射，具体计算公式如(2)至(4)所示：
[0018]p(y(t)|y(t
‑
1),y(t
‑
2),
…
,y(1))＝p(y(t)；g(c(t))) (2)
[0019][0020][0021]其中，条件概率p(y(t)|y(t
‑
1),y(t
‑
2),
…
,y(1))表示用户体验质量具有高阶时间依赖关系，g(
·
)是一个可微函数，用于将LSTM单元中的记忆状态c(t)映射到潜在的QoE分布；c(1:t
‑
1)为t
‑
1时刻的记忆状态，为为t
‑
1时刻的QoE预测值，c(t)为t时刻的记忆状态；为t时刻的用户体验质量预测值，x(t)为输入特征向量，c(t
‑
1)为t
‑
1时刻的记忆状态。
[0022]进一步地，所述长短期记忆模块的LSTM网络配置为2个LSTM层和11个单元。
[0023]进一步地，所述视频主观数据库具体为考虑视觉感知特性和记忆特性对用户体验质量的影响构建获得的时长满足预设条件的视频主观数据库。
[0024]进一步地，所述视频主观数据库当中的视频包含多种播放模式，每种播放模式下包含多个视频，且对应有用户在不同播放模式下的视频主观质量评分。
[0025]相比于现有技术，本专利技术及其优选方案根据采取对比算法、消融实验，对所提的模型进行性能分析的结果均具有显著优势。
附图说明
[0026]下面结合附图和具体实施方式对本专利技术进一步详细的说明：
[0027]图1为本专利技术实施例提供的基于感知和记忆的视频动态质量评价系统构建流程示意图；
[0028]图2为本专利技术实施例基于感知和记忆的视频动态质量评价模型整体结构示意图。
具体实施方式
[0029]为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0030]应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属
的普通技术人员
通常理解的相同含义。
[0031]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0032]如图1所示，本实施例首先对本专利技术基于感知和记忆的视频动态质量评价系统的核心模型的构建方案进行介绍，其主要考虑视觉感知特性和人类记忆特性，包括如下步骤：
[0033]步骤S1：考虑视觉感知特性和记忆特性对用户QoE的影响，构建时长较长的视频主观数据库；
[0034]具体为：
[0035]步骤S11：从在线视频网站YouTube中选取场景分布广泛的高质量视频作为实验源视频；
[0036]步骤S12：利用Adobe Premiere Pro软件处理源视频，设计具有不同播放模式的测试序列。本实施例设置了8种视频播放模式，每种模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知和记忆的视频动态质量评价系统，其特征在于：基于计算机系统，采用包括：感知特征提取模块和长短期记忆模块的视频动态质量评价模型PAM
‑
DVQI，对输入的视频输出用户体验质量评分；所述视频动态质量评价模型基于视频主观数据库，考虑HVS的视觉注意力机制以及记忆效应的时间依赖关系，结合ResNet网络和LSTM网络，构建并训练获得。2.根据权利要求1所述的基于感知和记忆的视频动态质量评价系统，其特征在于：所述感知特征提取模块以残差网络ResNet为前端网络，对输入的视频帧做数据归一化处理，利用四个残差单元作为特征提取器，其计算公式如(1)所示：其中，x和y表示残差模块的输入和输出特征图，W为卷积层的参数，函数表示通过训练获得的残差映射；在四个残差单元之后设置有效通道注意力模块ECA，用于优化ECA
‑
ResNet网络的特征表达能力；对ECA
‑
ResNet网络输出的特征图进行全局平均池化操作，以获得所有视频帧对应的感知特征；建立感知特征与用户瞬时感知质量之间的映射：所述长短期记忆模块采用三种特征进行建模，包括IPQ、PS、TS，其中IPQ为用户的瞬时感知质量，PS为二进制变量，用于标识视频是处于播放状态或卡顿状态，TS为两次卡顿事件之间时间间隔的变量；为了捕获用户的记忆特性，采用LSTM
l,d
网络进行后端建模，为多个LSTM单元级联而成，以构建感知和记忆与用户体验质量之间的映射，具体计算公式如(2)至(4)所示：p(y...

【专利技术属性】
技术研发人员：林丽群，王艳婷，何嘉晨，暨书逸，郑阳，赵铁松，
申请(专利权)人：福州大学，
类型：发明
国别省市：