一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质技术方案

本发明专利技术公开了一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质，属于视频质量评价领域，该系统包括：特征提取模块，用于提取视频中大感受野的原始时空维度特征；解耦模块，用于将原始时空维度特征解耦成原始空间特征和/或原始时间特征；质量注意力机制模块，用于接收原始空间特征，对提取的原始空间特征施加与视频质量相关的权重；其中利用视频在空间上的注意力情况对其实施注意力机制，利用质量提取模块获得所需的注意力参数，利用质量注入模块共享参数，并优化提取到的特征，使得特征在空间上更加关注质量相关信息而不是仅关注失真信息；同时在时间维上突出重要视频帧所占的作用，从而提高视频评价质量。质量。质量。

【技术实现步骤摘要】
一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质


[0001]本专利技术属于视频质量评价
，具体地说，涉及一种基于质量注意力机制的视频时空特征优化方法、系统、电子设备及存储介质。

技术介绍

[0002]移动网络的发展给人们的生活带来极大的便利，而视频信息在短视频服务、智慧生活等众多场景发挥了重要作用。伴随着视频技术的快速发展，用户对于视频服务的体验质量要求原来越高。而在视频采集、编码、传输等各个阶段对视频质量进行评价对于提供更好的体验质量具有非常重要的意义。
[0003]在视频质量评价中，视频中包含的失真会极大地影响其质量，而失真的种类非常多，因此想要提取这些失真信息对质量的影响难度较大。目前主要有两种方法，其一，是通过使用卷积神经网络自动提取视频特征，这种方法利用卷积神经网络自动学习视频中的失真信息来完成质量评价。其二，是利用三维的卷积神经网络在提取特征后直接进行映射或者处理时间维信息。然而无论是第一种方法还是第二种方法均忽略了视频中除失真外还存在一些影响主观感知的其他因素。这些因素虽然不属于失真类别，比如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于质量注意力机制的视频时空特征优化系统，其特征在于，所述系统包括：特征提取模块，用于提取视频中大感受野的原始时空维度特征；解耦模块，用于将所述原始时空维度特征解耦成原始空间特征和/或原始时间特征；及质量注意力机制模块，用于接收所述原始空间特征，对提取的所述原始空间特征施加与视频质量相关的权重；其中，所述质量注意力机制模块包括质量提取单元和空间质量注入单元，所述质量提取单元块用于提取原始空间特征中对视频质量具有适应性的模型参数；所述空间质量注入单元用于根据适应性的模型参数提取质量相关权重并对原始空间特征加权，得到优化后的空间特征。2.根据权利要求1所述的一种基于质量注意力机制的视频时空特征优化系统，其特征在于，所述的质量提取单元块包括下采样层、信息参数共享层、池化层以及全连接层；所述下采样层用于对输入的原始空间特征进行下采样操作；所述信息参数共享层用于提取下采样后的空间特征，所述池化层对信息参数共享层中每一层的输出特征进行全局平均池化操作得到预定大小的特征图；所述全连接层用于接收由每一层池化后得到的特征图进行张量拼接得到的高层语义特征，并进行映射得到最终的质量分数，保留对视频质量具有适应性的模型参数。3.根据权利要求2所述的一种基于质量注意力机制的视频时空特征优化系统，其特征在于，所述的空间质量注入单元的结构包括空间丢弃层、信息参数共享层以及第一矩阵点乘层；空间丢弃层，用于对原始空间特征重置，得到重置后的空间特征；信息参数共享层，用于提取重置后空间特征与质量信息相关的权重，将所述权重经过激活函数激活得到第一权重向量，其中所述信息参数共享层是根据所述模型参数配置的；第一矩阵点乘层，用于将权重向量与原始空间特征进行矩阵点乘，得到优化后的空间特征。4.根据权利要求1所述的一种基于质量注意力机制的视频时空特征优化系统，其特征在于，还包括时空特征融合模块，所述时空特征融合模块包括时间维加权模块，所述时间维加权模块包括一维卷积提取层和第二矩阵点乘层；所述一维卷积提取层，用于提取原始时间特征得到时间维的权重特征，将时间维的权重特征转为第二权重向量；所述第二矩阵点乘层，利用矩阵点乘将所述第二权重向量施加在原时间特征中，获得...

【专利技术属性】
技术研发人员：余烨，程勃，程茹秋，路强，
申请(专利权)人：合肥工业大学智能制造技术研究院，
类型：发明
国别省市：