一种基于时空域感知的视频动作质量评价方法技术

一种基于稀疏融合的在线碳语义地图构建方法，所述方法包括以下步骤：1)对输入视频进行时空分片处理，分成视频片段集合p和关键帧片段集合x；2)提取视频片段集合p的多速率运动特征，然后通过快特征与慢特征的插值对齐模块得到时域运动特征；3)提取关键帧片段集合x的多尺度空间特征，然后通过多尺度特征对齐模块得到对齐后的空域特征；4)融合对齐后的时域运动特征与空域特征得到一个具有时空感知特性的视频动作质量特征，然后进入质量回归模块得到视频动作质量评价分数。本发明专利技术利用非常稀疏的图片帧来提取空间特征和具有非常低空间分辨率的密集视频帧来提取运动特征，在提高精度的同时降低了计算复杂度，更适合边缘设备的部署应用。署应用。署应用。

【技术实现步骤摘要】
一种基于时空域感知的视频动作质量评价方法


[0001]本专利技术涉及视频质量评价领域，尤其涉及基于时空域感知的视频动作质量评价方法。

技术介绍

[0002]近年来，用户生成内容视频呈爆炸式增长在互联网中。浏览、制作、分享视频已成为大众的生活日常，通过社交媒体应用程序例如YouTube、TikTok、推特等。由于视频中主体的动作十分丰富，面对如此多样的自定义视频，服务提供商需要针对视频质量进行分析与监控，最终为用户提供更好的体验质量。针对于每天数百万的用户生成内容视频，仅依靠人类视觉系统进行及时的质量评估是消耗劳动力且效率低下的，因此，开发可靠的视频动作质量评估模型确保质量的视频服务是十分重要的。
[0003]视频动作质量评价是计算机视觉领域的一个重要研究方向，它的目标是利用计算机算法来对视频中的动作进行自动化评价，在视频动作评价领域很多方法已经被提出，其中大多数方法基于机器学习使用标记数据去训练质量预测模型。在早期传统的视频动作质量评估，采用手工制作的功能，利用一组通用的质量感知特征，结合使用流行的图像质量方法通过回归预测质量。因为时空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空域感知的视频动作质量评价方法，包括以下步骤：1)对输入视频进行时空分片处理，分成视频片段集合p和关键帧片段集合x；2)提取视频片段集合p的多速率运动特征，然后通过快特征与慢特征的插值对齐模块得到时域运动特征；3)提取关键帧片段集合x的多尺度空间特征，然后通过多尺度特征对齐模块得到对齐后的空域特征；4)融合对齐后的时域运动特征与空域特征得到一个具有时空感知特性的视频动作质量特征，然后进入质量回归模块得到视频动作质量评价分数。2.如权利要求1所述的一种基于时空域感知的视频动作质量评价方法，其特征在于：步骤1)具体包括：对输入视频进行时空分片处理，分成视频片段集合p和关键帧片段集合x。输入视频V被分割成N
k
个包含在向量中的连续片段。每个视频片段p
i
包括N
f
帧：p
i
＝{f
i，j
}。在每个视频片段中选择一帧关键帧f
i，1
来提取空间特征，使用p
i
中的所有帧提取运动特征。3.如权利要求1所述的一种基于时空域感知的视频动作质量评价方法，其特征在于：所述步骤2)具体包括：提取视频片段集合p
i
的多速率运动特征，然后通过快特征与慢特征的插值对齐模块得到时域运动特征；使用预训练的慢
‑
快动作识别模型SLOW
‑
FAST获取每个视频片段的动作特征；SLOW
‑
FAST模型分别通过Slow和Fast分支提取慢速率特征和块速率特征信息，使得动作识别网络的特征表示能够有效反映视频中主体的运动信息；因此，给定一个视频片段p
i
(i∈{1，2，3，...，N
c
})，使用动作识别网络分别得到慢速率和快速率特征和通过连接这些特征，得到慢速率特征集和快速率特征集：随后，将注意力机制应用于不同运动速率X
slow
，X
fast
的输入特征，通过学习注意力权重和执行多个运动特征的加权求和，得到多种速率自适应地对齐运动特征F
s
，F
t
：W
att
＝Softmax(ReLu(Conv1(X
slow
)+Conv2(X
fast
)))
ꢀꢀꢀꢀ
(2)其中Conv1(
·
)和Conv2(
·
)是两个具有单一内核大小的二维卷积核，ReLu(
·
)和Softmax(
·
)是激活函数，W
att
是注意力权重；为了获得在时间维度上具有相同大小和采样率的数据，使用多速率插值方法进行插值和对齐；对于每个时间戳t，对处理后的特征F
s
，F
t
进行插值和对齐，以获得该时间戳的对齐特征：其中是SLOW
‑
FAST网络在视频帧t处提取的特征，s和f分别代表慢路径和快路...

【专利技术属性】
技术研发人员：陈朋，杨正一，周鸿超，党源杰，张斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：