视频摘要的生成方法、设备和存储介质技术

本公开提供了一种视频摘要的生成方法、设备和存储介质，属于视频处理技术领域。该方法包括：提取目标视频中每一视频帧的视觉特征，将每一视频帧的视觉特征输入至自注意力网络，以使自注意力网络依据视频帧之间的相对位置获得每一视频帧的自注意力特征。基于每一视频帧的自注意力特征，确定每一视频帧的重要性预测值。使用每一视频帧的重要性预测值，生成目标视频的视频摘要。采用本公开，能够自动生成视频的视频摘要，进而能够提升生成视频摘要的效率。效率。效率。

【技术实现步骤摘要】
视频摘要的生成方法、设备和存储介质


[0001]本公开涉及视频处理
，特别涉及一种视频摘要的生成方法、设备和存储介质。

技术介绍

[0002]随着网络技术、视频拍摄设备的发展和普及，视频的数量急剧增加，给浏览视频带来了巨大的挑战。为了便于浏览视频，视频摘要应运而生，视频摘要是通过分析原始视频获得的包含重要信息的视频帧。这样，视频摘要的内容相比原始视频比较少，能够使得浏览体验比较好。
[0003]相关技术中，在生成视频摘要时，是人工浏览视频，将包含重要信息的帧组合在一起，获得视频摘要。这样，人工浏览大量的视频，会导致生成视频摘要的效率比较低。

技术实现思路

[0004]本公开实施例提供了一种视频摘要的生成方法、设备和存储介质，能够提升生成视频摘要的效率。所述技术方案如下：
[0005]一方面，本公开提供了一种视频摘要的生成方法，所述方法包括：
[0006]提取目标视频中每一视频帧的视觉特征；
[0007]将所述每一视频帧的视觉特征输入至自注意力网络，以使所述自注意力网络依据所述视频帧之间的相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频摘要的生成方法，其特征在于，所述方法包括：提取目标视频中每一视频帧的视觉特征；将所述每一视频帧的视觉特征输入至自注意力网络，以使所述自注意力网络依据所述视频帧之间的相对位置获得所述每一视频帧的自注意力特征；基于所述每一视频帧的自注意力特征，确定所述每一视频帧的重要性预测值；基于所述每一视频帧的重要性预测值，生成所述目标视频的视频摘要。2.根据权利要求1所述的方法，其特征在于，所述自注意力网络包括前向的自注意力网络和后向的自注意力网络；所述将所述每一视频帧的视觉特征输入至自注意力网络，以使所述自注意力网络依据所述视频帧之间的相对位置获得所述每一视频帧的自注意力特征，包括：将所述每一视频帧的视觉特征输入所述前向的自注意力网络，获得所述每一视频帧的第一自注意力特征，并将所述每一视频帧的视觉特征输入所述后向的自注意力网络，获得所述每一视频帧的第二自注意力特征；将所述每一视频帧的第一自注意力特征和所述每一视频帧的第二自注意力特征对应叠加，获得所述每一视频帧的自注意力特征。3.根据权利要求2所述的方法，其特征在于，所述前向的自注意力网络利用公式得到所述每一视频帧的第一自注意力特征；所述后向的自注意力网络利用公式得到所述每一视频帧的第二自注意力特征；其中，n为所述目标视频中视频帧的数目，i、j为1至n中的任一数值，x
i
为第i视频帧的视觉特征，x
j
为第j视频帧的视觉特征，c
i1
为所述第i视频帧的第一自注意力特征，a
ij1
为所述前向的自注意力网络中的权重系数，α
ijV1
为在所述前向的自注意力网络中所述第i视频帧与所述第j视频帧之间的相对位置，W
V1
为所述前向的自注意力网络的线性变换参数；c
i2
为所述第i视频帧的第二自注意力特征，a
ij2
为所述后向的自注意力网络中的权重系数，α
...

【专利技术属性】
技术研发人员：洪国伟，林静旭，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：