【技术实现步骤摘要】
一种基于互补注意力机制循环卷积解码的视频描述方法
本专利技术属于计算机视觉领域，特别地涉及一种基于全局-局部互补注意力机制循环卷积解码的视频描述方法。
技术介绍
在现今社会，视频变成了人类生活中不可或缺的一部分，可以说无处不在。这样的环境使得人们对于视频语义内容的研究也得到了很大的发展，但目前对于视频的大多数研究主要集中在较低层次，比如分类，检测等。得益于循环神经网络的发展，视频描述生成这个新的任务也映入了人们的眼帘。给定一个视频片段，使用经过训练得到的网络模型，自动为视频片段生成一句描述。其在现实社会的应用也很广泛，比如，YouTube上每分钟会产生大约100个小时的视频，如果产生的视频资源没有被很好地标记，那么这些资源就没法被充分的利用，所以视频描述对于网上视频的搜索和检索有着至关重要的作用。此外，视频描述也使得“盲人电影”有了很好的发展，让盲人也能“观看”电影。现有的视频描述生成方法大都采用编码器-解码器结构，使用编码器提取视频数据的信息并转化为特征，使用解码器将特征解码为语句描述。对于视频数据，编码器一般使用卷积神经网络与循环神经网络相结合的形式，提取的特...
【技术保护点】
1.一种基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，包括以下步骤：S1、获取用于训练视频描述生成模型的视频数据集，所述视频数据集包括多个样本视频，并定义算法目标；S2、对视频数据集中每个样本视频的全局时序特征以及局部语义特征建模，得到样本视频的全局时序特征以及局部语义特征；S3、通过全局‑局部视频特征在循环卷积解码器上建立互补注意力机制，基于样本视频的特征建立描述生成模型；S4、使用所述描述生成模型生成输入视频的描述。
【技术特征摘要】
1.一种基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，包括以下步骤：S1、获取用于训练视频描述生成模型的视频数据集，所述视频数据集包括多个样本视频，并定义算法目标；S2、对视频数据集中每个样本视频的全局时序特征以及局部语义特征建模，得到样本视频的全局时序特征以及局部语义特征；S3、通过全局-局部视频特征在循环卷积解码器上建立互补注意力机制，基于样本视频的特征建立描述生成模型；S4、使用所述描述生成模型生成输入视频的描述。2.如权利要求1所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S1中，所述的视频数据集包括样本视频集Xtrain以及人工标注的视频描述集Ytrain；定义算法目标为：给定样本视频x＝{x1，x2，...，xL}，生成此视频的描述语句y＝{y1，y2，...，yN}；其中，xi代表第i个视频块，每个视频块包含固定的视频帧数且可以有重叠，L代表总视频块数，yi代表描述语句的第i个单词，N代表描述语句长度。3.如权利要求2所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S2具体包括：S21、将样本视频x＝{x1，x2，...，xL}每一个视频块xi中的中心图像输入二维卷积神经网络,提取该视频块的图像特征；将每一个视频块xi输入三维深度卷积神经网络，得到该视频块的运动特征；提取每个视频块传统的MFCC音频特征；将每个视频块得到的三种特征拼接起来，作为该样本视频的全局时序特征G＝{g1，g2，...，gL}；S22、将样本视频x...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。