【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于特征表达增强的视频摘要生成方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、视频摘要是自然语言处理(nlp)领域的一项重要任务，也是目前的研究热点。随着短视频平台的快速发展，视频数据呈现爆炸性增长，如何高效地理解和提取视频中的关键信息，进而生成简洁而准确的视频摘要是当前亟待解决的核心问题之一。视频摘要是指通过提取视频中的关键信息，将长视频压缩为简短且易于理解的形式，以便用户快速获取视频核心内容。
3、目前，视频摘要主要在于对关键信息的提取，特别是通过关键帧来提取概括视频的核心内容，但是，往往这种方法存在诸多不足之处，例如：现有研究通常是通过分析视频帧的关键特征以压缩视频信息并保留重要元素，但提取视频帧的特征往往不够具有代表性。随着神经网络的发展，考虑到cnn(convolutional neural networks, 卷积神经网络)强大的特征提取能力，当前常利用cnn对视频帧的特征提取进行深入分析与理解，以此提...
【技术保护点】
1.一种基于特征表达增强的视频摘要生成方法，其特征在于，包括：
2.如权利要求1所述的一种基于特征表达增强的视频摘要生成方法，其特征在于，所述通道注意力层中，输入的初始特征图经全局平均池化对空间信息进行压缩，得到每个通道的全局描述，再通过卷积学习通道注意力信息，利用激活函数得到每个通道的注意力权重；
3.如权利要求1所述的一种基于特征表达增强的视频摘要生成方法，其特征在于，所述位置编码层中，针对输入的每一视频帧图像的特征表示，引入当前视频帧在原始视频中的位置信息，得到位置编码后的特征表示；
4.如权利要求1所述的一种基于特征表达增强...
【技术特征摘要】
1.一种基于特征表达增强的视频摘要生成方法，其特征在于，包括：
2.如权利要求1所述的一种基于特征表达增强的视频摘要生成方法，其特征在于，所述通道注意力层中，输入的初始特征图经全局平均池化对空间信息进行压缩，得到每个通道的全局描述，再通过卷积学习通道注意力信息，利用激活函数得到每个通道的注意力权重；
3.如权利要求1所述的一种基于特征表达增强的视频摘要生成方法，其特征在于，所述位置编码层中，针对输入的每一视频帧图像的特征表示，引入当前视频帧在原始视频中的位置信息，得到位置编码后的特征表示；
4.如权利要求1所述的一种基于特征表达增强的视频摘要生成方法，其特征在于，经位置编码后的特征依次通过自注意力层和时空注意力层提取关键时空特...
【专利技术属性】
技术研发人员：朱振方，付振睿，裴洪丽，卢强，王富瑞，柴建勇，赵大伟，亓江涛，李克峰，刘芸，陈竹敏，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。