一种基于全卷积网络的视频关键帧提取方法技术

本发明专利技术公开了一种基于全卷积网络的视频关键帧提取方法，所述方法包括：将原始视频输入到预训练的卷积网络中进行特征提取，输出特征向量X；将所述特征向量X输入交叉注意力模块，经过关联操作和聚合操作，输出特征向量H'；将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H"；利用解码器对所述特征向量H"进行特征重建，获得最终重建特征，并基于所述最终重建特征获取视频帧，确定为视频关键帧。应用本发明专利技术，能提高提取视频关键帧的精确度。

【技术实现步骤摘要】
一种基于全卷积网络的视频关键帧提取方法
本专利技术属于视觉处理
，具体地说，是涉及视频关键帧提取技术，更具体地说，是涉及基于全卷积网络的视频关键帧提取方法。
技术介绍
随着视频采集设备的日益普及和成本的不断降低，近几年来视频数据量急剧增加，视频已经成为最重要的视觉数据形式之一。由于视频数据量巨大，人类观看这些视频并识别有用信息是不现实的。根据思科2017年视觉网络指数，预计到2021年，每个人每月要观看上传到互联网上的所有视频，大约需要500万年。因此，开发能够高效浏览海量视频数据的计算机视觉技术变得越来越重要。视频摘要作为一种有前途的工具，有助于处理大量的视频数据。给定一个输入视频，视频摘要的目标是创建一个较短的视频，捕获输入视频的重要信息。视频摘要在许多实际应用中都很有用，例如，在视频监控中，人们浏览监控摄像头拍摄的许多个小时的视频，既繁琐又费时，如果能提供一个简短的摘要视频，从长视频中捕捉重要信息，这将大大降低视频监控所需的人力资源。视频摘要还可以在视频搜索、检索和理解方面提供更好的用户体验。由于短视频更易于存储和传输，因此本文档来自技高网...

【技术保护点】
1.一种基于全卷积网络的视频关键帧提取方法，其特征在于，所述方法包括：/n将原始视频输入到预训练的卷积网络中进行特征提取，输出特征向量X；所述卷积网络中不具有全连接层；/n将所述特征向量X输入交叉注意力模块，经过关联操作和聚合操作，输出特征向量H'；/n将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H"；/n利用解码器对所述特征向量H"进行特征重建，获得最终重建特征，并基于所述最终重建特征获取视频帧，确定为视频关键帧；所述解码器采用转置卷积层实现。/n

【技术特征摘要】
1.一种基于全卷积网络的视频关键帧提取方法，其特征在于，所述方法包括：
将原始视频输入到预训练的卷积网络中进行特征提取，输出特征向量X；所述卷积网络中不具有全连接层；
将所述特征向量X输入交叉注意力模块，经过关联操作和聚合操作，输出特征向量H'；
将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H"；
利用解码器对所述特征向量H"进行特征重建，获得最终重建特征，并基于所述最终重建特征获取视频帧，确定为视频关键帧；所述解码器采用转置卷积层实现。


2.根据权利要求1所述的基于全卷积网络的视频关键帧提取方法，其特征在于，所述卷积网络为残差网络，所述残差网络的最后一层为1*1的卷积层，所述残差网络中的部分卷积层为空洞卷积层。


3.根据权利要求1所述的基于全卷积网络的视频关键帧提取方法，其特征在于，在训练所述残差网络时，在紧邻所述最后一层网络层的倒数第二层网络层中增加辅助损失函数loss2，利用所述辅助损失函数loss2与所述残差网络的主损失函数loss1共同作为损失函数进行所述残差网络的训练。


4.根据权利要求3所述的基于全卷积网络的视频关键帧提取方法，其特征在于，所述残差网络的损失函数为loss，满足：loss=loss1+α*loss2；α为权重，0＜α＜1。


5.根据权利要求1所述的基于全卷积网络的视频关键帧提取方法，其特征在于，将所述特征向量H'和所述卷积网络的低层网络的输出特征向量F同时输入通道注意力模块，输出特征向量H"，具体为：
将所述特征向量...

【专利技术属性】
技术研发人员：刘云，马瑞迪，李辉，薛盼盼，崔雪红，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：山东;37