一种基于FD-SPnet网络的视频关键帧提取方法技术

本发明专利技术公开了一种基于FD

【技术实现步骤摘要】
一种基于FD
‑
SPnet网络的视频关键帧提取方法


[0001]本专利技术涉及了一种视频关键帧提取方法，具体涉及一种基于FD
‑
SPnet网络的视频关键帧提取方法。

技术介绍

[0002]近年来，视频序列图像中的运动目标检测在只能监控、视频压缩、自动导航、人机交互、虚拟现实等许多领域中的应用越来越广泛。为更方便的处理视频、更快速的得到视频主要内容，优化识别效率，关键帧提取方法被提出。关键帧提取算法，常见的基于传统法、时间采样法、聚类法、视频分段法、深度学习法等五类方法。
[0003]基于传统法视频帧选取法运行快，但误差率较大；目前采用的帧间时间平均池的方法提取帧间区域相关特征和均值特征，但基于时间采样法会忽略运动信息；基于聚类法没有考虑到时间信息，不适用于动作视频这种具有时间信息要求的关键帧选取；基于视频分段算法根据突变边界划分镜头，不适应于复杂背景下的动作视频；目前提出的一种基于深度学习的视频关键片段和关键帧提取方法，该方法主要通过自编码器对视频帧进行特征提取，通过比较视频帧之间的特征差异进行选择关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FD
‑
SPNet网络的视频关键帧提取方法，其特征在于：方法包括如下步骤：步骤1)建立FD
‑
SPNet网络；步骤2)将若干带有动作类别标签的动作视频输入FD
‑
SPNet网络中训练，获得训练完成的FD
‑
SPNet网络；步骤3)将待测动作视频输入训练完成的FD
‑
SPNet网络中，训练完成的FD
‑
SPNet网络输出待测动作视频中若干待提取的视频关键帧的特征信息，将各个待提取的视频关键帧的特征信息输入Fast
‑
NMS网络中，Fast
‑
NMS网络输出待测动作视频中若干最终的视频关键帧，实现视频关键帧的提取。2.根据权利要求1所述的一种基于FD
‑
SPNet网络的视频关键帧提取方法，其特征在于：所述的步骤1)中，建立的FD
‑
SPNet网络包括依次连接的粗略帧选取模型FDNet和深度学习帧选取模型SPNet；每个带有动作类别标签的动作视频输入FD
‑
SPNet网络中的粗略帧选取模型FDNet后进行视频关键帧的粗略选取后输出粗略选取的视频关键帧的序列，根据粗略选取的视频关键帧的序列将粗略选取的视频关键帧输入深度学习帧选取模型SPNet中，深度学习帧选取模型SPNet输出每个带有动作类别标签的动作视频中若干待提取的视频关键帧的特征信息。3.根据权利要求2所述的一种基于FD
‑
SPNet网络的视频关键帧提取方法，其特征在于：所述的步骤2)中，将若干带有动作类别标签的动作视频输入FD
‑
SPNet网络中训练，首先将每个带有动作类别标签的动作视频输入FD
‑
SPNet网络中的粗略帧选取模型FDNet后进行视频关键帧的粗略选取后输出粗略选取的视频关键帧的序列，针对每个带有动作类别标签的动作视频，具体如下：2.1)首先计算获得动作视频中的所有视频帧的向量值，获得各视频帧的向量值均值、向量值最大值和向量值最小值，将向量值等于向量值最大值和向量值最小值以及向量值最接近向量值均值的视频帧提取为最大值向量max帧、最小值向量min帧和平均向量avg帧，将最大值向量max帧、最小值向量min帧和平均向量avg帧作为三张固定帧；2.2)采用迭代帧差法依次将动作视频中除了步骤2.1)中的三张固定帧的其它视频帧以固定帧为基础进行帧差操作后获得若干视频帧的序列；2.3)采用滑动帧差法依次将动作视频中除了步骤2.1)中的三张固定帧的其它视频帧以固定帧为基础进行帧差操作后获得若干视频帧的序列；2.4)将步骤2.2)中获得的各个视频帧的序列和步骤2.3)中获得的各个视频帧的序列做或操作，最终获得若干关键帧粗略帧选取的视频帧的序列。4.根据权利要求3所述的一种基于FD
‑
SPNet网络的视频关键帧提取方法，其特征在于：所述的步骤2.2)中，采用迭代帧差法依次将动作视频中除了步骤2.1)中的三张固定帧的其它视频帧以三张固定帧为基础进行帧差操作，具体为将动作视频中位于三张固定帧之前的若干视频帧、位于每两张固定帧之间的若干视频帧以及位于三张固定帧之后的若干视频帧分别组成迭代帧差集，即组成四个迭代帧差集，针对每个迭代帧差集，将迭代帧差集中的每两张相邻的视频帧做帧差操作，首次进行帧差操作时，当第一视频帧和第二视频帧之间的帧差大于预设初始帧差阈值时，保留第一视频帧的序列，当第一视频帧和第二视频帧之间的帧差小于等于预设初始帧差阈值时，舍弃第一视频帧的序列，然后继续自第二视频帧开始和自身的下一视频帧做与第一视频帧和第二视频帧的相同的帧差操作，每次循环帧差操
作时均将上一次做帧差操作时的帧差阈值减小预设差值后作为当次的帧差阈值；直至最终保留序列的视频帧的帧数大于预设帧数时停止迭代帧差并输出保留的视频帧的序列；在做下一个迭代帧差集的帧差操作时，将...

【专利技术属性】
技术研发人员：田秋红，潘豪，赵妍颖，杨子瑜，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：