一种基于关键帧提取和层次性表述的视频行为识别方法技术

一种基于关键帧提取和层次性表述的视频行为识别方法，包括：步骤1)用循环神经网络滑动过整段视频，提取关键帧特征；步骤2)将关键帧特征送入时域卷积神经网络，提取整段视频的表述特征；以及步骤3)进行视频行为分类。该方法通过对原始视频进行中层次特征帧抽取和高层次运动信息抽象的方式来获得整段视频的完整表述，在此基础上设计行为分类器实现从端(视频输入)到端(行为类别输出)视频行为分类。该方法能够实现对于长视频和结构化分布的视频的完整表述；能够满足现实场景下某些对实时运算要求较高的应用需求。

A method of video behavior recognition based on key frame extraction and hierarchical representation

【技术实现步骤摘要】
一种基于关键帧提取和层次性表述的视频行为识别方法
本专利技术涉及视频行为分析
，具体涉及到一种基于关键帧提取和层次性表述的视频行为识别方法。
技术介绍
随着自媒体时代的到来，互联网上每天都有用户上传海量的视频。以YouTube为例，每分钟全球用户上传的视频量约为500小时。这里面有大量的视频内容是不健康的，比如：犯罪、色情等。用人工检索的方式对这些海量的数据进行查看和监管是一项耗时费力的工作。近年来，一些专家学者尝试使用计算机视觉的方法对视频内容进行自动地识别，且取得了一些不错的进展。总体来看，这些方法多是依赖光流特征来刻画运动信息，并且使用随机抽样地方式来处理较长的视频。这样做会带来两个明显的缺陷：1.光流计算需要大量的运算资源，而且一般都是预先离线处理，这样限制了算法在现实场景下的实时运行；2.对较长的视频进行随机抽取可能会漏掉一些关键的信息，而且在很多情况下视频内容是结构化分布的，仅对随机抽取到的某一段内容进行分析无法得到可靠的分类预测。例如：跳高和跳远两项体育运动，两者的前半段都是助跑，如果随机抽取的内容只包含前半段信息是无法区分本文档来自技高网...

【技术保护点】
1.一种基于关键帧提取和层次性表述的视频行为识别方法，其特征在于，包括：/n步骤1)用循环神经网络滑动过整段视频，提取关键帧特征；/n步骤2)将所述关键帧特征送入时域卷积神经网络，提取整段视频的表述特征；以及/n步骤3)进行视频行为分类。/n

【技术特征摘要】
1.一种基于关键帧提取和层次性表述的视频行为识别方法，其特征在于，包括：
步骤1)用循环神经网络滑动过整段视频，提取关键帧特征；
步骤2)将所述关键帧特征送入时域卷积神经网络，提取整段视频的表述特征；以及
步骤3)进行视频行为分类。


2.根据权利要求1所述的视频行为识别方法，其特征在于，所述步骤1)包括通过循环神经网络在视频中滑动来抽取每个视频结构单元的关键帧特征；在单个视频结构单元中，输入图像通过卷积神经网络抽取深度表述特征，然后输入到循环神经网络进行关键帧判定。


3.根据权利要求1所述的视频行为识别方法，其特征在于，所述循环神经网络包含图片特征提取层、隐状态层和判定输出模块，在单个视频结构单元中，所述输入图像经过所述图片特征提取层提取深度表述特征，记为Fp；将Fp进行时序信息关联和处理，经过隐状态层11运算，输出中间隐特征Hp；将Hp输入到关键帧检测网络层，得到关键帧检测结果，即该帧是否为关键帧的判定Pk。


4.根据权利要求1所述的视频行为识别方法，其特征在于，在所述步骤2)中，将从步骤1)提取的所述关键帧特征输入到所述时域卷积神经网络中，进行时间域卷积运算提取整段视频的表述特征Fv，其中，时间域卷积过程可以表述为下式(1)：



其中，为视频表述特征Fv第j个通道的输出，fi为时间卷积第i个通道的输入，共有m个输入通道，为第i个卷积核。


5.根据权利要求1所述的视频行为识别方法，其特征在于，在所述步骤3)中，将所述步骤2)所得的所述整段视频的所述表述特征送入到行为分类层进行运算，最后输出行为类别预测结果，其中，所述行为...

【专利技术属性】
技术研发人员：李楠楠，张世雄，赵翼飞，李若尘，李革，安欣赏，张伟民，
申请(专利权)人：深圳龙岗智能视听研究院，
类型：发明
国别省市：广东;44