一种基于CNN和LSTM的暴恐视频检测方法技术

本发明专利技术公开了一种基于CNN和LSTM的暴恐视频检测方法，属于模式识别、视频检测、深度学习技术领域。所述检测方法首先对待检测视频进行关键帧采样，并提取关键帧特征；然后进行视频层面的表达与判别，包括CNN语义模块的VLAD特征表达与SVM判别、CNN场景模块的场景VLAD特征表达与SVM判别，以及LSTM时序模块的LSTM判别；最后进行结果融合。本发明专利技术利用了CNN在图像特征提取和LSTM在时序序列表达方面的优势，并充分考虑暴恐视频在场景方面的特色，实际测试中检测指标mAP值达到98.0％，接近人工作业水准。在运行速度方面，仅采用单机GPU加速的方式，每秒钟便可以处理76.4秒的网络视频，适于阻断暴恐视频在大型视频网站上的传播，有利于维护社会稳定和国家长治久安。

【技术实现步骤摘要】
201610168334

【技术保护点】
一种基于CNN和LSTM的暴恐视频检测方法，其特征在于：具体包括如下步骤：第一步，对待检测视频进行关键帧采样，并提取关键帧特征；第二步，利用提取到的关键帧特征，进行视频层面的表达与判别；包括CNN语义模块的VLAD特征表达与SVM判别、CNN场景模块的场景VLAD特征表达与SVM判别，以及LSTM时序模块的LSTM判别；第三步，结果融合：采用基于校验集mAP值的层次融合策略，即对于一个待识别视频，分别计算CNN语义模块、CNN场景模块和LSTM时序模块的判决得分，再以各模块在校验集上的mAP值作为权重进行加权融合。

【技术特征摘要】
1.一种基于CNN和LSTM的暴恐视频检测方法，其特征在于：具体包括如下步骤：第一步，对待检测视频进行关键帧采样，并提取关键帧特征；第二步，利用提取到的关键帧特征，进行视频层面的表达与判别；包括CNN语义模块的VLAD特征表达与SVM判别、CNN场景模块的场景VLAD特征表达与SVM判别，以及LSTM时序模块的LSTM判别；第三步，结果融合：采用基于校验集mAP值的层次融合策略，即对于一个待识别视频，分别计算CNN语义模块、CNN场景模块和LSTM时序模块的判决得分，再以各模块在校验集上的mAP值作为权重进行加权融合。2.根据权利要求1所述的一种基于CNN和LSTM的暴恐视频检测方法，其特征在于：第一步中，关键帧采样间隔为1秒，关键帧特征包括的CNN语义特征和CNN场景特征，所述的CNN语义特征和CNN场景特征又分别具体包括FC6特...

【专利技术属性】
技术研发人员：苏菲，宋一凡，赵志诚，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11