一种基于双流卷积网络的视频中人体行为识别方法技术

本发明专利技术公开了一种基于双流卷积网络的视频中人体行为识别方法，涉及计算机视觉领域。本发明专利技术的目的是识别出视频片段中出现的人体行为。本发明专利技术包括：将视频片段预处理成连续的视频帧；对视频帧进行稀疏采样；将采样到的视频帧输入到所设计的行为识别网络模型中，利用卷积操作初步提取卷积特征；然后将特征向量同时输入空间流分支和时间流分支，分别提取视频的空间外观特征和时序运动特征；将两种特征融合后输入分类器中，得到视频片段中人体行为的识别结果。本发明专利技术利用卷积网络预测光流场，节省了大量的计算时间和存储空间，并融合了视频的外观特征和运动特征，利用两种特征信息互补来表征人体行为，提高识别的性能。

A method of human behavior recognition in video based on double flow convolution network

【技术实现步骤摘要】
一种基于双流卷积网络的视频中人体行为识别方法
本专利技术涉及计算机视觉领域，具体涉及一种基于双流卷积网络的视频中人体行为识别的方法。
技术介绍
视频中人体行为识别作为计算机视觉领域的一个重要研究方向，已经被广泛用于诸多实际应用场景中，如智能监控、智能家居、视频检索等，近年来受到了国内外学者的广泛关注，涌现出了大量的人体行为识别方法，但由于人体行为的非刚性、复杂性以及视频的视角变换、遮挡、光照变化等因素，目前的人体行为识别方法大都存在计算效率较低、识别准确率不足等问题，视频中人体行为仍是计算机视觉领域的热点和难题。受卷积网络在图像识别领域性能卓越的启发，将卷积神经网络应用于视频人体行为识别领域已成为一种发展趋势。近年来，随着深度学习的迅猛发展，越来越多的基于卷积神经网络的模型被提出，在人体行为识别方法上也得到了广泛的应用。Simonyan等人(SIMONYANK，ZISSERMANA.Two-StreamConvolutionalNetworksforActionRecognitioninVideos[C]//AdvancesinNeur本文档来自技高网...

【技术保护点】
1.一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：包括以下步骤：/n(1)对视频片段进行切帧、调整尺寸等预处理，获取连续的视频帧，接着对视频帧进行稀疏采样；/n(2)将采样获取的视频帧输入到所述双流卷积网络模型中，利用卷积操作初步提取视频帧的卷积特征；/n(3)将步骤(2)中初步提取的卷积特征分别输入空间流分支和时间流分支提取空间外观特征和时序运动特征，接着进行特征融合；/n(4)将步骤(3)中融合后的特征向量输入Softmax分类器中进行分类，得到行为类别得分，模型经过不断地训练，趋于稳定后，输入测试视频片段，就能够得到最终的人体行为识别结果。/n

【技术特征摘要】
1.一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：包括以下步骤：
(1)对视频片段进行切帧、调整尺寸等预处理，获取连续的视频帧，接着对视频帧进行稀疏采样；
(2)将采样获取的视频帧输入到所述双流卷积网络模型中，利用卷积操作初步提取视频帧的卷积特征；
(3)将步骤(2)中初步提取的卷积特征分别输入空间流分支和时间流分支提取空间外观特征和时序运动特征，接着进行特征融合；
(4)将步骤(3)中融合后的特征向量输入Softmax分类器中进行分类，得到行为类别得分，模型经过不断地训练，趋于稳定后，输入测试视频片段，就能够得到最终的人体行为识别结果。


2.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(1)中，利用计算机视觉库OpenCV中提取视频帧的方法，从包含人体行为的视频片段中提取连续视频帧，并将视频帧全部处理成尺寸为112*112像素的RGB图像，接着根据视频帧数量平均分成三个部分，依次从三个部分中随机选取8、9、8张图像，组成25张连续视频帧输入到步骤(2)的网络模型中。


3.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(2)中，初步提取特征的卷积操作包括3个卷积层和2个最大池化层，其中第一个卷积层采用1*7*7的卷积核，获取较大的网络感受野，然后通过最大池化层进行下采样，接着通过1*1卷积层和3*3卷积层对卷积特征降维，减少网络模型的参数量，提高特征的鲁棒性。


4.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(3)中，所述空间流分支由多个2DInception模块和3DInception模块堆叠构成，其中In...

【专利技术属性】
技术研发人员：邓毅彪，蔡强，李海生，毛典辉，颜津，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京;11