一种基于时序移位的自纠错人类行为识别方法技术

本发明专利技术涉及一种基于时序移位的自纠错人类行为识别方法，属于计算机视觉技术领域；具体步骤包括：(1)、将视频帧等分为若干部分，每部分随机选取一帧RGB图像，将其组成行为识别网络的输入；(2)、对选取的RGB图像分别进行一次2D卷积运算，生成每帧RGB图像对应的特征映射，并进行移位操作；(3)、使用行为识别网络分别处理所述融合不同时间特征的每帧RGB图像对应的特征映射，给出最终的行为预测结果；(4)、针对行为预测结果，对预测结果进行优化调整。本发明专利技术去除视频中一部分冗余信息，显著减少了计算量，使不同时间的特征发生相互作用，高效地捕捉到了时序特征；并能针对行为预测结果进行优化调整，提高预测准确率。

A method of self correcting human behavior recognition based on time sequence shift

The invention relates to a self correcting human behavior recognition method based on time sequence shift, belonging to the field of computer vision technology; the specific steps include: (1) dividing the video frame into several parts, each part randomly selects a frame of RGB image to form the input of the behavior recognition network; (2) performing a 2D convolution operation on the selected RGB images to generate the corresponding RGB images of each frame (3) using the behavior recognition network to process the corresponding feature mapping of each frame of RGB image fused with different temporal features, and give the final behavior prediction results; (4) optimize and adjust the prediction results according to the behavior prediction results. The invention eliminates a part of redundant information in the video, significantly reduces the amount of calculation, makes the features of different times interact, and efficiently captures the time sequence features; and can optimize and adjust the behavior prediction results to improve the prediction accuracy.

【技术实现步骤摘要】
一种基于时序移位的自纠错人类行为识别方法
本专利技术涉及计算机视觉
，具体涉及一种基于时序移位的自纠错人类行为识别方法。
技术介绍
基于视频的人类行为识别一直是计算机视觉领域中极具挑战的问题之一。行为识别在现实生活中的多个方面均有重要的应用价值，如视频理解、安防领域、自动驾驶和人机交互等。随着近年来大规模视频数据的出现，传统的通过人工对视频进行人类行为分析和识别，准确率低，处理速度慢，已无法满足视频实时分析的需求，因此，准确且高效的视频行为分析方法显得至关重要。目前现有的深度学习行为识别方法，包括2D卷积神经网络模型(2DCNN)和3D卷积网络模型(3DCNN)。直接使用2DCNN进行视频行为识别时，其参数量小，计算成本低，但存在的问题是，视频中相邻帧之间相似度高，存在大量冗余；2DCNN仅仅对单帧的图片进行空间特征的提取，无法提取视频中的时序特征，准确度较低。而使用3DCNN可以同时提取视频中的空间特征和时序特征，准确度较高，但是较2DCNN而言，参数量大，计算成本高，难以部署在算力受限的嵌入式设备上。>专利技术内本文档来自技高网...

【技术保护点】
1.一种基于时序移位的自纠错人类行为识别方法，其特征在于，操作步骤具体如下：/n步骤(1.1)，将视频帧等分为若干部分，每部分随机选取一帧RGB图像，将选取的RGB图像组成行为识别网络的输入；/n步骤(1.2)，对选取的RGB图像分别进行一次2D卷积运算，生成每帧RGB图像对应的特征映射，并进行移位操作，融合不同时间的特征；/n步骤(1.3)，使用行为识别网络分别处理所述融合不同时间特征的每帧RGB图像对应的特征映射，通过分类器给出最终的行为预测结果；/n步骤(1.4)，针对所述行为预测结果，依据动作状态变化合理性，对预测结果进行优化调整。/n

【技术特征摘要】
1.一种基于时序移位的自纠错人类行为识别方法，其特征在于，操作步骤具体如下：
步骤(1.1)，将视频帧等分为若干部分，每部分随机选取一帧RGB图像，将选取的RGB图像组成行为识别网络的输入；
步骤(1.2)，对选取的RGB图像分别进行一次2D卷积运算，生成每帧RGB图像对应的特征映射，并进行移位操作，融合不同时间的特征；
步骤(1.3)，使用行为识别网络分别处理所述融合不同时间特征的每帧RGB图像对应的特征映射，通过分类器给出最终的行为预测结果；
步骤(1.4)，针对所述行为预测结果，依据动作状态变化合理性，对预测结果进行优化调整。


2.根据权利要求1所述的一种基于时序移位的自纠错人类行为识别方法，其特征在于，所述步骤(1.1)中将RGB图像组成行为识别网络的输入的具体方法：
利用ffmpeg将视频转换为图片帧，并进行等分，记为S1,S2,S3…Sn；采取稀疏采样策略，分别对所述视频帧等分后的每个部分，从中随机抽取一帧图片，记为F1,F2,F3…Fn，组成行为识别网络的输入，记为(F1,F2,F3…Fn)。


3.根据权利要求1所述的一种基于时序移位的自纠错人类行为识别方法，其特征在于，...

【专利技术属性】
技术研发人员：张伟，龚依申，陈云芳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32