基于深度学习的视频行为识别方法技术

本发明专利技术公开了一种基于深度学习的视频行为识别方法，包括：S1.给定一个彩色输入视频，首先将其划分为T个等时长的片段，其中T为正整数，从每个片段中随机采样一帧，以获得具有T帧的输入序列；S2.将处理后的帧图像输入到深度学习模型中，得到经过深度学习模型处理后的特征；S3.将处理后的特征经过归一化并对时间维度求平均，得到对视频行为的分类；其中，所述深度学习模型为差分增强网络，所述差分增强网络的基础网络为ResNet50，所述ResNet50内嵌入差分增强模块。本发明专利技术的有益效果：基于深度学习的视频行为识别系统通过差分增强模块可以得到较高的检测准确率，从而表现出超越其它相关系统的准确性。系统的准确性。系统的准确性。

【技术实现步骤摘要】
基于深度学习的视频行为识别方法


[0001]本专利技术涉及深度学习领域，具体涉及一种基于深度学习的视频行为识别方法。

技术介绍

[0002]近年来，随着云计算和物联网的快速发展以及网络去中心化的普及，任何组织和机构甚至个人都可以轻松地将视频上传到网络中，而对视频进行高效准确地理解有助于人们更好地利用视频中含有的信息。视频行为识别是视频理解领域中的一个基本问题。基于深度学习的视频行为识别方法已经被证明比传统手工提取特征的方法更加高效准确，因此研究实现基于深度学习的视频行为识别符合当下的研究趋势，并在近年来逐渐发展成为计算机视觉领域的一项基础研究课题。
[0003]视频行为识别，顾名思义，指的是对视频中的行为进行识别。不同于图片，视频中的大多数行为通常是时间相关的，它不仅包含每帧内的空间信息，还包含持续帧之间的时间信息。因此，视频行为识别研究的重点在于有效合理地提取视频中的空间信息和时间信息。
[0004]现有的基于深度学习的视频行为识别方法主要分成两类：基于双流架构的方法和基于3D卷积神经网络的方法。双流架构的主要思想是：输入RG本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视频行为识别方法，其特征在于，包括：S1.给定一个彩色输入视频，首先将其划分为T个等时长的片段，其中T为正整数，从每个片段中随机采样一帧，以获得具有T帧的输入序列；S2.将处理后的帧图像输入到深度学习模型中，得到经过深度学习模型处理后的特征；S3.将处理后的特征经过归一化并对时间维度求平均，得到对视频行为的分类；其中，所述深度学习模型为差分增强网络，所述差分增强网络的基础网络为ResNet50，所述ResNet50内嵌入差分增强模块。2.如权利要求1所述的基于深度学习的视频行为识别方法，其特征在于，所述差分增强模块是通过残差块的形式实现的，所述残差块的残差函数为x
n+1
＝x
n
+CS(x
n
，W
n
)，其中CS(x
n
，W
n
)是差分增强部分。3.如权利要求2所述的基于深度学习的视频行为识别方法，其特征在于，所述差分增强模块的方法步骤为：先对x
n
沿时间维求差得到差分特征，再对差分特征分别做空间注意力激活和通道注意力激活，然后将做完注意力激活的差分特征和x
n
做点乘以实现对x
n
中运动信息的增强。4.如权利要求1所述的基于深度学习的视频行为识别方法，其特征在于，所述差分增强模块利用时间差信息，从时空和通道两个维度实现了对运动信息的增强，而且，所述差分增强模块被嵌入到了2D卷积神经网络中，从而使得所述深度学习模型具有时空信息提取能力。5.如权利要求1所述的基于深度学习的视频行为识别方法...

【专利技术属性】
技术研发人员：黄鹤，余佳诺，曹洪龙，
申请(专利权)人：苏州大学，
类型：发明
国别省市：