基于自适应时空注意力机制的端到端行为识别方法及系统技术方案

本发明专利技术属于行为识别领域，提供了一种基于自适应时空注意力机制的端到端行为识别方法及系统。为解决行为识别精度差的问题，该行为识别方法包括接收视频的图像序列；利用行为识别模型对视频的图像序列进行处理并输出行为识别结果；行为识别模型包括时间注意力模块和主卷积神经网络，主卷积神经网络中嵌入了空间注意力模块；利用时间注意力模块按照每帧图像的关键性为视频的图像序列中的每一帧图像自适应分配一个权重，将时间注意力模块的输出结果输入至主卷积神经网络中进行行为识别；在主卷积神经网络识别行为的过程中，利用空间注意力模块将主卷积神经网络对行为的识别聚焦于运动相关区域，以快速准确地获取行为识别结果。

【技术实现步骤摘要】
基于自适应时空注意力机制的端到端行为识别方法及系统
本专利技术属于行为识别领域，尤其涉及一种自适应时空注意力机制的端到端行为识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。近年来，人体行为识别在视频内容分析、视频监控、人机交互等领域得到了广泛应用并且受到了学术界和产业界的关注。然而，由于复杂的背景、类内变化、低分辨率和高维度等原因，人体行为识别仍然是棘手的难题。准确识别各类行为的关键在于提取具有区分性的特征并进行精确建模。强大的图像表征能力使得卷积神经网络在图像分类、目标检测、图像分割等领域得到了广泛应用。毫无疑问，对于人体行为识别问题，卷积神经网络也是一种强有力工具。为了增强了卷积神经网络对人体行为的建模能力，研究人员提出了许多适用于行为识别问题的新型卷积网络结构，同时有学者利用卷积神经网络对视频中的时间信息进行了挖掘。专利技术人发现，上述行为识别工作都基于一个假设，即视频中不同的帧以及同一帧的不同区域对于行为识别同等重要。然而，在同一帧中，与动作无关的背景和与动作相关的本文档来自技高网...

【技术保护点】
1.一种基于自适应时空注意力机制的端到端行为识别方法，其特征在于，包括：/n接收视频的图像序列；/n利用行为识别模型对视频的图像序列进行处理并输出行为识别结果；/n其中，行为识别模型包括时间注意力模块和主卷积神经网络，主卷积神经网络中嵌入了空间注意力模块；行为识别模型处理图像序列的过程为：/n利用时间注意力模块自适应区分每帧图像的关键性，并为每一帧图像分配相应权重，将时间注意力模块的输出结果输入至主卷积神经网络中识别行为；/n在主卷积神经网络识别行为的过程中，利用空间注意力模块将主卷积神经网络对行为的识别聚焦于运动相关区域，以快速准确地获取行为识别结果。/n

【技术特征摘要】
1.一种基于自适应时空注意力机制的端到端行为识别方法，其特征在于，包括：
接收视频的图像序列；
利用行为识别模型对视频的图像序列进行处理并输出行为识别结果；
其中，行为识别模型包括时间注意力模块和主卷积神经网络，主卷积神经网络中嵌入了空间注意力模块；行为识别模型处理图像序列的过程为：
利用时间注意力模块自适应区分每帧图像的关键性，并为每一帧图像分配相应权重，将时间注意力模块的输出结果输入至主卷积神经网络中识别行为；
在主卷积神经网络识别行为的过程中，利用空间注意力模块将主卷积神经网络对行为的识别聚焦于运动相关区域，以快速准确地获取行为识别结果。


2.如权利要求1所述的基于自适应时空注意力机制的端到端行为识别方法，其特征在于，关键帧图像的权重大于非关键帧图像的权重。


3.如权利要求1所述的基于自适应时空注意力机制的端到端行为识别方法，其特征在于，时间注意力模块采用SE-Block结构来自适应地区分视频中的关键帧与非关键帧，其过程包括转换操作、压缩操作和激活操作。


4.如权利要求3所述的基于自适应时空注意力机制的端到端行为识别方法，其特征在于，在转换操作的过程中，将每帧图像的三通道矩阵转换为单通道矩阵。


5.如权利要求3所述的基于自适应时空注意力机制的端到端行为识别方法，其特征在于，在压缩操的过程中，同时使用最大池化和平均池化，找到介于平均池化和最大池化之间的用于压缩操作的最佳池化方式，以收集更全面的信息来实现更精细的帧间差异的区分。


6.如权利要求1所述的基于自适应时空注意力机制的端到端行为识别方法，其特征在于，在空间注意力模块中，将主卷积神经网络提取的特征图中的值特征和梯度特征融合，得到像素级的空间位置权重图；权重图中每个位置的值表示特征图中相应位置的空间权重...

【专利技术属性】
技术研发人员：马昕，刘少参，宋锐，荣学文，田国会，田新诚，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37