基于分割注意力的特征融合人体行为识别系统及方法技术方案

本发明专利技术公开了计算机视觉的动作识别技术领域的一种基于分割注意力的特征融合人体行为识别系统及方法，包括：获取视频样本；基于视频样本进行逐帧分解采样；将采样后的视频帧输入分割注意力网络中进行深度特征提取，输出特征向量；将提取的特征向量输入到双向长短时记忆网络中建模时间信息，提取时间特征；基于提取的时间特征，使用softmax分类器对其结果进行动作类别分类，其中得分最高的动作为识别结果，所述动作得分为该类动作的识别准确率。本发明专利技术能够解决传统卷积神经网络所提取特征精确度不足的情况，以及单向长短时记忆网络不能充分利用时间信息的问题，有效提升了识别性能。能。能。

【技术实现步骤摘要】
基于分割注意力的特征融合人体行为识别系统及方法


[0001]本专利技术涉及一种基于分割注意力的特征融合人体行为识别系统及方法，属于计算机视觉的动作识别


技术介绍

[0002]人体行为识别是指利用模式识别、机器学习等方法，自动分析识别出视频中的人体行为，在视频检索、安全监控、智能家居等领域有着广泛应用。与单图像识别相比，动作识别不仅需要提取动作的空间特征，还要对视频帧之间的时间相关信息进行建模。此外视频中的背景、光照、视角等变化也会影响识别效果，因此设计一个高效准确的行为识别算法十分具有挑战性。
[0003]传统人体行为识别算法通过提取运动目标的特征描述子等手工特征来表征人体动作，从而达到识别的目的。近年来，深度学习发展迅速，卷积神经网络在图像领域取得了巨大成功。使用深度学习中的卷积神经网络通过自学习的方式来提取动作特征，成为人体行为识别领域的主流方法。
[0004]目前，基于深度学习的人体行为识别算法大致可以分为三大类。第一类是使用双流神经网络分别建模视频帧的空间和时间信息。双流网络极大地提高了识别准确率，但是双流网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分割注意力的特征融合人体行为识别方法，其特征是，包括：获取视频样本；基于视频样本进行逐帧分解采样；将采样后的视频帧输入分割注意力网络中进行深度特征提取，输出特征向量；将提取的特征向量输入到双向长短时记忆网络中建模时间信息，提取时间特征；基于提取的时间特征，使用softmax分类器对其结果进行动作类别分类，其中得分最高的动作为识别结果，所述动作得分为该类动作的识别准确率。2.根据权利要求1所述的基于分割注意力的特征融合人体行为识别方法，其特征是，基于视频样本进行逐帧分解采样，包括：对视频帧数量小于30帧的视频样本，不采样；对视频帧数量介于30至59帧的视频样本，逐帧采样；对视频帧数量介于60至90帧的视频样本，每两帧采样一帧；对视频帧数量大于90帧的视频样本，每三帧采样一帧。3.根据权利要求2所述的基于分割注意力的特征融合人体行为识别方法，其特征是，将采样后的视频帧输入到分割注意力网络中进行深度特征提取，包括：将采样后的视频帧分成多个基数组，再将每个基数组分成多个分割，在每个分割中对输入视频帧进行卷积操作，得到多个特征图组；通过使用全局上下文信息计算不同特征图组在通道维度的权重；基于通道特征向量的权重计算每一个基数组中的通道特征向量；对每一个特征向量沿通道维度进行连接，得到分割注意力模块的输出特征向量。4.根据权利要求3所述的基于分割注意力的特征融合人体行为识别方法，其特征是，特征图组为：U
i
＝F
i
(X)，i∈{1,2,...G}式中，F
i
是对每个独立特征图组使用的1
×
1卷积和3
×
3卷积，i表示不同的特征图组，X表示采样后的视频帧，U
i
是经过卷积之后输出的特征图组。5.根据权利要求4所述的基于分割注意力的特征融合人体行为识别方法，其特征是，全局上下文信息为：式中，为第c通道的全局上下文信息，k表示所在基数组，H，W为第c个通道特征向量的输出大小，表示第c个通道的特征向量卷积后的结果，其中i，j分别表示特征向量中的宽度坐标和高度坐标。6.根据权利要求5所述的基于分割注意力的特征融合人体行为识别方法，其特征是，通道维度的权重为：
式中，表示第c个通道特征向量的权重，权重函数是根据全局上下文信息确定的每个特征图组中第c个通道所占的权重，m，n表示当前所在特征图组。7.根据权利要求6所述的基于分割注意力的特征融合人体行为识别方法，其特征是，通道特征向量为：式中，为第k个基数组中第c个通道特征向量，表示第c个通道特征向量的权重，U
r(k
‑
1)+i
表示第k个基数组中第i个原特征向量，通过对原特征向量加权累加可得第c个通道的特...

【专利技术属性】
技术研发人员：卢先领，余金锁，
申请(专利权)人：江南大学，
类型：发明
国别省市：