一种基于注意力机制的超图学习动作识别系统技术方案

本发明专利技术公开了一种基于注意力机制的超图学习动作识别系统，实现对人体动作进行识别的功能，其中包括如下步骤：首先通过可学习阈值构建时间注意力模块，将不同视角视频动作帧输入到时间注意力模块中，从而提取动作的关键帧，为后续网络学习降低计算成本；然后将动作的关键帧输入到基于动态时空注意力机制的超图卷积模块中，获取动作的显著性区域，通过多尺度时空残差模块学习时空高阶语义特征；再进行数据划分

【技术实现步骤摘要】
一种基于注意力机制的超图学习动作识别系统


[0001]本专利技术涉及深度学习
、
机器视觉
、
动作识别的
，具体地说是一种基于注意力机制的超图学习动作识别系统
。

技术介绍

[0002]动作识别是智能时代机器视觉研究领域的热点，使得人和机器之间形成自然的交互认知，并在众多智能化领域得到应用，其中对于如行人
、
交警等行为精准识别是无人驾驶应用落地要解决的重要实际问题
。
目前一些方法采用注意力机制帮助神经网络关注视频中重要区域，提取关键特征，从而避免了噪声干扰与信息冗余，有效提升模型性能
。
一些研究人员采用时空注意力机制，不仅包含空间域的静态信息，还包含时间域的运动信息，有效聚合了时间和空间维度的全局和局部关系
。
基于这些想法，本系统设计时空超图注意力模块，可通过获取不同帧关节点之间的高阶语义特征，实现高效行为识别任务
。

技术实现思路

[0003]针对上述现有技术中的不足，本专利技术提出一种基于注意力机制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于注意力机制的超图学习动作识别系统，其特征在于，包括基于可学习阈值的时间注意力模块
、
基于动态时空注意力机制的超图卷积模块
、
多尺度时空残差模块和动作识别模块；所述基于可学习阈值的时间注意力模块包括计算运动信息
、
设置可学习阈值
、
计算关键帧运动特征各类操作以及1×1卷积核增强关键帧特征图，计算动态时间特征图形成时间注意，以获得最终关键帧特征集合；所述基于动态时空注意力机制的超图卷积模块包括时空超图构建
、
自注意力机制和时空超图卷积，从关键帧特征集合中以不同帧相同部位的人体关节点构建时空超图，然后通过自注意力机制更新关联矩阵，得到关节点之间的相关性，引入时空超图卷积对行为动作的显著区域进行特征提取；所述多尺度时空残差模块包括一个多尺度超图卷积层和五个基于多尺度特征表示的卷积模块用于提取和学习时空特征，最终实现动作识别；所述动作识别模块对训练的模型进行验证，输入动作视频数据，通过保存的模型输出动作识别结果
。2.
如权利要求1所述的一种基于注意力机制的超图学习动作识别系统，其特征在于：基于可学习阈值的时间注意力模块，采用可学习阈值提取多视视频中的关键帧信息；首先计算当前帧和相邻帧特征图的时间差以提取运动信息，再通过与可学习的阈值进行比较，得到关键帧特征图集合；然后通过1×1卷积核增强关键帧特征图；最后与当前帧的特征连接起来，聚合当前帧的特征...

【专利技术属性】
技术研发人员：马楠，吴祉璇，梁晔，郭聪，汪成，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：