【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其是涉及一种基于多尺度图神经网络的人体行为识别方法及系统。
技术介绍
1、现有技术中，三维骨架数据具有表示压缩度高、视角鲁棒性强、结构信息显性等优势，基于三维骨架数据的人体行为识别技术逐步成为应用于智能安防、健康监测等实际场景的关键支撑技术。
2、目前主流的技术路线多采用图神经网络对人体骨架结构进行图建模，即将关节点视为图的节点、人体解剖结构中的连接关系作为图的边，从而完成空间建模并结合时间卷积网络提取动态特征，但传统的图构建方法普遍依赖固定的人工先验结构，即静态邻接图，这种方式缺乏对行为语义变化和输入数据分布的感知能力，难以自适应地建模不同行为中的结构变化，导致在面对非标准姿态、复杂交互行为，如多人协作搬运、肢体遮挡时识别能力受限，一些改进方案尝试引入自适应图结构，通过图优化策略在模型训练过程中动态生成邻接关系，以增强图结构的灵活性和适应性，但现有自适应建图方案多基于单尺度特征空间进行图构建，忽略了人体行为执行过程中存在的多层次空间依赖关系，无法覆盖局部关节行为与全身动态协同之间的多尺度结构建模...
【技术保护点】
1.一种基于多尺度图神经网络的人体行为识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述对获取的人体三维骨架数据进行预处理，包括以脊柱根节点为参考点，对所有关节执行局部坐标平移，根据脊柱根节点与骨盆节点间的欧式距离计算缩放系数，根据缩放系数对所有坐标进行尺度归一化，所述归一化公式为：
3.根据权利要求1所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述基于预处理后的人体三维骨架数据进行多模态特征提取，包括利用归一化后的关节三维坐标构成关节位置矩阵，基于关节点对计算向...
【技术特征摘要】
1.一种基于多尺度图神经网络的人体行为识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述对获取的人体三维骨架数据进行预处理，包括以脊柱根节点为参考点，对所有关节执行局部坐标平移，根据脊柱根节点与骨盆节点间的欧式距离计算缩放系数，根据缩放系数对所有坐标进行尺度归一化，所述归一化公式为：
3.根据权利要求1所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述基于预处理后的人体三维骨架数据进行多模态特征提取，包括利用归一化后的关节三维坐标构成关节位置矩阵，基于关节点对计算向量差，得到骨架连接矩阵，计算连续帧同一关节坐标差值和连续帧骨架向量差值，得到关节运动张量和骨架运动张量。
4.根据权利要求1所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述将多模态特征作为输入建立sam图构建机制，包括多模态特征中每个特征分别线性映射为查询矩阵q和键矩阵k，并将查询矩阵q和键矩阵k在通道维度划分为多个子空间，针对每个子空间的第n阶段(n≥2)，采用金字塔式加权机制聚合历史键矩阵，通过两轮交叉注意力计算生成阶段注意力图，利用两轮注意力输出之和构成第n阶段的结构注意力图，所述阶段注意力图的第一轮注意力表达式为：
5.根据权利要求4所述的一种基于多尺度图神经网络的人体行为识别方法，其特征在于，所述将多模态特征作为输入建立sam图构建机制，还包括将四个子空间的多个阶段注意力图在通道维度进行拼接，得到总注意力图，根据人体骨骼的自然连接关系预定义静态先验图，之后通过皮尔逊相关系数计算节点特征相关性得到特征相似性图，将静态先验图、总注意力图与特征相似性图进行特征融合，得到统一邻接图，所述统一邻接图表达式为：
6.根...
【专利技术属性】
技术研发人员：赵双睿，冯太炀，黄仲江，李放，张炳杭，张日琪，彭勇毅，李守文，
申请(专利权)人：西安电子科技大学青岛计算技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。