基于跨时空图卷积网络的人体骨架行为识别系统及方法技术方案

本发明专利技术公开了人体骨架行为识别技术领域的基于跨时空图卷积网络的人体骨架行为识别系统及方法，包括：获取人体骨架序列；将人体骨架序列的输入通道均匀分成多份；基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。本发明专利技术将移位卷积以残差连接的形式嵌入原有时空图卷积网络中，构成残差图卷积网络，进一步增强网络对时空特征的提取能力，实现信息的跨时空交流。实现信息的跨时空交流。实现信息的跨时空交流。

【技术实现步骤摘要】
基于跨时空图卷积网络的人体骨架行为识别系统及方法


[0001]本专利技术涉及基于跨时空图卷积网络的人体骨架行为识别系统及方法，属于人体骨架行为识别


技术介绍

[0002]行为识别是计算机视觉中的一个重要的研究领域，但由于基于RGB视频的行为识别数据量大、训练难度大的瓶颈，基于骨架序列的行为识别方法越来越流行，基于人体骨架的行为识别没有噪声干扰，数据简洁，而且近年来硬件的快速发展使得骨架序列获取的更加容易。目前基于人体骨架的行为识别方法多采用空间维度的图卷积网络和时间维度的时间卷积网络交替提取时空特征，但是相同的骨架序列以串联的形式分别进行空间卷积和时间卷积会混入不同域的信息，影响识别效果。近年来，一些方法在二维空间卷积的基础上直接扩展上时间卷积组合成三维时空卷积，虽然在一定程度上增加了时空维度的感受野，实现了跨时空的信息交流，增强了网络对时空特征的提取能力，但是三维时空卷积极大的增加了计算量，加大了网络训练的难度。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供基于跨时空图卷积网络的人体骨架行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于跨时空图卷积网络的人体骨架行为识别方法，其特征是，包括：获取人体骨架序列；将人体骨架序列的输入通道均匀分成多份；基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。2.根据权利要求1所述的基于跨时空图卷积网络的人体骨架行为识别方法，其特征是，所述人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为C/5
×
T
×
N，C为通道数，T为帧数，N为关节数。3.根据权利要求2所述的基于跨时空图卷积网络的人体骨架行为识别方法，其特征是，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，包括：将其中两份人体骨架序列分别沿时间维度向前移动一个时间单位和两个时间单位；从剩余未移动的人体骨架序列中选择两份人体骨架序列分别沿时间维度向后移动一个时间单位和两个时间单位；剩余最后一份未移动的人体骨架序列保持不变。4.根据权利要求3所述的基于跨时空图卷积网络的人体骨架行为识别方法，其特征是，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，还包括：去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操作。5.基于跨时空图卷积网络的人体骨架行为识别系统，其特征在于，包括：采集模块：用于获取人体骨架序列；序列均分模块：用于将人体骨架序列的输入通道均匀分成多份；序列移位模块：用于基于均分后的多份人体骨架序列沿...

【专利技术属性】
技术研发人员：卢先领，张家想，
申请(专利权)人：江南大学，
类型：发明
国别省市：