基于骨骼数据双通道深度可分离卷积的行为识别方法技术

基于骨骼数据双通道深度可分离卷积的行为识别方法，属于人体姿态行为识别技术领域。它包括以下步骤:一、获取人体行为姿态关节骨骼点数据；二、对骨骼点数据处理提取行为空间特征；三、构建D2SE双通道深度可分离卷积层，在时间维度上提取行为时间特征；四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息；步骤五、使用ReLu函数获取骨骼动作分类。本发明专利技术使用图卷积神经网络GCN和D2SE网络层，对人体姿态行为骨骼数据使用空间上的图卷积来提取空间信息，本发明专利技术基于双通道，在提高基于深度分离卷积架构性能的同时不会引入额外的复杂度，同时能使卷积层的参数明显缩减。

【技术实现步骤摘要】
基于骨骼数据双通道深度可分离卷积的行为识别方法
本专利技术属于人体姿态行为识别
，具体涉及一种基于骨骼点数据双通道深度可分离卷积的姿态行为识别方法。
技术介绍
人体动作识别是近年来CV领域热门研究的一个方向，骨骼点动作识别是人体动作识别中的一个分支，旨在识别由骨骼点数据随时间变化构成的骨骼序列，人体动作识别的另外一个分支是处理RGB视频序列。基于RGB视频序列由于其时间序列性，一般使用GRU、3D卷积、LSTM变种等方式处理；但是由于RGB数据会放大光照、颜色以及遮盖物等因素的影响，进而导致模型鲁棒性不如骨骼数据拟合的模型。基于骨骼数据的模型，由于其骨骼和关节相互连接，和图结构的数据非常契合，加上其对颜色和光照、遮挡物的强鲁棒性，因此近年来基于骨骼数据的模型大部分是基于图卷积网络。然而针对特定场景中，AzureforKinect设备开发应用程序所依赖运行设备的性能不足，以及对数据处理的时效性和准确率考虑，因此综合考虑设计一种基于骨骼点数据的姿态行为识别方法显得尤为重要。专利技术内容针对现有技本文档来自技高网...

【技术保护点】
1.基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于包括以下步骤:/n步骤一、获取人体行为姿态关节骨骼点数据；/n步骤二、使用类邻接矩阵策略对骨骼点数据处理提取行为空间特征；/n步骤三、将Depth层和Point层嵌入卷积层中，构建D2SE双通道深度可分离卷积层，在时间维度上提取行为时间特征；/n步骤四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息；/n步骤五、使用ReLu函数获取骨骼动作分类。/n

【技术特征摘要】
1.基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于包括以下步骤:
步骤一、获取人体行为姿态关节骨骼点数据；
步骤二、使用类邻接矩阵策略对骨骼点数据处理提取行为空间特征；
步骤三、将Depth层和Point层嵌入卷积层中，构建D2SE双通道深度可分离卷积层，在时间维度上提取行为时间特征；
步骤四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息；
步骤五、使用ReLu函数获取骨骼动作分类。


2.根据权利要求1所述的基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于所述步骤一中，通过AzureforKinect获取人体关节骨骼点数据，对获取的骨骼点数据进行预处理，具体构建步骤如下：
2.1、从导出的文件中获取姿态骨骼数据序列，去除噪声数据；
2.2、将去噪后的数据构建图数据。


3.根据权利要求2所述的基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于所述步骤二中，将步骤一中预处理后的骨骼点数据使用类邻接矩阵策略转换成一张伪图像矩阵来提取行为空间特征。


4.根据权利要求1所述的基于骨骼数据双通道深度可分离卷积的行为识别...

【专利技术属性】
技术研发人员：邱飞岳，孔德伟，章国道，王丽萍，陈宏，郭海东，姜弼君，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33