一种行为识别方法、装置及设备制造方法及图纸

本发明专利技术提供了一种行为识别方法、装置及设备，其中，行为识别方法包括：从待识别的骨骼序列数据中获取待识别的关键帧序列数据；利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作。本方案通过从待识别的骨骼序列数据中获取待识别的关键帧序列数据；利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作；能够降低冗余信息干扰、降低行为识别工作量；实现同时挖掘出骨骼序列的时间域与空间域特征，降低模型设计复杂度，并提升识别效率以及准确率。

【技术实现步骤摘要】
一种行为识别方法、装置及设备
本专利技术涉及人体行为识别
，特别是指一种行为识别方法、装置及设备。
技术介绍
现有技术中主要存在以下几种行为识别方案：第一种方案，视频行为识别：将视频图像数据直接作为输入，使用深度学习的方法进行行为识别。这种方法可近似看作针对多帧图像中的每帧进行图像分类，并根据全部图像的分类结果给出行为识别结果，目前主流的是双流法，空间流针对单帧获得动作属性，时间流针对多帧光流信息获得行为动态。第二种方案，骨骼序列行为识别：人体骨骼节点对光照以及视角变化具有较高的鲁棒性且数据量少、计算资源消耗小，随着设备精度的提高，骨骼节点可以通过深度相机或者运动捕获系统得到较精确的坐标，将骨骼序列作为深度网络的输入可以提高识别效果。第三种方案，基于RNN(RecurrentNeuralNetworks，循环神经网络)的行为识别：由于RNN自身良好的性质，使用RNN进行行为识别无需单独考虑时间维度建模。现有方案多基于LSTM(LongShortTermMemoryNetwork，长短时记忆网络)，通过引进信本文档来自技高网...

【技术保护点】
1.一种行为识别方法，其特征在于，包括：/n从待识别的骨骼序列数据中获取待识别的关键帧序列数据；/n利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作。/n

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：
从待识别的骨骼序列数据中获取待识别的关键帧序列数据；
利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作。


2.根据权利要求1所述的行为识别方法，其特征在于，所述利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作，包括：
将所述待识别的关键帧序列数据构建为待识别的骨骼序列时空图；
利用时空图卷积网络从所述待识别的骨骼序列时空图中提取待识别的时空特征；
识别所述待识别的时空特征对应的行为动作。


3.根据权利要求2所述的行为识别方法，其特征在于，所述识别所述待识别的时空特征对应的行为动作，包括：
利用归一化指数函数得到所述待识别的时空特征对应的行为动作。


4.根据权利要求1所述的行为识别方法，其特征在于，所述从待识别的骨骼序列数据中获取待识别的关键帧序列数据，包括：
利用帧精馏网络从待识别的骨骼序列数据中获取待识别的关键帧序列数据。


5.根据权利要求4所述的行为识别方法，其特征在于，在利用帧精馏网络从待识别的骨骼序列数据中获取待识别的关键帧序列数据之前，还包括：
训练所述帧精馏网络和时空图卷积网络。


6.根据权利要求5所述的行为识别方法，其特征在于，所述训练所述帧精馏网络和时空图卷积网络，包括：
利用所述帧精馏网络从预设行为动作对应的骨骼序列数据中获取关键帧序列训练数据；
利用所述关键帧序列训练数据训练所述时空图卷积网络，并利用训练后的时空图卷积网络识别所述关键帧序列训练数据对应的训练行为动作；
根据所述训练行为动作，反向调整所述帧精馏网络；
利用调整后的所述帧精馏网络再次从预设行为动作对应的骨骼序列数据中获取关键帧序列训练数据；
利用调整后的所述帧精馏网络获取的关键帧序列训练数据再次训练所述时空图卷积网络。


7.根据权利要求6所述的行为识别方法，其特征在于，在利用调整后的所述帧精馏网络获取的关键帧序列训练数据再次训练所述时空图卷积网络之后，还包括：
利用再次训练后的时空图卷积网络识别调整后的所述帧精馏网络获取的关键帧序列训练数据对应的训练行为动作；
若获取的训练行为动作与所述预设行为动作一致的连续次数大于第一阈值，则保存所述帧精馏网络和时空图卷积网络的参数信息；否则，返回所述根据所述训练行为动作，反向调整所述帧精馏网络的操作。


8.根据权利要求6或7所述的行为识别方法，其特征在于，所述根据所述训练行为动作，反向调整所述帧精馏网络，包括：
根据所述训练行为动作，获取回报函数数值；
根据所述回报函数数值，获取损失函数；
对所述损失函数进行梯度下降，更新所述帧精馏网络的网络权重。


9.根据权利要求8所述的行为识别方法，其特征在于，所述损失函数具体为：
l＝α(rt+γ×maxQ(st+1，ω)-Q(st，ω))；
其中，l表示损失函数，α表示预设学习速度，rt表示第t次训练所述帧精馏网络时的回报函数数值，γ表示预设衰减值，
Q(st+1，ω)和Q(st，ω)均表示动作值函数，st+1表示第t+1次训练所述帧精馏网络时关键帧序列训练数据对应的骨骼序列状态，st表示第t次训练所述帧精馏网络时关键帧序列训练数据对应的骨骼序列状态，ω表示所述帧精馏网络的网络权重。


10.一种行为识别装置，其特征在于，包括：
第一获取模块，用于从待识别的骨骼序列数据中获取待识别的关键帧序列数据；
第一识别模块，用于利用时空图卷积网络识别所述待识别的关键帧序列数据对应的行为动作。


11.根据权利要求10所述的行为识...

【专利技术属性】
技术研发人员：丁晓璐，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11