一种自监督学习与骨骼信息的行为识别方法技术

本发明专利技术公开了一种自监督学习与骨骼信息的行为识别方法，涉及计算机视觉技术领域。方法包括以下步骤：S1、构建可配置的深度模型；S2、在网络预训练阶段，根据预设的光流预测任务获取预训练样本；其中，预训练样本包括骨骼视频以及机器自动生成的光流预测任务的标签；利用预训练样本对变换网络进行训练，获取变换器网络的初始参数θ

【技术实现步骤摘要】
一种自监督学习与骨骼信息的行为识别方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种自监督学习与骨骼信息的行为识别方法。

技术介绍

[0002]人体行为识别技术是计算机视觉领域一个重要和活跃的基础性研究课题。该技术通过对含有人体动作的图像或视频进行解析和分类，预测出该场景中的正在发生的行为。随着视频采集传感器和视频监控的发展，人体行为识别在智能监控、人机交互、智能机器人等方面逐渐成为具有广泛应用场景的研究内容，受到越来越多研究人员的关注。在当前，人体行为识别主要针对视频数据的理解。
[0003]目前关于人体行为识别的研究主要分为两类方法，分别是基于RGB视频和基于三维人体骨骼视频进行识别。其中，基于RGB视频的方法不可避免的会受到光照变化、背景干扰以及动态环境变化等因素的影响。另外，深度学习方法依赖于大量的人工标签数据进行模型训练，而人工标定数据的代价往往十分昂贵。
[0004]随着视频采集技术的发展和Kinect相机的出现，可以更加轻松和方便地获取到场景中人体的三维结构信息。相比传统的相机，Kinect相机可以捕本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习与骨骼信息的行为识别方法，其特征在于，包括以下步骤：S1、构建可配置的深度模型，所述深度模型包括变换器网络、预训练分类网络和微调分类网络；其中，变换器网络和预训练分类网络作用于网络预训练阶段，变换器网络和微调分类网络作用于网络微调阶段；S2、在网络预训练阶段，根据预设的光流预测任务获取预训练样本；其中，所述预训练样本包括骨骼视频以及机器自动生成的光流预测任务的标签；利用所述预训练样本对变换网络进行训练，获取所述变换器网络的初始参数θ
′
；S3、在网络微调阶段，根据所述初始参数θ
′
对变换器网络进行初始化，结合初始化后的变换器网络与进行随机初始化的微调分类网络，构建微调深度模型；S4、将待识别的骨骼视频输入训练完成的微调深度模型中，由微调分类网络输出分类预测结果。2.根据权利要求1所述的自监督学习与骨骼信息的行为识别方法，其特征在于，在所述网络预训练阶段，利用所述预训练样本对变换网络进行训练前，还包括：采用随机方式对所述深度模型的参数进行初始化。3.根据权利要求1所述的自监督学习与骨骼信息的行为识别方法，其特征在于，预训练样本中骨骼视频的表达式为X＝(x1，x2，...，x
N
)；其中x
i
为视频X中的第i帧骨骼图像，N为视频的总帧数；在网络预训练阶段，选择骨骼视频中15％的视频帧进行随机掩码，得到掩码后的骨骼视频表达式：X
\i
＝(x1，...，x
i
‑1，MASK，x
i+1
...，x
N
)；其中，MASK为掩码帧；计算掩码帧与下一帧之间的光流运动方向作为该任务的标签；其中，光流运动方向的表达式为Y＝{y
i
|i＝1，2，...，M}，M为运动方向的离散个数；预训练样本中骨骼视频通过深度模型后获得的输出表达式为f＝Ψ
flow
[T
θ
(X
\i
)]；其中，T
θ
代表变换器网络的函数，Ψ
flow
代表预训练分类网络的函数。4.根据权利要求3所述的自监督学习与骨骼信息的行...

【专利技术属性】
技术研发人员：张冬雨，成奕彬，林倞，
申请(专利权)人：中山大学，
类型：发明
国别省市：