用于人体动作识别的特征提取系统和方法技术方案

用于人体动作识别的特征提取系统，包括如下功能模块：数据扩增模块、动作编码模块、前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成和对比学习模块；用于人体动作识别的特征提取方法，包括如下操作步骤：(1)模型训练步骤；(2)特征提取步骤；本发明专利技术将前置学习功能和对比学习功能有机结合，使系统能够从未标注的人体骨架序列中，充分提取人体动作特征，并且保留了细粒度时空信息，提高了后续人体动作识别的准确率。后续人体动作识别的准确率。后续人体动作识别的准确率。

【技术实现步骤摘要】
用于人体动作识别的特征提取系统和方法


[0001]本专利技术涉及用于人体动作识别的特征提取系统和方法，属于信息
，特别是属于基于人体骨架的动作特征提取


技术介绍

[0002]人体动作识别是计算机视觉领域的一个很重要的问题，在视频理解、视频监控、人机交互等领域有重要意义。由于人体骨架关节点具有数据量小、有效并且具有背景不变性等特征，基于人体骨架关节点的动作识别引起了广泛的关注。
[0003]虽然目前基于人体骨架关节点的动作识别已经有了很多进展，但是现有方法大多依赖于大量的标注好的训练数据，因此需要很强的监督信息。但是标注训练数据困难且耗费巨大，同时也会面临着由于许多动作的相似性所造成的标注不确定性，以及误标的情况。
[0004]因此，如何从未标注的训练数据中，进行人体动作特征的有效提取，成为目前基于人体骨架关节点的动作识别
的一个急需解决的技术难题。

技术实现思路

[0005]有鉴于此，本专利技术的目的是专利技术一种系统和方法，采用无监督的方式，从人体骨架序列中，进行人体动作特征的提取，并尽可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于人体动作识别的特征提取系统，其特征在于：所述系统包括如下功能模块：数据扩增模块：在模型训练阶段，该模块的功能是：首先对原始骨架序列进行采样，然后对采样所获得的采样骨架序列进行空间扩增操作，获得空间扩增骨架序列；所述的空间扩增操作包括旋转，切变以及关节点随机扰动；对采样所获得的骨架序列进行时间扩增操作，获得时间扩增骨架序列；所述的时间扩增操作是指对所述的采样骨架序列进行掩码操作；在特征提取阶段，该模块的功能是仅对原始骨架序列进行采样，获得采样骨架序列；动作编码模块：在模型训练阶段，该模块的功能是对所述数据扩增模块所获得的空间扩增骨架序列和时间扩增骨架序列，分别进行编码，获得空间扩增初始动作编码和时间扩增初始动作编码；在特征提取阶段，该模块的功能是对所述数据扩增模块所获得的采样骨架序列进行编码，获得初始动作编码；前置任务模块：该模块由空间前置任务子模块和时间前置任务子模块构成；空间前置任务子模块的功能是：为获取更细粒度的空间信息，把从动作编码模块所获得的空间扩增初始动作编码中的前一半通道数的空间扩增初始动作编码，输入到空间前置任务子模块，生成空间扩增增强动作编码；所述的空间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的空间特征信息；时间前置任务子模块的功能是：为获取更细粒度的时间信息，把从动作编码模块所获得的时间扩增初始动作编码中的后一半通道数的时间扩增初始动作编码，输入到时间前置任务子模块，生成时间扩增增强动作编码；所述的时间扩增增强动作编码是前述的采样骨架序列的重建序列，与所述的采样骨架序列有相同的帧数和格式；通过上述过程，使得所述的动作编码模块可以更好的更细粒度地提取到采样骨架序列的时间特征信息；对比学习模块：该模块的功能是：基于对比学习网络，根据前置任务模块所产生的空间扩增增强动作编码和时间扩增增强动作编码，进行动作特征提取。2.根据权利要求1所述的用于人体动作识别的特征提取系统，其特征在于：所述的动作编码模块由多个时空
‑
图卷积单元ST
‑
GCN顺序连接构成；所述的空间前置任务子模块由多个时空
‑
图卷积单元ST
‑
GCN顺序连接构成；所述的时间前置任务子模块由多个时空
‑
图卷积单元ST
‑
GCN顺序连接构成；所述的时空
‑
图卷积单元ST
‑
GCN由图卷积网络GCN和时间卷积网络TCN构成。3.根据权利要求1所述的用于人体动作识别的特征提取系统，其特征在于：所述的对比学习模块由时间平均池化层子模块AP和多层感知器MLP子模块构成；时间平均池化层子模块AP的功能是在时间维度上聚合空间扩增增强动作编码和时间扩增增强动作编码的全局信息，进行动作特征提取；多层感知器MLP子模块的功能是将所获得的动作特征投影到对比空间，然后通过最大化对比空间中动作特征之间的余弦相似度来优化动作特征。4.根据权利要求3所述的用于人体动作识别的特征提取系统，其特征在于：所述的多层感知器MLP子模块由两层线性层构成；激活函数采用修正线性函数。5.用于人体动作识别的特征提取方法，其特征在于：所述方法包括如下操作步骤：(1)模型训练步骤，该步骤的主要内容是采用原始骨架序列训练样本，对用于人体动作识别的特征提取系统中的各个模块进行模型训练，训练结束后，获得各个模块的最优参数；
(2)特征提取步骤，该步骤的主要内容是使用训练好的用于人体动作识别的特征提取系统，从原始骨架序列中提取动作特征，用于人体动作识别。6.根据权利要求5所述的用于人体动作识别的特征提取方法，其特征在于：所述的模型训练步骤具体包括如下操作子步骤：(11)对训练样本库中的原始骨架序列进行采样，对采样所获得的采样骨架序列进行空间扩增，获得空间扩增骨架序列...

【专利技术属性】
技术研发人员：张成，廖建新，陈宇琛，占怡雯，王敬宇，戚琦，庄子睿，王晶，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：