【技术实现步骤摘要】
一种基于骨架时空图卷积的复杂长程动作识别方法
[0001]本专利技术涉及计算机视觉领域，尤其是一种基于骨架时空图卷积的复杂长程动作识别方法。
技术介绍
[0002]近年来，人体动作识别在计算机视觉中日益受到重视，深度学习方法取得了较好的识别结果，然而现有的一般只针对一个动作，难以识别复杂长程动作，例如在论文“SlowFast Networks for Video Recognition”中，作者设计了一个双流网络，两个分支均由3D卷积组成，这大大提高了人体动作识别的准确率，然而此网络是利用彩色图片，故无法识别精细动作；在论文“Temporal Segment Networks”中，作者提出了将视频切分成片段后稀疏采样以解决长时间的动作识别问题，这虽然为长时动作识别提供了思路，但这种切分是等间距的均匀切分，不具备灵活性；在论文“Spatial Temporal Graph Convolutional Networks for Skeleton
‑
Based Action Recognition”中，作者首次将...
【技术保护点】
【技术特征摘要】
1.一种基于骨架时空图卷积的复杂长程动作识别方法，其特征在于：包括以下步骤：步骤1，人体的骨骼点识别，提取输入视频中的人体关键点，并将人脸部、手掌、脚趾的无用骨骼点去除，然后将处理后的骨骼点坐标按帧存入输入序列；步骤2，多尺度特征提取，用三个不同尺度的滑动窗口分别代表短时、中时和长时动作，截取输入序列中的骨架矩阵，并三个滑动窗口所剪切到的数据送入ST
‑
RGCN模型中获取特征向量；步骤3，不同动作的粗分割，评估同一尺度滑动窗口下不同时刻的特征向量相似度，若相似度未能超过阈值，则认为两个时刻属于不同的动作，并将此分割点重定位至原视频；步骤4，分割点的筛除，按时间顺序排列出不同尺度下的分割点，并将重合和时间上相近的点去除，以减小冗余的分割段；如果两个分割点相近，只保留一个值较大的点；步骤5，分割点的微调，求出分割点之间的骨架变化最小值和最大值，然后求出分割点左右部分帧的骨架变化均值，若均值介于最大值和最小值之间，则认为其依然属于该动作，借此实现分割点的微调；步骤6，动作分类，将提取到的特征传入MLP网络中求出该窗口下动作置信度的分布，并求出置信度均值，将置信度小于均值的动作视为背景，大于均值的则作为有效动作输出。2.根据权利要求1所述的一种基于骨架时空图卷积的复杂长程动作识别方法，其特征在于：步骤2中，所述ST
‑
RGCN模型由GCN、CNN和TCN三个模块构成；为了提取到更高级的特征，将GCN、CNN、TCN构成的模块堆叠七次，并采用残差连接；提取特征向量的过程如下：根据GCN从滑动窗口中提取骨骼关节点之间的空间特征，然后将提取后的特征根据TCN在时间维度上进行特征聚合，同时用CNN提取视频帧的色彩纹理特征，将骨骼时空特征和视频帧的色彩纹理特征进行融合，后得到该窗口下的特征向量。3.根据权利要求2所述的一种基于骨架时空图卷积的复杂长程动作识别方法，其特征在于：提取特征向量的具体方法为：首先根据人体姿态检测模型的骨架结构构建邻接矩阵A、度矩阵D，两个矩阵的大小是n
×
n，n为骨骼点数量；邻接矩阵A中两个骨骼点之间如果有连接，则将矩阵...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。